Panské sídlo v Kozlově
Podle názorů historika Jiřího Úlovce vzniklo původní panské sídlo neznámé polohy a podoby (někteří autoři se domnívají, že se nacházelo buď v místech pozdějšího zámku, nebo v blízkosti kostela) nejpozději do poloviny 14. století. Prameny o něm nijak neinformují, takže o jeho existenci usuzujeme pouze z predikátů majitelů vsi, vyskytujících se především ve tvaru „de Kozlow“, případně podle způsobu zápisu jejich vlastnictví ve vsi, totiž „residencium in Kozlow“. Toto nejstarší předpokládané sídlo zaniklo pravděpodobně během druhé poloviny 15. století. Jedním z důvodů zániku mohlo být i připojení Kozlova k toužimskému panství Plavenských.
Následně hovoří prameny ještě k roku 1558 pouze o kozlovské vsi. Záhy však byla jedna její část zastavena a roku 1567 se Jiří Uttenhofer píše „zu Kossla“. Zřejmě právě za něho zde vzniklo nové panské sídlo se dvorem a dalším příslušenstvím, připomínané roku 1588 výslovně jako tvrz. O jeho podobě jsme informováni až k roku 1727, kdy bylo vyobrazeno na jediné známé vedutě Kozlova. Přestože některá literatura předpokládá jeho vznik v této podobě až ve druhé polovině 17. století, zdá se, že jeho vznik lze klást již do druhé poloviny století šestnáctého. Nejsou totiž žádné důkazy o jeho domnělém zničení za třicetileté války. Musíme samozřejmě předpokládat jeho poškození a následné opravy, o čemž mj. svědčí barokní zastřešení nárožních věží.
Další údaje o panském sídle v Kozlově nám podávají až prameny z přelomu 18. a 19. století. V tzv. 1. vojenském mapování ze 70. let 18. století je ves popisována takto: „Goslau liegt an einer Anhöhe, …, hat eine zum theil gemauerte herrschafftliche Wohnung, in dem von Holtz erbauten Mayerhofe. Eine Kirche mit guter Kirchhofmauer, nebst Soliden Pfarrhof…“ (Kozlov leží při návrší, …, má zčásti zděné panské sídlo v areálu ze dřeva vystavěného hospodářského dvora. Kromě kamenné fary je zde kostel s pevnou hřbitovní zdí…“). Spolu s indikační skicou z roku 1841 a popisem od J. G. Sommera tak získáváme zajímavé údaje o vsi a sídle, nazývaném prameny od počátku 18. století již přímo zámek. Zachované kresby zámku společně s fotografiemi dokazují, že jeho podoba se od roku 1727 prakticky nezměnila.
Mladší kozlovské panské sídlo vystavěné v renesančním slohu mělo podobu velké obdélné patrové budovy o rozměrech zhruba 24 x 19 metrů, doplněné dvěma polygonálními dvoupatrovými věžemi v nárožích jihovýchodního průčelí. Kryla je vysoká podélná a dvě kratší příčné sedlové střechy. Vstup do budovy vedl od jihovýchodu, k němuž se obracela hlavním průčelím s dvojící nárožních věží. Přízemí stavby obsahovalo vstupní halu se schodištěm do patra a dalších pět místností, zaklenutých vesměs renesančními klenbami s hřebínky nebo mladšími valenými klenbami s trojbokými výsečemi. Při jihovýchodním nároží byl umístěn velký sál. Patro bylo členěno obdobně, valené klenby si zde uchovaly tři místnosti. Obě věže měly v přízemí i patře hvězdicovité klenby. Při přestavbě z druhé poloviny 17. nebo počátku 18. století byly zastřešeny barokními báněmi. V této podobě se zámek dochoval až do 20. století.
Stavební stav zámku před druhou světovou válkou se stále zhoršoval. Podle zachovaných svědectví měl zámek ve třicátých letech narušené střechy, kterými zatékalo. Půda měla shnilé podlahy. Řada místností sloužila jako skladovací místnosti na obilí.
Zajímavé jsou informace o rozsáhlých podzemních chodbách, vyúsťujících do boku zámecké studny a do dvora zámku. Chodby byly údajně dlouhé a svažovaly se až do míst, kde byly zatopeny vodou.
Zámek byl po částečném odstřelu v roce 1939 ponechán po celou válku v neodklizených rozvalinách, postupně rozebíraných na stavební materiál. Nepublikovaná práce J. Kabáta a K. Slepičky popisuje stav ruiny z doby 1955 – 1957 takto: „Zbytky zámku zachovány v obci; v jeho severozápadní části sklep, dlouhý asi 11 metrů a klenutý valeně, vše zatopeno vodou.“ V té době již z celé zdemolované budovy byly zachovány pouze zbytky nároží a obvodového zdiva hustě porostlého vegetací. V roce 1984 z celého objektu zbývaly již jen cca 50 cm vysoké základy obvodového zdiva části stavby, další část byla odstraněna a prostor zarovnán a přeměněn v užitnou plochu. Dnes již ani v terénu není patrné, kde vlastně zámek stával. Zbyla z něho pouze velká doprovodná budova původně hospodářského charakteru, sloužící dnes k podnikatelské činnosti jako sídlo firmy ZEPRA.
Druhé kozlovské panské sídlo (po tvrzi vzniklé ve 14. a patrně zaniklé po polovině 15. století) – tvrz, později zvaná zámek, je v odborné literatuře považováno za příklad panského sídla, které v prakticky nezměněné podobě sloužilo od 16. století až do svého zániku v polovině 20. století. Z rozboru dochované dokumentace vyplývá, že šlo o sídlo architektonickým pojetím a řešením významné, jehož obdoba doposud na českém venkově nebyla až na několik výjimek prokázána. O to více lze litovat jeho ztráty.