Původně hrad ze 13. století představuje souhrn různých architektonických objektů představující jiné slohy. Ve druhé polovině 15. století byl pozdně goticky upraven. Roku 1584 dal Zachariáš z Hradce přestavět hrad v renesančním slohu. Poté, co Švédové hrad vypálili, vyhořel a v původní podobě již nebyl obnoven. V roce 1922 koupil zpustlý zámek polenský továrník a mecenáš Václav Pojman, který jej věnoval tělovýchovné jednotě Sokol a Spolku polenského muzea.

Dnešní podobu hrad a zámek získal rozsáhlou rekonstrukcí ukončenou v roce 2004. Na zámku dnes sídlí kromě Městského muzea také Základní umělecká škola, Kulturní středisko s kulturním sálem a Zámecká restaurace s ubytováním. V letním období se na nádvoří hradu konají příležitostné hudební produkce.

Prohlídkové trasy

Hrad I – řemesla - Lapidárium v hradním sklepení, lékárna "U Černého orla", kupecký krám a expozice starých řemesel
Hrad II – historická - historie hradu a jeho stavební vývoj
Stará škola - ojedinělá expozice školní třídy z roku 1866, kabinet učebních pomůcek, černá kuchyně, byt učitele
Muzeum - stálá expozice hodin a hodinářství, Proměny Polné od 13. do 19. století, Rérychova galerie