Hrad je pravděpodobně královského založení, i když počátky jeho dějin nejsou doloženy. První písemná zmínka o Zbořeném Kostelci (původně se jmenoval Kostelec nad Sázavou) pochází až z roku 1341, kdy jej král Jan Lucemburský dává do zástavy Oldřichu z Valdeka, majiteli sousedního Týnce. Po smrti Karla IV. se hrad načas nachází v královském držení, později jej vyšehradský purkrabí Chval ze Rzavého dostává do zástavy a nakonec i do dědičného držení. Roku 1411 se významným držitelem hradu stává Jan Sádlo ze Smilkova, rádce a oblíbenec krále Václava IV. Po Janově smrti se kosteleckého majetku ujal stejnojmenný syn. Ten byl v roce 1435 účastníkem dobývání táborského hradu Ostromeč, jehož posádka činila velké škody v okolí na zboží stoupenců strany pod jednou. V březnu roku 1440 se zúčastnil jednání Kouřimského, Čáslavského, Hradeckého a Chrudimského kraje a podepsal se pod zápis o zachovávání zemského míru. Na jednání byl rovněž zvolen za hejtmana Kouřimského kraje. Jan později zakoupil hrad Léštno s panstvím a Kostelec roku 1443 prodal. Nový majitel, Kuneš z Dubé, řečený Rozkoš (mj. vnuk Jana Žižky z Trocnova), podniká z Kostelce loupežné výpady do širokého okolí při boji na straně katolických protivníků Jiřího z Poděbrad. Protože však Kuneš podepsal tzv. "zemský mír" a přesto českému království škodil "ohněm, braním a loupežími", je Kostelec v roce 1449 bezvýsledně obléhán. Po krátkém příměří je v květnu roku 1450 obležen podruhé vojsky Jiřího z Poděbrad a Pražanů. Přestože v rámci pomoci vytrhla dokonce hotovost jednoho ze spojenců, saského vévody Friedricha, k městu Mostu, aby tak odlehčila obléhanému hradu a vázala část českých vojsk, byl Kostelec záhy dobyt. O vojenském a politickém významu hradu svědčí skutečnost, že obou těchto obléhání se Jiří z Poděbrad zúčastnil osobně. V táboře obléhatelů byl prý přítomen i Jan Sádlo mladší, zřejmě díky své znalosti hradu a jeho slabin. Kostelecké panství bylo rozděleno a samotný pustý hrad později připadl Zdeňkovi ze Šternberka, který jej opevnil a rozšířil. Později byl opuštěný hrad připojen ke konopišťskému panství a ponechán osudu. Od konce 18. století patřil hrabatům z Vrtby, majitelům sousedního Týnce. Zřejmě někdy v průběhu 19. století byl hradní areál částečně vyčištěn, přes příkop byla usnadněna cesta schody z kamenů a zajištěny některé koruny zdí. Pravděpodobně v prostoru horního nádvoří byl prý postaven altánek s výhledem na údolí Sázavy, z něhož se však do dnešní doby nic nezachovalo.



V současné době se o záchranu hradu snaží občanské sdružení Řád rytířů bílého kříže. Cílem Řádu je staticky zabezpečit zbytky hradních budov a zdí a vytvořit zde prostory a zázemí pro prezentaci hradu a jeho historie i pro kulturní akce, zasazené do rámce historického prostředí...