Předchůdcem dnešního zámku byl raně gotický hrad postavený po roce 1300 na skále nad řekou Jizerou. Jeho zakladatelem byl s největší pravděpodobností člen rodu Markvarticů – Havel, který se podle svého nově založeného sídla začal následně psát s přídomkem "z Rohozce". Ve 14. a 15. století se v držení hradu vystřídali páni z Turgova, páni z Michalovic a Krajířové z Krajku. Na počátku 16. století, za Konráda Krajíře z Krajku, dochází k přestavbě Hrubého Rohozce do podoby pohodlného pozdně gotického sídla.

Od poloviny 16. století patří Hrubý Rohozec do majetku Vartenberků, kteří po roce 1600 přistupují k jeho další přestavbě, tentokrát již do podoby renesančního zámku. Vartenberkové se však zúčastnili stavovského povstání, a proto jim byl po bitvě na Bílé hoře majetek zkonfiskován; v roce 1623 Hrubý Rohozec koupil slavný Albrecht z Valdštejna. Od něj však již roku 1628 získává zámek i s okolním panstvím Mikuláš Des Fours, jehož potomkům pak zámek sloužil jako rodové sídlo po více než tři staletí, tedy až do konfiskace v roce 1945.

Příslušníci rodu Des Fours (od roku 1831 Des Fours Walderode) si zámek, jeho interiéry i nejbližší okolí upravovali podle svých požadavků a dobového vkusu. Hrubý Rohozec tak prošel nejprve barokní úpravou; z tohoto období se do dnešních dnů dochoval interiér zámecké kaple Nejsvětější Trojice vybavený barokním a rokokovým zařízením. Svou konečnou podobu pak zámek získal v 19. století, kdy byl podle návrhu architekta Jana Filipa Joendla přestavěn ve stylu empíru. Romantické úpravy z poloviny 19. století (např. novogotický portál dveří vedoucích na schodiště do zámecké kaple) pak již na celkovou podobu zámku neměly výraznější vliv.

V 19. století získaly svou dnešní podobu i některé interiéry zámku, z nichž k nejvýznamnějším patří zámecká jídelna s cennou výmalbou stěn a stropu ve stylu romantické gotiky, či některé pokoje druhého patra vymalované ve stylu druhého rokoka.

V současné době jsou interiéry zámku prezentovány v původní podobě ze 30. let 20. století, kdy na zámku bydlel jeho předposlední majitel hrabě Mikuláš Vladimír Des Fours Walderode se svou manželkou Gabrielou Karolínou a jejich syny Maxmiliánem a Ludvíkem.