Na prvo neposredno omembo gradu naletimo leta 1246, ko se ta, eden izmed najslikovitejših gradov v Sloveniji, omenja kot Sosenberch. Ime gradu naj bi po Valvasorju izviralo iz besede Eisen (železo), slovensko ime pa naj bi bilo popačenka nemškega. V listini iz omenjenga leta se omenja Oton s Šumberka, leta 1295 pa njegov sorodnik Heinzlin z Lupoglave, sin Henrika Pazinskega, ki je tega leta prodal grad goriškemu grofu Albertu (castrum Seusenberch.. in marchia Sclauica). Goriški, ki so ostali v njegovi posesti vse do leta 1374, pa so ga potlej podeljevali v fevd različnim gradnikom - vazalom. Kot deželnoknežji fevd je bil grad nato v letih 1374 - 1456 v rokah Celjanov, nakar so jim do leta 1538 sledili Habsburžani. Vse do nacionalizacije po koncu 2. sv. vojne so bili lastniki Auerspergi. Grad je kljub svojemu poznemu nastanku igral pomembno vlogo. V njemu se je nahajalo deželsko sodišče, sicer omenjeno leta 1324.
Sredi 16. stoletja so grad temeljito prezidali in dodatno utrdili, kar mu je dalo današnjo podobo. Napisna plošča, ki poroča o obnovi se nahaja v novomeškem Dolenjskem muzeju. Valvasor poroča o lastniškem sporu, ki se je odvijal v tem času, in o nezakonskemu sinu Gregorju, ki si je prišel iz Švice polastiti grad, a je dobil smrt. Omenjajo se tudi pogosti napadi medvedov, ki so takrat radi obiskovali gradove. Žužemberska veja Turjaških izumre, posest pa preide v roke sorodnikov Auerspergov. Leta 1591 je trg zajel požar, ki se je razširil tudi na grad in ga tako uničenil, da so ga v celoti obnovili in v skladu z novodobnim okusom ustrezno posodobili. Leta 1670 se zgodi ponovno požar, a prizadane zgolj trg.
Grad je bil poseljen vse do konca 19. stoletja nakar je grof Karel Marija Aleksander Auersperg grajsko opremo prenesel v bližnjo Sotesko (arhiv naj bi nato pred zadnjo vojno romal iz Soteske v Avstrijo na grad Losensteinleizen). Vključno z vsemi dragocenostmi naj bi odnesel celo kamnite arkadne stebre. Med 2. sv. vojno okupiran grad je bil leta 1943 oblegan in zavzet s strani partizanov, marca leta 1945 pa razdejan med partizanskim bombardiranjem trga. Ivan Komenj je označil grad kot naš najpomembnejši spomenik iz dobe turških vpadov. Na tem mestu velja omeniti, da grad ni bil nikoli tarča turških vpadov, nikoli napaden ali zavzet. Grad so pričeli obnavljati leta 1957, predvsem dela v zadnjem desetletju pa so razkrila in naredila dostopne obiskovalcem skoraj že vse prostore znotraj zidov. Grad oživi večkrat letno, saj je njegov notranji trg čudovito prizorišče za razne kulturne in zabavne prireditve. Enkrat letno turistično društvo "Žužemberk" v njemu priredi tradicionalni srednjeveški dan.