Naselje Sevnica se kot Liehtenwalde prvič omenja leta 1275. Grad pa kot castellum Liehtenwalde šele v salzburškem urbarju za Brežice in Sevnico iz leta 1309. V urbarju iz leta 1322 se omenja grad kot castrum Liehtenwald, leta 1323 pa je naveden kot ammannshaus - prebivališče uradnika, ki upravlja sevniški grad. Pozneje se v listinah omenja leta 1346 die vest Lehtenwald in leta 1373 (haus) Liehtenwald. Med letoma 1479 in 1491 je bil grad zaradi spora med cesarjem Friderikom III. in novo imenovanim salzburškim nadškofom Bernardom Rohrom v rokah ogrsko-hrvaškega kralja Matije Korvina ali po ljudskem izročilu kralja Matjaža. Leta 1494, ko je novi cesar Maksimiljan grad, ki je bil še do leta 1491 v ogrskih rokah, vrnil nazaj nadškofiji, se ta omenja kot sloss Liechtenwald.
Na gradu so se poslej vrstili oskrbniki, tako Hans Rajhenburški, po njegovi smrti leta 1519 dosmrtno Ivan Ungnad, leta 1558 Oswald Göriacher. Leta 1563 je vzel gospoščino v najem Boltežar baron pl. Lamberg, leta 1590 Ivan baron pl. Khiessl, leta 1595 pa jo je proti volji papeža Klemena VIII. kupil v dedno last Inocenc Moscon. Ta je grad spremenil v udobno rezidenco: uredili so dvorišče z arkadnimi hodniki in dali zunanjščini enotno podobo. Ker zadeve glede nakupa niso bile jasne, je posest po nastopu nadškofa Parisa Lodrona leta 1619 spet prišla pod salzburško vrhovno oblast in je ostala salzburška vse do leta 1803, vendar pa so na gradu še naprej gospodovali Mosconi in njihovi dediči - ti so ga dobili v dedni fevd za zvišano kupnino 40.000 fl. šele leta 1637 po dolgotrajnem prerekanju. Leta 1675 je posedovala grad Ana Elizabeta, grofica Turjaška rojena Moscon, leta 1688 je pred svaštva prešla na Draškoviče, leta 1725 spet na Turjaške, leta 1769 pa ga je kupila grofica Jožefina Keglevič (grofica Ana Sermage). V letih 1803-1864 je bil v rokah Johanna Händla pl. Rebenburga, sledila sta mu Albert Gehrenböck in Ludvik Ratzesberg pl. Wartenburg, leta 1880 pa ga je prevzel prof. dr. Karel Ausserer, ki je na severnem pobočju uredil novo cesto na grad in obogatil drevesni del grajskega parka. Nato so si naglo sledili grof Wallhofen, Schleinitz, kapetan Oton in od leta 1910 do druge svetovne vojne grofica Matilda Arco Zinneberg, ki je bila habsburške rodovine. Takrat je grad hranil mnogo starin in umetnin.

Grad, na katerem so se nedavno zaključila obnovitvena dela ponuja sedaj poleg ogleda muzejskih in galerijskih zbirk, slavnostnih prostorov, grajske kapele, kašče in grajskega parka še Grajsko kavarno z grajskimi slaščicami. Večino prostorov ter soban je na gradu možno tudi najeti, pari pa lahko na grajskem parku izrečete tudi svoj usodni "da" v okviru veličastne poroke.