Žebnik je sodil med pomembnejše deželnoknežje postojanke v Zasavju. Območje je bilo sprva v posesti grofice Heme Breže-Selške s Koroške v tako imenovani Savinjski marki, pozneje pa je prešlo v posest vojvod na Kranjskem. Prvič se posredno omenja leta 1150, ko nastopa kot priča v neki podelitveni listini Roudgerus de Sibenecche, viteza pa v enaki vlogi srečamo tudi pet let pozneje, ko nastopa skupaj s svojim istoimenskim sinom. Kot priče srečamo Žebniške v srednjeveških listinah še večkrat, grad pa se izrecno omenja šele leta 1286 kot castrum in Sybenekke, Sybnekke. Takrat sta se o njem pogajala grof Ulrik Vovbrški in vojvoda Albert Habsburški, ki ga je potlej leta 1291 odkupil in izročil takratnim gospodarjem Koroške in Kranjske, grofom Tirolskim.
Rod ministerialov Žebniških ob koncu 13. stoletja izgine iz zgodovine, vendar je grad še nadalje ostal deželnoknežji, kajpak v okviru bližnjega deželnoknežjega urada v Laškem. To priča med drugim listina iz leta 1340, s katero žebniška gradiščana Herman in njegov sin Jurij - Herman ze den zeiten purkgraf ze Sibenek und mein sun Jorg skupaj z drugimi Hermanovimi otroki obljubljata deželnemu glavarju Frideriku Žovneškemu in njegovim dedičem zvesto službo in da se bodo vselej, kadar bo to od njih terjal, brez ugovora odpravili k njemu ali na katerikoli njegov grad - daz wir uns in ziehen suln und zu welher ir vest.
Herman, takrat habsburški ali nemara še tirolski deželnoknežji gradiščan, se pozneje več ne omenja, grad - vest pa je leta 1366 prešel v posest Celjanov in ostal v njihovih rokah vse do leta 1456, ko so z Ulrikom II. izumrli. O poznejših dogodkih nas na kratko obvešča Kronika grofov Celjskih. Cesar Friderik, ki se je bil medtem s pomočjo Vitovca polastil številnih celjskih gradov, je sklical vse njihove gradiščane in oskrbnike: »Prišli so drug za drugim in se pogajali in vsakemu so nekaj dali, enemu tisoč in drugemu več, tretjemu manj, za kolikor se je pač dal kupiti. In mogoče sta bila dva ali komaj eden, ki ni izročil gradu, ki ga je imel v posesti, in to je bil samo skrbnik žebniškega gradu...«
Kaj je sledilo, Kronika ne poroča, sklepamo pa lahko, da je bil med nadaljnimi spopadi za celjsko dediščino tudi Žebnik prizadet. Morda že takrat, vsekakor pa enkrat v 16. stoletju, so ga opustili, saj je bila njegova lega vse prej kot pripravna za bivališče novodobne gospode, ki se ga je bila polastila.
Valvasor, ki je grad tako v svoji Topografiji kot potlej v svoji Slavi kar trikrat upodobil, je Žebnik opisal takole:
»Leži pa ta grad Žebnik na visoki kamniti in hudo strmi gori. Bil je pred časom velik in mogočen ter z vseh strani zavarovan pred sovražnim napadom. Približati se mu je mogoče le po eni sami strani, kjer pa je najbolj utrjen. Z drugih strani se mu človek ne more približati.«

Ostanki gradu se nahajajo na nizki kopi nekaj deset metrov zahodno od cerkve sv. Matere Božje, ki je bila nekoč grajska kapela. Dostop do razvalin in cerkve je možen le peš, saj je zadnji del ceste v zelo slabem stanju. Najprej sledimo kalvariji, ki vodi proti cerkvi, nato pa po poti okoli kope ali pa po strmih stopnicah.