Prva omemba Svibenskih izvira iz leta 1169, ko se omenja Konrad Svibenski. Naslednja omemba Konrada (njega istega ali njegovega sina) nastopi leta 1175, v letih 1182 in 1191 pa naletimo na viteza Henrika. V prvi polovici 13. stoletja se omenja njegov istoimenski sin. Šele leta 1372 naletimo se izrecno omebno gradu (vest, haws Sherffenberch). Valvasor sicer navaja, da je Svibenski grad pozidal Arnulf Svibenski že leta 928 ampak je ta podatek malo verjeten, ker takrat utrjenih zidanih gradov še ni bilo, o Svibenskih pa tudi ni zapisov.
Za določen čas so Svibenski imeli v posesti ali zajmu več gradov: Žebnik, Gamberk pri Zagorju, Planino pri Sevnici, Podsredo, Smlednik in druge, posedovali so salzburške, freisinške in krške fevde. Največ slave si je med svibenskimi vitezi pridobil Viljem. Leta 1270 je poveljeval plemičem, ki so se ob strani Filipa, brata koroškega vojvode Ulrika III., zoperstavili češkemu kralju Otokarju II. Otokar, ki si je hotel pridobiti Koroško, Kranjsko in Slovensko marko, je upor kmalu zatrl. Viljemu je vrnil posest a se mu je ta čez leto dni spet zoperstavil. Viljem je hrabro padel leta 1293 v bitki pri Grebinju.
V 14. stoletju se je pričela moč Svibenjskih krhati. Izgubljali so posest za posestjo, nekaj z zastavami, nekaj s prodajo, dobršen del pa je je sčasoma prešlo v roke spretnih in ambicioznih Celjanov. Leta 1349 so tako zastavili Celjanom tudi svoj grad Svibno, ki so ga sicer šteli za vojvodski fevd. Zadnjim Svibenskim je leta 1382 Leopold III. Habsburški grad odvzel in jim dodelil novo bivališče v Mariboru. Pavla Ramunga, ki je dobil od Henrika Rogaškega grad v zastavno last, so leta 1390 umorili Svibenski, ko so se nepričakovano vrnili na grad. Viljemu Svibenskemu in njegovi ženi je bilo nato leta 1396 dovoljeno dosmrtno bivanje na gradu, ki pa je tudi po smrti Voljema ostal deželnoknežji. Grad so v tistem čas v imenu Svibenskih upravljali gradiščani.
V 2. polovici 15. stoletja je bilo na grad oskrbniku Petru Obračanu izročenih več kosov strelnega orožja iz česar lahko sklepamo, da je že takrat na svibenskemu območju prihajalo do nemirov. Obračanu so nevšečnosti povzročali Auerspergi, ki so njegovim ljudem po krivem odvzemali živino in jih obremenjevali z raznimi dajatvami.
V začetku 16. stoletju je imel Svibno v lasti Jurij Turn, človek znan po svoji krutosti in brezobzirnosti. Ko je bil leta 1515 umorjen v kmečkem uporu, je oskrbo nad gradom prevzela njegova hči Ana. Od leta 1529 je izpričan štajerski deželni glavar, celjski vicedom ter zemljiški gospod Ivan Ungnad. Grad je medtem že propadal, kar je ugotovila komisija, ki si je grad ogledala leta 1575, takrat pa so ga uporabljali le še za shrambo. Leta 1579, ko si je komisija grad ogledala še enkrat, je prevzel svibensko gospostvo za dvajset let v zakup kranjski deželni svetnik Krištof Gustičič, moral pa je zato Feliciti Lamberg zagotoviti 15.000 goldinarjev posojila. Po smrti Krištofa sta gospostvo nasledila sinova Andrej in Jurij. Jože Koropec, ki je preučil zadevne listine Notranjeavstrijske dvorne komore in Kranjski vicedomski arhiv piše o neuspešnem poskusu obnove gradu leta 1597. Rodbina je v moški liniji izumrla v 19. stoletju.

Prvotni grad je imel značaj dokaj regularnega kastela s palacijem in obzidanim notranjim dvoriščem. To srednjeveško jedro so pozneje razširili južneje po pobočju Ostrega vrha. Takrat so grad še dodatno utrdili in ga zavarovali z novim zunanjim vencem obzidja in vanj vpetimi renesančnimi stolpi. Dandanes iz razvalin komajda razberemo prvotno podobo gradu. Nekaj škode so kulturnemu spomeniku prizadejali domačini, ko so vrh kope z grajskimi ostanki splanirali, pri tem pa staro zidovje v dobršni meri uničili. Poleg treh skic je Valvasor pripravil tudi nenavadno obsežen opis grajske stavbe skupaj še z nekaterimi podrobnostimi.

Še nekaj besed o graščini Svibno. Gospodje Svibenski so v pobočju hriba pod svojim gradom ustanovili istoimenski trg, v katerem pa je bilo po navedbi gospoščinskega urbarja iz okoli leta 1400 le 32 podložnih družin; med poklici podložnih tržanov se omenjajo poleg drugih pisar, čuvaj, mitničar in lovec. Podložne družine so morale opravljati različna dela, npr. vožnja žita v Ljubljano, drvarjenje, popravljanje ograje, redke med njimi pa so morale tudi kositi, voziti les in krmo, vse pa so morale na vpoklic opraviti posebno obvezno tlako. Graščina o kateri danes ni več sledu je stala tik ob kolovozu, ki drži k bližnji taborni cerkvi Sv. Križa in mimo nje proti grajski razvalini. Valvasor jo je upodobil kot tipično renesančno 3x7 osno, na kvadratnem tlorisu pozidano enonadstropno stavbo z balkonoma na pročelju, krito s strmo štirikapno streho.

Svibeski vitezi so našli pot tudi v slovensko literaturo. Vanjo so vstopili s Prešernovim Ostrovrharjem, Rozamundinim snubičenjem, ki mu boji so igrače, zgodba o Viljemu Svibenskemu pa je dala snov tudi Antona Medveda verzificirani tragediji Viljem Ostrovrhar.
V kraju Svibno prebiva, med ljubitelji srednjega veka dobro poznan kovač Oblak.