Ozemlje gospostva Vrbovec stopi v zgodovino z listino iz leta 1140, s katero oglejski partiarh Peregrin naznanja, da sta plemeniti Dietbald de Chagere in njegova soproga Truta prepustila oglejski cerkvi svoj alod v Gornjem gradu z gradom in drugimi posestmi. Možno je, da je takrat že stal stari grad (Alterburg), katerega lokacija še ni povsem pojasnjena, vendar D. Kos domneva, da gradu takrat še ni bilo. Pač pa se grad izrecno omenja leta 1248 kot Castrum Altemburch. Pri tem kaže omeniti, da je tudi slovensko ime Vrbovec - grad pozidan v vrbovju - zelo staro, čeprav v srednjeveških listinah dosledno srečujemo le njegovo nemško oznako: leta 1361 vest Altenburch, leta 1369 Altenburch die vest in Altemburch castrum, leta 1434 haws Altenburch, leta 1447 "novi grad Vrbovec" - newe vest Altenburch in leta 1457 Altemburch ob Presperch gesloss.
Na gradu so sprva gospodarili patriarhovi oskrbniki, med katerimi se leta 1248 omeja Wulfing z Letuša ali Luč, okoli leta 1270-80 pa magister Gregorij. Patriarhovi oskrbniki se nazadnje omenjajo leta 1281-82, leta 1286 pa nastopijo po gradu imenovani vitezi Vrbovški. Ti niso več neposredno podložni patriarhovemu sedežu, ampak nastopajo kot fevdniki vovberškega grofa s Koroške, kar kaže, da je patriarh izročil svoje deleže gornjegrajskih posesti Vrbovškim. Vrbovške viteze srečamo v več listinah kot spremljevalce Vovberških, ko pa so ti leta 1322 izumrli, so Vrbovški prevzeli posest gradu neposredno v svoje roke. Kot fevdniki so se pogosto zapletali v spore z gornjegrajskim samostanom, ki so prikipeli do vrhunca ob pravdi za grad Rudenek pri Rečici. Zdi se, da so vrbovški vitezi pozneje obubožali, saj so že leta 1349 oz. 1350 prepustili Celjanom grad Gornji grad, leta 1360 pa še Vrbovec (oz. samo polovico le-tega), ki jim ga je oglejski patriarh še tisto leto potrdil. Leta 1362 so gornjegrajskemu samostanu zastavili še drugo polovico gradu. Po nekaj letih, natančneje leta 1369, so grofje Celjski grad Vrbovec tudi formalno prejeli v fevd in ga obdržali do izumrtja. Po njihovem izumrtju je posest prešla v roke deželnega kneza, ki jo je poslej dajal v oskrbo. Leta 1458 jo je dobil v zakup Tomaž Pfafoitscher, leta 1472 je bil oskrbnik Benko pl. Lustthal. Leta 1478 jo je dobil v fevd Jurij Obračan, leta 1505 Tomaž Gradeneški, pred letom 1527 baron Ivan Kacijanar s svojo soprogo Elizabeto Strmolsko, tema pa je sledila njuna hči Sholastika, soproga Ulrika barona pl. Eitzingam ki je prodala Vrbovec Hansu Regallu z Rač. V letih 1566 in 1575 posedujejo grad gospodje Hurnuss, sledil jim je Boltežar Wagen. Leta 1602 je dobil posest v zajem njegov sin Hans Žiga, baron v Šoštanju in Preboldu. Leta 1615 je kupil gospoščino za 4000 goldinarjev ljubljanski škof Tomaž Hren, ki je v njej dve leti pozneje posvetil kapelo. V lasti škofije je ostal grad z manjšimi prekinitvami do zadnje vojne, v njem pa je bila uprava ljubljanskega škofijskega veleposestva. Med vojno je bila v gradu okupatorjeva postojanka, zato so ga leta 1944 partizani zažgali. Po koncu vojne so grad le delno obnovili, pred propadom pa ga je rešilo Gozdno gospodarstvo Nazarje, ki se je v letih 1988-1992 odločilo za popolno obnovo. Danes so v gradu upravni prostori Občine Nazarje, številna zasebna podjetja, gozdarske institucije tega območja, poročna dvorana, gostišče in muzej gozdarstva in lesarstva.

Iz zgodovine gradu je znanih malo dogodkov. Leta 1440 naj bi ga neki oblegal celjski vojskovodja Vitovec, kar pa viri ne potrjujejo. Leta 1528 je živel na gradu protestantski duhovnik s svojo ženo in še leta 1615 je gospodovala gradu "heretična" gosposka. Leta 1635, za časa upravitelja Janeza Pečoherja, so grad izročili in morda vsaj delno razdejali uporni kmetje.

Zunanji trakti grajskega kompleksa niso več v celoti ohranjeni. Nepoškodovan je le severo-zahodni trakt z banjasto obokano kletjo, od severo-vzhodnega trakta je ohranjen zunanji zid, jugo-vzhodni trakt pa je star le v svojem kletnem delu, kjer so podobni oboki kot v zahodnem traktu, medtem ko je njegovo nadstropje povsem prezidano. V svojih masah in proporcijah so še avtentični trije vogalni obrambni stolpi z delno obokanimi pritličji. Portali in okna so na vsej stavbi modernizirani.
Grajsko jedro, pozidano na skalni kopi sredi kompleksa, je nastalo vsaj v prvi polovici 12. stoletja, lahko pa je celo starejše. V obdobju med leti 1437 in 1447 so h gradu verjetno prizidali okrogli stolp. Domnevamo lahko, da so vsaj takrat obdali prvotno grajsko zasnovo z obzidnim obročem, ki so ga ob renesančnih predelavah gradu odstranili. Danes je edina vidna ohranjena srednjeveška prvina obodno zidovje v jedru. Srednjeveško grajsko jedro so podrli enkrat v 18. stoletju (na upodobitvah iz 19. stoletja ni več viden), med zadnjo vojno pa je požar uničil tudi del novejše graščine predvsem kapelo in njen severo-vzhodni trakt trakt. Tega so leta 1992 po načrtih arh. Sonje Sekavčnik na starih temeljih v modernizirani obliki znova pozidali.