Grad s strateško pomembno lego je pozidan na ozemlju s staro naselitveno kontinuiteto, ki jo izpričujejo ostanki gradišča z okopom ob njegovem vznožju nad dravskim bregom. Njegovo ime je povezano z grbom vurberških gospodov, na katerem je upodobljen črv (nem. Wurm), pravljična kača - zmaj. Grad se prvič posredno omenja leta 1238, ko se omenja njegov gradnik Wigand (Wigandus de Wrmberch), čeprav so ga verjetno pozidali že v 12. stoletju, saj že leta 1204 naletimo na zmaja v grbu prvega znanega posestnika Amelrika s Hollenburga. Na njegovo prvo neposredno omembo naletimo leta 1244, ko se grad omenja kot Wuermwerg; takrat ga je Amelrik iz Stubenberga zastavil Swikerju Humperškemu za 130 mark. Dve leti kasneje, po Swikerjevi smrti, je dobil Vurberk - castrum in Wurmberch od salzburškega nadškofa v fevd Hartnid iz Ptuja v zameno za svoje dedne posesti v Lungavu (Tamsweg) v Salzburškem.
Za časa vojne med Otokarjem II. Češkim in Ogri je Vurberk za nekaj časa prišel v ogrske roke. V 60. letih 13. stoletja je dal kralj Otokar Češki ob plemiških nemirih menda porušiti tudi grad Vurberk. Rudolf Habsburški, ki je bil takrat nemški kralj, je izkoristil nezadovoljstvo plemstva zase. V bitki na Moravskem polju leta 1278 je Otokar padel, Štajerska pa je z drugimi Otokarjevimi deželami prišla pod habsburško nadoblast. Ptujčani so zdaj Vurberk ponovno pozidali. V salzburških rokah je ostal vse do leta 1438, nato pa je z dedno pogodbo leta 1441 prešel v posest Friderikove sestre Neže, poročene z Leutoldom Stubenberškim. Poslej je ostal v posesti Stubenberških vse do leta 1616, ko je Jurij Stubenberški prodal gospoščino Filibertu Schranzu pl. Schranzeneggu. Leta 1619 si jo je pridobil Wolfgang Žiga baron pl. Herberstein, leta 1627 polkovnik baron Johan pl. Wechsler, njegova hči »huda liza«, pa jo je leta 1639 ponovno prodala Herbersteinom. Ko se je Kristina Krescencija pl. Herberstein leta 1715 poročila z grofom Ignacijem Marijo Attemsom, je grad prešel v posest te znamenite štajerske rodovine, ki ga je posedovala do leta 1885. Do leta 1907 je bil grad nato v meščanskih rokah, takrat pa so si ga znova pridobili Herbersteini. V njihovih rokah je bil tudi še pred zadnjo vojno, ko je bil v njem sanatorij ruskega rdečega križa. Med okupacijo je bila v njem nacistična politična šola, 22. februarja leta 1945 pa je bil grad med bombardiranjem hudo poškodovan. Ruševine so po vojni odstranili. V glavnem se danes grad uporablja za prireditve, saj na njegovem dvorišču stoji "amfiteater". V bastiji se nahajajo prostori turističnega društva.

Za časa turških vpadov je bil grad postojanka med Krapino in Zgornjo Štajersko, kjer so z vrha hriba s kresovi opozarjali na bližajočega se sovražnika. Vendar pa Turki gradu nikoli niso mogli zavzeti, tako niti leta 1532, ko so ropali in morili po Slovenskih Goricah. Kajpak je bil grad za to primerno pripravljen. V grajskem inventarju iz leta 1525 je med drugim natanko popisana njegova obrožitev: V orožarnici so bili oklepi in kar je sodilo zraven, drugo orožje je bilo v mali orožarski izbi, v hišici pred kapelo so bile pripravljene sulice in kopja. Potem se omenjajo še poljske kače (vrsta topov), tri štuke na kolcih, dve bombardi in več kartaun ter ostali topovi s pripadajočim strelivom.

Nekdanjo podobo gradu si lahko rekonstruiramo samo s pomočjo starih upodobitev, fotografij in opisov. Štiritraktno grajsko jedro je bilo pozidano na pravokotni talni ploskvi in na južnem vogalu okrepljeno z okroglim obrambnim stolpom; v njegovem pritličju je bila grajska ječa. Pozidano je bilo na živi skali in je segalo v višino dveh nadstropij. V pritličju so bili predvsem upravni prostori, v nadstropju je bilo 22 gosposkih sob, v drugem 14. Dvorišče je bilo na vseh štirih straneh okrašeno z arkadami, ena izmed dvoriščnih sten je bila v nadstropju odlikovana z renesančno triforo. Sredi dvorišča je stala cisterna s kovano krono. Na domnevno najstarejšem, severo-vzhodnem traktu ta bili vzidani plošči z grbom Stubenberških, na enem izmed dvoriščnih prizidkov pa je bila letnica 1592, ki je morda datirala celotno renesančno adaptacijo gradu. Od starejših sestavin je v grajskem jedru izpričana poznogotska kapela, ki jo je pozidal Gašper Stubenberg in 26. avgusta leta 1510 posvetil lavantinski škof Pewerl.
Grajsko jedro je obdajal renesančni utrdbeni obroč, obzidje s stolpi, ki se je delno kot edini preostanek nekdanjega gradu ohranilo do danes. V obzidju so renesančne ključaste strelnice, nekdaj pa sta bila v njem vzidana topa in poljski kači iz 15. stoletja. Ta »artilerija« je bila v rabi vse do leta 1814, ko so jo ob proslavi zmage nad Napoleonom poslednjič uporabili. Pozneje so topove prepeljali na Ptujski grad.
Na dvorišču je stal 72 metrov globok vodnjak, ki sta ga po legendi izkopala dva hudodelca oz. ujeta Turka in si tako rešila življenje. Vodo so črpali iz vodnjaka s pomočjo kolesa na stopala - edinega pri nas znanega primerka te vrste in prava redkost tudi v širšem evropskem prostoru. Z zunanjega dvorišča so držale v notranji grad v 19. stoletju postavljene kamnitne stopnice, ki so pripeljale do kamnitnega, rusticiranega renesančnega vhoda. Izpostavljeni stolp na bližnji vzpetini, ki ga vidimo na Vischerjevi upodobitvi in ki je sprva imel funkcijo prednje utrdbe, ni več ohranjen. V gradu je bila bogata zbirska starega pohištva, orožja, mučilnega orodja, umetnin in drobne opreme. Del te opreme se sedaj nahaja na Ptujskem gradu.

V okolici gradu so pred kratkim odkrili energetske točke, sedaj je postavljenih že 31, ki jih obiskuje veliko ljudi za namene zdravljenja. Ustno izročilo pravi, da je med vladavino Herbersteinov grajski zdravnik bolnike obolele na pljučih vsak dan poslal na sprehod po gozdu, ki zarašča grajsko vzpetino. Sprehajati so se morali po določenih poteh, speljanih med drevesi in počivati na odrejenih mestih.