Žusemski grad se prvič posredno omenja leta 1203 v daritveni listini viteza, krškega ministeriala Poppo de Suzzenheima, izrecno kot grad pa leta 1364 kot vest Suzzenhaim. Tega leta so Celjski grofje grad podedovali od brata Heinzela in Albrehta. Leta 1404 preide utrdba nazaj v roke Hansu Žusemskemu in njegovemu ujcu Andreju. 1437 je moral Andrej zastaviti svojo hišo Celjanom. 1480 prevzame oskrbništvo nad žusemskim gradom Hansov stric Bernard Lichtenberger. Do leta 1871 so se menjavali različni lastniki, zadnji med njimi je bil L. Fieglmuller, ki je grad prej omenjenega leta prepustil uničenju, da mu zanj ne bi bilo treba plačevati davka.
Znani so še podatki: 1550 je cesar Ferdinand dovolil Francu pl. Altenhansu, da uporabi za stavbna dela na gradu 400 fl. in ta znesek prišteje k zastavni vsoti. 1579 je Danijel Kupič, celjski mestni pisar in član komisije, ki je popisovala in ocenjevala deželnoknežje gradove in posesti, natanko opisal tudi Žusem. Tu med drugim omenja, da je imela kapela križni obok iz klesanega kamna Spigulj imenovanega. 1635 so grad oplenili in razdejali uporani kmetje, 1695 pa je pogorel. Stavbni mojster J. Satler iz Celja je takrat ocenil škodo na 2188 fl.

Kot večina naših gradov, ki so se ohranili v novi vek, je tudi Žusem v podobi, kakršno je imel ob koncu 19. stoletja, rezultat številnih prezidrav in dozidav. Ob močno razčlenjeno grajsko jedro, ki je že malone povsem razsuto, se je na zahodni strani prislanjal trinadstropni, šesteroosni stanovanjski trakt, katerega prednja vgala sta bila okrepljena z mogočnima okroglima stolpoma. Pritličje, ki je bilo znotraj obokano in je rabilo za klet, je bilo utrjeno z renesančnimi strelnimi nišami s ključastimi, iz enega kosa kamna izklesanimi strelnicami. Trikotna čela nad okni v tretjem nadstropju so imela že povsem zrel poznorenesančen značaj; kamnitni okenski profili so še ohranjeni. Na vzhodni strani gradu je bila grajska kapela, katere stolpič je viden na starih upodobitvah. Sodeč po Kupičevem opisu iz 1579, je bila njena arhitektura gotska. V eni izmed razvaljenih sten v grajskem jedru razločno izstopa pozneje obzidani vogal prvotnega romanskega gradu; opredeljujejo ga klesani ogelniki, ki uravnavajo precej pravilno zidavo. Po ohranjenih sledovih in starih upodobitvah sodeč se zdi, da je imel prvotni grad podobo mogočne utrjene stolpaste hiše. Do gradu je držala obzidana pot, zavarovana z zunanjim in notranjim vhodnim stolpičem.
(Citirano)

Grad ni težko dostopen, spet do nekaterih delov ruševin pa se ni lahko prebiti. Hoja po gradu je lahko nevarna, saj so zasute stene ponekod precej visoke, za njimi pa ponavadi sledi prepad.