V začetku 16. stoletja se je graščina imenovala Prušnikov dvor - Pruschnigghof, od okoli leta 1540 dalje pa po novem lastniku Luki Gamsu, ki jo je bil takrat s cesarskim dovoljenjem obnovil ter obdal z obzidjem in stolpi, Gamsenegg. V 2. polovici 16. stoletja so ga dobili v roke Javorniki - Jaborneggi, ki so bili na začetku 16. stoletja guštanjski tržani, a so leta 1667 postali baroni. Jaborneggi so posedovali grajsko stavbo tako za časa Valvasorja pa tudi še po letu 1715. Pozneje je bila graščina v rokah Wayersbergov in Gačnikov - Schlangenburgov. Ob koncu 19. stoletja je bil njen lastnik Franc Ksaverij Schmied, od leta 1910 do smrti leta 1946 pa je bila v rokah protestanta, Šlezijca Ernesta Ossiandra. Nato je bila last splošnega ljudskega premoženja, sedaj je v privatni lasti.
Železarne Ravne je v šestdesetih letih 20. stoletja pričela s posegi za njegovo ohranitev, vendar je bila obnova žal prekinjena, kasneje so še obnovili stolpič. Posest, ki je bila leta 1996 razglašena za kulturni spomenik je trenutno naprodaj.