Starejša literatura postavlja nastanek dvora v čas visokega srednjega veka, ko se omenjajo gospodje Jelški - Erlach (1146-1335). Na neposredno omembo Jelš naletimo v virih šele leta 1424 kot Erlach, v letih 1479 in 1490 pa se tu izrecno omenja dvor - Hoff, am Hof, okoli leta 1490 naletimo že tudi na slovensko obliko imena Jelsche - Jelše. Dvor je bil sprva celjski fevd, nato pa deželnoknežji. Leta 1635 so ga napadli in oplenili uporni kmetje. Leta 1666 ga je skupaj s tremi kmetijami dobil v zajem baron Žiga Gaisruck, ki ga je prezidal v dvorec in obenem precej povečal posest. Leta 1695 je ob Jelšah zgorela pristava, škodo pa so ocenili na 1040 florintov. Leta 1754 so k Jelšam sodili uradi Korpule, Jelše, Vojnik in Kostrivnica. Do leta 1799 so bile deželnoknežji fevd Gaisruckov, nato pa si sledili razni lastniki: 1799 Anton Nagy, 1837 R. Novak, 1845 Rudolf Gödel, pred 1865 in še 1884 baron Gödel-Lannoy, 1887 pl. Artens. Do leta 1870 je bil v stavbi sedež deželnega sodišča. Pred zadnjo vojno je bil dvorec v posesti družbe Jelšigrad, ki se je ukvarjala z lesno trgovino. Do potresa leta 1974 in še nekaj časa potem je bil v njem dom onemoglih. Sedaj na dvorcu z začetkom na pristavi, potekajo dolgo pričakovana obnovitvena dela.