Dvorec se v srednjeveških virih ne omenja izrecno kot grad (castrum ali veste). Prva omemba se pojavi leta 1350 kot turn ze Pilichgraetz, sledijo pa hof cze Pilichgracz gelegen cze dem langen aker (1359), turen ze Pilchgretz... mitsampt dem purchperg (1367), hoff vnder dem haws ze Pilichgraetz (1412), vnder der vesten Pilichgraecz (1436), hauss Pilichgräz (1453), ecclesia... virginis Marie sub castro Pilimgrez (1457) in gslos Pillichgretz (pogojno dvorec, 1458). Leta 1330 se sicer omenja Kamen pri Polhovem Gradcu - ze pawen den Stayn ze Pilichgratz, vendar ne moremo z zagotovostjo trditi, da je s to omembo mišljen predhodnik dvora.
Leta 1515, ko je bil lastnik gospoščine Polhov Gradec Gašper pl. Lambergar (ta jo je leta 1504 prejel od Andreja pl. Gall), bil Polhov Gradec eno izmed pomembnih prizorišč velikega slovenskega kmečkega upora. Valvasor priča, da so takrat puntarji dvorec na silo zavzeli, ga oropali in povsem razdejali. Pozneje, leta 1588, ga je nadvojvoda Karel prodal Juriju grofu Khislu s Fužin. Med leti 1618 - 1642 so bili njegovi lastniki baroni Mosconi, sledili sta jim rodovini Edling in Troppenau. Leta 1658 je postal lastnik dvorca Marko Anton Kunstl pl. Baumgarten, kasneje baron Billichgrätz, ki je zaslužen za današnjo podobo dvorca. Njegova rodbina je ostala lastnik posestva do 1. polovice 19. stoletja, ko je to prešlo v posest druge stare kranjske plemiške rodovine, rodovine Ursini-Blagaj. Blagaj se je namreč leta 1808 poročil s sedemnajstletno baronico Antonijo Billichgrätz-Polhograjsko, solastnico dvorca, in se preselil sem. Tu je petdeset let upravljal posestvo, pričel je kot eden prvih županov ljubljanjskega okraja dosledno poslovati in dopisovati slovensko. Leta 1875 je kupila posestvo Luiza Urbančič iz Preddvora, njegova zadnja lastnica pa je bila Ana Delago, pranečakinja pesnice Josipine Turnograjske. Med leti 1943 - 1945 je bila v dvorcu domobranska postojanka, po končani vojni pa so ga nacionalizirali in razgrabili inventar. Pozneje so v njem uredili najprej partijsko, potlej osnovno šolo, ki je tu domovala do leta 1969. Grajsko stavbo, ki je kmalu zatem pričela propadati, je Ljubljanjski regionalni zavod za varstvo spomenikov med leti 1990 - 1994 obnovil. Danes se v dvorcu nahaja Tehniški muzej Slovenije - Muzej Pošte in Telekomunikacij.