Območje današnje Ajdovščine, ki je bilo poseljeno že v prazgodovinskem obdobju, je velik pomen dobilo v obdobju Rimskega cesarstva (Castrum Ad Fluvidum Frigidum), ko je bila skozi Vipavsko dolino zgrajena pomembna cestna povezava od severnega Jadrana in Akvileje proti vzhodu. Ajdovščino so poimenovali Slovani po Ajdih. V srednjeveških pisnih virih ni omenjena. Morda so Ajdovščino začeli obnavljati že nekaj pred koncem 15. stoletja, okoli leta 1480 kjer so se oprli na poznoantična obzidja. Leta 1500 je Vipavska dolina prešla v habsburško posest in to je pomenilo novo priložnost za Ajdovščino, ki pa je vse do 19. stoletja ohranila status in značaj vaške naseldbine ob grajski stavbi, ki je bila sedež gospostva. V listini iz leta 1506 se Ajdovščina omenja kot gradišče - burgstal genant die Haidenschaft. Po letu 1500 je bilo antično obzidje najbrž dokončno obnovljeno. Leta 1507 sta Mihael in Febo pl. Thurna svoje fevde na območju Ajdovščine prepustila Henriku Ellacherju, ki jima je v zameno prepustil svoje posesti v okolici Štanjela. Ellacherji so bili goriška plemiška družina. Še preden so dobili v fevd Ajdovščino, so posedovali kmetijo in dvor Trnje (Dornach), poznejšo ajdovsko pristavo.
Dvorec v Ajdovščini so verjetno zgradili neposredno po podelitvi Ajdovščine v fevd rodovini Ellacher leta 1500, najbrž hkrati z obnovo antičnega obzidja. Nastal je na lokaciji domnevnih vzhodnih vrat v antično oporišče Castra v bližini nekdanje antične osrednje tržne površine, ki je bila po letu 1500 ponovno revitalizirana. Leta 1656 je dvorec z vaško naseldbino od rodovine Ellacher kupil baron Ludvik Edling. Pod Edlingi se je Ajdovščina začela hitreje razvijati. Leta 1664 so skupaj z rodovino Lanthieri zgradili kamniti most čez reko Hubelj, ki je ločevala njune posesti ter deželi Kranjsko in Goriško. Albert grof Edling (1717-1796) je dal most leta 1775 temeljito obnoviti, tako da se je ohranil vse do leta 1957. Pod rodovino Edling je bil dvorec v Ajdovščini močno prezidan in povečan. Po revolucionarnem letu 1848 so Edlingi v ajdovščini izgubili večino dohodkov od svojih zemljišč. Leta 1854 je umrl Karel Edling, zadnji moški potomec te rodovine, in naslednje leto je njegova sestra, poročena Locatelli, prodala posest z dvorcem židovski goriški trgovski družini Bolaffio. Že leta 1854 so v dvorcu nastanili takrat ustanovljeni okrajni urad in po odpravi tega leta 1868 okrajno sodišče z zapori. Za potrebe zaporov so sicer že po letu 1835 preuredili pritličje južnega dela osrednjega trakta. V južnem delu obzidanega vrta za dvorcem so zgradili manjši obor za sprehajališče zapornikov. Južni stranski trakt dvorca, ki najbrž nikoli ni bil dokončan po enotnem baročnem konceptu in ki je bil že v začetku 19. stoletja razdeljen na več stavbnih delov, pa je v drugi polovici 19. stoletja prešel v last družine Casagrande. Zaradi italijanske okupacije Ajdovščine po prvi sv. vojni se je Angelo Casagrande z družino odselil, svojo posest pa prodal trgovcu Antonu Križaju za 160.000 kron. Križaj je po letu 1936 od družine Bolaffio odkupil še velik del dvorca za 100.000 kron. Del stavb v kompleksu dvorca pa je nato do druge sv. vojne hitro zamenjal še več lastnikov. Del dvorca je ostal v lasti družine Bolaffio do nacionalizacije.
Med drugo sv. vojno so partizani osrednji in severni del reprezentančnega krila dvorca zažgali. Takrat je bil menda uničen tudi dragoceni arhiv. Točen datum požiga ni znan. Takoj po vojni so osrednji in levi del glavne fasade požganega osrednjega krila podrli. Le južni del osrednjega krila so obnovili. Tu so bili še naprej zapori, prostore v nadstropju pa je po pripovedovanju domačinov uporabljala jugoslovanska varnostno obveščevalna služba (OZNA). Sin lastnika dvorca, Antona Križaja, arhitekt Svetozar Križaj (1921 - 1996), je menda po vojni načrtoval ponovno pozidavo podrtega dela osrednjega krila dvorca, a takšni načrti so bili v takratnih okoliščinah povsem utopični. Zavarovati je bilo mogoče le del antičnega obzidja oporišča Castra, ki je ostalo na lokaciji podrtega dela dvorca. Del kamnoseško obdelanih arhitekturnih elemntov iz podrtih zidov, zlasti dele okenskih okvirov in portalov so prenesli na obzidani južni del vrta in tam so deloma ohranjeni še danes. Del opreme reprezentančnih notranjih prostorov dvorca pa je menda še ohranjen v zasebni lasti v eni izmed hiš južno od nekdanjega dvorca. V šestdestih letih 20. stoletja so zid z mogočnim rustikalnim portonom vred podrli in tako na račun grajskega dvorišča povečali prostornino osrednjega trga. Hkrati so podrli tudi vrtno fasado med vojno razdeljenega krila dvorca. Ostal je samo del zidu, ki je bil še antičnega izvora.
Med letoma 1968 in 1969 so na lokaciji osrednjega dela podrtega baročnega dvorca zgradili poslopje trgovske hiše Nanos, en trakt je nastal na lokaciji porušenega dela dvorca, drugi trakt pa je zavzel južni del dvorišča. Tako je bil ambient baročnega grajskega dvorišča dokončno uničen, ostanki dvorca pa so zaradi nove pozidave izgubili svojo vlogo v prostoru. Pred gradnjo trgovske hiše so arheologi na dvorišču dvorca odkopali ostanke domnevno nadstropne antične atrijske hiše s stebriščnim dvoriščem, ki je bila 10m oddaljena od vzhodnega obzidja antične naselbine. Leta 1961 so obnovili visoki v osnovi antični stolp ob obzidnem vrtu dvorca, do leta 1963 pa še dva na antično obzidje prislonjena arkadna loka, ki sta sodila k ureditvi baročnega grajskega vrta. Hkrati so obnovili tudi stopnišče iz grajskega vrta na ploščad nad arkadnimi loki. Leta 1967 so dokončali še obnovo ostankov antičnega stolpa, ki je stal na stiku med osrednjim in severnim krilom dvorca in je bil vključen v vrtni ambient. Po načrtih Toneta Bitenca so obnovili obzidje grajskega vrta in sem prestavili tudi nekaj kvalitetnih starih nagrobnih spomenikov z ajdovskega pokopališča. Ohranjene stavbne trakte dvorca pa so po izgradnji trgovske hiše, ki je razvrednotila historični ambient, čedalje pogosteje utilitarno predelovali. Leta 1976 je spomeniška služba preprečila, da bi na severni fasadi severnega trakta prebili nove okenske odprtine. Notranjščino tega trakta pa so predelali že pred tem. V sedemdesetih letih so predelali večji del odprtin v pritličju južne fasade severnega trakta, leta 1994 pa je tu nastal še gostinski vrt, ki je v veliki meri zakril pogled na baročno fasado. Maja 2006 so podrli del visokega kamnitega baročnega zidu vrta za dvorcem.

Z izgubo dvorca je osrednji ajdovski trg izgubil svoj logični zaključek in v vseh pogledih najpomembnejši objekt; v duhu tedanjega časa ga je andomestila veleblagovnica.