Refsnæs tilhørte i mere end 200 år slægten Seefeld.
Refsnæs var en af de første herregårde, der blev solgt til borgerlige.
Den nuværende hovedbygning blev opført i 1791.
Hovedbygning
Ifølge Pontoppidans Danske Atlas blev den tidligere hovedbygning opført af Hans Fædder i midten af 1700-tallet. Kernen i den nuværende hovedbygning blev opført godt halvtreds år senere af Fædders søn. Han lod i 1791 opføre den nuværende hovedfløj, der er i én etage.
Østfløjen, der er af bindingsværk og delvis i to etager, blev opført i 1840'erne, mens den enkle vestfløj blev opført i 1899.
Fredningsstatus 2013: Hovedfløjen og østfløjen er fredet.
Andre bygninger
Syd for hovedbygningen lå tidligere et imponerende firelænget avlsanlæg, der lukkede sig om en rektangulær gårdsplads. I 2013 er den vestlige længe, der blev opført i 1891-1892 i kampesten, revet ned, ligesom de bindingsværks fløje, der lukkede gårdspladsen mod nord er fjernet.
Tilbage står en bindingsværk stald mod øst, såvel som anlæggets mest fremtrædende element: En meget lang bindingsværkslade opført i 1612. Laden er så stor, at der er plads til at køre vognlæs ind i bygningen til af- og pålæsning. Bindingsværksladen skal efter sigende være opført af Christoffer Seefelds hustru i 1612, hvor manden deltog i Kalmarkrigen (1611-1613), mens de øvrige længer blev opført af Viffert Seefeld, der døde i 1662.
Flere nyere længer føjer sig til anlægget vest for gårdspladsen og hovedbygningen.
Fredningsstatus 2013: Laden fra 1612 er fredet.
Ejerhistorie
Refsnæs' historie kan føres tilbage til første del af 1300-tallet. I 1337 tilhørte gården en Niels Pedersen, men omkring 1400 tilhørte den Jep Mogensen Seefeld, hvis efterkommere ejede gården i næsten tohundrede år.
I lange perioder var ejerforholdene ganske komplicerede, da ejerskabet i flere omgange var delt mellem en lang række ejere. Eksempelvis blev Refsnæs efter 1612 ejet af Christoffer Seefelds fire børn Enevold, Viffert, Jørgen og Marine Seefeld. Enevold Seefeld solgte sin del til sin bror Viffert Seefeld i 1627. Jørgen Seefeld, der var medlem af rigsrådet, døde i 1662 - samme år som Viffert Seefeld. Deres søster Marine Seefeld var ugift, og da hun døde i 1678, var godset forgældet.
Kreditorerne solgte derfor Refsnæs til købmanden Christoffer de Hemmer fra Aalborg. Dermed blev Refsnæs en af de første herregårde, der efter enevældens indførelse blev solgt til en dansk handelsmand. I 1730 gled Refsnæs imidlertid ud af slægtens eje, da kreditorer i 1730 gjorde udlæg i boet efter Christoffer de Hemmers barnebarn.
Den nye ejer blev Friederich von Arenstorff, der købte gården på auktion. Hans ejertid blev præget af økonomiske problemer. Dels havde han vanskeligt ved at betale købssummen, og hans kreditorer gjorde derfor udlæg i Refsnæs, dels viser regnskaber fra perioden, at der var et underskud på driften.
Arenstorff formåede dog at holde fast på Refsnæs frem til sin død i 1739. I 1742 solgte hans sønner Refsnæs til Hans Fædder, der tidligere havde været forpagter på flere større gårde. Han stammede fra en aarhusiansk købmandslægt, men slægten stammede oprindeligt fra Skotland. Fædders ældste søn, Jens Jørgen Fædder, overtog gården i 1765. Fædder, der blev adlet i 1785, var gift med en datter af ejeren fra herregården Constantinsborg. Ægteparrets søn overtog stamhuset Constantinsborg, og Refsnæs gled efter Fædders død i 1798 ud af slægtens eje.
Efter Fædders død skiftede Refsnæs i første halvdel af 1800-tallet jævnligt ejere. I 1853 blev gården imidlertid købt af Rolf Krake Westenholz, hvis efterkommere stadig ejer gården. I 2013 var Refsnæs således ejet af Karin Elisabeth Uebing gift Westenholz og Louise Kristina Westenholz.
Ejerrække
Kulturmiljø
På Refsnæs mark findes der en speciel stensætning bestående af to parallelle stenrækker. Stensætningen er ca. 86 meter lang og består af i alt 100 sten. Det har ikke været muligt at datere stensætningen.
I den store have er flere lindealléer bevaret.
Litteratur
Petersen, Steen Estvad: Danske herregårde. Bygninger - haver - landskaber. København 1980.
Roussell, Aage (red.): Danske Slotte og Herregårde. København 1963-1968.
Trap, J.P.: Danmark. København 1953-1972.