På toppen af en morænebakke, der hæver sig markant op over marsken – lige overfor den nuværende Brink Møllegård – lå i middelalderen en stor borg, som tilhørte biskoppen i Ribe.
Der findes i dag ikke noget tilbage af middelalderens statelige anlæg, udover teglstensbrokker i jorden, som kommer frem når der pløjes.
Borgen har været en meget flot og statelig bygning, fornemt udsmykket med bla. bemalet vinduesglas, og omgivet af en voldgrav.Borgen forsvandt, da den 1562 blev nedrevet.
Fra Ribe-bispens borg Brink ved Ballum i Sønderjylland er bevaret det eneste kendte regnskab fra en 1300-tals gård.
Regnskabet er fra 1388-1389, og man får her igennem et tydeligt indblik i livet på borgen, hvor fogeden Kristian Jakobsen og hans familie residerede.
Men der har givetvis været ganske mange til at holde borgen i fuld funktion. Omkring 40 – 50 personer menes der.