Noe sikkert om hvem som eide Skjelbred, vet vi ikke før fram på 1600-tallet. Men navnet Herre-Skjelbred viser at gården i gammel tid har tilhørt adelsmenn (herrer) og derfor vært frigård, dvs. hatt skattefrihet.
Ifølge en gammel tradisjon i bygda skal Skjelbred ha tilhørt den navnkundige ''grev (jarl) Alv Erlingsson'', også kalt «Mindre-Alv», som også skal ha bodd der (d. 1290). Dette kan i dag ikke bevises, av mangel på kilder, men visse forhold tyder på at det kan være riktig. Nærmere om dette, se Kulturbindet, s. 502 og flg., hvor også tradisjoner og folkevisene om Mindre-Alv behandles. Sagnet forteller også at grev Alv skal ha bygd det store loftet som sto på gården til for ca. 200 år siden; om denne bygningen, se Kulturbindet, s. 394 og flg. Her skal bare tilføyes at iflg. Hans Larsen på bnr. 19 er det merker etter hus på delet mellom bnr. 19 og bnr. 18, og gamle folk skal ha fortalt at dette var tuftene etter «grevehusene».
Da ''Erling Vidkunnsson '' ble valgt til norsk drottsete (riksforstander) i 1323, altså kort etter Alvs tid, var blant andre stormenn tilstede ''Anund Borgarsson'', som skrev seg «til Skjelbred»; antagelig er det Skjelbred i Høyjord som menes. Det er en mulighet for at Anund kan være en slektning til Alv Erlingsson. Tradisjonen om at grev Alv skal ha eid Herre-Skjelbred, synes å styrkes av følgende forhold: Alvs ættegard var Tornberg (Tanberg) på Ringerike. Den store jordegodseier Bo Flemming til Nesøya (en tid også befalingsmann på Tunsberghus) ser ut til å ha eid en del av Tornberg-ættens gods, og Rosenkrantz'ene, som senere eide Skjelbred, arvet jordegods etter Bo Flemming.
Ca. 1620 eies Herre-Skjelbred av ''slekten Rosenkrantz '' (om denne, se L. Berg, «Andebu», s. 304-05), som det er grunn til å tro også hadde eid gården på 1500-tallet. I Jakob Rosenkrantz' barns jordebok fra 1625 finnes følgende fortegnelse over «Skjelbred-godset» (hovedbølet med underbruk):
De to sistnevnte gårder lå langt borte og hadde nok ikke arbeidsplikt på hovedgården. Av de andre var de nærmeste og minste i denne tid ikke for stort annet enn husmannsplasser å regne. Brukerne på de større gårder og på dem som lå lenger vekk, hadde en noe selvstendigere stilling; enten var de «ukedagsbønder», som bare delvis ordnet bygselen ved arbeid på hovedgården, eller de betalte helt ut med varer eller penger.
Enda i 1628 sees Herre-Skjelbred å være i Rosenkrantz'enes eie. Men et par år etter skal arvingene etter ''Jakob Rosenkrantz '' ha skiftet sitt norske jordegods mellom seg, og straks etter skal det meste av det være solgt. Den neste eier av Skjelbred som vi hører om, er ''Morten Lauritssøn '' på Skaugum i Asker, sorenskriver i Asker og Bærum. Når han kjøpte gården og av hvem, vet vi ikke, men antagelig er det av Jakob Rosenkrantz' arvinger. Morten Lauritssøn selger Skjelbred med underbruk i 1647 for 800 rdl. til eieren av Fossnes i Arnadal,''Preben von Ahnen '' 1647- ca. 1661. Om denne store jordegodseier, se ellers L. Berg, «Andebu», s. 311—16. I Rosenkrantz'enes jordebok fra 1625 utgjorde Skjelbred-godset i alt ca. 16 bpd. smør og 12 daler i fosseavgift, og da Preben von Ahnen kjøpte det, var det bare på 9 ½ bpd. smør og 4 dalers fosseavgift. Men von Ahnen økte raskt sitt gods meget betydelig, slik at Skjelbred-godset i hans jordebok fra 1649, omregnet til smørskyld, var kommet opp i bortimot 40 bpd. smør (en fullgård, f.eks. Nedre Skjelland eller Østre Hasås, var på 6 bpd. smør). I tillegg til en stor del av det Rosenkrantz'ene i sin tid hadde eid, hadde han nå i Andebu ervervet Store (Østre) Høyjord, Store-Dal, Hynne og i Andebu sogn Bjuerød, Askjem, Østre Flåtten, Våle, Halum og Møyland. Dessuten Fossnes i Arnadal, hvor han bodde, og 25—30 bruk i Stokke, Ramnes, Lardal, Våle, Botne, Sande og Sandsvær; men disse siste var naturligvis strøgods, som ikke sto i noen naturlig forbindelse med Skjelbred hovedgård. I hele Vestfold eide han 90—100 gårder med en samlet skyld av ca. 280 bpd. smør, dessuten hadde han betydelige eiendommer i andre landsdeler.
Preben von Ahnen kom imidlertid, som så mange adelsmenn på denne tid, snart i alvorlige økonomiske vanskeligheter. Noen av de gårdene som i 1649 hadde stått oppført under Skjelbred-godset, solgte han: Østre Flåtten og Østre Høyjord til Ida Lange, Møyland til oppsitteren, Bjuerød og Askjem først på 1660-tallet til sogneprest Jens Skabo. Av de andre gårdene måtte han etter hvert til borgermester Anders Madsen i Tønsberg pantsette Store-Dal, Lille-Dal, Hynne, Einarsrød, Halum og Våle.
Skjelbred-godset er altså nå gått over til ''Anders Madsen '' som pantegods, og det framgår at selve hovedgården er bortforpaktet til bønder. I manntallslisten for 1664 oppgis forpaktningsavgiften til 31 daler. Hverken Skjelbred eller de andre gårder som var pantsatt til Anders Madsen, ble innløst igjen, men ble dennes faste eiendom. Mange av dem tilhørte Madsens arvinger og etterkommere et godt stykke ut på 1700-tallet. Fra ca. 1661 kan vi da regne med at Herre-Skjelbred med underbruk er gått over fra adelsmannen von Ahnen til byborgeren Anders Madsen, et bevis på at borgerskapet nå for alvor begynner å få overtaket over adelen.
Anders Madsen, denne legendariske sønderjyde, borgermester i Tønsberg, et forretningsgeni av uvanlig støpning, som ved sin jernvilje, sin arbeidsomhet og pågåenhet arbeidet seg opp til å bli en av landets rikeste menn, eide nå Herre-Skjelbred til sin død i 1670.
Anders Madsens enke, ''Karen Olufsdatter '' (Stranger), som levde helt til 1698, skulle sitte i uskiftet bo, men noe av jordegodset ble solgt, og i 1680-åra ble en hel del skiftet ut til barna. Slekten ble nå også godkjent som adelig, med navnet (de) Tonsberg.
Den ene halvparten av Herre-Skjelbred gikk til sønnen ''stiftamtmann Mathias de Tonsberg'', hvis enke Anna Catharina Mecklenburg i 1732 solgte bruket til bygselmannen ''Peder Larsen '' (se Bruk 1). Den annen halvpart gikk til Madsens datter ''Kirsten Tonsberg'', g. m. viselagmann, assessor Nils Toller. Denne part ble i 1731 av major Georg Frederik von Krogh i Trondheim (svigersønn til en datterdatter av Kirsten og Nils Toller) solgt til bygselmannen ''Nils Åsmundsen '' (se Bruk 2), Senere har Skjelbreds brukere stort sett vært selveiere. Se videre under Brukere.
==Brukere==