Het eerste kasteel Oud-Wulven is vermoedelijk rond 1200 of mogelijk eerder gebouwd langs de Oud Wulfseweg ter hoogte van nummer 10. Het kasteel was een mottekasteel op een kunstmatig opgeworpen heuvel. Dit kasteel is vervangen door een stenen kasteel en in 1635 vervangen door een landhuis op een 8 meter hoge heuvel. In 1949 en de jaren erna zijn de restanten van dit landhuis gesloopt.
Middeleeuwen
Het mottekasteel wordt in 1196 voor het eerst genoemd. Bij de sloop van het kasteel in de jaren na de Tweede Wereldoorlog zijn brandsporen van een houten bouwwerk gevonden. Hieruit blijkt dat dit mottekasteel door brand is vernietigd.
Tegelijkertijd werden in 1954 kloostermoppen gevonden van de toren van het tweede kasteel. Dit tweede kasteel is ergens rond 1250 gebouwd. Van dit tweede kasteel weten we vrijwel niets.
Het gebied werd in die tijd ontgonnen door de aanleg van de Oudwulfsewetering. Hierdoor kwam land beschikbaar. De familie van Wulven bouwden in die tijd verschillende kastelen in de omgeving en ook Oud Wulven hoorde daarbij. Zelf ging de familie van Wulven vanaf 1296 wonen in het nieuwe kasteel Wulven.
Oud Wulven had gedurende de Middeleeuwen een zelfstandige status als gerecht. Er ontwikkelde zich een buurtschap met boerderijen rondom het kasteel. Ook was er een versterkte boerderij Oudwulverbroek.
Nieuwe tijd
In 1634 wordt de ambtsheerlijkheid Oud Wulven en Waijen gekocht door Johan van Toll. Hij laat op een kunstmatige heuvel een nieuw landhuis bouwen. Dit is in 1640 gereed. Het landhuis is een woonhuis van twee etages met een toren en in de heuvel een soort kelder. Een bijzondere bewoner van het huis in die periode is Johan Rothé.
Een gedeelte van het kasteel heeft dienst gedaan als gevangenis. Tegelijkertijd wordt er een hofstede gebouwd dat tegenwoordig in een andere vorm nog bestaat. Deze hofstede heet Jeannette-Oord en staat op de Oud Wulfseweg 10. Het huis Oud Wulven had een oprijlaan en een koetshuis (Oud wulfseweg 12).
Autopionier
Rond 1900 woonde Charles François Testas in kasteel Oud-Wulven. Hij was een van de eerste autobezitters van Nederland. In 1939 was Oud Wulven vervallen. Er werd een restauratieplan opgesteld, maar vanwege de Tweede Wereldoorlog werd dit niet uitgevoerd. In 1947 werd dan toch met de restauratie begonnen. Door een storm in de nacht van 29 op 30 maart 1947 waaide de toren om en viel deze door de gewelven van het huis. Besloten werd om kasteel Oud Wulven te slopen.
In 1957 werden de laatste resten gesloopt. Tegenwoordig is in de gevel van het Houtens gemeentehuis een gerestaureerde poort van kasteel Oud Wulven te zien.