oorspronkelijke bouw in 1230 - naam Kasteel Steenenburg.

Sinds 1707 was het kasteel in het bezit van de grafelijke familie d 'Oultremont.

Daarvoor was het kasteel in het bezit van andere adellijke families zoals: v.Haestrecht, v.Wassenaar, v.Beieren, en van Warfuze.

Maria Isabella Warfuze huwde in 1707 Francois d 'Oultremont en kreeg het kasteel zijn Franse naam.

In het voorjaar van 1795 brandde het kasteel, dat door de Fransen gebruikt werd als hospitaal, tot de grond toe af.

Het huidige kasteel is feitelijk het poortgebouw dat in 1875-1876 door de architect H.Tulder werd verbouwd.

De laatste adellijke bewoner graaf Roland d'Oultremont verkocht in 1984 het kasteel en een groot deel van het landgoed.

In 1989 werd hier attractiepark Land van Ooit geopend en werd het kasteel roze geverfd- (Inmiddels opgeheven)

(ansicht ca. 1960)