Dit voormalig klooster tegenover de kerk is van een Elshoutse Stichting. In 1858 is de broedercongregatie opgericht. Het doel was leiding geven aan het jongens-patronaat, en verzorgen van zieken en bejaarden.
In 1936 kwam er de nazorg van het psychiatrisch ziekenhuis uit Vught.
Eind september 1944, waren er 49 Engelse en Amerikaanse soldaten op de zolders gehuisvest, terwijl beneden de Duiters verbleven.
In 1950 zijn de broeders vertrokken, en kwam er een tijdelijke opvang van Indische Nederlanders. In 1970 kwamen er Turkse werknemers van Lips.
In 1974 is het gebouw gesloopt.