Van oorsprong huisvestte het leprozenhuis leprapatiënten. Aangezien de besmettelijke ziekte in de 17de eeuw nauwelijks nog voorkwam, werden er vanaf dat moment ook mensen met andere aandoeningen verzorgd. Drie regentessen voerden het huishoudelijk beheer: van het toezicht op de bedienden tot de inkoop van goederen. Bol schilderde hen aan een tafel tegen een lege achterwand. Hun identiteit wordt onthuld door de familiewapens op de schouw onder het doek.