В 1794 году еще до строительства дома аббат Шарль Доминик Николь организовал здесь собственный пансион для мальчиков, в котором обучались дети высшей аристократии.
Некоторые воспитанники пансионата: Михаил Орлов, Василий Давыдов, Сергей Волконский, Александр Бенкендорф, Лев Нарышкин.
«В саду, принадлежавшем пансиону, были липы, посаженные каким-то голландцем ещё при Петре Великом. Последний любил, как нам рассказывали, приезжать сюда по вечерам и пить пунш под деревьями. Пансионский дом снаружи был в два этажа, каждый из воспитанников имел свою комнату и на ночь нас запирали на ключ. Число воспитанников редко превышало 33. Аббат Николь сдал свой пансион в 1806 году двум братьям, аббатам Macquard; при них, как говорят, пансион начал упадать».
—
А. В. Кочубей, воспитанник пансиона.