Cette même année 1772, sa fille s’était mariée. Elle entrait dans une vieille et solide famille langroise, amie des Diderot, les Caroillon. L’un des quatre fils Caroillon, celui qui s’appelait Caroillon de la Charmotte, était déjà le filleul de Diderot. Caroillon de Vandeul devenait son gendre. Dans sa vie débordée, le philosophe avait consacré bien des heures à sa fille, assistant aux leçons, l’accompagnant en promenade, la nourrissant de son esprit. Pendant qu’il l’éduquait ainsi, il hésitait à s’éloigner d’elle, si longtemps. Mais elle s’était envolée du nid. C’était encore un lien qui venait de se rompre, parmi ceux qui l’avaient jusqu’alors retenu.
En mai 1773, il part donc pour La Haye. De là, il supplie encore son amie de ne point lui tenir rigueur. Elle-même n’a-t-elle pas été obligée, pendant de longues années, de partir pour Isle ? « Accordez à des circonstances importantes ce que vous accordiez à la nécessité d’accompagner une mère chérie dans une terre qui faisait ses délices. » Le prince de Nariskin l’emmène dans sa voiture à Pétersbourg.
