Dans la précipitation du départ, le marquis avait dû laisser à Richelieu sa jeune femme, Marguerite Guiot des Charmeaux, qui était enceinte. Seule dans ce château où elle n’avait plus les bons soins de sa belle-mère, Mme de Richelieu, morte avant elle, la marquise de Richelieu, en proie à toutes les appréhensions de son état et à toutes les douleurs de la séparation, accoucha le 14 octobre 1618, d’un fils qui fut baptisé par le curé de Braye. Mais elle mourut le lendemain, 15 octobre.
Cette triste nouvelle fut un coup terrible pour les exilés. On se retourna encore vers la cour. L’évêque demande grâce, sinon pour lui, du moins pour ses frères ; le marquis sollicite l’autorisation de se rendre à Paris et, de là, en Touraine. « Pour comble de malheur, Dieu a voulu prendre ma femme et me laisser un fils privé par sa mort et mon éloignement de toute sorte de secours. » L’autorisation qu’il sollicitait lui fut accordée, ainsi qu’à son beau-frère, Pontcourlay. Mais, avant de partir, il devait apprendre encore la perte de son jeune fils, mort sept semaines après la mère, le 15 décembre 1618.
Ces coups répétés, la solitude absolue qui suivit le départ de ses frères, précipitèrent l’évêque au dernier degré de la tristesse. Tandis qu’il fait encore bonne figure en public, seul avec lui-même, il désespère. L’idée de la mort l’obsède. Le 8 février 1619, comme s’il sentait sa fin prochaine, il écrit son testament, sous la forme d’une lettre aux membres du chapitre de Luçon : « Messieurs, nul ne sachant quel doit être le cours de la vie, et ne pouvant prévoir, en mon particulier, comme il plaira à Dieu disposer de moi, le désir que j’ai de ne pas quitter ce monde sans vous laisser des témoignages de mon affection me fait dresser ce peu de lignes pour vous être mises es mains, en cas que je sois privé du bonheur de me trouver moi-même parmi vous devant que de passer de cette vie dans une autre meilleure. » Suivent alors les dispositions les plus précises. Il laisse son corps à son église de Luçon, désigne le lieu de sa sépulture, immédiatement au-dessus du pupitre des chantres, « désirant que le plus haut du chœur, comme plus honorable, soit conservé pour mes successeurs. » Il laisse à l’église son argenterie, ses ornemens, ses trois tentes de tapisserie de Flandre, et, regrettant de ne pouvoir faire davantage, il ajoute : « Le premier bien que je vous souhaite est de vivre tous avec le plus de connoissance qu’il vous sera possible de votre condition, vous remettant sous les yeux que le monde n’est que tromperie et
