Il se plut d’abord à cet isolement superbe. C’était une attitude. Il y trouvait une analogie avec la situation de son grand ami, de son conseiller, Sieyès. Bientôt il en aperçut le danger. À le voir travailler contre eux sans travailler pour ses amis, ses adversaires se demandèrent pour qui il travaillait. Ils répandirent le bruit (avril 1797) qu’il était l’agent des Orléanistes ; qu’une conspiration avait été découverte où il jouait un grand rôle ; que Sieyès lui avait envoyé deux cent mille francs et qu’il les avait distribués à Tours. Simple manœuvre, qui le troubla jusqu’à la terreur. Il écrivait à son fils : « Je veux causer un moment avec toi pour que tu saches au moins que nous existons encore et que nous sommes en bonne santé. Mais nous sommes reclus dans nos murs, ne communiquant presque avec personne. Une terreur, semblable à celle qui suivit l’horrible 31 mai, règne à présent à Tours et pèse principalement sur les plus estimables citoyens. La domination y est entre les mains des plus vils et des plus féroces des hommes. J’y ai des affaires et je n’ose y aller. Paulin va, dans huit ou dix jours, y jouer une petite comédie à sa pension et avoir sa part à la distribution des prix, et ta maman pense qu’il serait imprudent que nous nous y montrassions elle ou moi, crainte d’y être insultés et assassinés. Voilà l’état des choses, auquel il est inutile d’ajouter aucune réflexion. »
Ce découragement grandit encore au cours du voyage en Bretagne et à l’approche des élections de 1798. « Depuis plusieurs jours, écrivait-il de Tréguier (mars 1798), nous n’entendons parler que d’Assemblées primaires, et c’est un entretien
