L’acte d’accusation contre le ministère Villèle et son existence de quinze mois était complet. De Serre, en écoutant tout, en suivant de loin la marche des choses en France, ne se laissait pas emporter à des éclats d’opposition peu conformes à son caractère et à sa situation. Il éprouvait seulement l’impatience inquiète du combattant retenu loin de l’action ; il sentait pour lui-même ce qu’il disait au sujet du maréchal Davout qui venait de mourir : « Le repos tue ces hommes qui ont eu une activité extraordinaire. » Il ne s’était jamais considéré comme banni de la vie parlementaire par la dignité diplomatique qu’il avait acceptée ; il n’avait point renoncé à reparaître dans les chambres, et il y renonçait moins que jamais.
La parole avait été sa puissance, elle restait la garantie de son rôle public, de son avenir, de sa position personnelle. Au début de son ambassade, à la fin de 1822, il avait pris assez patiemment les difficultés de cens qui avaient empêché sa réélection ; il acceptait encore un éloignement qui pouvait paraître nécessaire, qui avait ses avantages. A mesure que le temps passait et que les circonstances semblaient s’aggraver, il retrouvait son ardeur. Tout réveillait en lui le désir de reprendre son rang. De Serre, après avoir été peu favorable à la guerre d’Espagne, ; n’était point insensible à la force morale, au prestige qu’une manifestation de puissance militaire donnait à la France de la restauration ; il craignait maintenant que le succès politique n’égalât pas le succès militaire, que les excès d’absolutisme au-delà des Pyrénées ne vinssent compromettre tous les fruits d’une action heureuse. D’un autre côté, il voyait dans la prépondérance croissante, irrésistible des « ultras » une menace incessante de troubles intérieurs, peut-être de révolutions nouvelles, un danger pour le pays et pour le gouvernement. Ce que Froc de La Boulaye lui disait, il se le disait lui-même ; il l’écrivait à Niebuhr partant en ce moment pour l’Allemagne : « Vous me faites un triste tableau de la situation dans laquelle vous comptez retrouver votre patrie. Hélas ! c’est absolument la situation de la mienne. Dans le flux et reflux des opinions et des passions, qui veut demeurer fidèle à la vérité et à sa propre raison finit par demeurer seul en butté à toutes les animadversions. L’idée qu’elles s’apprivoiseraient en mon absence, que je ne retrouverais à mon retour que le souvenir du peu de bien que j’ai fait ou voulu faire est une de celles qui ont déterminé mon expatriation. Cet état de malaise général est-il une préparation indispensable à des temps meilleurs ? Dieu le veuille ! j’aime à l’espérer… » Avec ce sentiment énergique et élevé des choses, De Serre n’avait plus hésité. Aux derniers mois de 1823, aux approches des élections nouvelles, il avait fait appel à ses amis de Metz ; il avait avoué sans détour l’intention de
