Rarement et avec plus de persistance ministre s’enfonça dans l’impopularité ! La session se termina le 31 juillet, après que le budget eut été voté le 21 juillet et que Manuel eut prononcé sur l’esclavage des noirs, sur les mesures auxquelles, pour éviter plus tard des résistances, il fallait recourir tout de suite de concert avec les colons, un discours pénétré de vues pratiques à la fois et généreuses, qui souleva contre lui la violente ardeur de la droite l’accusant d’exciter les noirs à la révolte.
Mais cette fin de session, lamentable pour ce cabinet chaque jour humilié, lui annonçait sa fin prochaine. Les ultras ne connaissaient plus de bornes à l’injure et, par une juste loi de répartition, c’est sur leurs tristes alliés du banc des ministres que la pluie des sarcasmes et des injures retombait le plus souvent. C’était, en même temps, la loi de la politique. M. de Serre parlait d’ingratitude, se plaignant que l’on manquât d’égards pour un cabinet qui avait donné tant de gages à la droite. Quelle naïveté ! La droite voulait gouverner pour elle-même et par elle-même, et si elle avait supporté ce ministère, c’est avec la pensée qu’il servirait de transition rapide entre le libéralisme vaincu, et non encore dompté, et le fanatisme, « l’ultracisme », comme disait M. de la Bourdonnaie. Mais, dans la sauvage sincérité de son désir, elle n’avait que mépris pour la plupart des hommes qui gouvernaient, et notamment M. Pasquier, le rhéteur à tout faire, devait subir sans se plaindre les plus grossières exécutions. « Croyez-vous, lui dit un jour, du haut de la tribune, M. de la Bourdonnaie, qu’il y ait un homme d’honneur qui puisse accepter une liaison politique avec vous ? » Voilà où en était l’alliance à la fin de la session 1820-1821.
La droite, il faut le dire, avait été irritée contre le ministère de la solution donnée par la Cour des Pairs à la conspiration du 19 août 1820. Quelques officiers avaient pu être arrêtés et aussi des conjurés non militaires ; mais Nantil, qui s’était réfugié chez un étudiant, avait pu échapper aux investigations policières de Paris, s’enfuir dans l’ouest et, telle était l’indomptable énergie de cet homme que, libre, il utilisait ses loisirs à former un complot nouveau dont nous verrons de plus près la trame et l’explosion. Bérard avait été arrêté. Après une première information, on renvoya soixante-cinq prévenus devant la Cour des Pairs. Celle-ci, siégeant comme chambre de mise en accusation, déclara, en février 1821, qu’elle ne retenait que quarante et un accusés. Et c’est alors, avec un procureur général nouveau, M. de Peyronnet, le premier ayant démissionné, que commença l’instruction. Au début, cette instruction avait été fort embarrassée. Elle reposait uniquement sur les délations de deux ou trois sous-officiers et officiers, mais ces délations même ne s’appuyaient sur rien de sérieux. Aucun écrit, aucune lettre, sauf une seule, écrite dans une forme convenue, qui affectait un tour commercial trompeur, et qui pouvait compromettre Voyer d’Argenson en ce sens qu’elle annonçait qu’une visite lui avait été faite à une auberge dont le
