Nous n’avons pas l’intention de réfuter toutes les calomnies répandues sur la vie de Grégoire ; la tâche serait trop longue : mais c’est ici le lieu d’en citer une, dont on appréciera le but quand on saura qu’elle fut mise en circulation par l’Annuaire ecclésiastique de Savoie, et par l’Ami de la religion et du roi, en 1819, époque de l’élection de l’ancien conventionnel dans le département de l’Isère.
« Le trop fameux Grégoire, venu à Chambéry pour y organiser le nouveau département du Mont-Blanc, eut l’audace et l’impudence, dans la première visite qu’il fit à M. Conseil, évêque de ce diocèse, de lui proposer de souscrire à la prétendue constitution du clergé. Il se flattait que la défection du premier pasteur pourrait amener celle des subordonnés. Ses sophismes, comme ses instances, ne produisirent aucun effet. Monsieur, lui répondit M. Conseil, je suis trop vieux pour changer de religion. Au moment du départ de ce nouvel apôtre du mensonge, notre prélat lui défendit de célébrer la messe dans son diocèse. Dès lors, il fut constitué prisonnier dans son propre palais, et pour le contrister encore plus, il fut gardé à vue par deux gendarmes. »
