Joseph, et à la funeste guerre qui en résulta, vint confirmer le duc de Broglie dans ses sentimens d’indignation et de tristesse. Chargé en 1811, avec quelques-uns de ses compagnons au conseil d’état, d’une mission administrative à la suite de nos armées dans la Péninsule il assista à tous les actes de violence et d’oppression, à toutes les scènes de malheur, françaises ou espagnoles, de cette œuvre impériale dont on ne saurait dire quel fut le plus déplorable caractère, le crime ou le châtiment. Je trouve dans ses Notes biographiques ce passage. « En relisant, après quarante-six ans, le texte des arrêtés militaires de cette époque, consignés dans un registre dont j’ai gardé copie, je ne puis me défendre d’un profond sentiment de regret et d’humiliation. A coup sûr, je n’étais pour rien dans de tels actes ; je n’avais pas voix au chapitre, et mon nom, placé au-dessous de celui de tel ou tel maréchal, n’y figurait que pour copie conforme, comme figure le nom d’un greffier au pied d’un arrêt auquel il n’a pas concouru. Néanmoins, je le reconnais, j’aurais dû tout risquer plutôt que de m’y prêter, et je dois m’estimer fort heureux qu’aucun de ces actes, imprimés et affichés sur les murs de Valladolid, ne soit tombé, au temps où j’étais ministre, dans les mains des journalistes ; l’explication en aurait été difficile, et l’esprit de parti en aurait tiré bon parti. »
Sur ses vives instances, le duc de Broglie rentra en France au printemps de 1812 avec le colonel Jardet, aide-de-camp du maréchal duc de Raguse, que le maréchal envoyait à l’empereur pour s’élever contre le plan de campagne qui lui était prescrit, et réclamer en tout cas de prompts renforts. Le jeune auditeur était chargé par le maréchal d’appuyer de son témoignage auprès de l’empereur les demandes portées par l’aide-de-camp. Uniquement préoccupé des préparatifs de son expédition de Russie : « Voilà Marmont qui se plaint de manquer de beaucoup de choses, de vivres, d’argent, de moyens, dit l’empereur au colonel Jardet ; eh bien ! moi, je vais m’enfoncer avec des armées nombreuses au milieu d’un grand pays qui ne produit rien. » Et puis, après une pause suivie d’un silence de quelques minutes, il eut l’air de sortir brusquement d’une profonde méditation, et, regardant Jardet en face, il lui dit : « Mais comment tout ceci finira-t-il ? » Jardet, confondu de cette demande, répondit en riant : « Fort bien, je pense, sire. » Le duc de Broglie eût fait probablement une autre réponse ; mais l’empereur ne le fit point appeler ; le prince de Neuchâtel le reçut mal, et ne se montra disposé qu’à le renvoyer en Espagne. Le duc de Feltre, ministre de la guerre, l’écouta attentivement et le congédia sans lui rien dire. Le duc de Bassano, ministre des affaires étrangères, lui offrit une place de consul-général à Dantzig. Le duc de Broglie se retira en refusant respectueusement.
