Pendant toute la durée de la Restauration, la famille de Gramont, qui avait les duchés de Gramont, de Guiche et de Lesparre, était très bien en cour, et Agénor fut le menin du duc de Bordeaux. J’ai connu Agénor de Guiche ultra-légitimiste, rêvant de reconstituer une Vendée militaire et de faire la guerre dans le Bocage ; en 1850, il assiste aux obsèques du roi Louis-Philippe, mort à Claremont ; au mois de décembre 1851, il se rallie énergiquement au coup d’État ; en 1852, il est nommé ministre plénipotentiaire à Stuttgart.
Dans je ne sais quelle affaire diplomatique qui s’était dénouée à Vienne pendant son ambassade, il avait été en conflit avec Bismarck ; il n’était pas de force à lutter avec un tel jouteur et il était sorti de là battu à plate couture. Il en résultat contre le futur chancelier de l’Empire d’Allemagne un ressentiment, pour ne pas dire une haine, qui ne servit point nos intérêts à l’heure décisive. Il fut avec Émile Ollivier l’agent actif et prépondérant de la guerre de 1870. Le grand seigneur français, fier de ses ancêtres, voulut donner une leçon au petit hobereau des Marches de Brandebourg.
Ses façons de gentilhomme, sa manière de porter la tête comme un jeune premier, sa parole dédaigneuse, la nonchalance de son attitude pendant le Conseil des ministres, son titre même produisaient un grand effet sur Ollivier, qui se sentait captivé et qui en avait plein la bouche, lorsqu’il disait : « mon cher duc ». Ollivier malgré son éloquence et certaines qualités que l’on serait injuste de ne lui point reconnaître, appartenait à la catégorie de ce que l’on appelle : « les petites gens ». Toute grandeur réelle ou factice l’éblouissait un peu. En outre, il ne savait rien de la diplomatie, il ne se rendait pas nettement compte de l’état de nos relations avec les différents gouvernements d’Europe ; à cet égard, il s’en rapportait au duc de Gramont et l’écoutait comme un oracle.
Le second collaborateur d’Émile Ollivier, celui qu’il avait choisi entre tous et qu’il aima avec prédilection, fut Chevandier de Valdrôme, ministre de l’Intérieur. Il s’appelait tout bêtement Chevandier, comme son père, auquel il avait succédé à la Manufacture de glaces de Cirey, comme son frère qui était peintre ; il découvrit, je ne sais où, le fief de Valdrôme, dont il ajouta le nom au sien ; petit ridicule, bien insignifiant et dont tant de personnes se sont rendues coupables que l’on n’est plus à les compter. C’était un bon
