En définitive, et malgré cette dépense d’esprit anglais, Chesterfield ne cessait pas d’être battu. Sa politesse exquise, ce beau ruban bleu, ces épigrammes écrites et parlées, ces entrées secrètes par les escaliers dérobés, ces alliances de boudoirs, ces débauches charmantes et modérées, un magnifique mariage d’intérêt et d’argent, des discours imités de Tacite et prononcés à la chambre haute avec un succès merveilleux, rien n’avait pu enraciner Chesterfield ni déraciner Walpole. Celui-ci, buveur et gastronome, riait haut, parlait fort, négligeait les maîtresses du roi que Chesterfield cultivait, se mettait bien avec la reine, qui était le ressort réel de la cour, pratiquait des ruses efficaces, et ne tombait jamais dans la finasserie. Chesterfeld n’inspirait ni confiance ni sympathie, mais seulement une admiration mêlée de haine. On lui préférait Newcastle, l’homme le plus mal élevé de son pays, et Walpole, qui se passait de l’estime, pourvu qu’on le servît.
La longévité des ministères est bornée. Il fallut bien que Robert Walpole prît sa retraite ; alors le roi fut forcé d’employer Chesterfield, mais il se hâta d’exiler encore un homme qui lui était odieux de toute manière. George II avait sur le cœur l’affaire du testament, celle du mariage, celle de l'excise, les plaisanteries du World, sans compter les discours parlementaires semés de facéties contre sa personne. Chesterfield retourna donc en Hollande sans avoir entendu de la boucle royale d’autres paroles que celles-ci : « Monsieur, vous avez reçu vos instructions. » De Hollande il passa en Irlande à titre de vice-roi, ce qui était encore une disgrace ; l’un des plus piquans escamotages de cette vie d’artifice fut de toujours être en disgrace et de toujours sembler triomphant.
Sa seconde ambassade fut aussi heureuse que la première. Dans la diplomatie, il a excellé, et n’est pas sans rapports avec le maître, M. de Talleyrand. Parfaitement grand seigneur comme ce dernier, il ne se pressait jamais, écoutait, attendait, méprisait les passions vives ou tendres, et aimait le jeu, émotion des ames qui n’en ont plus. Au bas d’une des lettres de Chesterfield on trouve ce conseil donné à un résident, son ami intime : « Pas de vivacité - Temper ! » C’est le mot de M. de Talleyrand à ses élèves : Surtout pas de zèle ! Ces deux grands seigneurs, qui méprisaient tant les hommes (et les femmes un peu davantage), qui aimaient ant l’argent et le succès, ont été peut-être, dans les temps modernes, les plus habiles alchimistes de la quintessence diplomatique, comme dirait Rabelais. En fait de diplomatie, Chesterfield n’a pas été dépassé ; il décida, en 1745, la Hollande contre la France et contre son intérêt ; il calma en 1746 les papistes d’Irlande
