Mémoires qu’il projetait de publier et par des documents authentiques, qu’il suivit ses instructions, et que, d’ailleurs, il devait compter sur un renfort considérable qu’il attendit vainement. — Quoi qu’il en soit, attaqué le 30 au matin, il se défendit vaillamment, et peut-être même se serait-il dégagé si, vers deux heures, une colonne ennemie, en débouchant par les montagnes, n’eût tombé sur ses derrières. Alors, cerné de toutes parts par 70.000 hommes, Vandamme, malgré des prodiges de valeur, fut mis en pleine déroute, et, criblé de blessures, il fut fait prisonnier.
Conduit en présence de l’empereur Alexandre, ce prince s’oublia au point de l’apostropher des épithètes de brigand et de pillard. « Sire, lui répliqua Vandamme, je suis un soldat, mais il est un crime dont jamais ma main ne s’est souillée… — Qu’on l’emmène ! s’écria l’Empereur en lui tournant le dos. » Pourtant, il ordonna qu’on lui rendît son épée, que le grand duc Constantin lui avait fait enlever.
Vandamme, dirigé sur Moscou, et transféré à Kasan, à vingt lieues de la Sibérie, revit le sol de sa patrie le 1er septembre 1814. Mais un ordre du gouvernement lui enjoignit de se retirer à Cassel. L’événement du 20 mars 1815 le ramena sur la scène du monde. Il se rendit aussitôt à Paris, se présenta devant l’Empereur qui, le 2 juin, le nomma pair et commandant de la 2e division militaire, et lui confia le commandement du 3e corps, à la tête duquel, après la bataille de Fleurus, il obtint un avantage signalé à Wavres. Il poursuivait l’ennemi lorsqu’il apprit le désordre de Waterloo.
On a souvent répété que les généraux Vandamme et Gérard avait fortement engagé le maréchal Grouchy à marcher sur Waterloo. À cet égard, Vandamme n’a jamais voulu s’expliquer. — Quoi qu’il en soit, dans sa position, il pouvait être écrasé ; cependant, constamment harcelé par les Prussiens, il opéra sa retraite en bon ordre, passa la Sambre à Namur, sans qu’ils osassent l’inquiéter, et continua son mouvement rétrograde sur Paris, où il ramena son corps d’armée presque intact ainsi qu’un matériel considérable.
Son armée fit croire un moment que les destinées de la France n’avaient pas été totalement décidées à Waterloo, « Je suis fier, écrivait-il à la Chambre des représentants, d’être venu au secours de la capitale avec une pareille armée. Ses courageuses dispositions ne peuvent manquer de nous faire obtenir des conditions plus avantageuses, si nous sommes obligés de traiter avec l’ennemi. — Vandamme occupait alors Montrouge, Meudon, Vanves et Issy ; plusieurs généraux, à la tête desquels on remarquait Fressinet, vinrent l’y trouver pour lui offrir le commandement en chef de l’armée : il refusa. — Paris étant occupé par les alliés, Vandamme se retira derrière la Loire, et envoya sa soumission au roi, ce qui ne l’empêcha pas d’être compris dans l’ordonnance du 24 juillet. Il se retira d’abord dans un château près de Limoges, mais le préfet de la Haute-Vienne lui ayant prescrit de sortir de ce département dans les vingt-quatre heures, il prit la route d’Orléans et se rendit à Vierzon.
Enfin, compris dans l’ordonnance du 14 juillet 1815, il lui fallut sortir du royaume, et ne trouvant pas d’asile en Belgique, il s’embarqua pour les États-Unis.
L’ordonnance du 1er décembre 1819, sur les bannis, mit fin à son exil ; il fut même rétabli sur le cadre de l’état-major général comme disponible, le 1er avril 1820, puis il prit sa retraite définitive le 1er janvier 1825.
Depuis cette époque, Vandamme vécut dans la retraite. Il passait la belle saison à Cassel, l’hiver à Gand, occupant ses loisirs à des œuvres de bienfaisance et à rédiger
