Si certains hommes d’état autrichiens consentaient de bon cœur à réviser les traités, à examiner sans parti-pris la proposition de restaurer la Pologne, il y avait dans le programme napoléonien des points sur lesquels il était impossible de s’entendre. Le duc ne tarda pas à s’en convaincre par les entretiens qu’il eut avec l’empereur François-Joseph. D’abord tout marcha bien ; il lui fit un chaleureux éloge de Napoléon III. Le jeune souverain parut l’écouter avec plaisir : « Je me réjouis, répondit-il, de la bonne impression que vous avez rapportée de Paris. J’ai toujours pensé que Napoléon avait le cœur loyal ; je suis persuadé qu’on peut se fier à lui, et je suis bien aise que vous me confirmiez dans mon sentiment. » Puis il pria le duc de préciser, de l’initier aux arrière-pensées du sphinx, de lui faire savoir exactement ce que l’homme singulier qui tour à tour se taisait ou parlait trop attendait de lui et avait à lui offrir. Le duc parla de la Servie, de la Bosnie, des provinces danubiennes. L’empereur lui fit observer que sans doute ces pays étaient bons à prendre, mais qu’en somme ils étaient médiocrement productifs, et qu’ils coûteraient beaucoup à administrer et à mettre en valeur. Mais quand il apprit qu’en échange d’un agrandissement en Orient, on osait lui demander de renoncer à la Lombardie, « qui ne lui rapporterait jamais que des ennuis et de cuisans soucis, » il changea subitement de visage et de ton, il ne voulut plus rien entendre, et, quelques jours après, il fit dire au duc par un de ses ministres que jamais il ne consentirait à se dépouiller d’une seule de ses provinces.
La réponse était si nette que le duc Ernest perdit du coup toutes ses illusions : son trône de Pologne venait de crouler. « Je dus reconnaître, nous dit-il, que Napoléon III se berçait d’espérances absolument chimériques quand il se flattait de réaliser ses plans par des négociations, par des accommodemens, par des accords, par un système de compensations. » Napoléon n’était plus pour lui qu’un idéologue, un rêveur et un faux magicien. Il continua de le voir, de le caresser, mais il n’avait plus la foi, et le charme était rompu. En 1854, il avait tout fait pour décider l’Allemagne à s’allier à la France ; cinq ans plus tard, il fera tout pour décider la Prusse à épouser la cause de l’Autriche et à déclarer la guerre au vainqueur de Magenta. En 1854, après leurs premières entrevues, il lui savait gré de fumer des cigarettes en récitant des vers de Schiller et de ressembler à un savant allemand plus qu’à un souverain français. Il vantait son sang-froid, la lucidité et la vigueur de son esprit, la sûreté de ses jugemens, la simplicité de son langage et de ses manières. Il le déclarait supérieur eu courage à son oncle ; il le définissait « un homme extraordinairement organisé, ein ganz ungewöknlicher, ein ausserordentlich organisirter Mensch, » et il reprochait aux souverains de le méconnaître. En 1859, pendant la guerre d’Italie, il écrira à son frère Albert : « l’empereur Napoléon exécute
