La colère des réactionnaires ne connut plus de bornes. Oubliant de quels périls la modération ferme du jeune commissaire les avait sauvés à ses débuts, ils accusèrent le préfet de complicité avec les émeutiers et le firent déchirer par leurs journaux. Leur violence trouvait un écho et un concours parmi les révolutionnaires intrigans qui, aux journées de juin, avaient attendu l’issue de la lutte pour se montrer el qui s’empressaient à se venger de celui qui les avait naguère matés. Dans cette ville où il n’avait marché qu’au milieu des acclamations, le préfet ne fut plus même salué, et s’étant obstiné à assister à une revue de la garde nationale, il y fut presque hué.
Emile Ollivier jeta un cri de protestation : « Prenez garde qu’on ne puisse dire plus tard que, dans une époque de révolution, au milieu de la France agitée, il s’est trouvé un jeune homme au cœur rempli d’amour et de dévouement qui est arrivé au milieu d’une ville éperdue et troublée, que ce jeune homme, au lieu de# faire un usage despotique de ses pouvoirs illimités et d’abattre ceux qui alors étaient des vaincus, a usé ses forces à prêcher la concorde, la fraternité, l’oubli des ressentimens, et qu’en récompense on a flétri ses actions les plus pures, que de l’amour de son père on a fait de la trahison, que des sentimens ardens qui exaltaient son âme on a fait une rhétorique sentimentale… Je vous le demande, qu’aurez-vous alors à répondre aux hommes de violence qui blâmaient ce jeune homme de sa mansuétude, et qui sont devenus ses ennemis implacables parce qu’il n’a pas voulu suivre leurs inspirations ? Que répondrez-vous à ceux qui ne voudront plus agir que l’épée à la main et la menace à la bouche ? »
Quel gouvernement a jamais eu le courage de protéger un serviteur impopulaire ? Le général Cavaignac, devenu chef du pouvoir, révoqua Emile Ollivier ; mais il était honnête homme : constatant que le préfet n’avait mérité aucun blâme réel, il se borna à le nommer a une autre préfecture moins importante, celle de Chaumont.
Emile Ollivier voulut d’abord refuser. « Le retour à la vie privée n’a rien qui m’effraie, écrivait-il. Bien souvent depuis quatre mois je me suis rappelé ces paroles de Millon que je redis plus volontiers que jamais aujourd’hui : « Oh ! combien de fois, depuis que je suis entré dans cette mer turbulente de la politique, au milieu de ses rauques disputes, m’est-il arrivé
