Bien décidé à demander au barreau le pain quotidien, Emile Ollivier essaya de se procurer quelques affaires. Ce fut en vain. Ses triomphes oratoires de Marseille avaient suscité des jalousies, créé des ombrages ; les accusations calomnieuses qui le représentaient comme ayant, avec l’aide de son père, fomenté, favorisé, amnistié l’émeute, trouvaient crédit parmi les hommes d’affaires tous plus ou moins anti-républicains. Ils repoussèrent ce turbulent, ce furieux, ce déclamateur qui menaçait la société, et après lui avoir prédit, il y avait un an à peine, le plus brillant avenir, lui dénièrent toute espèce de talent.
Emile Ollivier comprit qu’il n’y avait rien à tenter contre ce mauvais vouloir. Il était très fatigué. Son âme autant que son corps avait besoin de recueillement. Il se résigna au repos qui lui était imposé. Il se plongea avec passion dans l’Histoire de la Restauration de Vaulabelle : « Je finis le récit de la bataille de Waterloo au milieu des sanglots. Qu’ils soient placés au rang des plus illustres martyrs de notre histoire, ces sublimes soldats qui dans leur tombeau restent la plus belle personnification de la France ! Oui, la France est le Christ de l’humanité. Son sépulcre a été gardé par des soldats impitoyables comme celui où reposa notre plus grand Emancipateur. Qu’il vienne donc, le jour éternel, le jour radieux de la Résurrection ! À cette espérance mon cœur s’exalte, mes mains tremblent. »
Le bonapartiste qu’il avait été le jour du retour des Cendres vivait toujours à côté du républicain qu’il ne cessait pas d’être. Mais il semble que le gouvernement du Prince-président prenne à tache de se le rendre hostile. En rentrant chez lui le 24 juin, il a trouvé une assignation « à comparaître comme témoin devant messieurs les juges composant la cour de Valence, pour dire et déposer dans la cause concernant Arnaud, etc. (insurgés de juin) accusés de crimes contre la chose publique. »
Assigné comme témoin, il était quatre jours après (28 juin) traité en accusé. Un commissaire de police perquisitionnait chez lui, fouillait ses papiers, lisait ses lettres. Ses ennemis comptaient que la cour de Valence accueillerait, elle aussi, les calomnies et flétrirait la conduite du Préfet de juin 1848. C’était alors le déshonneur, la tache qui paralyse l’action
