Hautefeuille, où de nombreuses peintures ou gouaches de sa main, d’ailleurs fort médiocres, voisinaient avec des plâtres d’après l’antique. Son fils marchait à peine que déjà il l’emmenait au Jardin du Luxembourg pour lui faire admirer des statues, et c’est à l’aide d’un album de leçons de choses dont il avait lui-même dessiné les planches, qu’il lui enseigna les premiers éléments du latin. — « Les images, ma grande, ma primitive passion », notera un jour le moderne Diderot des Salons.
Avec la mort du tendre bonhomme, le malheur fit son entrée dans la vie de Charles, qui n’avait pas encore sept ans. Il avait payé de retour la tendresse de son père. Plus tard il le jugera, sans ambages, « un détestable artiste » ; mais toujours, malgré d’innombrables déménagements, il en gardera le portrait suspendu à la tête de son lit. Ce premier coup du sort ne devait pas tarder, d’ailleurs, à en entraîner un autre, qui allait résonner, bien plus cruellement encore, dans sa sensibilité en formation. À peine expiré le délai légal de son veuvage, Mme Baudelaire se remariait : elle épousait le chef de bataillon Aupick, à qui une superbe prestance, un avancement déjà rapide, et l’amitié des princes d’Orléans, ses anciens condisciples, permettaient les plus belles espérances, et pour qui, de fait, elles devaient se réaliser, puisqu’on le vit général commandant la place de Paris et bientôt le département de la Seine, ambassadeur de France à Constantinople et à Madrid, et enfin sénateur de l’Empire.
Charles accueillit cet événement qui, à tant d’autres enfants de son âge n’aurait offert que des perspectives de gâteries nouvelles, avec un véritable désespoir. Il le ressentit, dans une révolte hamlétique, comme une triple trahison envers la mémoire de son père, envers la tendresse que sa mère lui devait, envers celle qu’il lui portait.
