Il ne les conserva qu’une année, mais, dans ce court espace de temps, il eut l’occasion de manifester d’une façon très précise ses prédilections artistiques. Le programme de son premier concert était ainsi composé : une cantate de Bach (« Ich hatte viel Bekümmerniss »), l’Opferlied de Beethoven, quatre lieds populaires de Heinrich Isaac (XVIe), et le Requiem pour Mignon de Schumann. Par la suite, il monta surtout des œuvres de Bach, de Hændel, de Beethoven, de Schumann, et aussi de maîtres plus anciens tels que Giov. Gabrieli, Eccard, Schütz, etc.
En juillet 1864, Brahms donnait sa démission, voulant sans doute se réserver plus de loisirs pour composer, mais désirant aussi conserver l’indépendance nécessaire pour voyager à sa fantaisie : c’était son grand plaisir.
Le voilà parti pour Baden-Baden, où il retrouve Clara Schumann. De là, il se rend en Suisse. Il séjourne à Winterthur chez le compositeur Th. Kirchner.
Il passe l’hiver de 1865-66 à Carlsruhe où il se rencontre avec Hermann Lévi et le graveur Allgeier. En avril 1866 il se retrouve à Zurich, avec Th. Kirchner, avec le pianiste Gottfried Keller,
