La convention fut signée le 11 septembre, à dix heures du soir. La garnison prisonnière de guerre, ainsi que son brave commandant, fut envoyée en Hongrie, et l’ennemi prit possession de la place le 12.
Rentré en France après deux ans de captivité, le ministre de la guerre, Au-bert-Dubayet, lui adressa, le 30 nivôse an IV, une lettre flatteuse par laquelle il lui annonçait que le gouvernement appréciait la valeur de ses services. Autorisé à se rendre auprès du général en chef Jourdan, en attendant qu’il y eût une vacance dans son grade, il fut employé comme commandant temporaire dans le département du Forez. Confirmé dans son grade de chef de brigade par arrêté du Directoire, le 6 ventôse suivant, il continua de servir à l’armée de Sambre-et-Meuse, et fut élevé au grade de général de brigade le 29 pluviôse an V.
Après le passage du Rhin à Neuwied, par le général en chef Hoche, Goullus fut détaché pour repousser l’ennemi dans le fort d’Ehrenbreitstein. Il attaqua un corps ennemi qui occupait Vesselich et Pfaffen-dorf, et le rejeta dans cette forteresse, qu’il investit aussitôt. C’est à ses soins que fut confié ce blocus, et il en conserva le commandement jusqu’au moment où la place était sur le point de capituler. Le gouvernement le rappela alors pour faire la nouvelle campagne qui allait s’ouvrir sous les ordres de Jourdan, commandant en chef l’armée du Danube. Chargé après la malheureuse affaire d’Os-trach de soutenir la retraite d’une partie de l’armée sur Pfullendorf, le général Goullus s’acquitta de cette mission délicate avec tout le succès désirable. Le 11 floréal an VIII, il réussit à effectuer un passage secondaire à Paradies, malgré la supériorité de l’ennemi, qui tenta vainement d’y mettre obstacle. Avec quelques barques et 2 bataillons de la 10e demi-brigade d’infanterie légère, il trouva le Rhin et prit et reprit plusieurs, fois à la baïonnette le village de Buzengen. Il se distingua, le 13, au combat de Stockach, le^15 à la bataille de Moeskirch, et le 20 au combat de Memmingen, où il fut blessé d’un coup de feu qui lui traversa la joue droite. Employé au commandement de l’arrondissement de Léoben, en Styrie, il rentra en France après la paix, fut mis en disponibilité le 1" vendémiaire an X, et appelé au commandement du département de la Haute-Garonne (10e division militaire), le 29 messidor suivant.
Créé membre et commandeur de la Légion-d’Honneur les 19 frimaire et 25 prairial an XII, il fut ensuite désigné par l’Empereur pour faire partie du collège électoral du département du Rhône, et fit les campagnes de l’an XIV et de 1806, avec la 4* division de l’armée d’Italie et de Naples. Rentré en France avec un congé au mois d’avril 1807, il fut employé de nouveau dans la 10° division militaire, le 29 mai suivant, et passa le 30 janvier 1808, dans la division des Pyrénées-Orientales, puis à l’armée de Catalogne, avec laquelle il fit les campagnes de 1808,1809 et partie de 1810. Le 30 juin 1808, il battit et mit en déroute un rassemblement considérable d’insurgés qui s’étaient retranchés derrière le Llobregat. Au mois de juillet suivant, le général Goullus, avec sa brigade, se rendant au siège de Girone, s’empara en passant de la ville d’Hostalrich et enleva un convoi dont l’escorte fut entièrement sabrée. Le 26 novembre de la même année, dans l’attaque générale faite par les généraux espagnols Vives et Redding contre les lignes françaises devant Barcelone, le général Goullus fut blessé d’un coup de feu à l’épaule gauche.
