Le jardin du Palais s’étendait jadis jusqu’au bord du cap et joignait le mur qui descendait la côte de la basse-ville. L’édifice, construit en pierre de taille, fut dès l’origine relativement superbe. Les premiers prélats toutefois n’y demeurèrent point, Mgr. de Laval ne voulant pas rester ailleurs qu’au Séminaire, et Mgr. de Saint-Valier préférant l’hôpital-général ; mais les curés des paroisses se retiraient à l’évêché, lorsqu’ils venaient à la ville et l’évêque les y recevait à diner. Quand les institutions représentatives furent données au Canada, le palais épiscopal devint celui du parlement, et l’évêque reçut en revanche une annuité du gouvernement impérial. La chapelle de l’évêché fut assignée à la Chambre basse et le réfectoire du Palais devint le département du Secrétaire provincial jusqu’en 1854 ; la chapelle, transformée, était devenue la partie centrale du nouveau parlement, qui avait une façade imposante, avec un dôme surmonté d’une flèche.
Il y a trente-cinq ans, cet édifice, l’un des plus beaux de l’Amérique, fut à son tour détruit par le feu. Ses débris, encore utilisables, furent vendus à la municipalité de Québec, qui les consacra à la construction du marché Champlain.