Construit à la fin du XVIIe siècle sous l’impulsion de Louis XIV, le bâtiment Saint-Jacques a été le témoin d’une riche histoire, reflet de l’épopée agenaise et lot-et-garonnaise.
Hôpital-manufacture créé en 1685 pour loger et proposer du travail aux pauvres et mendiants, puis caserne et enfin prison avant de redevenir un hôpital. Architecture monumentale en pierre de taille. Escalier monumental. Porte surmontée d'un fronton . Parc avec cèdres du Liban.
En 1791 la tutelle de la gestion de l'établissement est enlevée à l'autorité ecclésiastique pour être donnée à la municipalité. Une prison est crée dans l'établissement en 1792.
Après la Terreur il accueille les filles repenties et les femmes de petite vertu.
En 1810 Napoléon fait de l'établissement le dépôt départemental de mendicité, pour lutter contre le vagabondage et la mendicité.
En 1819 un décret de Louis XVIII en fait un hôpital sous le nom de St Jacques. On construit l'aile méridionale, la chapelle est édifiée et l'entrée principale qui était face à la Garonne est placée dans sa situation actuelle.
En 1867 un quartier pour soigner les enfants est aménagée en 1902 la maternité.
En 1930 après l'installation d'une salle opératoire il devient un des plus modernes du sud ouest.
L’hôpital St Jacques est fermé en 1979 et ses activités transférés au CH St Esprit d'Agen.
Le Conseil Général de Lot et Garonne commence à acquérir bâtiments et terrains en juillet 1979.il est terminé le 27 juillet 1992.
