La historia de este lugar estuvo impregnada inicialmente por la presencia de varios conventos, de los muchos que en el pasado se establecieron en la ciudad. Poco a poco, las clausuras fueron cerrándose y sus edificios fueron reconvertidos en muchos de los cuarteles que acogía la numerosa guarnición destinada en esta importante plaza fuerte fronteriza. En el flanco este del gran rectángulo que conforma este jardín, se levantó en 1337 el Convento de San Francisco, Sobre su capilla fue levantada la iglesia de San Juan Bautista en el siglo XVIII, con el mecenazgo de D. Juan V de Portugal en agradecimiento a la ciudad donde su hija Barbara de Braganza se desposó con el monarca español Fernando VI.
Tras la desamortización y su posterior abandono, las instalaciones fueron utilizadas como cuartel del regimiento de Castilla y algo más tarde, la iglesia fue cochera del Ejército del Aire.
Al lado opuesto de la plaza, donde hoy se levanta la conocida como torre de Simago, se encontraba el parque de Ingenieros, obscenamente derruido como tantos otros monumentos, en aras de la “modernización” de la ciudad. Su notable pórtico de entrada se encuentra actualmente adosado a una de las paredes del patio del Museo Provincial de Bellas Artes.