Via del Refugio prende il nome dal “Nobile Conservatorio delle Vergini del Refugio”, fondato dal rigattiere Domenico Billò intorno al 1580 per dare asilo a giovani fanciulle abbandonate; l’edificio sorgeva lungo via Fieravecchia nei locali che oggi ospitano l’Università degli Studi.
Alla morte del Billò, l’istituto passò sotto la protezione di Aurelio Chigi che lo ingrandì acquistando il palazzo di San Galgano, il quale fu collegato alla sede del Conservatorio mediante la costruzione del cavalcavia su Fieravecchia ancora esistente. Alla morte di Aurelio, suo fratello Agostino Chigi finanziò il progetto di abbellimento della chiesa di San Raimondo, annessa al Conservatorio, affidando la realizzazione della facciata barocca a Benedetto Giovannelli.
Nel frattempo l’istituto aveva accolto anche le nobili decadute, dette anche “Vergini del Soccorso”, tanto che nel 1677 fu deciso di ospitare le “Abbandonate” nel convento di San Girolamo, mentre le nobili rimasero nei locali del Refugio.
Nel Settecento, per volontà del granduca Pietro Leopoldo, l’istituto ospitò anche le “educande di Monna Agnese” e le oblate di Santa Maria Maddalena andando ad occupare gli spazi dell’antico convento di Santa Monaca e assumendo il titolo di “Regio Conservatorio Femminile”.