Da una descrizione del 1371 Bagno appare racchiuso da mura con due torri e due porte attraverso cui passa la strada che dalla Romagna conduce in Toscana. Un documento notarile di una ventina d'anni dopo parla di un  borgo nuovo entro ed a ridosso delle mura castellane, che indica un raddoppiamento dell'abitato interno alle mura, il cui toponimo è rimasto fino alla seconda metà dell'Ottocento quando la dicitura "Borgo nuovo" fu sostituta con "Via Palestro".

Tale borgo serviva come affaccio di una serie di unità edilizie minori (capanni, stalle, magazzini) che servivano più grosse organizzazioni edilizie. Nel XV secolo l'apertura di una nuova porta ("porta di Marcho della lana") nella cortina muraria mette in diretto contatto il "Borgo nuovo" con la "piazzetta del Palagio", esterna al castello. Con la dominazione fiorentina le mura perdono la loro funzione difensiva tanto che, proprio nel "borgo nuovo", in certi tratti vengono inglobate all'interno di Palazzo Biozzi, che via via accorpa e fonde più unità.

Della cinta muraria oggi rimane un "Torrione", una struttura difensiva interessante dal punto di vista architettonico e storico: di impianto circolare, con un piccolo accesso a est, è realizzato in sasso con murature costituite da corsi estremamente regolari e la copertura a lastre di arenaria. Nel Cinquecento, sotto di esso, sorge l'oratorio della SS. Concezione, che rimane sempre cappella privata di casa Malvisi, altra struttura abitativa complessa che si va sempre più qualificando. Tra di essa e l'oratorio nel tardo Settecento viene costruito un "cavalcavia" per metterli in comunicazione diretta. Sono degli anni 1820-1829  quelli che vanno ad unire Palazzo Salvetti e Palazzo Biozzi con i rispettivi  giardini pensili sotto le mura urbane.