Le persone di ceto abbiente sono decisamente una minoranza, anche se non mancano del tutto, com'è possibile giudicare dall'aspetto e dal tenore di certe abitazioni impiantate verosimilmente dopo la seconda metà del Settecento e, soprattutto, nell'Ottocento. La figlia del Manzoni, Matilde, nel periodo del suo soggiorno nella villa in Sant'Eugenia, del resto, si lamenta di dover percorrere, per tornare a casa, le strade di quel borgo dei Pispini che nel suo diario definisce "uggioso", ossia deprimente.
Nel corso del Trecento l'evento che muta più drasticamente l'aspetto urbanistico del rione é l'edificazione, sul cosiddetto "poggio Farolfi", della chiesa di Santo Spirito, ristrutturata nelle forme attuali in pieno Rinascimento, a cui si aggiungeranno nei secoli successivi altri edifici a destinazione religiosa, quali l'oratorio del Nicchio, la chiesa di San Raimondo e il Convento di Vita Eterna, per citarne solo alcuni. Il quartiere, però, assume la conformazione odierna solo con la costruzione della fontana dei Pispini, avvenuta entro la prima metà del XVI secolo, e con il pressoché coevo inserimento nelle mura del fortino peruzziano, il cui accesso è possibile oggi dall'interno della caserma militare. Sono queste le ultime vere alterazioni del suo assetto; per il resto, infatti, il borgo dei Pispini presenta una fisionomia sostanzialmente conforme a quella assunta tra XIV e metà XVI secolo, cui ha contribuito anche il recente ripristino della fonte nel sito originario.