Le cronache ci dicono che il cammino per l'edificazione della chiesa fu lungo e faticoso.
In un primo momento i contradaioli si riunivano nella chiesa di S. Giovanni Battista alla Badia Nuova, situata sulla strada che conduceva alla porta di Busseto, nei pressi di un più grande monastero, dedicato ai SS. Giacomo e Filippo, detto l'Abbadia Nuova.
Successivamente al 1572, anno in cui i confratelli della compagnia di Santo Stefano lasciarono l'oratorio di S. Giovanni Battista per trasferirsi in uno spedaletto di fronte allo sbocco dell'attuale via Santa Chiara (il futuro Santo Stefano ai Pispini, attualmente sede della Società La Pania), i Nicchiaioli presero possesso dell'oratorio stesso usufruendone fino al 1656, allorché l'edificio fu acquistato dalle monache di Santa Chiara.
Per questo motivo i Nicchiaioli decisero di chiedere ospitalità ai confratelli della compagnia di Santo Stefano, stabilitisi ormai nei nuovi locali.
Ben presto sorsero attriti fra confratelli e contradaioli: questi ultimi erano soliti donare alla confraternita i palii o altri oggetti di valore vinti durante le corse, ma nel 1667 la compagnia, avendo bisogno di denaro per pagare un quadro commissionato a Raffaello Vanni, decise di vendere alcuni drappelloni.