L'oratorio è posto sulla sponda destra del Fosso della Cappella, affluente del Savio. Fu costruito dopo che il frate Carlo Antonio Borromeo da Padova nel giugno del 1620, notando "qualmente l'immagine della Beata Vergine posta lungo il fiume Savio stava in grandissimo pericolo d'esser menata via dal fiume", aveva invitato dal pulpito il popolo a proteggere quell'immagine.

La Comunità decise allora di costruire un oratorio attorno a quell'affresco posto su una edicola o tabernacolo: la data dell'erezione (1621) è riportata sulle due finestrelle accanto alla porta d'ingresso. Il terreno fu donato dalla famiglia Malvisi che si riservò il privilegio di nominarvi il cappellano. L'elegantissimo portichetto con tre arcate sorrette da colonne in pietra serena fu costruito nel 1713.

L'oratorio fu soppresso nel 1784, ed acquistato nel 1785 da Jacopo Malvisi che ne fece un sepolcreto di famiglia, documentato da varie lapidi poste all'interno. Il modesto dipinto sull'altare, pesantemente rimaneggiato, richiama soltanto l'immagine della Madonna col Bambino che dette origine all'oratorio. Ritornato recentemente di proprietà della Diocesi di Cesena e Sarsina, è stato trasformato in un piccolo Museo di arte sacra.

L'Oratorio della Madonna del Carmine fa parte del percorso espositivo del Museo d'Arte Sacra che comprende anche la Basilica e i locali della Casa Canonica della Parocchia di Santa Maria Assunta.