Le prime testimonianze di un oratorio destinato alla devozione mariana risalgono al Quattrocento, anche se il santuario acquisì il suo aspetto attuale fra la fine del Cinquecento e l'inizio del Seicento. Durante la Guerra di Siena, nel 1555, l'oratorio fu danneggiato ed abbandonato ed è certo che nel 1564 la comunità di Chiusdino ne deliberò il restauro.