In questo oratorio campestre, appena fuori le mura del paese, nell’estate del 1205 d.C. San Francesco sentì il Crocifisso esortarlo a restaurare la Chiesa; nella grotta sotto l’edificio, il Santo si nascose dal padre che ne ostacolava la scelta monastica. Qui Santa Chiara trascorse la sua esperienza monastica a partire dal 1212 d.C. e fondò l’ordine delle Clarisse e venne scritto il Cantico delle Creature. Quello che maggiormente colpisce del luogo è il silenzio, ed il senso di distacco che chiunque avverte passando dal paese a questa chiesa; San Damiano dista, dopo tutto, poco più di un chilometro dalla Basilica di San Francesco, ma, forse per i campi di olivi che lo circondano, o forse perché è visitato più dai pellegrini in preghiera che dai semplici turisti, la distanza sembra molto maggiore.
