L’edificio si sviluppa attorno alla chiesa di Santa Maria delle Grazie del XIII sec. situata fuori dalle mura del castello. L’ampliamento della struttura con la costruzione del convento risale alla fine del XVI secolo, costruito per ospitare i frati Minori Osservanti trasferiti dall’Eremo di San Giacomo in Salinis, costretti a lasciare il romitorio a causa delle incursioni di soldati e briganti.
La costruzione, avviata da Padre Antonio Mancini da Fermo con il benestare del Vescovo Domenico Pinelli, procedette lentamente per mancanza di fondi. I lavori furono completati in seguito da Padre Marco da Montappone.
Il chiostro, cuore del convento, è di forma quadrangolare, con gallerie a giorno sorrette da pilastri rettangolari e un pozzo quadrato al centro, e collega la parte religiosa a quella residenziale, facilitando la vita comunitaria dei frati. Un secondo pozzo, circolare e accessibile tramite una finestra con grata, si trova sotto la sacrestia.
Il convento fino al 1810 si prese cura anche dell’eremo di San Giacomo in Salinis, anno della prima chiusura napoleonica, quando furono inventariati i locali e gli arredi. Nel 1816 i frati vi fecero ritorno, e la comunità crebbe fino a diventare sede della Congregazione Intermedia Francescana nelle Marche.
Nel 1867, a seguito della soppressione delle comunità religiose, il convento fu ceduto al Comune di Gualdo con destinazione a ospedale civico, mantenendo però attiva la chiesa. La struttura del convento è ora una residenza per anziani.