Il villaggio di Palazzo di Assisi nacque nell’ultimo quarto del ‘300 quando Cambio, feudatario di origini longobarde, lo fece erigere fortificato da mura perimetrali. Il fortilizio rivestì un ruolo di notevole rilevanza nelle continue guerre tra Perugia e la vicina Assisi, diventando l’ultimo baluardo difensivo opposto ai perugini prima che potessero puntare senza ulteriori ostacoli su Assisi.
All'interno del castello troviamo la piccola chiesa della Morte, recante affreschi di Matteo da Gualdo non più leggibili, la quale fu affiancata nel XVI secolo, su richiesta del primo visitatore apostolico mons. Camaiani, da una nuova chiesa dedicata alla Madonna delle Grazie e recentemente recuperata. A navata semplice, reca ancora l'immagine dipinta della Vergine, anche se la stessa è stata poi schermata nel XVIII secolo da un nuovo fondale sopravanzato, di stile neoclassico. Ha un campanile a vela con tre campane non più utilizzate.
La chiesa parrocchiale odierna, dedicata anch'essa alla Madonna delle Grazie, sorge al di fuori della cinta muraria; venne costruita in stile neogotico e inaugurata nel 1929. Di fianco all'edificio sorge uno slanciato campanile ospitante un notevole quintetto campanario fuso nel 1963 dalla fonderia De Poli.