È stata ed è l’unica chiesa dentro il perimetro delle mura castellane.
Fu costruita tra il 1612 e il 1613 ad iniziativa della Confraternita della Buona Morte e dell’Opera Pia del Suffragio. La pubblica amministrazione partecipò alla spesa fornendo tutto il legname necessario alla costruzione 147 ASCMR, Consigli (1608-1616), c. 90r, 13 novembre 1612. La dedicazione a S. Carlo Borromeo (1538-1584), vescovo di Milano, compatrono di Jesi, segui di soli tre anni la data della sua canonizzazione avvenuta il 1° novembre 1610. Il Consiglio della Comunità il 3 novembre 1613 prese la decisione di solennizzare il giorno di S. Carlo, 4 novembre, chiedendo al vescovo di dichiarare la ricorrenza annuale giorno festivo a Monte Roberto a tutti gli effetti. 148 Ivi, cc. 108r/v.
La chiesa era ubicata quasi alla sommità del paese, al centro tra le due file di case che costituivano la parte nord del castello, due porte laterali immettevano nei rispettivi vicoli. Su una parete, nel 1726, viene segnalato un affresco con la Madonna di Loreto e due immagini di Santi.
La posizione con il passare degli anni si rivelò non certo ottimale, inoltre pericolante qual era, nei primi decenni dell’Ottocento, su suggerimento anche del vescovo, la Confraternita del Sacramento prese la decisione di demolirla e di riedificarla nelle immediate vicinanze nell’area di una vecchia casa di proprietà dell’Opera Pia del Suffragio. La decisione definitiva per la demolizione e la riedificazione fu presa dal Consiglio della Comunità il 24 febbraio 1825. 149 ASCMR, Consigli (1809-1827), pp. 260-261.
Del progetto e ne parlava già da qualche anno, nel 1823 si era ottenuto il permesso di acquistare l’area risultante da una costruzione, proprio sugli spalti delle mura, resa pericolante ed inservibile a causa del terremoto; il “trasloco” della chiesa, oltre dalla sua pericolosità statica, era motivato dal desiderio “di ingrandire la piazza detta di San Carlo e di rendere migliore ornamento al paese”. 150 Ivi, p.257, 8 settembre 1824. Ben presto iniziarono i lavori realizzando la parete di fondo insistente a perpendicolo sulle mura cittadine di Fosso Lungo (viale Matteotti).
Nella chiesa è conservata attualmente solo la pala d’altare con l’effige di “S. Carlo Borromeo sorretto dagli angeli” eseguita nel 1614 da Antonino Sarti. Fino al 2002, appartenute alla vecchia chiesa di S. Silvestro, vi erano anche lo “Sposalizio della Vergine” e “Madonna del Carmelo col Bambino e santi Biagio, Giacomo, Francesco, Caterina e Simone Stock”, quest’ultima dello stesso Antonino Sarti dipinta nel 1616; ora ambedue le tele, restaurate, sono nella Sala Consigliare del Comune. Lo “Sposalizio della Vergine”, nella vecchia chiesa parrocchiale costituiva la pala d’altare dell’altare di San Giuseppe della famiglia Leoni. La medesima famiglia Leoni di Staffolo che è indicata nella visita pastorale del 1898, come avente giuspatronato nella chiesa di San Carlo, aveva provveduto ad un primo restauro delle tele nel 1807.
In precarie condizioni con qualche piccolo crollo della copertura, la chiesa fu restaurata nel 1989.