Secondo l'opinione di alcuni studiosi, il toponimo avrebbe origine dal tardo latino Gradalia, che a sua volta discenderebbe da gradus (gradino), a causa della natura scoscesa del luogo. Nel Medioevo la zona di Graglia era inserita nel feudo vercellese del vescovato, dominio dei signori Avogadro di Cerrione e dopo due secoli di proprietà dei Savoia, che la cedettero alla famiglia Bobbia dopo essere stata saccheggiata nel 1527 dalle milizie al soldo di Filippo Tornielli.
Anticamente tutta la località era devota alla Madonna della Neve, di antiche origini presso la frazione Campra. Soltanto agli inizi del XVII secolo, per volere di don Andrea Valotti, nacque la tradizione che si voleva collegare alla Madonna Nera di Oropa e della Madonna Nera di Loreto, nelle Marche. Parimenti, il Monte di Graglia fu altresì dedicato a San Carlo Borromeo, da poco canonizzato nel 1610. Tuttavia, la costruzione della chiesa proseguì a rilento e fu completata soltanto nella seconda metà del XVIII secolo. Nel clima della Rivoluzione francese, la basilica fu convertita dalla sua natura religiosa in edificio di pubblica utilità e venne trasformata in un convitto. Con il ritorno di Vittorio Emanuele II a Torino nel 1814, l'edificio recuperò la sua funzione originaria e durante l'Ottocento fu abbellito da successivi interventi che l'impreziosirono. La chiesa ha pianta greca, con una cupola alta 38 metri: nel 1828, su idea di Perratone, fu scolpito nel m