Il borgo deve la sua denominazione alla potente famiglia longobarda dei Gandolfi, che nel XII secolo controllava il territorio.
In seguito fu elevato a Ducato in favore di Bernardino Savelli, fino a quando nel 1596 fu pignorato per insolvenza e dal 1604 fu incluso nei possedimenti inalienabili della Santa Sede.
Oggi il centro è un grazioso borgo medievale, inserito all’interno delParco Regionale dei Castelli Romanied è noto per essere la residenza estiva papale.
Tito Flavio Domiziano (51-96 d.c), si fece costruire, sui colli Albani, una grande villa con parco, da Gaio Rabirio, già famoso costruttore del Palatino. L’enorme villa copriva una superficie di ben 14 Kmq, circa 55 ettari, alla cui zona residenziale corrisponde oggi la cittadina di Castel Gandolfo. Alla villa, divisa in tre grandi terrazzi di circa 500 m, si affiancavano costruzioni minori che scendevano da una parte verso le rive del Lago Albano e dall’altra verso l’antica Via Appia.
Primo sito che s’incontra scendendo da Castel Gandolfo verso il lago è il Ninfeo Dorico, collocato in una posizione più alta rispetto agli altri monumenti che, viceversa, vengono lambiti dal lago Albano. Originariamente inglobato nell’estesa residenza domiziana, che si sviluppava tutt’attorno al lago, oggi il ninfeo appare isolato e perfettamente conservato in tutta la sua bellezza e maestosità.
Meglio noto come Bagni di Diana, il Ninfeo Bergantino si trova sulla riva occidentale del Lago Albano, circa a metà strada tra il Ninfeo Dorico e l’Emissario del lago. Anch’esso, come il Ninfeo Dorico, è rivolto verso Monte Cavo (l’antico mons Albanus). Avendo avuto probabilmente origine da una preesistente cava di pozzolana presenta una forma piuttosto irregolare. Inglobato nel I sec. d. C. dalla vasta villa imperiale di Domiziano, il Bergantino venne riscoperto a metà dell’800 durante scavi clandestini.