Fils d'un artiste peintre, Jérôme de La Gorce est habitué très jeune à fréquenter les monuments et les musées tant en France qu'en d'autres pays d'Europe, notamment en Italie, où il se rend souvent, l'été. Dès l'âge de quatre ans, il est également attiré par la musique et joue bientôt de plusieurs instruments (piano, orgue, flûte traversière) avant d'étudier l'harmonie. A dix-huit ans, après des études de latin, d'anglais et d'allemand, il entre à l'Université de Paris-Sorbonne, où il suit à l'Institut de la rue Michelet un double cursus en musicologie et en histoire de l'art. Au niveau de la thèse (troisième cycle), il s'inscrit auprès de Jacques Thuillier qui devient son maître jusqu'à l'Habilitation à diriger des recherches. En 1980, il entre au CNRS et continue à pratiquer les deux disciplines universitaires au Centre d'Iconographie musicale, dont le directeur est Jacques Thuillier.
