El 1749 Haydn va arribar a l'edat en què ja no podia cantar tons aguts, pel que va ser despatxat del cor en el que estava apuntat. Uns amics el van acollir a casa i va decidir de convertir-se en músic. Va passar deu anys difícils, en què va haver de treballar en diversos treballs relacionats amb la música. Un d'ells va ser com a servent i assistent d'un compositor italià. No obstant això, Haydn va treure partit d'aquests anys i va anar recopilant coneixements i experiència, fins el punt que va començar a compondre els seus primers quartets de corda i la seva primera òpera. La seva reputació com a compositor va començar a créixer.
Haydn va morir als 77 anys d'edat, mentre Viena era atacada per les tropes de Napoleó. Les seves últimes paraules van ser les que va dirigir als seus servents, tranquilitzant-los sobre les bombes que queien aprop.

Amb Mozart, Haydn és considerat el màxim compositor del període classicista de la música clàssica i un dels més grans compositors d'aquest gènere. Se'l considera el pare de la simfonia i del quartet tal com els coneixem actualment. També va ser innovador a l'hora de definir la forma de la sonata i de compondre sonates per a teclat i trios per a piano.