一般教養の分野における極めて「不十分な教育」に加え、ハイドンは9年の間、歌唱、ピアノおよびバイオリン演奏の指導を受けました。 一時期は、弟のミヒャエル・ハイドンも一緒でした。弟のミヒャエルも後に作曲家となり、今日では主として教会音楽の作曲家として知られています。
ヨーゼフ・ハイドンは、極めて多くを学びました。その大半は独学でしたが、音楽の中心地で、プロの音楽家として経験を積んだということ自体、重要な研鑚過程だったのです。1749年になると、ハイドンは声変わりのため、聖歌隊員の職を失いました。

シュテファン寺院は、ハイドンの人生で再度重要な役割を果たしています。1760年11月26日、ハイドンはここで結婚式を挙げたのです。 相手は、ウィーンにおける長年の知り合いであったカツラ作り職人の長女マリア・アンナ・アロイジア（1729～1800）でした。 ハイドンは一家への感謝の意から、この結婚を受け入れたものと見られます。彼が愛していたのは末娘のテレーゼだったらしいのですが、彼女は修道院に入ってしまいました。

この結婚は不幸なものでした。「私の妻は子供を産むことができず、このため、私は他の女性に無関心ではいられなかった」というのが、ハイドンの結婚生活に対する言葉少ないコメントです。 ハイドン夫人は、あまり教養がなく、大作曲家である夫に対する理解に欠け、浪費癖があったということです。