Glaubwürdig überliefert ist, dass der Buddha vermählt war und einen Sohn hatte. Im Alter von neunundzwanzig Jahren regte sich in ihm der Drang, über die Grundfragen des menschlichen Lebens nachzudenken. Eine spätere Legende erzählt von vier Ausfahrten des jungen Prinzen nach den Gärten vor der Stadt, auf denen sich ihm die Bilder der Vergänglichkeit alles Irdischen nacheinander zeigten in den Gestalten eines hilflosen Greises, eines Schwerkranken und eines Toten. Zuletzt erschien ihm ein Einsiedler, ein Bild des Friedens und der Erlösung. So soll der Prinz Gótama veranlasst worden sein, über das allem menschlichen Dasein anhaftende Leid nachzudenken, Frau und Kind und den glänzenden Hof seines Vaters zu verlassen und sich in der Weltabgeschiedenheit dem Studium der Philosophie zu widmen.
Entstanden ist diese Legende wahrscheinlich aus einer Lehrrede des Buddha, in der er nach Angūttara-Nikāya III, 38 (FN 1), sagte:
«Während ich in Reichtum und Pracht lebte, kam mir der Gedanke: ‚Wenn ein unkundiger Weltling, der doch selbst dem Altern, der Krankheit und dem Sterben ausgesetzt ist, einen Greis oder einen Kranken oder einen Toten erblickt, so empfindet er Unbehagen und Abscheu. Empfände auch ich, der ich doch auch dem Altern, der Krankheit und dem Sterben ausgesetzt bin, beim Anblick eines Greises, eines Kranken oder eines Toten Unbehagen oder Abscheu, so wäre dies nicht recht von mir.‘ Bei diesem Gedanken entschwand mir aller Jugenddünkel, aller Gesundheitsdünkel und aller Lebensdünkel.»