悉达多诞生一周后，母亲摩耶夫人就去世了。因此悉达多是在姨母摩诃波阇波提与净饭王的抚养之下长大的。他的姨母把悉达多当做亲生儿子一样疼爱，让他物质上享受着豪华富丽的宫廷生活。

7岁时，悉达多开始读书。净饭王聘请名师教他学习梵文，由浅入深地研读五明和四吠陀。聪明的悉达多闻一知十，没几年便博通了一切学问。后来又学兵法和武术，也都很快就精通了。在同辈王子中，他成为最出色的一位。在一次王家子弟的比武大会中，他展示了优越的体力角斗和超人的射箭武艺。其他诸王子中最好的射箭武艺，只能一箭射穿三鼓，悉达多却能一箭连穿七鼓。也就是在这次竞技大会上，悉达多赢了表妹耶输陀罗的爱情。

净饭王很爱悉达多，担心他出家，特意为他筑了“寒”、“暑”、“温”三时宫殿，挑选许多宫人美女服侍他，但是悉达多对这世间的富贵、快乐却不感兴趣