悉达多进入跋伽仙苦行林，看见那些苦行者为求升天而修种种苦行，觉得不是正道，立即要离开。苦行者见他的道志异常，告诉他到恒河南面的苦行林去寻找名师，定可达到愿望。于是他向南而行，越过恒河南岸，到了摩揭陀国，就在王舍城中乞食，之后，前往班达峇岩。频婆娑罗王知道了，特到班达峇岩去访问悉达多，要请他进宫去，供养一切饮食，并要让给他王位和赠送他半个国土和财务，劝他还俗。悉达多修道意志坚定，不愿接受，频婆娑罗王非常敬佩，对悉达多说：“你如果成佛，不要忘记度我。”

悉达多说：“大王，我一定能如你的心愿。”

于是他向王告辞，沿着苦行林的路径，再去寻找名师。

悉达多访问了当时著名的宗教师阿罗逻迦兰和郁陀迦罗摩弗。可是他们的学说都不圆满，不能满足悉达多的希望，他便离开他们，向他出寻访。

悉达多在尼连禅河畔的苦行林中，修炼绝食的苦行，连续达6年之久。在此期间，他每天仅以一粒野生的麦子维持生命。他身体消瘦，四肢无力，却未见悟道成佛的消息，于是放弃了苦行，改用专心冥想的功夫。悉达多离开苦行林，走到尼连禅河，洗净6年来的身垢，接受了牧羊女耶妲乳糜的供养，恢复了身体的健康，并下定决心要追求最圆满的真理。

随从的5个人，见他放弃苦行、接受乳糜的供养，都以为他退了道心，就不再跟从他，而另找他处修行去了。