第一次，是他在刚刚当上唐僧徒弟时因打死了几个强盗，被唐僧教训了一顿，后来不服气，跑了。然后到东海龙宫去找龙王诉苦，后来被龙王劝化，重新回到唐僧身边。也就是在这期间，观音菩萨化作一个老婆婆，传给了唐僧紧箍咒。
第二次离开，是唐三藏师徒四人路经白虎岭时，白骨妖变作凡人，想抓走唐僧。但被孙悟空发觉，打死了妖怪。而唐僧、猪悟能、沙悟净都是肉眼凡胎，识不得妖怪变化。三藏误以为孙行者滥杀无辜，便写了贬书，将他贬回花果山。这便是西游记中比较有名的“三打白骨精”。
第三次，同样是悟空打杀了几个贼盗，唐僧大怒，将他赶离，孙悟空便去了南海观音那里。后来混世四猴之一的六耳猕猴趁机变为悟空的样子，抢走了唐僧的包袱，还打伤了唐僧。后来沙悟净赶到观音菩萨处，与真悟空一同去花果山捉妖。两个悟空打到了观音菩萨处请观音分辨真假，但是观音也分辨不出来谁真谁假，二人便打到了天宫、地府，谁知天宫地府都无人能识辩。最后二人斗到了西天极乐世界，请如来佛祖辨认真假，才将假
温馨提示：答案为网友推荐，仅供参考