到了越州的小岛三塔山(今定海海中的小洋山)，风向突然变化，他们又不得不停下来等候。一个月后，总算等到了顺风，鉴真下令立即开船。谁知船行到暑风山(今舟山岛附近)，风又转了向，只好再次停了下来。

　　 船在暑山岸边停了一个多月，大家心里都十分着急。10月16日一大早，鉴真突然对大家说：“昨夜我梦见三个官人，一个穿红衣服，两个穿绿衣服，站在岸上向我们拜别。这一定是国神与我们告别，我们的行动国家已允许了，今天肯定可以东渡了。”

　　 说来也巧，一会儿，果然刮起了顺风。于是，等待一月之久的轮船再次起锚开航，向顶岸山进发。到中午时，东南方向出现了高山，大家以为顶岸山到了，水手们扬帆直驶而去。可是，忽然间眼前那郁郁苍苍的高山却不见了。原来，那只是一种积聚的蜃气，它预兆着一场大飓风即将来临。但鉴真一行不了解这种情况，所以继续航行，船离暑风山越来越远，慢慢地漂向大洋之中。

　　 一会儿，海上便刮起大风。黑云遮天，狂风恕号，浪高波峻，涛声如雷。傍晚时分，风浪更大，轮船像一片树叶，一会儿被抛向浪巅，一会儿被埋入波谷。船上的人都被颠得昏昏晕晕，力不能支，大家齐声念诵观音圣号。可水手们却大声喊道：“船就要沉了，快把货物扔下海去！”于是几个水手拿起栈香笼就要向海中扔去。这时忽听空中传来声音：“不许扔！不许扔!”水手大吃一惊，立即放下手中的栈香笼，其它水手也不敢向海中扔东西了。

　　 又过了一会儿，水手突然惊喜地对大家说：“大家都不要再担心了，有四位神王，身穿铠甲，手持长杖，其中两位在船头，两位在船侧，他们全力守护着我们！”众人一听，心中顿时安稳下来，再看鉴真，此刻依然静坐在船头，双手合掌，口里念念有词。

　　 第三天，船漂到蛇群出没的蛇海，各色各样的蛇，身长一丈多，小的也有五尺左右，在海面上游来游去。接着，船又驶进飞鱼海，银白色的鱼都有一尺多长，不停地飞出海面，在空中舞动。水手们不知船开到了什么地方，只好随波逐流，在茫茫大海中漂荡。

　　 这一天，船开到一处海面，飞鸟极多，这种鸟与人一般大小，许多鸟爬到船上，使得船的重量急剧增加，人们只好用手去推，飞鸟就用嘴啄咬人的们的双手，几经搏斗才终于脱离了飞鸟海。

　　 此后几天中，除了狂风巨浪之外，再见不到任何东西。后来，船上又断了水，人们疲惫不堪，饭无法去做，日僧普照便在每天的吃饭时候，给大家分发一些生米充饥。可是口干舌燥，无法下咽，饮了海水之后，腹部又胀疼难忍。他们自出世以来，谁也没有受过这样的罪。

　　 如此又熬了好几天。这一日，海中出现了四只金鱼，船上人好像见到亲人一样，十分高兴，因为好长时间，他们没有看到过任何活着的东西了。又过了一天，风平浪静，船稳了下来。可依然无水，人们都快要渴死了。

　　 一天早晨，荣睿突然兴奋地对大家说：“我梦见一位官人请我为他受戒。我对他说，贫僧甚渴，想要水喝。那位官人便倒水给我。那水就像乳汁一样，十分甘甜淳美。我又对那官人说，船上三十余人已好多天没渴过水了，他们极其饥渴，请施主尽早拿水给他们。于是，那位官人就叫来‘雨令老人’，请他火速给船上人送水。这个梦相说明，雨水就要来了，你们赶紧准备用碗来接。”

　　 第二天下午，西南上空出现了一块乌云，当漂到船的上空时，忽然下起雨来。人们用碗接水，痛饮一场，顿时精神振作起来。次日又下了一场雨，人们才吃饱渴足，但水并没有屯集多少。又过了一天，船终于靠近一个海岛。

　　 至此，他们已在海上漂泊了整整十四天。

　　 那时，已是冬季十一月份，扬州及日本一带已是万木凋零了。可这岛上却鲜花竟艳，草木清新，完全是夏日的景象。他们感到十分奇怪。不久遇到了四位当地的商人，一打听，才知道他们并未抵达日本，而是到了中国最南端的一个大岛即今天的海南岛。

　　 第五次渡海又失败了。