鉴真对荣睿、道航等人的方案表示同意。几位日本僧人为了遮掩官厅的耳目，便分散投宿于效外各寺。普照和玄法搬到大明寺，玄朗搬到开元寺，荣睿仍留在既济寺，不久鉴真也搬到既济寺。这样，他们便把既济寺作为联络中心，一切事情都在暗地里进行。

　　 首先，他们设法从各地弄来了许多粮食，因为东渡日本并非十天半月之事，没有大量的粮食是不可能的。他们把粮食储藏在既济寺中，对外怕引起他人怀疑，便声称是运往天台山国清寺给和尚们吃的。其次，他们又把渡海的船只也落到了实处，这多亏了李林宗的那封信。扬州仓曹李凑同意在扬子江东河口打造船只。

　　 天宝二年(743年)春，正当一切准备就绪的时候，浙东一带发生海盗骚扰事件，公私航行因此全部断绝。鉴真招集大家商议，但到底什么时候启航，一时还是拿不定主意。

　　 开船的日子还没有确定下来，谁知突然在僧人内部却发生了一件意外的事情，当时，从长安来的道航认为这次东渡日本主要是为传授戒法，但也得把中国成熟的文明介绍到日本去，而人员又不能过多，这就需要选择学识较多及德高望重的人组成精悍的队伍。道航认为像如海这样的人，学识尚且不足，戒法也不精通，最好还是不带去为好，谁知这个意见尚未得到鉴真的认可，却让如海给知道了。如海自认为受到侮辱和排挤，一气之下便向淮南采访使(中央派驻各道的监察官员)控告，诬称从长安安国寺来的僧人道航在东河口造船准备入海，与海盗勾结。还说道航等人在几个寺院里屯集了大批粮食，不久还要引五百多个海盗到城里来抢劫。

　　 淮南采访使班景倩一听，大吃一惊。他立即下令将如海关到狱中进行审问，同时又派捕役到几个寺院里捉拿诸僧。

　　 荣睿等人潜居各寺，自以为外人不知，所以未加特别防备。官厅突然搜捕，使他们躲藏不及。于是日僧普照在大明寺被捕，日僧玄朗、玄法在开元寺被捕。另一日僧荣睿情急之中仰卧在既济寺的水池里，可捕役发现水波晃动，还是把他从水中捉住了。道航躲到老百姓家中，可第二天也被捉走了。与此同时，官厅还在既济寺查出大批粮食，并发现了打造船只的事实。这样一来，问题就严重了。

　　 道航被视为主谋，受到严刑拷问。采访使班景倩问他：“你们有多少人与海贼私通？”

　　 “我们没有与海贼私通，请大人明查！”道航以为官厅抓他是因为私渡日本的事，现在看采访使问他与海盗私通之事，知道他们还不知私渡的事，于是便壮了胆子，矢口否认。

　　 “那你为什么要躲藏？为什么屯集那么多粮食？打造船只对出家人来说，又有什么用处？”

　　 “粮食是准备送往天台山供僧的，因山峻路险，陆路不便，故造船走海路。”道航按事先筹划好的借口回答。

　　 “如此狡辩，谁能相信？”采访使不信道航的话。

　　 “我是从京师长安来的僧人，本是当朝宰相李林甫之兄李林宗的家僧，大使若不信，有李林宗的信函为证。”道航很坦然地说。

　　 “李林宗的信在何处？”

　　 “在仓曹李凑那里。”

　　 于是，采访使班景倩立即约见扬州仓曹李凑核实。李凑肯定道航所说完全属实，并将李林宗的信函交给班景倩过目。

　　 班景倩接过信函一看，只见上面明明白白地写着要李凑帮助打造船只，送粮到国清寺去。班景倩疑团全解，连忙请来道航说：“下官冒昧，多有得罪，还望法师海涵。只是眼下海盗猖厥，万不可再走海路。”

　　 于是，船只留作官用，粮食则如数归还。如海被打了六十杖，勒令还俗，押送回原籍。对于四位日本僧人的处理，扬州官厅认为情况不明，不好决定，只得上奏朝廷。奏章传到管理外国僧人事务的鸿胪寺，鸿胪寺派人调查后证实他们确是在长安留学的日本僧人。鸿胪寺把此结果上奏朝廷，朝廷再下诏扬州，如此周折了一大圈儿，直到当年八月，扬州方面才得到朝廷指示，然后释放了几位日僧，给他们安排住处，发放他们生活费用，并准备等到有顺船时送他们回国

　　 鉴真第一次东渡日本的计划就这样失败了。