居千圣寺不久，祖以化缘既毕，端居而逝。其时必后魏幼主钊与孝庄帝废立之际。是岁乃当梁武帝大通二年(528)。以其年葬于熊耳山，起塔于定林寺。

　　 传说其后三年，魏宋云自西域返回时，与达磨相遇于葱岭，见其手携只履，翩翩独行。云即问曰；“大师何往？”祖曰：“西天去。”即谓云曰：“汝主已崩。”云听闻茫然相别。云回复命，明帝果已去世。云寻以其事奏闻于后主孝庄帝，帝令发其圹视之，唯一草履尚在。朝廷为之惊叹，诏取所遗之履，存于少林寺供奉。至唐开元十五年(727)丁卯，为信道者窃往五台山僧寺供养，后亦亡之，今不知所在。