すれちがいマップにすれちがったキャラクターが残っている間は、すれちがいマップを抜けることができません。
「思い出の戦いを保存する」などを選択し、すれ違いマップからキャラクターを消して抜けてください。