長瀬智也&櫻井翔、事務所を辞めようと思った過去明かす