토요하라 코스케, 코이즈미 쿄코와 불륜 인정…“연애감정 있다”