‘미운우리새끼’ 허지웅, 하차 심경…“엄마 마주치면 반갑게 인사해주세요”