외부인 접촉 줄이는 공정위…정상적 업무 위축 우려