국제 기업

챗GPT 제작사, ‘AI 작성 글 탐지기’ 선봬… “정확도는 26% 가량”

‘표절 등 악용 소지’ 우려에 출시…오픈AI “신뢰성 떨어져” 시인

AP연합뉴스AP연합뉴스




인공지능(AI) 챗봇 ‘챗GPT’를 제작한 스타트업 ‘오픈AI’가 AI가 작성한 텍스트를 탐지하는 도구를 선보였다. 그러나 적발 성공률이나 정확도는 높지 않은 수준인 것으로 나타났다.



미국 캘리포니아주 샌프란시스코에 본사를 둔 오픈AI는 지난달 31일(현지 시간) 홈페이지로 이 도구를 공개하면서 출시 전에 실시한 자체 평가 결과를 설명했다. 평가에 쓰인 텍스트는 모두 영문이었으며, 인간이나 챗GPT뿐만 아니라 다른 챗봇들에 의해 생성된 것도 포함됐다. 이 도구는 AI가 작성한 텍스트 중 26%만을 “AI 작성 가능성 높음”으로 판정했다.

실제로는 사람이 쓴 글인데도 AI가 쓴 것이라고 잘못 판정하는 ‘위양성’(false positive)의 비율도 9%나 됐다. 영문 기준 1000자 미만의 짧은 텍스트에서는 판정의 신뢰성이 특히 낮았다. 다만 입력 텍스트의 길이가 증가할수록 신뢰성이 높아지는 경향이 있었다. 또 새 탐지기는 깃허브를 통해 2∼3년 전에 개발자들에게 배포된 옛 버전 격인 ‘GPT-2 아웃풋 탐지기’보다 최근 AI 시스템들에 의해 생성된 텍스트를 가려내는 능력이 나아졌다.



오픈AI가 이런 도구를 일반에 배포키로 한 것은 작년 11월 말에 일반에 공개한 챗GPT가 사기, 스팸발송, 표절 등에 악용될 우려가 있다는 지적에 따른 것이다. 이 회사는 특히 교육 현장에서 챗GPT를 사용하는 경우를 염두에 두고 교육자들을 위한 조언을 홈페이지에 실었다.

관련기사



다만 오픈AI는 “우리 분류기는 완전히 신뢰할만한 것은 아니다”라며 “진행 중인 작업”이라는 점을 인정했다. 그러면서 AI가 쓴 텍스트를 모두 탐지해내는 것은 불가능하지만, 교육자나 고용주 등이 텍스트의 소스를 가려내는 데에 보조 수단으로 쓰일 수 있을 것이라고 설명했다.

이 회사는 또 명확한 단 하나의 정답이 있는 내용에 대해서는 이것이 인간이 쓴 것인지 AI가 쓴 것인지 가려낼 방법이 없다는 점도 지적했다. 또 컴퓨터 코드의 경우도 인간이 짠 것인지 AI가 짠 것인지 판정하는 것이 어렵다고 설명했다.

게다가 AI가 이미 쓴 텍스트를 변경함으로써 탐지기를 회피하는 것도 가능하다. 물론 탐지기가 업데이트될 수는 있지만, 장기적으로 보아 탐지하려는 쪽과 탐지를 피하려는 쪽 중 어느 쪽이 유리할지는 불명확하다.

챗GPT는 어떤 주제에 대해서건 마치 사람이 쓴 것처럼 보이는 글을 몇 초 혹은 몇십 초 만에 만들어내는 능력이 있어 화제를 일으켰다.

마이크로소프트는 오픈AI에 2019년과 2019년에 이미 투자를 했으며 향후 추가 투자도 적극적으로 검토 중이다. 또 오픈AI의 기술을 마이크로소프트 제품 여럿에 적용하려는 계획도 발표했다.

챗GPT가 공개된 후 학교에서는 학생들이 과제물 작성 등을 챗GPT로 할 수 있다는 우려가 일고 있다. 작년 12월에는 미국 의사면허 필기시험의 3개 부분 모두에서 챗GPT가 합격 점수를 받기도 했다.


조양준 기자
<저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지>




더보기
더보기





top버튼
팝업창 닫기
글자크기 설정
팝업창 닫기
공유하기