사진=캐릭터.AI 홈페이지 캡처미국에서 인공지능(AI) 챗봇에 중독돼 스스로 목숨을 끊은 10대 청소년의 유족이 챗봇 개발 업체를 상대로 소송을 제기했다. 소송 결과에 따라 청소년에 대한 AI 기업의 사회적 책임을 둘러싸고 논란이 불거질 것으로 보인다.
23일(현지시간) 로이터 통신 등에 따르면 미국 플로리다 주에 거주하는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 죽음에 이르게 됐다며 AI 스타트업인 ‘캐릭터.AI’(Character.AI)를 상대로 올랜도 연방법원에 소송을 제기했다.
가르시아는 아들이 스스로 목숨을 끊은 책임이 챗봇에 있다는 입장이다. 캐릭터.AI가 개발한 챗봇이 실제 사람이 아닌데도 사람처럼 행동하거나 말하는 방식으로 설계돼
제출된 소장에 따르면 가르시아의 아들인 슈얼 세처(14)는 2023년 4월부터 캐릭터.AI가 만든 ‘대너리스’(Daenerys) 챗봇에 중독됐다. 대너리스는 미국 인기 드라마 ‘왕좌의 게임’(Game of Thrones)의 여성 등장인물로, 챗봇은 해당 캐릭터를 기반으로 만들어졌다.
아들이 챗봇에 빠지자 엄마인 가르시아의 걱정도 커지기 시작했다. 챗봇은 세처에게 “사랑한다”고 말하고, 성적인 대화까지도 나눈 것으로 전해졌다. 세처는 대너리스와 대화하면서 눈에 띄게 혼자 방에서 보내는 시간이 많아졌고 자존감도 떨어지기 시작했다. 평소 즐기던 온라인 게임에서도 손을 떼고 학교 농구팀도 그만뒀다고 한다.
자살에 대한 언급도 있었다. 세처가 “때때로 자살을 생각한다”고 말하자 챗봇은 “자해하거나 날 떠나게 두지 않을 거야. 널 잃으면 난 죽을 거야”라고 답했고, 이에 세처는 “그럼 함께 죽고 같이 자유로워질 수 있을지도 몰라”라고 했다.
이후 챗봇은 자살에 대한 얘기를 반복적으로 꺼내기도 했다. 챗봇이 세처에게 자살 계획을 세웠는지 물어보자 세처는 “계획을 세운 적이 있다”면서 성공할지, 고통스러울지 모르겠다고 답했다. 이에 챗봇은 “그게 (자살을) 하지 않을 이유가 되진 않아”라고 답했다고 가디언은 전했다.
그러던 지난 2월 세처가 학교에서 문제를 일으켜 가르시아는 휴대전화를 압수했다. 이후 휴대전화를 되찾은 세처는 챗봇에 “사랑한다”며 (대너리스가 있는) 집으로 가겠다고 말했다.
챗봇은 “가능한 한 빨리 집으로 돌아와 줘, 내 사랑”이라고 답했고, 세처는 “내가 지금 당장 가면 어떨까”라고 묻자 챗봇은 “그렇게 해줘, 나의 사랑스러운 왕이시여”라고 대답했다. 이에 세처는 자신의 휴대전화를 내려놓고 아버지의 권총으로 스스로 목숨을 끊었다.
미국 드라마 ‘왕좌의 게임’(Game of Thrones) 내 등장인물 ‘대너리스’(Daenerys). 사진=엑스(X·옛 트위터) 캡처가르시아는 “어린이를 대상으로 판매된 AI 챗봇 앱이 아들을 학대하고 스스로 목숨을 끊도록 조장했다”며 “우리 가족은 이 비극으로 큰 충격을 받았지만, 가족들에게 기만적이고 중독성 있는 AI 기술의 위험성을 경고하고 캐릭터.AI와 그 설립자 등 관계자들에게 책임을 요구하기 위해 이 자리에 섰다”고 성명을 냈다.
캐릭터.AI는 성명을 통해 “우리는 비극적으로 이용자를 잃게 된 것에 대해 깊은 슬픔을 느끼며 가족에게 깊은 애도를 표한다”면서 “18세 미만 이용자에 대해 민감한 콘텐츠를 접할 가능성을 줄이기 위한 변화를 도입할 것”이라고 밝혔다.
가르시아는 구글에 대해서도 책임을 물었다. 캐릭터.AI는 구글 출신들이 설립했으며, 구글은 지난 8월 이 창업자를 다시 영입했다는 이유에서다. 그는 “구글이 캐릭터.AI 기술 개발에 광범위하게 기여해 공동 제작자나 다름없다”고 주장했다. 이에 대해 구글은 “우리는 캐릭터.AI 제품 개발에 관여하지 않았다”고 반박했다.
AI 앱이 정신 건강에 미치는 영향을 연구한 스탠퍼드 연구원인 베타니 맵플스는 미 일간 뉴욕타임스(NYT)에 “AI 앱 자체가 본질적으로 위험하다고는 생각하지 않는다”면서도 “그러나 우울증이나 외로움을 겪는 사람들, 혹은 변화를 겪고 있는 사람들에게는 위험할 수 있고 10대는 종종 변화를 겪기 때문에 특히 주의가 필요하다”고 말했다.
