“AI가 멋대로 직장 막내에게 문자를 보냈다”…제미나이는 왜 그랬을까

[이슈, 풀어주리] 출근길에서도, 퇴근길에서도. 온·오프라인에서 화제가 되고 있는 다양한 이슈를 풀어드립니다. 사실 전달을 넘어 경제적 가치와 사회적인 의미도 함께 담아냅니다. 세상의 모든 이슈, 풀어주리! “AI랑 대화했을 뿐인데, 지인에게 문자가 전송됐다.” 검색과 문서 작성을 넘어 실제 행동까지 수행하는 ‘AI 에이전트’ 시대로 접어들면서, 자동 실행 기능을 둘러싼 통제와 책임 문제가 수면 위로 떠오르고 있다. 최근 한 제미나이 이용자는 중국 밀입국을 가정해 대화하던 중 AI가 생성한 글이 지인에게 문자로 발송됐다는 글을 올렸다. 스레드 캡처 29일 AI 업계에 따르면 최근 한 구글 제미나이(Gemini) 사용자는 사회관계망서비스(SNS)에 황당한 경험담을 공유했다. 중국 밀입국을 가정한 가상 시나리오를 AI와 대화하던 중, 제미나이가 생성한 이른바 ‘밀입국 선언문’이 실제 지인의 휴대전화로 문자 메시지로 발송됐다는 것이다. 메시지는 새벽 시간대, 평소 친분이 깊지 않은 지인에게 전달돼 당혹감을 키웠다. ◇ “제멋대로 보낸 건 아니다”… 자동 실행의 함정 구글 측 설명에 따르면 제미나이가 임의로 행동한 것은 아니다. 제미나이는 안드로이드 스마트폰에서 문자 메시지 발송 기능을 공식 제공하고 있으며, 사용자가 연락처를 지정해 전송을 요청할 경우 확인 절차를 거쳐 메시지가 발송된다. 구글은 사용자가 “문자 메시지를 보낼까요”라는 질문에 의도치 않게 ‘예’를 눌렀을 가능성을 제시했다. 문제는 이 과정에 한 번 더 멈춰 설 수 있는 안전장치가 없다는 점이다. 대화 흐름 속에서 무심코 선택이 이뤄질 경우, 민감한 내용이 의도치 않은 상대에게 그대로 전달될 수 있다. 현재는 안드로이드 스마트폰에서만 작동하지만, 애플이 시리에 제미나이 탑재를 예고한 만큼 향후 아이폰에서도 유사한 사례가 발생할 가능성을 배제하기 어렵다. ◇ 핵심은 ‘자동 연동’… 꺼놔도 남아 있는 기능 Android에서 Gemini 모바일 앱을 사용해 문자 메시지 보내기 기능 안내. 제미나이 앱 고객센터 캡처 이 사건의 배경에는 제미나이의 ‘에이전트 기능’이 있다. 제미나이는 문자, 전화, 타이머, 유틸리티 앱 등과 연동돼 실제 행동을 수행하도록 설계돼 있다. 이 구조는 이미 지난해부터 논란이 돼 왔다. 지난해 7월 IT 매체 테크레이더에 따르면, 사용자가 별도 설정을 변경하지 않을 경우 제미나이는 메시지·전화 앱 등에 자동 접근할 수 있다. 특히 ‘제미나이 앱 활동’을 꺼두더라도 일부 연동 기능은 유지돼, 사용자가 인지하지 못한 상태에서 문자 전송이나 통화 실행이 가능한 구조라는 점이 문제로 지적됐다. 이 기능을 완전히 차단하려면 안드로이드 설정에서 직접 연동을 해제하거나, 앱 자체를 비활성화해야 한다. 암호화 이메일 서비스 업체 투타(Tuta)는 당시 “사용자에게 명시적 동의 없이 자동 기능을 활성화하는 것은 투명성 문제”라고 비판했다. ◇ 제미나이, 개인정보 수집 ‘최다 수준’… 이중 안전장치 필요 이 같은 우려는 체감에 그치지 않는다. 지난해 10월 글로벌 VPN 업체 서프샤크가 주요 생성형 AI 앱의 개인정보 수집 항목을 분석한 결과, 구글 제미나이는 조사 대상 가운데 가장 많은 개인정보 항목을 수집하는 서비스로 분류됐다. 계정 정보뿐 아니라 위치 정보, 연락처, 사용자 콘텐츠, 사용 기록 등 폭넓은 데이터가 수집 대상에 포함됐다. 특히 메시지·전화 등 기기 기능과 연동되는 구조에서 AI가 어떤 맥락으로 어떤 데이터를 활용하는지 사용자가 직관적으로 인지하기 어렵다는 점이 위험 요소로 꼽힌다. 서프샤크는 “기능이 고도화될수록 AI가 접근하는 데이터 범위도 함께 넓어지고 있다”며 “편의성과 함께 개인정보 통제 수준을 반드시 점검해야 한다”고 지적했다. 클로드봇이 몰트봇으로 이름을 변경한 모습. 몰트봇 홈페이지 캡처 한편 모바일을 넘어 PC 환경에서도 AI 에이전트에 대한 우려는 이어지고 있다. 이메일 답장과 브라우저 조작, 코딩, 결제까지 수행하는 AI 에이전트 ‘클로드봇(현 몰트봇)’이 개발자들 사이에서 빠르게 확산되고 있지만, 개인 PC에 직접 접속하는 구조 탓에 채팅 기록이나 API 키 등 민감한 정보 유출 가능성이 제기되고 있다. 편의성이 커질수록 통제와 보안에 대한 고민도 함께 커지고 있다는 지적이다. AI 업계 한 관계자는 “예전에는 사람이 AI에게 일을 시켰다면, 이제는 AI가 알아서 움직이는 단계로 넘어가고 있다”며 “문자나 결제처럼 되돌릴 수 없는 행동에 대해서는 최소한의 이중 안전장치가 필요하다”고 말했다.