메타플랫폼(옛 페이스북)이 메타버스 세상에서 사람들을 연결할 무기로 음성 인식 기반의 대화형 인공지능(AI) 기술을 꺼내 들었다. 지난해 10월 메타버스에 집중하겠다는 의미에서 사명을 변경한 뒤 처음으로 구체적인 청사진을 공개한 것이다.

23일(현지 시간) 메타가 온라인으로 진행한 ‘인사이드 더 랩’의 기조연설자로 나선 마크 저커버그 최고경영자(CEO)는 “진짜 같은 세계를 만들고 탐험하려면 현재 상상할 수 있는 가장 앞선 스마트어시스턴트 기술을 넘어서야 한다”며 일종의 콘셉트 AI ‘빌더봇(Builder Bot)’을 소개했다. 이어 현실의 저커버그 CEO는 사라지고 3차원(3D) 공간에 비슷한 헤어스타일과 그의 목소리를 내는 아바타가 나타났다. 그가 “헤이 빌더봇” 하고 부르며 “공원으로 가볼까. 아니다. 해변으로 가보자”라고 말하자 주변에 공원이 사라지고 해변이 나타났다. “하늘에 구름을 좀 더해볼까. 양떼구름을 넣으면 좋겠다”며 오른쪽 하늘에 손바닥을 올리는 동작을 하자 성긴 구름이 나타났다. 저커버그 아바타가 한술 더 떠 열대 지역 음악을 틀어달라고 하자 순식간에 휴양지 해변 분위기로 변했다.

저커버그는 이 같은 대화형 AI 개발 프로젝트를 ‘카이라오케(CAIRaoke)’로 소개하며 “여러분의 목소리로 원하는 새로운 세상을 만들어 탐험하고 다른 이들과 경험을 나눌 수 있다”고 강조했다.

아직 상반신만 있는 단순한 형태의 아바타에 간단한 그래픽 등 화려하지 않은 포장지지만 저커버그가 내놓은 메시지는 명확했다. 메타는 애플(시리), 아마존(알렉사), 구글(구글어시스턴트)과 달리 아직 기기 기반 음성 인식 서비스를 내놓은 적이 없다. 하지만 단숨에 이들을 넘어서겠다고 선포한 것이다. 이를 위해 자기 지도 학습 모델을 채택하는 새로운 유형의 ‘생성형 AI(Generative AI)’ 모델을 내세웠다. AI가 이미 사람이 분류해놓은 데이터로 학습하는 게 아니라 데이터 원본을 제공하고 나머지 부분을 예측하게 해 사람처럼 문맥을 추론하도록 유도하겠다는 것이다. 이를 위해 사람의 시선, 보디랭귀지, 얼굴 표정까지 데이터로 포함한다고 밝혔다. 이 같은 학습은 올해 말 1만 6000여 개의 그래픽처리장치(GPU)를 갖출 AI 리서치슈퍼클러스터(RSC)를 통해 가능할 것으로 보인다.

이어 저커버그 CEO는 이용자들이 언어에 구애되지 않고 소통할 수 있도록 대화형 AI 시스템의 새로운 버전인 ‘유니버설 언어번역기(universal language translator)’ 청사진도 공개했다. 그는 “5년 전에는 10여 개, 3년 전에는 30여 개의 언어 번역이 가능했지만 현재는 100개까지 늘었다”며 “오스트리아부터 우간다까지 모든 이들이 쉽게 소통할 수 있도록 하겠다”고 강조했다. 눈에 띄는 점은 학습할 데이터가 많지 않은 희귀 언어의 번역 고도화도 가능하다는 것이다. 그는 소외되는 언어 없이 대화를 발화된 통째로 즉각 번역하는 시스템을 구축해 전 세계 이용자가 언어 장벽 없이 몰입감 있는 경험을 할 수 있도록 하겠다고 강조했다.

메타가 AI 기술을 선보이기 위한 단독 행사를 개최한 것은 처음이다. 저커버그는 “메타버스에 투자한 기간이 10년이 다 돼간다”며 “사람들이 아끼는 이들과 연결되고 가까운 느낌을 받도록 하기 위해 새로운 기술로 혁신을 이루는 게 우리 DNA”라고 말했다. 이날 메타는 경쟁자 틱톡에 대항하기 위해 인스타그램의 짧은 동영상 서비스 ‘릴스’를 전 세계 150여 개 국가로 확대한다고 발표했다.