360도 꽉찬 풀(full) 3D 입체영상을 만들기 위해서는 다양한 각도에서 촘촘히 찍은 이미지 데이터가 필요하다. 그러나 ‘NeRF(Neural Radiance Field)’라는 추론 기술을 활용하면 단 몇 장의 사진만으로도 도출해 낼 수 있다. 인공지능(AI)이 사진에 찍히지 않은 부분까지 상상해 내서 부족한 퍼즐 조각을 맞추는 것이다.

국내 AI의 선두주자인 네이버가 NeRF 분야 연구·개발에 본격 뛰어들기 시작했다. NeRF는 가상·증강현실(VR·AR)의 핵심으로 각광받는 기술이다. 구글, 메타, 엔비디아 등 글로벌 빅테크들은 앞서 상당한 진보를 이뤘지만 국내 기술력은 아직 더딘 상황이다. 네이버는 그동안의 공백을 한국과학기술원(KAIST)과의 협력을 통해 메꿔나가고 있다. 올 초 세계 최고 권위 머신러닝(ML) 학회 ‘ICLR 2022’에서 관련 논문을 선보이기도 했다.

18일 서울경제와 만난 하정우 네이버 AI랩 소장은 “아직 내부 연구·개발 단계”라면서도 “일반적으로 쇼핑에서 풍부한 3D 시각정보를 제공하거나, 디지털 휴먼 퀄리티 향상, 메타버스 실감 콘텐츠 등에 유용하게 활용할 수 있다”고 말했다.

네이버의 AI는 지난해 초대규모AI ‘하이퍼클로바’를 선보인 이후 1년이 지나 온갖 영역을 넘나들며 진화하고 있다. 지금까지 똑똑한 AI인 초대규모AI로 두각을 나타냈다면 이제는 기발한 AI인 ‘초창의적AI’를 통해 기대를 모으고 있다. 하 소장은 “초대규모AI란 말 그대로 기존 AI 보다 훨씬 더 큰 규모의 문제를 해결할 수 있는 차세대 AI”라며 “대표격인 미국 오픈AI에서 만든 ‘GPT-3’는 전작인 ‘GPT-2’ 보다 100배 이상 높은 효율성을 자랑하는데 초창의적AI는 여기서 더 나아가 초대규모AI를 기반으로 창작까지 해내는 AI”라고 설명했다. 창의력이 요구되는 미술, 음악, 애니메이션 등 콘텐츠를 만들어내는 것이다. 마찬가지로 글로벌에서 오픈AI의 ‘달리(DALLE)-2’ 모델이 선두를 달리고 있다.

그동안 네이버는 초창의적AI에서 NeRF뿐 아니라 괄목할 성과들을 다양하게 뽐내왔다. 눈, 코, 입 등 여러 부위를 자연스럽게 합성해 제3의 얼굴을 만드는 ‘StyleMapGAN’을 비롯해 하나의 이미지로 다양한 변환을 주는 ‘StarGAN’, 웹툰 자동 채색 기능인 AI페인터 등 콘텐츠 창작을 돕는 혁신적인 AI 기술들을 연구·개발하고 있다. 하 소장은 “이미 글로벌 경쟁자들이 뛰고 나는 초대규모 AI와 달리 초창의적 AI에서 만큼은 대부분 이제 막 걸음마를 떼는 단계”라며 "퍼스트무버(개척자)로 승부를 걸어 볼만하다”고 말했다.

네이버 초창의적 AI 전략의 중심은 ‘네이버-KAIST 공동 연구센터’다. 하 소장과 KAIST AI 대학원의 주재걸 교수가 공동 센터장 격을 맡고 있다. 하 소장은 “회사 따로 대학 따로 놀면 망한다는 절박함이 공동 연구센터 설립으로 이어졌다”고 했다.

특히 올해 네이버 제2사옥 ‘1784’에 KAIST와의 초창의적 AI 연구센터가 둥지를 틀며 큰 기대를 모으고 있다. 1784 4층에는 100명 가량 수용 가능한 AI 연구센터를 비롯해 바로 옆에는 140석 규모의 스타트업 전용 공간 ‘D2SF @분당’이 자리를 잡고 있다. 대부분 AI 기술 스타트업들이 입주했다. 이날 하 소장과 함께 만난 주 교수는 “그동안 연구센터가 외부에 있다 보니 기업 데이터를 활용하는 데 상당히 큰 제약이 있었는데 이제 더 효율적인 협업이 가능해졌다”고 했다. 하 소장은 “같은 건물에 KAIST, 스타트업들과 적극 소통하고 자극을 주고받으며 폭발적인 시너지를 낼 것”이라고 했다.