인공지능(AI) 알고리즘을 활용해 2D 영상을 3D 아바타로 구현한 이미지. 사진 제공=한국전자기술연구원인공지능(AI)을 활용해 한 개의 2D 영상만으로 3D 아바타를 가상으로 만드는 기술이 개발됐다. 여러 대의 카메라로 장시간 촬영해야 가능했던 3D 아바타 구현이 훨씬 손쉽게 가능해진 것이다. 시간과 비용을 크게 절감할 수 있는 만큼 앞으로 3D 아바타 관련 산업 성장에 기폭제 역할을 할 것으로 기대된다.
한국전자기술연구원이(KETI)은 19일 광주과학기술원(GIST) AI(인공지능)대학원과 공동으로 ‘AI 기반 3D 객체 미디어 복원 기술’을 개발했다고 밝혔다. 이 기술은 올 1월 삼성전자가 주최한 ‘삼성휴먼테크 논문대상’에서 은상을 수상했으며, KETI와 GIST는 기술 현실화 연구를 계속 진행해왔다. 그 결과 18일(현지 시간)부터 캐나다 벤쿠버에서 진행 중인 컴퓨터 비전 분야 세계 최고 권위 학회 ‘컴퓨터비전과 패턴인식 학술대회(CVPR)’에서 시연할 계획이다.
연구진은 단일 2D 영상 이미지만으로 3D 아바타를 구현하기 위해 영상 속 인물의 얼굴·몸통·팔·다리 등 신체 부분을 구별한 뒤 AI 딥러닝 알고리즘을 사용해 각 신체 부분의 움직임 및 정보를 추출·분석·변환하는 작업을 진행했다. 3D 포토스캔 기업 이오이스와 협력해 가상 인물 2000여 명의 3D 정보를 담은 데이터셋을 구축했으며, 이 데이터는 세계 최 규모 오픈소스 커뮤니티인 ‘깃허브’를 통해 공개할 계획이다.
실존 인물을 기반으로 3D 아바타를 제작하려면 기존에는 여려 대의 카메라로 장시간 촬영해야 했다. 하지만 이 기술을 활용하면 한 개의 2D 영상만으로 3D 아바타를 만들 수 있어 작업 기간과 비용이 크게 줄어들 것으로 기대된다. 연구진은 영화·드라마 같은 콘텐츠 보다 ‘제페토’처럼 메타버스 내 3D 아바타 구현에 적합한 기술로 보고 있다. 김제우 KETI 지능형영상처리연구센터 센터장은 “AI 알고리즘 기반의 사실적이고 효율적인 3D 인물 모델링은 가상현실과 디지털 트윈 공간을 표현하는 핵심 요소"라며 “궁극적으로 실사 적용이 가능한 메타버스 서비스 개발에 기여할 것으로 기대한다”고 말했다. 전해곤 GIST 교수는 “연구진이 데이터 편향성과 저품질의 인체 3차원 데이터셋 문제를 해결했다"며 "실존 인물의 동작과 얼굴, 옷 주름까지 3D로 구현해낼 수 있다”고 전했다.
