실사 혼합 몰입형 입체영상 스트리밍 서비스 실증행사에서 ETRI 연구진이 언리얼 기반 실사혼합 입체공간 재현 기술을 시연하고 있다. 사진제공=ETRI국내 연구진이 공간컴퓨팅 시대에 한 발짝 더 다가서는 핵심기술을 개발해 일반에 공개했다. 향후 메타버스 서비스를 본격 견인하는 중요한 계기가 될 전망이다.
한국전자통신연구원(ETRI)은 최근 인천스타트업파크에서 산·학·연 관계자 50여 명이 참석한 가운데 실증행사를 갖고 더 현실감 있는 3D 입체영상 서비스를 위해 개발한 실사 혼합 몰입형 입체영상 스트리밍 서비스 기술 다섯 개를 성공적으로 시연 및 일반에 공개했다고 5일 밝혔다.
ETRI가 이번에 새로 개발한 총 다섯 가지 주요 기술은 △실사 입체영상 국제표준(MIV) 데이터 실시간 송수신 및 재현 △실사 라이트필드 생성 및 무안경 다시점 3D 재현 △TV 기반 실시간 MIV 재현 △언리얼(Unreal, 3D엔진) 기반 실사혼합 입체공간 재현 △인공지능을 이용한 완전 입체 영상 재현 서비스 등이다.
먼저, ETRI는 국제표준(MIV)규격 기반의 실사 입체영상을 실시간으로 압축·전송했고 수신 측에서는 언리얼(Unreal) 엔진과 연동해 헤드 마운티드 디스플레이(HMD)로 실시간 수신 및 재현하는 기술을 선보였다. 이 기술은 사용자가 HMD를 착용했을 때 초당 프레임수(fps)가 30fps로 마치 현장에 있는 것처럼 느낄 수 있는 정도의 안정적인 수치를 기록함을 확인했다.
또한 실사 라이트필드 생성 및 무안경 다시점 3D 재현 서비스를 개발했다. 서버 측에서 실사 입체영상을 실시간 스트리밍하고 65인치 무안경 다시점 3D 모니터로 재현하는 기술을 실증했다. 이 기술은 8K 해상도와 30fps의 속도로 안경 없이도 자연스럽고 사실감 있는 3D 영상을 제공할 수 있음을 보여줬다.
ETRI가 발표한 기술은 공간컴퓨팅 입체영상 서비스를 즐기기 위한 핵심기술들로 연구실에서 개발한 기술을 외부망으로 입체영상을 송수신한 최초의 시연이라 큰 의미가 있다.
이 기술들은 안경을 쓰지 않고도 3D 입체영상을 즐길 수 있는 기술들이다. 이러한 기술들은 콘텐츠 자체가 대용량으로 무거워 인터넷 트래픽이 존재하는 외부망을 통해 송수신 시연을 할 때 정상적으로 동작하기에 어려움이 뒤따른다.
연구진은 이러한 어려움을 극복하고 최신 기술 5종을 성공적으로 시연함으로써 향후 공간컴퓨팅 입체영상 서비스 및 이를 이용한 초실감 메타버스 서비스는 물론, 방송스트리밍 SW업체, 인터넷 기반 IPTV 방송서비스 업체, OTT사업자 등이 기술이전 등에 큰 관심을 보일 것으로 내다봤다.
또한 이 기술들은 실제 눈앞에 보이는 것처럼 배우의 좌측을 보면 좌측 얼굴을, 우측을 보면 우측 얼굴을 볼 수 있는 등의 생생한 실재감을 특징으로 한다. 따라서, 연예인의 공연 실황 등을 입체화하여 극장에서 상영하는 서비스 등에도 활용될 전망이다.
ETRI 실감미디어연구실은 인천테크노파크, 카이미디어, 하늘소프트, 서경대학교산학협력단과 협력으로 핵심 기술을 개발했다. SCI논문 1편 게재, 1편 투고 중, CVPR 등 우수학술대회 2편 투고 중, 국제특허 10건 출원, 기술이전 2건 등의 실적을 거뒀다.
이번 성과를 통해 공간컴퓨팅 입체영상 서비스 및 이를 통한 메타버스 서비스 초실감화에 필요한 기술적 기반을 마련했고 기존의 3D 서비스와 차별화되고 더 현실감 있는 입체영상 서비스를 제공하는 데 기여할 것으로 기대된다.
ETRI 이현우 기획본부장은 “실사 혼합 몰입형 입체영상 스트리밍 서비스는 기존 기술과 비교해 훨씬 더 현장감 있는 3D 서비스를 제공한다”며 “이 기술은 엔터테인먼트, 스포츠, 국방 등 다양한 분야에 활용될 수 있는 고부가가치 서비스로, K-콘텐츠의 핵심 기술로 자리 잡을 것”이라고 말했다.
앞으로도 ETRI는 TV, 유튜브(YouTube), OTT와 같은 플랫폼은 물론 다양한 산업에 적용할 수 있는 몰입형 실감미디어 서비스 개발에 집중할 계획이다.
