그리고 수년간 동작추적 카메라 시스템을 연구해 인간의 골격구조를 관찰·분석할 수 있는 알고리즘을 개발했다. 왕에 의하면 이 알고리즘 덕분에 착용자의 관절 각도와 위치를 추적, VR 세상에 가상의 손을 만드는 것이 가능해졌다. 그런데 문제는 이런 데이터를 감지할 수 있을 만큼 민감한 카메라가 없다는 점이었다. 예컨대 MS의 키넥트 같은 기존의 동작 인식 컨트롤러들은 키가 1m 이상인 사람의 움직임을 추적할 뿐 손의 미묘한 동작까지 감지하지는 못한다.
"구할 수 있는 모든 카메라로 실험을 해봤지만 VR 속의 손을 정확히 트래킹해낼 정도로 깊이감 파악 능력이 탁월한 제품은 없었습니다."
결국 네 사람은 자신들이 만든 알고리즘과 연동되는 초소형 3D 카메라 '님블 센스(Nimble Sense)'를 직접 설계·제작했다. 이 카메라는 사용자의 손을 추적, VR 내에서 그 동작을 모방해 보여준다. 특히 오큘러스 VR의 '리프트' 헤드셋에 삽입 가능할 정도로 작으며, 시야범위도 리프트에 최적화돼 있다. 기술적 가치에 주목한 오큘러스 VR은 작년 12월 아예 님블 VR을 인수해 버리기까지 했다. 현재 님블 VR은 님블 센스의 개량에 매진하고 있는 상태다.
발명가: 로버트 왕, 크리스 트위그, 켄릭 킨, 샹첸 한
제조사: 님블 VR nimblevr.com
발명품: 님블 센스
개발비: 비공개
기술 성숙도: ◆◆◇◇◇
