특히 책 표지 위에 아마존의 평점을 영사할 수도 있다. 매사추세츠 공대(MIT)에서 미디어 아트 및 과학 프로그램을 전공하는 대학원생 미스트리가 이 시스템을 시연하는 모습은 마치 마술을 부리는 것 같다.
하지만 그와 지도교수인 MIT 미디어 실험실의 디지털 인터페이스 전문가 패티 메이즈는 식스센스가 더욱 대단한 일을 해낼 것이라고 보고 있다. 식스센스를 사용하면 몇 년 내에 버튼을 누르지 않고도 스마트폰을 사용할 수 있고, 주변 사물을 즉석에서 조사할 수 있으며, 공상과학(SF) 영화나 소설 속에서 묘사되고 있는 광경도 현실화시킬 수 있다.
메이즈는 지난해 10월 영화 ‘마이너리티 리포트’에 나오는 동작제어 인터페이스와 같은 현실 세계의 물건인 g-스피크에 대해 토론하던 중 아이디어를 얻었다. g-스피크는 손바닥, 손목의 방향, 그리고 손가락의 움직임을 통해 동영상 편집·문서작업·포토샵 등 다양한 컴퓨터 작업을 할 수 있는 것으로 일명 ‘마이너리티 컴퓨터 동영상’으로 불린다.
그녀는 수신호를 사용해 디지털 콘텐츠를 제어한다는 개념은 맘에 들어 했지만 누구나 살 수 있게 훨씬 저렴해야 한다고 생각했다. 또한 원하는 곳에 콘텐츠를 영사하고 상호작용도 가능해야 했다.
밤에 잠을 안자고 낮에 졸기 때문에 별명이 좀비인 미스트리는 불과 3주 만에 식스센스 시제품을 만들어냈다. 이후로 시스템은 크게 발전했지만 기본 개념은 똑같았다.
주머니에 들어가는 크기의 웹캠과 프로젝터를 가슴에 매달고 이것을 배낭 속의 랩톱에 연결한다. 그리고 엄지와 검지에 각각 색상이 다른 4개의 마커 골무 또는 테이프 조각을 단다. 이렇게 하고 나서 시스템의 전원을 넣으면 웹캠은 동영상을 촬영하고, 촬영한 동영상을 랩톱으로 보낸다. 그러면 랩톱의 비전 알고리즘이 동영상을 분석한다.
이 시스템의 핵심이라고 할 만한 이 소프트웨어는 배경 영상을 지우고, 영상 속에 나타난 마커 골무 또는 테이프조각의 x 및 y 좌표를 판독해 좌표의 변화를 추적한다.
랩톱은 어떤 색상이 움직이고 있는지를 판독하기 때문에 자유로운 제스처를 취하는 것이 가능하다. 이 같은 제스처에 따라 다양한 기능이 실행된다. 예를 들어 시간을 알고 싶은 경우 손목 위에 검지로 작은 원을 그린다.
그러면 랩톱은 붉은 색 마커 골무나 테이프 조각의 움직임을 추적해 그의 동작을 인식하고 프로젝터에 지시를 보내 미스트리의 손목 위에 시계그림을 영사하도록 한다.
미스트리는 책의 정보를 알아내는데도 책의 표지를 보여주는 동작을 취해 식스센스를 가동시킨다. 그러면 시스템은 웹캠이 찍은 책의 사진을 온라인에서 찾은 책의 표지 사진과 대조, 일치하는 비율을 계산해 확인한 다음 책의 평점을 가져와 영사한다. 앞으로 부여할 기능도 비슷한 방식으로 랩톱의 비전 알고리즘에 의존할 것이다.
미스트리는 이렇게 말한다. “이 시스템은 사용자의 앞에 있는 물체를 확인하고 그 물체에 관련된 정보를 가져올 수 있습니다.” 올 여름 미스트리는 삼성의 엔지니어와 함께 이 시스템을 삼성의 프로젝터 내장형 스마트폰에 이식하는 작업을 시작할 것이다.
비전 알고리즘을 발전시키면 마커 골무와 테이프 조각 없이 맨 손가락도 추적할 수 있을 것이며, 어디를 가든 웹 인터페이스를 개선할 수 있을 것이다.
| 발명가 : 패티 메이즈, 프라나프 미스트리 비용 : 350달러 제작기간 : 8개월 상용화 여부 : 시제품 ☆★☆☆☆대량생산 |