“컴퓨터는 상상력이 없는 만큼 가능한 모든 상황과 전후 맥락을 촬영해 알려줘야 합니다.”
이를 위해 그는 피실험자들을 카메라 앞에 세워놓고 여러 표정을 짓도록 한다. 진짜 분노한 표정을 촬영하기 위해 요통환자에게 고난도의 체조를 반복시킨 적도 있다. 이렇게 촬영이 끝나면 주석을 단다. 1분짜리 동영상의 주석을 다는데 몇 시간이 걸린다고 한다. 이는 분명 세심한 작업이지만 무척이나 단조로운 반복 작업이기도 하다. 하지만 결국 엄청난 양의 커피를 소비하며 포괄적 데이터베이스 구축에 성공했다.
“향후 이 데이터는 우울증 등 의학적 문제로 인한 환자의 표정변화를 읽도록 로봇을 훈련시키는 ‘행동의료(behaviomedics)’ 영역에서 유용하게 쓰일 겁니다.”