신승용 ETRI 선임연구원이 촉각 음정 시스템을 통해 음정 변화를 손가락으로 전달 받고 있다.한국전자통신연구원(ETRI)이 최근 청각장애인을 위한 국악 공연(이음풍류)에서 참석자들이 소리 없이도 국악 선율과 음정의 변화를 실시간으로 느낄 수 있는 기술을 선보였다고 29일 밝혔다. 정보통신기술(ICT)과 예술의 결합으로 청각장애인도 국악 공연을 즐길 수 있게 된 것이다.
‘촉각 음정 시스템’이라는 이 기술은 음악·소리 등 청각 정보에서 소리의 주파수 신호를 뽑아내 촉각 패턴으로 만든 뒤 기기를 통해 피부에 전달한다. 이 기술이 적용된 장갑을 착용하면 음정 변화를 손가락으로 느낄 수 있다.
최근 3차례에 걸쳐 이뤄진 이 공연은 국내 최초로 청각장애인들이 소리를 듣지 못하더라도 시각·촉각을 통해 생생하게 국악을 즐길 수 있도록 기획됐다. 모든 곡에는 수어를 통한 감정 전달, 해설, 자막이 제공됐다.
국내 기업(비햅틱스)이 개발한 조끼를 착용해 연주의 박자감을 온몸으로 느끼고, ETRI의 촉각 음정 시스템이 적용된 장갑을 통해 악기의 정밀한 음정 변화를 손가락으로 느낄 수 있다. 악기마다 다른 선율 변화를 시각적 효과와 함께 제공해 즐거움을 더했다.
국악기인 대금의 세세한 음정을 손가락 촉감으로 체험할 수 있도록 총 7곡 가운데 4곡은 대금 포함 곡으로 연주됐다. 해외에서는 촉각을 이용해 청각장애인을 위한 라이브 공연을 시도한 적이 있으나 이는 음악의 비트를 몸으로 체감하는 수준이었다.
ETRI 신형철 휴먼증강연구실장은 “실험실 환경을 벗어나 실제 공연에 도입할 기회를 얻었다는 것에 보람을 느낀다”며 “앞으로 촉각 센서와 기기 완성도를 높이는 연구를 수행하겠다”고 말했다.
