‘모든 산업은 데이터로 통한다.’ 빅데이터가 ‘핵심 자원’으로 자리 잡으면서 빅데이터 분석 기술을 연구하는 과학기술계의 움직임도 빨라지고 있다. 특히 빅데이터를 실시간으로 정확히 분석해내는 일에 연구 역량이 모아지고 있다. 방대한 양의 데이터에서 어떤 것을 점으로, 선으로, 혹은 입체로 연결해야 할지, 그 연결과 분석이 무엇을 의미하며 인간의 행동에 어떤 시사점을 주는지를 빠르고 정확하게 파악해내야 빅데이터의 진가가 비로소 발휘된다.

미래창조과학부가 주최하고 한국연구재단·서울경제신문이 주관하는 이달의 과학기술자상 8월 수상자인 한욱신 포항공대 창의IT융합공학과 교수는 기존 데이터 분석 기술보다 월등히 뛰어난 빅데이터 그래프 분석 엔진을 개발한 공로를 인정받았다. 또 해당 엔진을 활용해 데이터 간 상관관계를 확장하는 기술 역시 고안했다. 한 교수의 연구성과는 전산이나 의료·마케팅 등 다양한 분야에서 바로 응용될 수 있어 과학기술적 가치 못지않게 산업적 효과가 크다는 것이 특징이다.

빅데이터 분석에는 일반적으로 많게는 수백 대의 컴퓨터를 고성능 네트워크로 연결한 클러스터라는 장비가 쓰인다. 장비 구축과 유지에 비용이 많이 들 수밖에 없는 구조다. 하지만 한 교수가 개발한 빅데이터 그래프 분석 엔진인 ‘터보 그래프’는 일반 가정이나 사무실에서 쓰는 PC·노트북 한 대로 기존 클러스터보다 최대 수만 배 빠르게 데이터를 분석할 수 있게 한다. 반도체를 활용한 저장장치인 솔리드스테이트드라이브(SSD), 멀티 코어 중앙처리장치(CPU) 등 최신 컴퓨터라면 탑재돼 있는 장치로도 충분하다.


한 교수는 “터보 그래프에는 상관관계에 따라 데이터를 연결해 이를 그래프로 시각화한 데이터 그래프를 고속으로 저장하고 필요할 때 불러들일 수 있는 기능이 탑재됐다”며 “또 다양한 연산을 처리할 수 있는 ‘핀 앤드 슬라이드’라는 새로운 계산 모델을 고안했다”고 설명했다. 컴퓨터에 장착된 모든 가용 하드웨어를 동시에 작동시켜 그래프 계산을 최고 효율로 수행시키는 기법이 핀 앤드 슬라이드다. 한 교수는 “미국 UC버클리대·카네기멜런대가 개발한 클러스터와 성능 비교를 해보니 특정 조건하에서 680배나 빨랐다”고 전했다.

한 교수는 또 데이터에서 반복해 나타나는 특정 패턴을 빠른 속도로 추출하는 원천 기술을 개발하고 이를 심화·응용했다. 데이터 그래프에서 가장 ‘기본형’이 삼각형이다. 가령 소셜네트워크서비스(SNS)인 페이스북에서 서로 ‘친구’ 관계인 세 사람을 떠올리면 된다. 이들은 단순히 ‘지인’이라는 관계로 묶인 사이로 공통분모를 성격·학교·직업 등으로 달리하면 삼각형의 구성원은 얼마든지 바뀔 수 있다. 꼭 사람만 삼각형으로 묶을 필요는 없다. 한 교수는 “개인정보와 상품정보·구매정보를 각각의 공통분모로 묶으면 개인마다, 상품마다 다른 삼각형이 무수히 존재하게 된다”고 설명했다.

삼각형을 넘어 사각형·오각형 등 다각형 형태의 데이터 그래프 역시 얼마든지 추출 가능하다. 이를 위해 한 교수가 개발한 심화·응용 기술이 ‘듀얼 심(dual sim)’이라는 것이다. 한 교수는 “데이터로부터 반복적으로 나타나는 특정 패턴을 모두 찾아내 나열하는 기술은 그만큼 시간이 오래 걸린다는 한계가 있었는데 듀얼 심 기술로 컴퓨터의 메모리 사용량은 줄이면서 데이터 처리 속도는 최대 수십 배까지 끌어올릴 수 있다”고 말했다. 이 기술은 최근 상품·서비스 소비의 최대 화두로 떠오른 ‘맞춤형 추천’을 빠르고 정확하게 만들어준다.

세계적으로 빅데이터에 대한 관심이 큰 만큼 글로벌 기업들이 한 교수의 연구성과에 관심을 나타내고 있다. 지난 2014년 오라클로부터 ‘외부기관 연구 프로그램(External Research Office)’ 참여자로 선정돼 올해까지 28만달러(약 3억6,000만원)의 연구비를 지원받았다. 또 구글과 페이스북·IBM·HP 등 기업의 미국 본사에 초청돼 강연에 나서기도 했다.

/조양준기자 mryesandno@sedaily.com