대구경북과학기술원(DGIST)은 이 연구원 정보통신융합공학전공 김민수(사진) 교수 연구팀이 슈퍼컴퓨터조차 처리하기 어려운 대용량 그래프 데이터를 개인용 컴퓨터(PC) 1대로 처리하는 지스트림(GStream) 2.0’ 기술을 개발했다고 7일 밝혔다.
이는 그래프 형태를 띠는 데이터의 집합체(빅데이터)에 대해 그래픽처리장치(GPU)와 PCI-e SSD를 2개씩 장착한 PC 1대가 초당 20억개 처리속도(2GTEPS)로 2,560억개 간선을 처리하는 기술로, 뇌과학, 인공지능, 사물인터넷(IoT), 웹, 소셜네트워크 등 다양한 분야에서 활용 가능하다. 인간 두뇌 신경망을 구성하는 약 100조개 간선 가운데 400분의 1 정도의 신경망 데이터를 처리할 수 있는 수준이다.
인간 두뇌 신경망은 1,000억개에 달하는 정점 간 연결이 복잡해 컴퓨터 여러 대에 나눠 저장할수록 통신비용과 메모리 사용량이 기하급수적으로 증가한다. 슈퍼컴퓨터를 사용하더라도 인간 두뇌 1,000분의 1 크기 신경망을 처리하는 데 어려움을 겪는다
김 교수는 “빅데이터 분석 성능이 가장 우수하다고 알려진 미국 카네기멜론대 그래프랩은 중앙처리장치(CPU) 코어 480개, 2테라바이트 메모리, 5기가바이트 네트워크를 갖춘 슈퍼컴퓨터에서 최대 320억개 간선으로 구성된 그래프 데이터를 처리하는 데 1,400초가 걸린다”고 설명했다.
연구팀은 PCI-e SSD에 대용량 그래프 데이터를 저장하고, SSD에서 GPU 메모리에 비동기 방식으로 스트리밍하는 동시에 GPU의 수천개 계산 코어를 이용하는 방식을 시도했다. 그 결과 GPU 2개와 PCI-e SSD 2개를 장착한 PC 1대 만으로 320억개 간선 규모 데이터를 500초 만에 처리하고 최대 2,560억개 간선 규모 데이터를 처리했다.
500만∼600만원대 PC 1대가 슈퍼컴퓨터를 이용한 것보다 그래프 데이터 처리 용량·속도가 월등해 통신비용, 메모리 사용량 등 문제점을 극복하는 기술이라는 것을 의미한다고 연구팀은 덧붙였다.
김 교수는 “GPU와 SSD 기반으로 신경망 형태 빅데이터를 고속 처리할 수 있는 소프트웨어 기술을 확보했다”며 “뇌과학, 인공지능 분야에 사용하는 신경망 형태 데이터 처리, IoT 데이터 기반 사이버 보안 등에 활용할 수 있다”고 말했다.
해당 연구 성과는 지난달 28일 미국 샌프란시스코에서 열린 데이터베이스 분야 학술대회인 ‘2016 ACM SIGMOD’에서 발표됐다.
