KAIST 김재철AI대학원 신기정 교수희소 행렬에 해당하는 2억건의 비디오 시청 내역을 10킬로바이트(KB) 크기로 성공적으로 압축할 수 있고 기존 기술을 이용해 1기가바이트(GB)로 압축한 것보다도 압축으로 인한 정보 손실이 적은 기술이 국내 연구진에 의해 개발됐다.
KAIST는 김재철AI대학원 신기정 교수 연구팀이 기존 대비 50배 이상 우수한 압축률의 희소 행렬 압축 기술인 뉴크론(NeuKron)을 개발했다고 9일 밝혔다.
희소 행렬이란 높은 비율의 원소가 0인 행렬을 의미하며 전자상거래 구매 내역, 소셜 네트워크에서의 친구 관계, 문서와 단어 간 포함 관계 등 다양한 종류의 데이터가 희소 행렬 형태로 저장 및 활용된다.
예를 들어 전자상거래 구매 내역의 경우, 행렬의 각 행이 각 구매자에 해당하고 각 열이 각 상품에 해당한다. 각 원소는 해당 구매자가 해당 상품을 구매한 수량을 의미한다. i행 j열 원소는, i번째 구매자가, j번째 상품을 구매한 수량에 해당한다. 각 구매자는 전체 상품중 일부만을 구매하기 때문에 해당 행렬은 원소 대부분이 0인 희소 행렬이다.
실세계 데이터로부터 얻어진 대규모 희소 행렬을 효율적으로 다루기 위해서는 압축 기술이 필수적이다. 예를 들어 1억명의 구매자와 1억개의 상품으로 구성된 전자상거래 구매 내역의 경우 행렬은 전체 구매자 수와 전체 상품 수의 곱에 해당하는 1경개의 원소를 갖는다.
또한 희소 행렬 압축은 많은 응용문제에 활용되고 있다. 예를 들어 많은 추천시스템은 희소 행렬을 손실 압축한 뒤, 복원하는 과정을 통해 각 구매자가 각 상품을 구매하고자 하는 의향을 추론한다. 또한 이때의 복원 오차를 기반으로 이상 데이터를 탐지하고 교정하기도 하며, 매개 변수 행렬 압축을 통해서 인공지능 모델을 경량화하기도 한다.
신 교수팀은 희소 행렬의 압축률을 크게 개선할 수 있는 손실 압축 기술인 뉴크론을 개발했다. 뉴크론은 실세계 데이터에서 흔하게 발견되는 자기 유사성에 착안했는데 자기 유사성이란 대상의 일부분을 확대해 볼 때 대상의 전체와 닮은 패턴이 나타나는 성질을 의미한다.
뉴크론은 크게 세 가지 단계로 구성된다. 첫 번째 단계는 행렬이 자기 유사적인 구조를 가질 수 있도록 행과 열을 재배열하는 것이며 두 번째 단계는 재배열된 행렬을 재귀적으로 분해하는 과정을 통해 행렬의 각 원소를 위치 수열로 인코딩하는 것이다. 마지막 단계는 각 위치 수열을 입력으로 행렬의 원소값을 추론하는 순환신경망을 학습하는 것이다. 이때, 순환신경망은 행렬의 자기 유사성을 기반으로 정확한 추론을 수행한다.
신 교수팀의 뉴크론 기술은 희소 행렬뿐 아니라 희소 텐서의 압축에도 적용할 수 있다. 행렬이 행과 열로 구성된 2차원 데이터라면 텐서는 행렬을 3차원 이상으로 일반화한 것이다. 예를 들어 3차원 텐서는 행렬을 수직으로 쌓은 형태이다. 실제로 행렬과 텐서를 포함 10개의 실세계 데이터 세트를 사용해 검증한 결과, 동일 복원 오차 하에서 뉴크론은 기존 기술 대비 50배 이상 우수한 압축률을 보였다.
KAIST 김재철AI대학원 권태형 박사과정, KAIST 김재철AI대학원 고지훈 석박사통합과정이 공동 제1저자, 전북대 정진홍 교수가 공동 저자로 참여한 이번 연구는 올해 5월에 미국 오스틴에서 열리는 미 컴퓨터협회 웹 학술대회(ACM WWW)에서 발표될 예정이다.
신기정 교수는 "다양한 실세계 데이터 그리고 인공지능 모델의 매개 변수가 희소 행렬의 형태로 표현된다?며 "희소 행렬 압축 기술을 추천시스템, 이상 탐지, 인공지능 모델 경량화 등 다양한 분야에 활용 가능할 것으로 기대한다?고 말했다.
