생성형 인공지능(AI)의 ‘규모의 법칙’이 무너질 조짐을 보이자 AI 학계와 테크계를 중심으로 대안 마련에 속도가 붙고 있다. 현재의 생성형 AI 기본 알고리즘인 ‘트랜스포머’ 구조를 벗어난 새로운 AI 모델이 속속 제안되고 있다. 동시에 기존 그래픽처리장치(GPU)를 이용한 학습을 벗어나 추론 특화 AI 가속기로 하드웨어 중심축을 옮기는 흐름도 포착된다.

17일 실리콘밸리 테크계에 따르면 트랜스포머의 유력한 대안으로 상태공간모델(SSM·State Space Model)과 액체신경망(LNN·Liquid Neural Network) 등이 급부상하고 있다. 트랜스포머는 2017년 구글 연구진이 공개한 모델로 자연어처리(NLP) 성능을 비약적으로 개선해 현재 생성형 AI 탄생의 기틀이 됐다. 그러나 긴 입력값을 다루기 힘들어하는 데다 정보값이 늘어날수록 처리 속도가 급격하게 느려지는 단점이 한계로 지목됐다. 모델 규모가 커질수록 더 많은 연산 자원을 요구하게 되는 것이다.

카네기멜론과 프린스턴 연구진이 2023년 제시한 AI 모델 맘바가 최근 주목받고 있다. 입력값별로 필요한 정보의 ‘상태’에 따라 ‘공간’을 취사선택해 연산할 수 있어 상태 공간 모델로도 불린다. 챗GPT 등 기존 모델이 학습한 모든 정보를 훑는다면 맘바는 어떤 정보에 집중할지 결정한 후 행동하는 셈이다. 이러한 특성 덕에 긴 텍스트를 입력해도 트랜스포머보다 적은 연산 자원만으로 대응이 가능하다. 현재 맘바는 소형 모델에서 유의미한 성과를 내고 있다. 이미 공개된 매개변수(파라미터) 30억 개 모델 맘바-3B는 2배 규모의 트랜스포머 모델과 동등한 성능을 내고 추론 속도는 5배 빠른 것으로 알려졌다. 아랍에미리트(UAE) 정부 연구소도 매개변수 70억 개 모델 ‘팰컨 맘바 7B’를 내놓는 등 연구에 동참하고 있다.

최근 들어서는 액체 신경망도 가시적인 성과를 내고 있다. 지난해 초 매사추세츠공대(MIT) 인간컴퓨터상호작용연구소(CSAIL) 출신 연구원들이 설립한 리퀴드 AI는 지난달 첫 액체 신경망 기반 AI 기초(파운데이션) 모델을 선보였다. 리퀴드 AI는 설립 직후 3억 300만 달러(약 4200억 원) 기업가치를 인정받고 3700만 달러(약 500억 원)의 첫 투자를 받아 명성을 얻었다.

액체 신경망은 기존 딥러닝과 달리 인공 신경망의 뉴런(신경) 결정 방정식이 고정돼 있지 않고 액체처럼 유연하게 변하는 구조를 지녔다. 기존 모델이 이미 입력된 데이터에서 정답을 찾아내는 데 특화돼 있다면 액체 신경망은 실시간으로 변화하는 데이터에 적응해 답을 도출해낸다고 한다. 아직 초기 단계이지만 일부 성능 평가(벤치마크)에서는 기존 트랜스포머에 기반한 AI를 뛰어넘는 것으로 알려졌다.