챗GPT를 비롯한 대규모언어모델(LLM) 인공지능(AI)이 주도한 2023년을 지나 다가오는 2024년은 소규모언어모델(sLM) 기반의 ‘소형 AI’가 주목을 받을 전망이다. 대규모 자본과 컴퓨팅 자원 투입이 필연적인 초거대 AI를 가볍고 효율적인 소형 AI가 보완해 사용자의 손에 들린 기기에서 AI를 구동하겠다는 계획이다. 메타를 시작으로 구글, 마이크로소프트(MS), 애플 등 빅테크는 연달아 소형 생성형AI를 선보이고 있다. 삼성전자·퀄컴·인텔 등 하드웨어 제조사도 이에 발맞추며 소형 AI 시장에 대한 주도권 다툼을 벌이는 중이다.
26일 정보기술(IT) 업계에 따르면 애플은 지난 10월 미국 컬럼비아대 연구진과 소형 생성형AI ‘페럿(Ferret)’을 개발했다. 페럿은 매개변수(파라미터·AI 학습지표)가 각각 70억 개, 130억 개인 2가지 모델이다. 매개변수 1조 개에 이르는 성능을 지닌 오픈AI GPT-4에 비해 턱없이 작은 숫자지만 이미지 묘사 등 특정 영역에서는 기존의 LLM보다 뛰어나다.
애플만이 아니다. 최근 오픈AI 외 주요 업체들이 공개한 생성형AI 중 구글 제미나이 울트라·프로 정도만이 초거대 모델이다. 구글조차 AI 학습 지표인 매개변수 18억 개와 32억 5000만 개로 이뤄진 ‘제미나이 나노’를 함께 선보이며 sLM 대열에 합류했다. 메타는 일찌감치 ‘라마-2’로 sLM의 문을 열었다. 오픈AI와 연합해 초거대 AI 시장을 주도하고 있는 MS 역시 지난 12일 매개변수 27억 개인 소형 AI ‘파이-2’를 선보였다. 세일즈포스AI의 ‘XGen-7B’ 역시 매개변수가 70억 개다. 중국 알리바바의 Qwen 시리즈는 18억 개, 70억 개, 140억 개 등 다양한 매개변수를 지닌 모델이다.
◇ 규모 싸움에서 美 못 이긴다… AI 개발 소형화·최적화 트렌드
이는 AI 개발 트렌드가 ‘규모 싸움’에서 소형화·최적화로 옮겨가고 있음을 보여준다. 초거대 AI는 충격적인 성능만큼 거대한 자본을 필요로 한다. 개발은 물론 구동에도 가격이 천정부지로 치솟는 그래픽처리장치(GPU)가 대량으로 요구된다. 전력 소모 또한 커 유지비가 높다. 몸집이 큰 만큼 각 사용처에 최적화하는 데도 한계가 있다. ‘가격대성능비’가 나쁜 것이다.
LLM과 sLM을 나누는 기준점은 매개변수 300억 개다. 최근 발표된 생성형AI 대다수는 매개변수가 18억~70억 개 선이다. 이 수준이 성능 희생을 최소화하면서도 최대 효율을 낸다는 판단이다. 최소한의 규모로 최대한의 ‘출력’을 내는 방향을 꾀하는 셈이다.
sLM은 학습량은 적지만 최적화(파인튜닝)를 통해 그 이상의 성능을 뽑아낸다. MS의 파이-2는 매개변수가 27억 개에 불과하지만 최적화를 통해 매개변수 675억 개 수준의 성능을 낸다. 이미지 생성 AI의 대표 주자인 스태빌리티AI가 이달 공개한 스테이블LM 제퍼 3B는 매개변수가 30억 개에 불과하지만 700억 개로 학습한 메타 ‘라마-2-70b-챗’을 능가한다.
초거대 AI의 주도권을 이미 미국이 거머쥐었다는 현실 인식도 소형 AI 개발 붐이 이는 이유 중 하나다. 생성형AI가 차기 국력과 안보를 좌우할 기술로 손꼽히는 와중에 거대화 경쟁에서는 미국을 따라잡을 수 없다는 판단이다. 초거대 AI 시장은 이미 MS·오픈AI 연합의 챗GPT가 자금력 우위를 바탕으로 주도하고 있어 구글조차 추격이 힘겨운 반면 소형 AI에서는 기술력만 있으면 돌파구를 찾을 수 있기 때문이다.
최근 고성능 소형 AI로 주목받는 미스트랄, 팰컨, Qwen 등이 각각 프랑스, 아랍에미리트(UAE), 중국에서 개발된 점이 이를 방증한다. 이들은 AI를 소형화할 뿐 아니라 설계도인 ‘소스’를 공개해 연합전선을 구축하는 움직임도 보이고 있다. 완성된 AI를 독점할 수는 없더라도 개방성을 통해 부족한 자본력과 인력을 극복하겠다는 전략이다.
개발 자원이 한정된 국내에서도 네이버·KT 등이 초거대 AI를 내놓았으나 규모와 성능 면에서 챗GPT, 구글 제미나이 등을 따라잡기 역부족이라는 평가다. 이에 LLM 경쟁에서 한 발 뒤처진 한국도 소형 AI 분야에서는 경쟁력을 지닐 수 있다는 가능성이 주목받는다. 26일 AI 모델의 추론, 언어 이해 능력 등을 종합해 평균 점수를 매기는 허깅페이스 ‘오픈 LLM 리더보드’ 순위에서는 국내 스타트업 업스테이지가 개발한 ‘솔라-10.7B’가 평균 74.2점으로 2위에 올라 있다. LLM 기반 AI인 오픈AI GPT-3.5의 71.9점보다도 높은 수치다. 솔라의 사례처럼 소형 AI 성능 개선에 힘써야 한다는 분석이 따른다.
◇ 중앙 집중형 AI, 각 단말이 처리하는 ‘에지 AI' 시대 개막
최적화한 소형 AI의 확산은 초거대 AI ‘과소비’를 막아준다. 필요 연산량이 많아 대형 데이터센터에서 클라우드 방식으로 구동될 수밖에 없다는 초거대 AI의 태생적 한계도 극복할 수 있다. 연산량이 쏟아지며 챗GPT 가동 속도는 느려지고 접속 장애도 빈번해지고 있다. 생활 전반에 AI를 적용할 때 중앙화된 초거대 AI에만 의존해서는 ‘AI 정전’ 사태가 벌어질 수 있는 셈이다. 인터넷·이동통신 보급이 열악하거나 국토가 넓은 국가에서는 문제가 더욱 크다.
소형 AI의 궁극적 목표는 데이터센터에 의존하는 초대형 AI의 한계를 벗어나는 것이다. 이는 모바일 기기 스스로 AI를 구동하는 ‘에지AI(온디바이스AI)’의 구현을 뜻한다. 사용 환경에 따라 적합한 성능과 비용의 AI를 제공하는 한편 초거대 AI로 쏠리는 연산 부담 또한 분산시키려는 의도다.
구글은 소형 AI ‘제미나이 나노’를 픽셀 시리즈에 적용했고 삼성전자가 CES 2024 직후 공개할 갤럭시 S24는 생성형AI ‘가우스’를 내장할 것으로 관측된다. 애플도 내년에 출시할 아이폰16에 페럿을 탑재할 가능성이 크다. 퀄컴·인텔 등 칩셋 제조사들까지 합세해 반도체부터 완성된 기기까지 에지AI 적용을 서두르며 시장 선점을 위한 경쟁을 시작했다.
최근 시장조사 기관 카운터포인트리서치는 올해 4700만 대에 불과했던 생성형AI 스마트폰 출하량이 연평균 83%씩 늘어나 2027년에는 5억 2200만 대를 기록한다는 분석을 내놓았다. 4년 뒤 글로벌 스마트폰 시장에서 생성형AI 스마트폰 비중이 40%를 돌파한다는 예측이다. 생성형AI 스마트폰 시장을 선도하는 기업은 삼성전자가 될 것으로 전망된다. 카운터포인트리서치는 내년 생성형AI 스마트폰 시장 절반을 삼성전자가 차지한다고 예상했다.
퀄컴이 10월 선보인 PC용 프로세서 ‘스냅드래곤X 엘리트’, 모바일 AP ‘스냅드래곤8 3세대’는 AI 성능을 대폭 강화해 각각 130억 개, 100억 개 이상 매개변수(파라미터)를 지닌 생성형AI를 자체적으로 처리한다. 인텔 또한 에지AI 대열에 합류했다. 인텔은 이달 14일 노트북용 CPU 최초로 신경망처리장치(NPU)를 내장한 ‘코어 울트라’를 출시했다.