생성형AI에 "소규모언어모델(sLM)과 에지AI를 소재로 일러스트를 만들어달라"는 명령을 내린 후 생성된 이미지.최근 생성형인공지능(AI) 개발 트렌드가 ‘규모 싸움’에서 소형화·최적화로 옮겨가고 있다. 초거대 AI는 충격적인 성능만큼 거대한 자본을 필요로 한다. 개발은 물론 구동에도 가격이 천정부지로 치솟는 그래픽처리장치(GPU)가 대량으로 요구되고 전력 소모 또한 커 유지비가 높다. 몸집이 큰 만큼 각 사용처에 최적화하는 데도 한계가 있다. 실생활 곳곳에 AI가 녹아들기에는 지나치게 무겁고 비싸 ‘가격대성능비’가 나쁜 것이다.
이에 테크 업계는 소규모언어모델(sLM) AI로 대규모언어모델(LLM)이 지닌 태생적 한계를 극복하고자 한다. 소형 AI와 각 기기에서 정보를 처리하는 에지AI(온디바이스AI)의 확산으로 사용 환경에 따라 적합한 성능과 비용의 AI를 제공하는 한편 초거대 AI로 쏠리는 연산 부담 또한 분산시키려는 의도다.
25일 정보기술(IT) 업계의 설명을 종합하면 효율적인 생성형AI 개발은 이제 거대한 트렌드가 됐다. IT 업계는 매개변수 300억 개를 LLM과 sLM을 나누는 기준점으로 보는데 최근 발표된 생성형AI 대다수가 AI의 학습 지표인 매개변수(파라미터) 18억~70억 개 선이다.
최근 오픈AI 등 주요 업체들이 공개한 생성형AI 중 구글 제미나이 울트라·프로 정도만 LLM 기반으로 꼽힌다. 구글조차 AI 학습 지표인 매개변수 18억 개와 32억 5000만 개로 이뤄진 ‘제미나이 나노’를 함께 선보이며 sLM 대열에 합류했다. 메타는 일찌감치 매개변수 70억 개의 라마-7B를 내놓고 sLM의 문을 열었다. 마이크로소프트(MS)가 12일 공개한 ‘파이-2’도 매개변수 27억 개에 불과하며 세일즈포스AI의 ‘XGen-7B’ 역시 매개변수가 70억 개다. 중국 알리바바의 Qwen 시리즈는 18억 개, 70억 개, 140억 개 등 다양한 매개변수를 지닌 모델이다.
이처럼 최근 AI 개발은 최소한의 규모로 최대한의 ‘출력’을 내는 방향으로 선회 중이다. sLM은 학습량은 적지만 최적화(파인튜닝)를 통해 그 이상의 성능을 뽑아내는 방식이다. MS의 파이-2는 매개변수가 27억 개에 불과하지만 최적화를 통해 매개변수 675억 개 수준의 성능을 낸다. 이미지 생성 AI의 대표 주자인 스태빌리티AI가 이달 공개한 스테이블LM 제퍼 3B는 매개변수가 30억 개에 불과하지만 700억 개로 학습한 메타 ‘라마-2-70b-챗’을 능가한다.
최적화한 소형 AI의 확산은 초거대 AI ‘과소비’를 막아준다. 챗GPT 등 초거대 AI는 간단한 질문에도 복잡한 연산을 거친다. 연초 기준 챗GPT 구동 비용은 일반 검색엔진 대비 200배가량에 달했고 GPT-4를 적용한 현재는 더욱 자원 소모가 크다. 실제 AI가 수익을 낼 곳이 제품과 서비스 분야로 전망된다는 점도 소형 AI 개발에 동력을 더한다. 미국 IT 시장분석·컨설팅 업체 가트너는 “AI 도입을 원하는 기업들이 비용과 성능의 최적 지점으로 매개변수 5억~200억 개를 제시하는 경우가 갈수록 늘고 있다”고 전했다.
필요 연산량이 많아 대형 데이터센터에서 클라우드 방식으로 구동될 수밖에 없다는 초거대 AI의 태생적 한계 또한 소형 AI를 주목하게 되는 배경이다. 연산량이 쏟아지며 챗GPT 가동 속도는 느려지고 접속 장애도 빈번해지고 있다. 생활 전반에 AI를 적용할 때 중앙화된 초거대 AI에만 의존해서는 ‘AI 정전’ 사태가 벌어질 수 있는 셈이다. 인터넷·이동통신 보급이 열악하거나 국토가 넓은 국가에서는 문제가 더욱 크다. 스마트폰·PC만이 아닌 모빌리티·CCTV·인프라 등 시설 전반에 AI가 적용됐을 때 접속 장애가 발생한다면 사회의 기간이 흔들릴 수 있다. 이런 위기를 피하기 위해서는 유사시에도 각 기기가 AI를 자체 구동할 수 있도록 소형 AI가 필요하다는 주장이 힘을 얻고 있다.
초거대 AI의 주도권을 이미 미국이 거머쥐었다는 현실 인식도 소형 AI 개발 붐이 이는 이유 중 하나다. 생성형AI가 차기 국력과 안보를 좌우할 기술로 손꼽히는 와중에 거대화 경쟁에서는 미국을 따라잡을 수 없다는 판단이다. 최근 고성능 소형 AI로 주목받는 미스트랄, 팰컨, Qwen 등이 각각 프랑스, 아랍에미리트(UAE), 중국에서 개발된 점이 이를 방증한다. 이들은 AI를 소형화할 뿐 아니라 설계도인 ‘소스’를 공개해 연합전선을 구축하는 움직임도 보이고 있다. 완성된 AI를 독점할 수는 없더라도 개방성을 통해 부족한 자본력과 인력을 극복하겠다는 전략이다.
