황종성(왼쪽 네 번째) NIA 원장을 비롯한 ‘오픈-Ko LLM 리더보드’ 관계자들이 '올해의 LLM'으로 선정된 야놀자, 이든티앤에스 관계자들과 기념사진을 촬영하고 있다. 사진 제공=NIA
한국지능정보사회진흥원(NIA)과 업스테이지가 야놀자와 이든티앤에스의 초거대언어모델(LLM)을 ‘2023 올해의 LLM’으로 선정했다고 5일 밝혔다.
NIA와 업스테이지는 서울 중구 NIA 서울사무소에서 올해의 LLM 시상식을 열고 두 회사에 시상했다.
NIA와 업스테이지는 공동 운영 중인 ‘오픈-Ko LLM 리더보드’(이하 리더보드)를 통해 접수된 1134개 LLM을 대상으로 추론능력, 상식능력, 언어이해력, 환각방지능력, 한국어 상식생성능력 등 5개 성능 지표를 측정했다.
평가 결과 야놀자는 사전학습(Pretrained) 모델 부문에서, 이든티앤에스는 파인튜닝(Finetuning) 모델에서 각각 1위를 차지했다.
NIA와 업스테이지는 표준화를 이뤄 한국어 LLM 평가 생태계 구축을 할 수 있도록 리더보드를 지속 개선해 나갈 방침이다. NIA는 국내 자연어처리 분야의 최정상급 교수들로 구성된 리더보드운영위원회를 통해 리더보드의 활성화와 발전 방향을 도출해 나갈 예정이다.
황종성 NIA 원장은 “앞으로도 국내 기업의 LLM 역량 강화와 민관 협력을 위해 적극 지원하겠다”고 말했다.