카카오(035720)는 인공지능(AI) 딥러닝 기술을 기반으로 개발한 형태소 분석기 ‘카이(khaiii)’를 오픈소스로 제공한다고 30일 밝혔다.
형태소 분석기술은 2개 이상의 글자로 이뤄진 단어 혹은 문장을 입력할 때 의미를 가진 언어 단위 중 가장 작은 단위인 형태소 단위로 자동 분리하는 기술이다. 주로 자연어처리 응용 서비스의 기반 기술로 사용되며 정보 검색, 기계 번역, 스마트 스피커 등 여러 서비스에서 사용할 수 있다.
카이는 딥러닝을 통해 학습한 데이터를 활용해 형태소를 분석하는 모델이다. 딥러닝 기술 중 하나인 CNN(Convolutional Neural Network·합성곱신경망) 기술을 이용해 음절기반으로 형태소를 분석한다. 특히 국립국어원에서 배포한 데이터인 세종코퍼스를 기반으로 데이터 오류를 수정하고 카카오에서 자체 구축한 데이터를 추가해 85만 문장, 1,003만 어절의 데이터를 학습했다.
카이는 깃허브(GitHub)에서 확인할 수 있으며 누구나 무료로 이용 가능하다.
카카오는 “오픈소스 공개를 통해 한국어 연구, 챗봇 처리 응용기술 개발 등 한국어를 활용하는 다양한 분야에서 형태소 분석을 위한 비용과 시간을 줄일 수 있게 됐다”고 밝혔다.
