딥페이크·가짜뉴스 같은 인공지능(AI) 부작용을 예방하기 위해 글로벌 빅테크를 중심으로 ‘설명 가능한 AI(XAI)’ 기술이 주목받고 있다. 유럽에 이어 미국·한국 등 전 세계적으로 AI 규제가 본격적으로 확산하는 조짐을 보이면서 이에 대응한 신기술로서 XAI 개발 경쟁이 업계 최전선에서부터 치열해지고 있다.

20일 정보기술(IT) 업계에 따르면 구글 딥마인드는 지난달 ‘젬마 스코프2’를 공개했다. 젬마 스코프2는 딥마인드의 최신 오픈소스(개방형) AI 모델 ‘젬마3’의 내부 작동 방식을 해석함으로써 이 모델이 부작용을 일으킬 가능성을 추적할 수 있는 도구다. “(모든) AI 연구소에서 오픈소스로 공개된 해석 가능 도구 중 역대 최대 규모”라는 게 딥마인드 설명이다. 회사는 지난달 영국 AI보안연구소와도 손잡고 사고 사슬(CoT), 즉 AI의 사고과정 모니터링 기술을 공동 연구하기로 했다.

이는 AI 모델이 어떤 판단으로 답을 내는지 그 사고과정을 파악하는 XAI 기술 대응의 일환이다. AI의 사고과정은 ‘블랙박스’에 비유될 정도로 제대로 이해하기 어려운 실정이다. AI 부작용을 막으려면 이 블랙박스 문제부터 해결해 사고과정을 감시해야 한다는 게 업계 생각이다. 특히 유럽연합(EU) ‘AI법’과 한국 ‘AI 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)’, 미국조차 캘리포니아주에 이어 지난달 뉴욕주의 ‘책임 있는 AI 안전 및 교육법’ 제정으로 확산되는 규제 대응에도 필요하다. 최재식 한국과학기술원(KAIST) 김재철AI대학원 교수는 “AI 모델에 문제가 생겼을 때 해당 모델이 어떤 원리로 학습돼서 어떻게 고쳐야 할지 알 수 있는 기술로 XAI가 중요해졌다”고 말했다.

오픈AI는 최근 ‘희소 모델 학습법’을 선뵀다. 사고과정을 이해하기 어려운 것은 모델을 구성하는 인공 신경망 구조가 복잡한 탓이므로 애초에 이 구조를 단순화한 희소 모델을 만들자는 게 오픈AI의 해법이다. 뉴런끼리 서로 수천개씩 연결된 기존 ‘밀집 모델’과 달리 희소 모델은 수십개씩 연결되고도 작동할 수 있다. 앤트로픽도 2024년 ‘대형언어모델(LLM)의 마인드 매핑’ 논문을 발표한 이래 이달 10일(현지 시간) ‘클로드’ 모델의 입·출력을 모니터링해 탈옥(안전장치 우회)을 방지하는 ‘헌법 분류기’ 최신 버전을 내놓는 등 연구를 고도화 중이다.

학계에서는 세계적 XAI 방법론인 ‘샤플리 가산 설명(SHAP) 프레임워크’를 개발한 한국계 석학인 이수인 워싱턴대 컴퓨터공학과 교수가 대표적이다. 중국 정부도 지난해 9월 AI 위험 대응 원칙을 담은 ‘AI 안전 거버넌스 프레임워크 2.0’에 AI 위험 유형의 하나로 ‘설명 가능성 부족’을 명시했다. 국내에서는 22일 시행되는 AI기본법에 설명 가능성 의무가 담긴 만큼 관련 연구가 점차 확대될 것으로 보인다. 최 교수가 창업한 인이지의 XAI 기술이 지난해 최초로 국가전략기술로 지정됐다.