마이크로소프트(MS)가 인공지능(AI)를 활용해 안전한 콘텐츠 사용 환경을 제공하기 위해 '애저 AI 콘텐츠 세이프티'를 출시했다고 18일 밝혔다.

‘애저 AI 콘텐츠 세이프티’는 고급 언어 모델과 비전 모델을 사용해 증오나 폭력 등 잠재적으로 유해한 콘텐츠를 감지하고 심각성을 점수로 산출한다. 점수를 통해 기업과 조직은 유해 콘텐츠를 차단하거나 관련 정보를 표시할 수 있다.

‘에저 AI 콘텐츠 세이프티’는 고객의 사용 목적과 사례에 맞춰 세분화된 검수 기능을 지원한다. 예를 들어 게임에 중점을 둔 플랫폼이 학생 교육용 콘텐츠를 제작하면 폭력성, 유해성에 대한 언어 표현 수준을 다르게 설정할 수 있다.

‘애저 AI 콘텐츠 세이프티’는 독립적인 실행이 가능한 시스템이다. 오픈 소스 모델과 다른 회사 모델의 AI 생성 콘텐츠에도 적용할 수 있다.

‘책임 있는 AI 기술 개발’을 핵심 원칙으로 삼고 있는 MS는 멀티모달(복합 정보 처리) 모델과 관련한 지속적인 연구를 통해 불쾌감을 유발할 수 있는 이미지, 텍스트 등의 창작물 감지 기능도 강화할 예정이다.

에릭 보이드 마이크로소프트 AI 플랫폼 담당 기업 부사장은 “마이크로소프트는 애저 AI 콘텐츠 세이프티를 통해 더욱 다양한 비즈니스 요구 사항을 가진 고객들에게 보다 안전한 생성형 AI 사용 환경을 지원할 수 있을 것으로 기대한다”고 밝혔다.