[로터리] AI 안전, 대한민국은 준비됐나

이정헌 더불어민주당 의원 이정헌 더불어민주당 의원 대화형 챗봇부터 휴머노이드 로봇까지, 인공지능(AI) 기술이 일상을 넘어 산업의 영역으로 확장되고 있다. 인간 전문가 이상의 능력을 지닌 프런티어 모델과 스스로 계획을 세워 행동하는 에이전틱 AI의 등장은 혁신과 함께 예측 불가능성이라는 새로운 위협을 만들었다. 채용·대출 등에서의 불공정한 차별, 가짜 뉴스 생성, 사이버 공격, 화학·생물학 무기 제조법 유출 등 위험의 범위는 전방위적이다. 특히 이 같은 위험은 발생 확률이 높지 않아 보여도 한 번 임계점을 넘으면 회복이 불가능한 ‘저확률 고충격’ 특성을 갖고 있다. 이 때문에 전문가들은 위험이 현실화될 경우 인간의 대응 속도를 압도하며 확산될 것이라고 예측한다. AI 선도국들은 이미 AI 안전 정책의 경향을 전환했다. 2023년 세계 최초로 AI 안전연구소(AISI)를 출범시킨 영국은 최근 기관 명칭을 ‘AI 보안연구소(AI Security Institute)’로 바꾸며 기관의 목적을 안전에서 국가 안보로 격상시켰다. 미국 또한 도널드 트럼프 행정부 2기 출범과 함께 조 바이든 정부의 규제 중심 행정명령을 철회하고 안전연구소를 ‘AI 표준·혁신 센터(CAISI)’로 개편하며 AI 선도국으로서 주도권 방어에 나섰다. 각국은 AI 주도권 경쟁을 벌이면서도 AI 안전에 관해서는 연대하고 있다. AI 위험은 국경을 가리지 않고 범지구적 연쇄반응을 일으키는 만큼 어느 한 국가의 독자적인 규제만으로는 대응이 불가능하기 때문이다. 이러한 공감대 아래 2024년 11월 출범한 ‘AI 안전연구소 국제 네트워크’는 최근 명칭을 ‘첨단 AI 측정·평가 및 과학을 위한 국제 네트워크(NAAIMES)’로 바꾸고 AI 위험에 대한 대응 방식을 바꿨다. 주요국의 AISI 명칭 변경을 통해 AI 안전을 대하는 국제사회의 태도 변화를 확인할 수 있다. 안전이라는 이름에서 벗어나 AI의 성능과 위험을 정량적으로 측정하는 ‘증거 기반의 평가 과학’ 중심으로 새롭게 기준을 정립하는 것이 세계적 시류다. 평가 기준의 표준화를 통해 AI 위험의 불확실성을 최소화하자는 국가 간 총의가 반영된 결과다. 대한민국은 2024년 5월 서울에서 제2차 AI 안전성 정상회의를 성공적으로 개최했고 최근에는 기업과 학계 중심으로 다국어 모델 자체 평가 지표를 구축하는 등 독자적 평가 과학 연구 중심으로 글로벌 AI 안전망 확립에 기여하고 있다. 제도적 변화도 글로벌 트렌드를 따르고 있다. 2024년 11월 인공지능안전연구소가 출범했고 올해 1월 시행된 AI 기본법을 통해 기관의 법적 근거를 마련했다. 남은 것은 현행 대응 체계의 구조적 한계를 극복하는 일이다. 현재 우리나라의 체계는 보안·안전·윤리·정책 분야가 제각기 나뉘어 작동하는 ‘사일로 구조’다. 위험을 규정하는 공통 정의와 측정 지표가 부재해 포괄적인 위험 분석과 대응에 한계가 있다. 기술·사회·제도의 경계를 동시다발적으로 넘나드는 AI 위험을 방어하려면 이를 망라하는 통합 대응 체계가 필요하다. 12명의 장관, 개인정보보호위원회 위원장, 국가안보실 3차장까지 당연직으로 있는 국가인공지능전략위원회가 적격하다. 위원회가 AI 안전의 국가 컨트롤타워로서 거버넌스 리더십을 발휘할 수 있게 AI 기본법 시행령을 개정해야 한다. 나아가 국회와 정부는 인공지능안전연구소가 영국의 보안연구소나 미국의 표준·혁신센터처럼 독립적인 AI 평가 권한을 갖고 활약할 수 있도록 예산 증액에 힘을 모아야 한다.