AI 신뢰성(Trustworthiness)에 대한 다양한 논의가 이루어지고 있다. 신뢰성이 있다는 것은 완전하지는 않지만 어느 정도 수용 가능하거나 관리 가능한 상태를 유지하는 것을 의미하며, 이는 AI 안전(Safety)이 확보되고 있다고 볼 수 있다.

안전과 신뢰는 개념적으로 다르지만 정책적인 목표는 동일하다. AI 신뢰성은 궁극적으로 AI를 활용하는 이용자를 대상으로 한다. 여기에는 AI 기본법상 영향을 받는 자를 포함하며 이들은 AI 전문가가 아닌 평범한 일상을 영위하는 자연인이다. AI는 본래 의도했던 편리함과 이익을 위해 사용된다는 전제를 바탕으로 논의를 시작해야 한다. 이는 무념무상의 상태가 아니라 지극히 개인적인 상황에서 발생한 문제를 어떻게 해결할 것인지에 대한 가정을 포함한다. 나아가 문제가 발생하지 않도록 하거나 관리 가능한 상태를 유지하는 것 역시 중요한 논점이다.

AI 신뢰성이 확보된 상황에서는 누구라도 AI를 이용함에 있어 안전한 상태가 유지될 것이라는 기대를 가질 것이다. 신뢰성의 주요 요소로는 공정성, 투명성, 안전성, 책임성, 설명 가능성, 프라이버시 보호 등이 있으며 이 요소들이 전부 또는 일부 지켜지지 않을 경우 이용자는 해당 AI에 대해 신뢰할 수 없다고 평가하게 될 것이다.

국내외적으로 AI 신뢰성을 위한 다양한 요소가 나열되고 있지만 이러한 요소들이 정합성을 갖추고 있는지는 의문이다. 이는 기구나 단체의 특성에 따라, 각자의 영역에서 우선순위에 놓인 요소를 중심으로 제시되고 있기 때문으로 보인다.

다만, 신뢰가 지켜지지 않는다는 추상적 개념은 지양될 필요가 있다. 이는 책임의 영역에 관한 것이며 관리 가능하거나 수용 가능한 상태의 신뢰성이라면 회복력이나 치유 상황도 고려되어야 한다. 설명 가능하지 못한 상황이 발생할 경우, 해당 시스템에 설명 가능한 모듈을 포함하거나 사람이 설명할 수 있도록 조치한다면 이는 관리된 상황으로 볼 수 있다.

투명성에 대해서도 마찬가지로 데이터 윤리 측면에서 데이터의 출처, 유형 등에 대한 정보 공개가 요구된다. 물론, 데이터의 성질에 따라 프라이버시와의 연관성이 존재한다. 이처럼 신뢰성 요소는 개별적으로 작동할 수도 있지만 상호 연계적으로 작동하기 때문에 구분하기 쉽지 않다.

따라서 신뢰성에 대한 이해는 절대적인 평가로 보기 어렵다. 중요한 것은 신뢰성이 저하된 상태인지, 또는 어떤 요소가 부족한 것인지 평가할 수 있는 기준을 명확히 제시하는 것이다. AI 윤리와 마찬가지로 신뢰성이라는 개념 자체가 상당히 추상적이고 주관적이기 때문이다. 만약 신뢰성이 없다는 이유로 책임성이 부재하다고 평가하거나 법적 책임을 묻는다면 쉽게 인용되기 어려울 것이다. 오히려 윤리적 비난 가능성에 따른 책임에 한정할 될 필요가 있다. 이처럼 AI 신뢰성에 대한 책임을 묻는 것은 법적 측면에서 쉽지 않은 일이다. 그러나 신뢰성 요소에 대한 이슈와 법적으로 대응 가능한 상황을 준비하는 것은 AI로 인해 발생할 수 있는 사고에 대한 대응과 책임 명확화를 위해 필요하다.

AI 신뢰성에 대한 법적 책임과 기준은 명확히 제시되지 않았지만 EU AI법에서 제시된 4가지 위험 수준에 따른 투명성 확보 의무화를 참고할 수 있다. EU AI법은 사업자의 투명성을 강조하며, 이는 AI에 대한 신뢰 가능성을 높이고 안전을 위한 조치로 볼 수 있다. 또한 AI 신뢰성은 AI 기술이 추구하는 인간의 가치를 높이는 것이다. 안전이란 물리적, 심리적, 사회적으로 평온한 상태를 의미한다. AI를 이용하는 과정에서 신뢰할 수 있다고 여겨질 경우 해당 서비스를 이용할 것이다. 신뢰는 안전을 위한 관계 형성으로 볼 수 있다. AI가 추구하는 가치는 이용자가 해당 서비스나 제품을 안전하게 이용하도록 하는 데 있다. 신뢰 관계를 형성함으로써 안전한 사회를 마련할 수 있기 때문이다.

AI 윤리는 신뢰성을 보완하는 역할을 하며, AI 생애주기 전반에 걸쳐 적용되어야 한다. 윤리는 법과 제도의 부족한 부문을 채워가는 사회적 가치 규범이기 때문이다. 국가는 거버넌스 차원에서 안전을 다룰 필요가 있다. 안전을 강조하는 것은 규제적 속성으로 보일 수 있으나, 이를 단순히 규제로 단정 짓는 것은 곤란하다. AI가 어떻게 발전하고 어떤 결과를 도출할지 예견하기 어렵기 때문이다. 사전 예방 원칙에 따른 정책적 목표가 포함되어야 한다. 서비스나 제품의 안전성을 확보하는 것은 소비자기본법이나 제조물책임법의 입법 목적에서도 찾아볼 수 있다. AI기본법은 AI 신뢰성 확보를 위한 다양한 정책 규정을 포함하고 있다. 신뢰성 인증, 영향 평가, 생성형 AI의 표시 등이 그 예이다. 이는 AI의 내재적 한계와 기술적 한계를 극복하거나 예기치 못한 기술적 안전을 확보하기 위한 것이다.

AI 신뢰성을 논의함에 있어 신뢰성과 안전성을 구분하고 그 관계를 검토하는 작업이 필요하다. AI 기본법에는 안전에 관한 규정이 없으나 AI 신뢰성이 요구하는 신뢰 수준은 AI를 이용하는 국민의 안전을 위한 것이어야 한다.

신뢰성이라는 추상적 개념은 법적으로 정의 내리기 쉽지 않으므로 AI 윤리 측면에서 다뤄져야 한다. AI 기본법은 이러한 한계를 인지하고 있으며 신뢰성 확보를 위한 정책 규정을 두되 별도의 처벌 규정을 두지 않고 있다.

AI 신뢰성을 통해 얻는 가치는 국민의 안전이다. 신뢰성이 추상적인 개념이지만, 이를 명확히 할 수 있는 원칙과 기준을 제시함으로써 사업자의 예측 가능성을 높일 수 있을 것이다. 이는 AI 기본법에 기술 진흥과 국민 안전을 위한 균형 잡힌 정책이 담겨야 하는 이유이기도 하다. AI를 이용한 사회문제의 해결, 리터러시의 확산 등을 포함하는 AI 기본법 개정 논의는 빨리 시작할수록 좋을 것이다. AI 기본법안은 국회 본회의 의결만 남겨두고 있다.