[아이티데일리] 인공지능(AI)은 업무의 생산성을 높이고 의사결정 과정에 직접적으로 활용되면서 혁신의 도구로 이미 자리매김했다. AI를 활용하는 기업들이 늘어나면서 AI가 기업에 미치는 영향 또한 커지고 있다. AI가 내놓는 결과는 기업에 큰 도움을 줄 수 있지만 잘못된 결과로 인해 치명적일 수도 있다.

기업들의 AI 의존도에 비례해서 AI 신뢰성에 대한 중요성이 강조되는 이유이. 신뢰도가 떨어지게 되면 잘못된 정보나 편향된 분석값으로 인해 AI는 혁신의 도구가 아닌 큰 위협이 될 수 있다. 이에 업계에서는 AI 혁신을 지속하면서도 잠재적인 위험을 최소화하기 위한 방안을 마련하고 있다. 혁신과 신뢰를 모두 담보할 수 있는 핵심 방안으로 ‘AI 거버넌스(AI Governance)’가 부상했다. 3회에 걸쳐 AI 거버넌스를 조명해 본다.

AI 시스템 전 주기에 원칙과 규범 정의

AI 거버넌스는 AI 모델 및 AI 시스템 도입·운영 전 주기에서 정책이나 프로세스, 조직, 기술 통제 등 체계적인 규범을 정의하는 것을 뜻한다. AI를 설계하고 개발, 배포, 운영하는 일련의 과정에서 투명하고 책임감 있게 AI를 사용하도록 만드는 정책이다. 신뢰할 수 있는 AI를 위해서는 다양한 정책과 절차를 따라야 하며 문서나 시스템 등 적용 대상은 포괄적이어야 한다.

AI 기술은 인간의 학습·추론·지각 능력을 학습된 데이터와 정해진 흐름에 따라 스스로 진행한다. AI를 사용하기 위해서는 이 과정에서 발생할 수 있는 부작용을 최소화해야 한다. 일반적으로 여러 단계에서 부작용이 발생할 수 있지만, 추론(Inference) 기능에서 가장 빈번하게 나타난다.

추론은 이미 알려진 정보를 근거(학습 데이터)로 새로운 다른 판단을 끌어내는 과정을 의미한다. AI 시스템이 추론 과정을 거쳐야 스스로 판단을 내릴 수 있다. 일반적으로 AI 시스템은 복잡한 데이터를 학습해 스스로 판단을 내릴 수 있는데, 바로 추론 과정을 통해 이러한 일이 구현된다. 이 과정에서 가장 중요한 것이 신뢰성 확보다.

또 AI가 내린 판단은 법과 윤리 도덕 그리고 국내·외 사회적·규범과 각종 컴플라이언스를 포함한 이슈에 대응하기 어렵다는 문제가 있다.

가령 AI는 추론 과정에서 EU의 AI 액트, 미국의 EO 14110, 우리나라의 AI 기본법 등 세계 각국의 AI 거버넌스 관련 규제의 상세한 내용까지 지키기 어렵다. 윤리·편향·인권보호 측면에서 WHO나 OECD의 같은 차별·사회적 불평등 방지 가이드를 준수할 수도 없다. 특히 AI 활용 과정에서 이해관계자들의 요구사항에 대응하지 못하면 투명성과 설명 가능성을 확보하기 어려워 신뢰가 흔들리게 된다. 대규모·민감정보를 처리하는 AI는 프라이버시 침해나 재식별 위험이 있어 보안 이슈에 대응하기도 어렵다.

AI 거버넌스 부재 시 기업은 ‘기업 평판 훼손’과 ‘과태료’ 등 현실적인 문제에 직면할 수 있다. AI 의사결정에 편향이 숨어 있어 특정 고객에 불리한 결과를 초래한다면, 이는 차별 논란으로 인해 법적 분쟁으로 이어질 수 있다. 기업의 평판을 심각하게 훼손했다는 이유로 규제기관의 제재를 받을 수 있다.

과태료를 받을 수도 있다. 우리 정부가 2026년 시행할 예정인 AI 기본법은 기업의 AI 투명성·안전성 확보 의무를 강화하고, 위반 시 과태료 부과 등 강력한 제재를 예고하고 있다.

AI 모델의 이상징후를 사전에 발견하지 못할 경우 큰 사고로 이어질 수 있다. AI 모델의 성능 저하 및 오류는 필연적으로 잘못된 의사결정으로 이어진다. 만일 이를 빠르게 파악하고 대처하지 못하면 기업은 막대한 금전적 손실등을 입을 수 있다.

AI에 대한 신뢰성을 담보하기 위한 AI 거버넌스의 필요성이 날로 확대되고 있다.

AI 거버넌스 앞서 데이터 거버넌스로 기반 다져야

AI는 학습된 데이터를 토대로 스스로 판단하고 답을 내린다. 때문에 AI가 정확하고 신뢰할 수 있는 판단을 내릴 수 있도록 해주는 데이터에 대한 규제와 관리 체계인 ‘데이터 거버넌스’는 AI 거버넌스 구현을 위한 필수적인 선결 조건이다.

국내 데이터 거버넌스 전문기업들 모두 AI 거버넌스 이전에 데이터 거버넌스를 확립해야 한다는 점을 강조한다. AI 시스템이 문제가 있는 데이터를 학습하면 추론 과정에서 잘못된 판단을 내리거나 편향된 결과를 도출할 수 있다. 데이터 거버넌스가 결국 AI의 신뢰성에 영향을 끼치는 근본적인 원인인 셈이다. AI 거버넌스는 데이터 거버넌스와 독립적으로 양립하는 체계가 아닌 계층적이고 점진적으로 확장되는 요소다.

데이터 거버넌스의 중요성을 강조할 때 널리 쓰이는 ‘쓰레기를 넣으면 쓰레기가 나온다’는 GIGO(Garbage In Garbage Out) 역시 AI 거버넌스에도 적용된다.

일반적으로 AI를 사용하는 기업은 내·외부에 위치한 모든 데이터를 LLM 학습에 사용한다. 이 과정에서 편향적인 데이터가 들어오면 결과도 마찬가지로 편향적이다. AI가 유의미한 결과를 도출하기 위해서는 원천 데이터를 깨끗하게 정제한 상태로 확보하기 위한 데이터 거버넌스가 필요하다. 특히 LLM을 활용할 때 AI 에이전트나 검색증강생성(RAG), 타 DB 연결 기술을 접목해 추론 과정에서도 사용한다. 학습된 LLM 모델의 성능과 편향치가 아무리 좋아도, 계속 새롭게 변화하는 데이터를 추가해 사용한다. 이때 새롭게 추가된 데이터가 품질이 좋지 않다면 문제가 된다.

데이터 거버넌스를 구성하는 많은 요소 중에서도 특히 데이터 품질의 중요성이 강조되는 이유도 여기에 있다. 이와 관련, 지티원 김찬수 상무는 “데이터 거버넌스는 AI 거버넌스의 토대라고 할 수 있으며, 그 접점에는 데이터 품질 관리가 있다. AI 모델의 결과물은 학습 데이터에 크게 좌우되므로, 데이터가 부정확하거나 편향돼 있다면 AI 거버넌스도 효과를 발휘하기 어렵다”면서 “AI를 잘 활용하기 위한 첫걸음은 양질의 데이터를 확보하는 것이며, 이는 곧 데이터 거버넌스의 영역이다. AI 거버넌스 체크리스트에는 데이터 수집 및 준비 단계에서 품질 확보, 데이터셋 특성 문서화, 편향성 점검 같은 세부 항목들이 포함된다. 이는 AI 프로젝트에서도 데이터 거버넌스의 핵심 원칙인 데이터 정확성, 일관성, 투명성이 고스란히 요구된다는 뜻이다. 데이터 거버넌스의 핵심인 데이터 품질 관리가 제대로 이뤄져야 AI 거버넌스도 성공할 수 있다는 점에서, 두 거버넌스는 뗄 수 없는 관계다”라고 부연했다.

AI에 특화된 거버넌스 구현에 앞서 데이터 거버넌스가 선행돼야 한다. 이렇게 탄탄하게 구축된 데이터 거버넌스 위에 AI에 특화된 모델 투명성, 프로세스, 법적 규제 등 AI 거버넌스 체계가 유기적으로 결합되어야 한다.