[아이티데일리] 인공지능(AI)은 업무의 생산성을 높이고 의사결정 과정에 직접적으로 활용되면서 혁신의 도구로 이미 자리매김했다. AI를 활용하는 기업들이 늘어나면서 AI가 기업에 미치는 영향 또한 커지고 있다. AI가 내놓는 결과는 기업에 큰 도움을 줄 수 있지만 잘못된 결과로 인해 치명적일 수도 있다.

기업들의 AI 의존도에 비례해서 AI 신뢰성에 대한 중요성이 강조되는 이유다. 신뢰도가 떨어지게 되면 잘못된 정보나 편향된 분석값으로 인해 AI는 혁신의 도구가 아닌 큰 위협이 될 수 있다. 이에 업계에서는 AI 혁신을 지속하면서도 잠재적인 위험을 최소화하기 위한 방안을 마련하고 있다. 혁신과 신뢰를 모두 담보할 수 있는 핵심 방안으로 ‘AI 거버넌스(AI Governance)’가 부상했다. 3회에 걸쳐 AI 거버넌스를 조명해 본다.

AI 윤리적 사용 보장 위한 공정·투명·책임 원칙 담겨야

데이터 거버넌스를 기반으로 하는 AI 거버넌스에는 AI 기술의 투명성, 신뢰성, 윤리적 문제를 해결하기 위한 원칙이 담겨야 한다. 우선 ‘공정성(Fairness)’이다. AI 시스템은 편견 없이 공정하게 작동하도록 시스템을 설계·운영해 포용성과 평등을 증진하도록 해야 한다.

다음으로 ‘투명성(Transparency)’이다. AI 시스템은 작동 방식과 의사결정 프로세스가 투명해야 한다. 시스템의 동작 과정을 공개해 접근할 수 있도록 해야 한다. 마지막은 ‘책임성(Accountability)’이다. AI 시스템의 처리 결과(판단)에 대한 책임 소재가 명확해야 한다. 이는 AI 시스템이 취한 행동(판단)에 대한 명확한 책임의 귀속이 있음을 의미한다. 문제가 발생했을 때 해결을 위한 방법과 절차, 편견이나 의도하지 않은 판단 결과를 완화하는 방법과 절차, 법률적·윤리적 책임을 명확히 정의하고, 이의 준수를 위한 방법과 절차를 마련해야 한다.

AI 시스템의 윤리적 사용을 담보하기 위해 AI 거버넌스에서 다루어야 할 부분은 ‘책임성’이다. AI 거버넌스는 AI 시스템의 안전하고 윤리적인 사용을 목표로 ‘프레임워크(Framework)’와 ‘책임성 인공지능(Responsible AI)’을 구분해야 한다. 전자는 기업(조직) 내의 구조와 프로세스에 중점을 두고 있으며, 후자는 윤리와 도덕을 포함하는 철학적 원칙에 초점을 둔다.

지티원 김찬수 상무는 “AI 결과의 공정성은 사회적 불평등을 심화시키거나 부당한 차별을 가져올 수 있으므로 반드시 AI 거버넌스 차원에서 선제적으로 확인·제거돼야 한다. 이를 위해 데이터 편향성 점검, 알고리즘 공정성 테스트 등을 정례화하고, 편향 발견 시 수정하는 프로세스가 중요하다. 동시에 투명성 확보를 위해 AI 의사결정 과정에 대한 설명 가능성을 높여야 한다. 모델이 어떤 근거로 판단했는지 설명할 수 있어야 내부 검증은 물론 사용자와 규제기관의 신뢰를 얻을 수 있기 때문이다. 결국 편향성을 완화하기 위해선 의사결정 과정을 투명하게 들여다볼 수 있어야 하므로, 공정성과 투명성은 함께 병행돼야 한다”고 설명했다.

이와 함께 조직적인 변화도 요구된다. AI 문제 발생 시 명확한 책임 소재를 확립하는 과정도 중요하다. 아무리 좋은 프로세스가 있어도, 최종적으로 결과에 책임지는 주체가 불분명하면 AI 거버넌스가 실효성을 갖기 어렵다. 따라서 조직 내에 AI 윤리위원회나 전담 책임자로 최고인공지능책임자(CAIO, Chief AI Officer)를 두고, AI 개발·운영 단계별로 승인 절차를 거치도록 해야 한다.

AI 거버넌스, 선택 아닌 필수

AI 기술의 급속한 발전과 사회적 영향 증대에 따라, AI 거버넌스는 선택이 아닌 필수요건이 됐다. 우리나라의 AI 기본법을 비롯해 유럽, 미국의 글로벌 규제들 역시 AI 거버넌스 섹터에 포함되고 있다. 실제로 과거 AI 윤리 원칙이 ‘권고’ 수준에 머물렀다면, 세계적으로 제정되기 시작한 제도로 인해 ‘법적 의무’로 강화됐다.

해외에서 AI 거버넌스를 법제화한 사례로는 유럽연합의 인공지능법(EU AI Act)와 미국 EO 14110(행정명령), 미국 연방의회 발의 ‘AI 거버넌스 및 투명성 법안(Federal AI Governance and Transparency Act, H.R.7532)’ 등이 있다.

2023년 8월 1일 세계 최초로 제정된 유럽연합 인공지능법(EU AI Act)은 포괄적 AI 법안이다. AI 시스템을 위험 등급별로 분류해 고위험 AI에 대해서는 AI 생애주기 전반에 걸친 위험 관리 시스템 구축, 데이터 거버넌스(학습 데이터의 대표성, 오류 최소화), 기술 문서화 및 기록 유지 등을 의무화하고 있다. 2023년 10월 발표된 AI 규제 행정명령인 미국 EO 14110는 AI의 신뢰성, 안전성, 개인정보보호 등에 대한 포괄적인 지침을 제시하고 있다.

더욱 상세하고 구체적으로 지침을 제시하고 있는 ‘AI 거버넌스 및 투명성 법안’은 크게 AI 시스템에 대한 연방 차원의 표준 수립, OMB(예산관리국)의 정책 가이드라인 발행, AI 거버넌스 헌장(AI Governance Charter) 공개 의무, 투명성·책임성·감사, AI 관련 인력 교육 및 조직 역할 명시 등을 제안하고 있다. 특히 AI와 데이터 거버넌스가 별개가 아닌, 통합된 관리 체계로 운영돼야 한다는 점이 제시돼 있다.

우리나라 역시 ‘AI 기본법(안)’ 시행을 앞두고 있다. 국내 AI 기본법은 고위험 AI와 생성형 AI에 대한 별도 관리 및 정기적인 위험성 평가·보고 의무 등을 부과해 기업들이 AI 거버넌스 프레임워크를 마련하도록 하고 있다.

이는 기업이 AI 거버넌스를 선택이 아닌 필수로 받아들이게 하는 촉매 역할을 한다. 규제 준수 의무는 기업이 AI 개발 및 운영 프로세스 전반에 걸쳐 체계적인 관리 시스템을 갖추도록 강제하며, 이는 AI 거버넌스 도입을 가속화하는 핵심 동력이 되고 있다.

하지만 국내 기업들이 AI 거버넌스 규제를 따르기에는 아직 많은 어려움이 존재하고 있다. 대표적으로 △기술적 구현 어려움 △전문인력 및 노하우 부족 △복잡한 다중 규제 환경 등이다. 우선 AI 거버넌스를 기술적으로 구현하는 데 어려움이 있다. 데이터셋의 오류 최소화 및 편향 제거, 위험 관리 시스템 구축 등 규제가 요구하는 바를 실제 시스템에 적용할 수 있는 구체적인 방법론이 부족한 상황이다. 아울러 전문인력 및 노하우 역시 부족하다. AI 거버넌스 및 규제 준수를 위한 전문 인력과 경험이 부족해 시행착오가 발생할 수 있다. 마지막으로 복잡한 다중 규제 환경이다. 여러 지역에서 사업을 하는 경우 각기 다른 규제를 모두 충족해야 하는 복잡성이 기업에게는 큰 부담이 될 수 있다.

이에 대해 데이터스트림즈 이종헌 AI 사업전략본부장은 “규제가 원칙을 제시하지만, 그 원칙을 실무에서 어떻게 구현할 것인지는 기업이 마주한 난제다. 데이터 편향 제거라는 규제는 명확하지만, 어떤 기준으로 편향을 평가하고 제거할지는 고도의 기술적, 실무적 노하우를 요구한다”면서 “간극을 메우기 위해서는 단순히 규제 문서를 읽는 것을 넘어, 이를 시스템과 프로세스에 내재화할 수 있는 전문 솔루션의 도입과 내부 역량 강화가 필수적이다. 이는 규제 준수가 단순한 법적 의무를 넘어 기업의 기술 및 운영 역량의 시험대가 되고 있음을 보여준다”고 부연했다.

‘비용 지불’ 아닌 경쟁력 확보 위한 ‘전략적 투자’로 인식해야

AI를 도입·활용하고 있는 기업 및 조직에서는 AI 거버넌스가 얼마나 중요한지를 잘 알고 있다. 하지만 AI 거버넌스와 관련된 이렇다 할 성공 사례는 아직 보이지 않는다. 업계 관계자들은 AI 거버넌스가 기업 및 조직에 자리 잡지 못한 주된 이유로 AI 거버넌스를 ‘규제 준수를 위한 비용 지출’의 관점으로 바라보기 때문이라고 주장한다.

AI 거버넌스를 구축하기 위해서는 기본적으로 추론의 근간이 되는 데이터 거버넌스 수립이 선행돼야 한다. 또 데이터 품질과 출처 관리, 보안 등 데이터 거버넌스 기틀 위에 모델과 인력, 프로세스 등에 대한 통제가 얹어져야 한다.

이를 재무적 시각에서 본다면 데이터 거버넌스 구축 프로젝트 예산에 더해 AI 거버넌스 예산까지, 결국에는 많은 예산이 필요하게 된다는 의미다. 특히 과거에는 ‘거버넌스’라는 용어가 주로 ‘규제 준수’나 ‘비용’을 결부해 인식되는 경향이 있었다. 이런 이유로 AI 거버넌스를 규제에 대응할 수 있는 투자의 관점으로 바라보는 경향이 강하다.

국내 데이터 거버넌스 전문기업들은 AI 거버넌스를 규제 대응 투자가 아닌, ‘시장 경쟁력 확보를 위한 전략적 투자’로 인식돼야 한다고 입을 모은다.

엔코아 김범 CTO는 “과거 기업들은 거버넌스를 규제 준수를 위해 비용이 들어가는 정책 또는 전략으로 인식하는 경향이 강했다. 하지만 AI 거버넌스에 대한 인식은 바뀌어야 한다. AI 기술을 비즈니스 핵심 역량으로 내재화하려는 움직임과 맞물려, 잠재적 위험을 선제적으로 관리하고 신뢰를 구축한다면 더욱 과감하고 효과적으로 AI를 활용할 수 있다. 이는 시장에서 차별화된 경쟁 우위를 점할 수 있는 사업 전략으로도 귀결된다”고 설명했다.

“향후 5년, AI 거버넌스 표준화 본격적으로 이루어진다”

국내·외 AI 관련 기업들 상당수는 2030년에는 AI 거버넌스가 본격적으로 표준화되고 고도화될 것으로 전망한다. AI 거버넌스가 초기 ‘개념 정립 및 필요성 인식’ 단계를 탈피해 ‘실질적인 구현 및 운영’이라는 성숙단계로 진입할 것이라는 얘기다. 국내·외 보고서 및 기업 관계자들의 전망을 종합하면 △글로벌 표준 프레임워크 정착 △자동화된 AI 거버넌스 도구 활용 기업 확대 △AI 거버넌스 범위 확장 △규제 당국과 기업 간 협력 증가 등이 이루어질 것이다.

우선 글로벌 표준 프레임워크가 정착될 것으로 보인다. 현재 EU, 미국 NIST, ISO 등에서 제시하는 AI 관리 프레임워크들이 점차 수렴돼, 정보보안의 ‘ISO 27000’ 시리즈처럼 AI 거버넌스의 글로벌 표준이 등장하고 기업들은 이에 맞춰 거버넌스 체계를 구축하고 인증받게 될 것으로 전망된다.

다음은 자동화된 AI 거버넌스 도구를 활용하는 기업이 늘어날 것으로 예상된다. AI 기획-개발-운영의 모든 과정을 실시간으로 관리·감독하는 플랫폼이 보편화되고 준실시간 모니터링, AI 행동 동적 추적, 의도 및 목표 설정에 따른 자동 통제 기능이 일반적인 거버넌스 도구에 탑재될 것이다.

아울러 AI 거버넌스 범위는 확장될 것으로 전망된다. 최근 기업들은 AI 모델 개발과 운영 단계에서만 윤리·위험성을 관리하는 경향이 있다. 하지만 기업 경영 전반에서 AI 거버넌스가 논의되기 시작하고 이사회 수준에서 AI 활용 전략과 위험을 점검하게 될 것으로 보인다. 특히 ESG 경영의 한 축으로 AI 윤리가 고려되는 등 거버넌스 논의가 경영 의사결정에 깊이 스며들 것으로 보인다.

마지막으로 규제 당국과 업계 간 협력이 이루어질 것으로 점쳐진다. 정부가 기업의 AI 시스템에 모니터링을 연계하거나, 공동의 AI 감사 시스템을 두는 등 사회 전체에 AI 거버넌스 인프라가 구축될 수 있다. 기업 내부 거버넌스뿐만 아니라 업계 컨소시엄이나 정부 주도 플랫폼을 통한 교차 거버넌스까지 발전해, AI의 위험과 혜택을 사회적으로 관리하는 새로운 모습이 나타날 수 있다.

이러한 전망은 AI 거버넌스가 단순한 규제 대응을 넘어, 기업의 핵심 운영 프로세스이자 경쟁력 확보의 필수 요소로 자리매김할 것임을 시사한다. 특히 자동화된 거버넌스 도구의 확산은 복잡해지는 AI 시스템을 효율적으로 관리하고 통제하는 데 필수적이며, ESG 경영과의 연계 역시 AI 거버넌스가 기업의 지속 가능성 전략의 핵심 축이 될 것임을 뒷받침한다.

정부, 국내 데이터·AI 산업 반영한 ‘생태계 조성’ 노력해야

AI 거버넌스는 5년 안에 표준화될 것으로 전망된다. 국내 데이터·AI 업계 관계자들 모두 “국내 AI 거버넌스 관련 법규를 글로벌 흐름에 부합하되 국내 산업 특성을 반영해야 한다”고 주문하고 있다. 이를 위해 정부 차원에서의 다각적인 노력이 필요한 상황이다.

AI 거버넌스 구축은 개별 기업의 노력만으로는 한계가 있어 정부의 역할이 중요하다. 중소기업의 경우 법률적, 기술적, 재정적 역량 부족으로 어려움을 겪을 수 있다. 정부는 명확한 가이드라인, 인센티브, 재정적/기술적 지원, 국가 AI 컴플라이언스 서비스 시스템과 같은 생태계 조성을 위해 힘써야 한다.

우선 명확한 거버넌스 가이드라인 및 표준을 제공해야 한다. 산업·규모별로 세분화된 실천 가이드, 중소기업 전용 체크리스트, 금융권 AI 검증 기준 모범안 등을 마련해야 한다. 아울러 인증제도 도입도 필요하다. ‘AI 신뢰 경영 인증’ 등을 운영해 거버넌스 우수 기업에 공신력을 부여하고 인센티브를 제공해야 한다.

재정적·기술적 지원도 필수적이다. 세제 혜택, 정부 지원금, AI 모델 테스트베드 등 공동 인프라를 제공해 초기 투자 부담을 경감하고 역량 부족 기업을 지원해야 한다.

정부의 다각적인 지원은 기업으로 하여금 자발적인 AI 거버넌스 구축을 유도하고, 결과적으로 산업 전반의 AI 신뢰도를 높여 국가 경쟁력 제고에 기여할 수 있는 기반이 된다. AI 거버넌스를 단순한 기업 내부의 문제가 아니라, 국가적 차원의 과제로 봐야 한다.