[아이티데일리] 지난해부터 주목받은 ‘AI 기본법’이 입법에 속도를 내고 있다. 지난 21대 국회에서는 본희의에 상정되지 못하고 폐기됐지만, 이번 22대 국회에서는 회기 시작부터 입법을 위한 움직임이 본격화되고 있다. 정부에서도 대통령 직속 국가인공지능위원회 출범과 함께 연내 AI 기본법 제정을 촉구하고 있다.

기업들은 글로벌 기업과의 경쟁을 위해서는 AI 기본법을 조속히 제정해 국내 산업 기반을 다져야 한다고 강조하고 있다. 반면, 시민단체에서는 현재 형태로는 AI 위험 요인을 막기에는 많은 부분이 부족하다는 점을 들어 신중해야 한다는 입장을 보이고 있다. AI 기본법을 바라보는 각계각층의 의견 그리고 해외 사례 등을 살펴봤다.

제기되는 AI 위험성…적극적인 유럽연합

인공지능(AI) 기술은 우리에게 많은 혜택을 가져다 주고 있다. 하지만 학습 과정에서 발생할 수 있는 편향성이나 그럴듯한 거짓말을 지어내는 ‘환각(Hallucination)’ 현상 등으로 인한 허위 정보 확산 등 많은 우려를 낳고 있기도 하다.

특히 자율주행 차량 사고 등 AI로 인해 인명사고로 이어질 수 있다는 점 등은 대책 마련이 시급하다는 점을 보여준다. 실제 국제 사회에서 AI의 위험성을 알리고 이에 대한 대응 방안을 마련에 적극 나서고 있다.

가장 적극적인 곳은 유럽연합(EU)이다. EU는 집행위원회가 지난 2021년 AI법(AI Act)을 처음으로 제안한 후, 약 3년간의 협상과 합의를 거쳐 지난 8월 1일 AI법을 공식 발효했다.

EU AI법은 AI 시스템을 △수용 불가 위험(Unacceptable-risk) △고위험(High-risk) △제한적 위험(Limited-risk) △저위험(Low-risk) 등 4단계로 분류하고, 위험 수준에 따라 각기 다른 규제를 적용한다. 고위험 AI의 경우, 제공자는 위험 관리 시스템을 구축하고 기술 문서를 작성해 규정 준수 여부를 입증해야 한다. 제한적 위험 AI는 사용자에게 기계와 상호작용하고 있음을 알리는 ‘투명성 의무’가 적용된다.

EU AI법은 공식 발효됐지만 모든 조항이 바로 적용되는 것은 아니다. EU는 허용 불가 위험, 고위험 등에 대한 세부 시행령을 추후 마련해 6개월에서 36개월 후까지 시간을 두고 단계적으로 시행할 예정이다.

美 정부 ‘행정명령’ 발표…안정성 테스트 결과 공유 요구

미국에서도 AI 위험성에 대응하는 규제를 내놓고 있다. 지난해 10월 바이든 행정부는 ‘안전하고 신뢰할 수 있는 인공지능 개발 및 사용 행정명령 제14110호(이하 행정명령)’를 발표했다.

행정명령은 AI 안전 및 보안에 대한 새로운 표준 수립을 골자로 한다. 행정명령에 따라, AI 시스템 개발자는 안정성 테스트 결과 및 기타 중요 정보를 미국 정부와 공유해야 한다. 특히 ‘국방물자 생산법’에 따라 국가안보, 공중보건 및 안전에 심각한 위협을 초래하는 파운데이션 모델(Foundation Model)’을 개발하는 기업은, 모델 훈련 단계에서 연방 정부에 통보하고 ‘AI 레드티밍(AI red-teaming)’ 결과를 제공하도록 요구하고 있다.

AI 레드티밍이란 AI 시스템의 결합과 취약성을 식별하기 위한 구조화된 시험으로, 일반적으로 통제된 환경에서 개발자와 협업해 수행된다. 전담 레드팀은 적대적 방법을 통해 AI 시스템의 유해하거나 차별적인 출력이나 시스템 오용과 관련된 잠재적 위험 등을 식별한다.

행정명령은 국립표준기술연구소(NIST)에 레드팀 테스트를 위한 엄격한 기준을 설정하도록 했다. 상무부에는 콘텐츠 인증과 워터마킹에 대한 지침을 개발, AI로 생성된 콘텐츠에 라벨을 부착할 것을 지시했다.

행정명령은 AI를 정식 공개하기 전 사전에 통보·공개·검증해야 하는 등 기존 미 정부 AI 규제보다 더 포괄적인 내용을 담고 있다는 점에서 시사하는 바가 크다. 다만 일각에서는 행정명령이 규제 방식의 구체적 내용을 포함하지 않고, 표준이나 검증 방법의 준수를 강제하지 않는다는 점 등을 들어 한계가 있다는 입장을 보이고 있다.

강력한 캘리포니아주 AI 규제…주지사, 거부권 행사

행정명령뿐 아니라 미국 일부 주에서는 AI 모델을 규제하기 위한 법률이 의회를 통과되기도 했다. 지난 8월 캘리포니아주 하원 의회는 ‘첨단 AI 모델을 위한 안전 및 보안 혁신법(SP-1047)’을 찬성 41표, 반대 9표로 통과시켰다.

이 법안은 훈련에 1억 달러 이상의 비용이 드는 AI 모델에 적용된다. 조건에 해당하는 모델은 치명적인 피해의 위험을 줄이기 위해 반드시 안전 테스트를 하도록 강제되며, AI가 위험한 행동을 할 경우 강제 종료할 수 있는 ‘풀셧다운(Full Shutdowm)’ 기능을 탑재해야 한다.

법안 발의 후 마이크로소프트, 메타, 오픈AI 등 실리콘밸리 주요 빅테크가 이에 대한 우려와 반대 의사를 표했다. 지난 9월 말 캘리포니아주 개빈 뉴섬 주지사가 거부권을 행사함에 따라 SB-1047 관련 논란은 일단 소강상태로 접어들었다.

뉴섬 주지사는 “법안은 가장 크고 비싼 AI 모델에만 집중돼 있다. 소규모 모델도 매우 위험한 상황을 초래할 수 있다”고 거부권 행사 이유를 밝혔다. 이어 그는 “법안 지지자들의 주장에 동의하나 규제는 반드시 과학적이고 실증적 증거에 기반해야 한다”며 신중한 입장을 견지했다.

최종 문턱 넘지 못한 21대 국회 ‘AI 기본법’

우리나라는 지난 제21대 국회에서 AI 산업 육성 및 신뢰 기반 조성을 골자로 하는 소위 ‘AI 기본법’이 논의됐다. 더불어민주당 이상민 의원이 지난 2020년 제안한 ‘인공지능 연구개발 및 산업 진흥, 윤리적 책임 등에 관한 법률안’을 시작으로 총 12건의 법률안이 발의됐다. 이들 발의안은 내용에 다소 차이가 있으나 전반적으로 산업 육성, 교육·인력 양성, 윤리·책임 등에 대한 내용을 포함하고 있다.

2023년 2월에는 과학기술정보방송통신위원회(이하 과방위) 법안심사소위원회에서 7개 법안을 통합한 위원회 안을 대안으로 상정하며 법안 제정이 속도를 받는 듯 보였다.

21대 국회 당시 AI 기본법의 쟁점은 ‘우선허용·사후규제’ 원칙이었다. 우선허용·사후규제 조항은 신제품·신기술의 신속한 시장 출시 등을 우선 허용하고, 필요시 사후 규제하는 방식으로, 포괄적 네거티브 규제로도 불린다. 이는 문재인 정부 때 ‘행정규제기본법’에 명문화됐으며 일부 법률 및 대통령령이 개정된 바 있다.

‘우선허용·사후규제’ 원칙은 그러나 국가인권위원회(이하 인권위)와 시민단체의 반발을 일으켰다. 인권위는 “국제 경쟁력을 저하하고 AI 기술의 신뢰성마저 떨어뜨릴 우려가 있으므로 삭제해야 한다”는 의견을 표명했다. 이에 정부와 국회는 빠른 법안 통과를 위해 해당 조항을 제외하기로 했다. 하지만 AI 기본법은 이후 별다른 진전을 보이지 못했고, 그대로 회기가 종료되며 모두 자동 폐기됐다.

22대 국회 발의안, 4개월간 11개…내용은 대동소이

제22대 국회가 문을 연 지 하루만인 지난 5월 31일, 국민의힘 안철수 의원이 ‘인공지능 산업 육성 및 신뢰 확보에 관한 법률안’을 발의했다. 이를 포함해 9월 말까지 총 11개 의안이 발의됐다.

여러 발의안 중 정점식 의원안이 가장 주목받았다. 국민의힘이 ‘미래산업 육성편’이라는 주제로 당론 발의한 법안으로, 추경호 원내대표를 비롯한 당 소속 의원 108명 전원이 서명했다.

5개 장, 30여 개 조문으로 구성된 정점식 의원안은 총칙, 추진체계, AI 기술 개발 및 산업 육성, 윤리 및 신뢰성 확보 등을 규정하고 있다. 구체적으로 AI 산업 육성을 위한 과학기술정보통신부 장관이 3년마다 기본 계획을 수립하도록 하며, 대통령 소속 국가AI위원회를 설치해 주요 정책 등을 심의·조정하게 한다는 내용이 담겼다. 또 AI안전연구소 지정·운영에 관한 법적 근거도 포함됐다.

이 밖에 AI 제품의 비상정지(조인철 의원안)나 AI 영향평가 등의 내용을 추가한 법안이 있으며, 21대 국회에서 논란이 된 ‘우선허용·사후규제’ 원칙을 유지한 법안(김성원 의원안, 김우영 의원안)도 있다. 또 금지된 AI와 고위험 AI를 규정하고, 금지된 AI 개발 시 벌칙 조항을 명시한 법안(권칠승 의원안)도 있다.

법안마다 몇가지 특징은 있으나 대부분 내용이 대동소이하다는 것이 전문가들의 의견이다.

IT 업계, 조속한 제정 요청…“시장 토대 마련”

국내 IT 업계는 조속한 AI 기본법 제정을 요청하고 있다. AI 기본법을 통해 정부의 명확한 정책 방향이 수립되고, 기술 개발과 사업 확장에 필요한 환경이 빠르게 조성돼야 한다는 입장이다. 특히 급변하는 AI 시장 상황을 고려, 큰 틀만 세워두고 세부 사항은 추후 지속적인 논의를 통해 구체화해야 한다는 의견이 주를 이루고 있다.

한국소프트웨어산업협회(KOSA) 혁신성장본부 안홍준 본부장은 “국내 AI 산업은 법이 부재한 상황에서 버텨 왔다. 하지만 글로벌 기업이 무서운 속도로 성장함에 따라 앞으로는 개별 기업의 노력만으로 헤쳐 나가기가 어려운 점이 많아질 것”이라며 “이제 국가가 공식 법령에 근거해 산업을 지원하고 육성해야 한다. 이를 위해 AI 기본법 제정이 필요하다”고 강조했다.

LG AI연구원 김유철 전략부문 부문장은 “AI 기본법 부재로 인한 제도의 불확실성이 가장 큰 어려움이다. AI 기술을 도입해 실제 성과에 집중해야 하는 기업들은 개발에 속도를 내는 것이 중요하다”며 “기업뿐 아니라 법 집행 기관이나 권리를 보호받아야 하는 사용자를 위해서라도 법안 논의는 조속히 마무리돼야 한다”고 말했다.

포티투마루 김동환 대표도 “AI 기본법이 없이는 딥페이크와 같은 AI 관련 사회적 이슈를 다루는 데 한계가 있을 수밖에 없다. 위험을 통제할 부분은 규제하고, 더 확산해야 할 점은 진흥하는 등 다양한 논의가 이뤄지기 위해선 일단 기본적인 틀이 마련돼야 한다. 또 해외 각국에서 AI 규제를 만들었는데 한국 기업이 글로벌 시장에 진출하려면 이에 대한 대응을 준비할 필요가 있다. 이 모든 일련의 절차는 결국 AI 기본법이 제정된 뒤에야 제대로 논의할 수 있다”고 지적했다.

자율규제 대안 제시…“안전성은 글로벌 스탠더드”

IT 업계도 규제의 필요성에는 공감하고 있다. 특히 ‘고위험’으로 간주할 수 있는 제품 및 서비스가 시장에 나올 경우, 발생할 수 있는 위험 요소를 막아야 한다는 점에는 대부분 동의하고 있다. 문제는 규제의 규모나 강도다. 고위험 요소를 너무 엄격히 규정하면 기술 혁신을 저해할 수 있다는 것이다.

한국인공지능협회 김현철 회장은 “명확한 규제로 법적 불확실성을 줄일 수 있다는 점은 환영한다. 다만 고위험 AI에 대한 엄격한 규제가 기술 혁신을 저해할 수 있다는 걱정이 있다. 규제 준수를 위한 비용 증가로 개발 속도가 느려지며 글로벌 경쟁에서 뒤처질 수 있다는 우려도 있다”고 말했다.

업계에서 제안하는 대안은 자율규제와 관련된 가이드라인 마련이다. 업계에서는 AI 안전성이 전 세계적인 화두로 떠오른 만큼 기업 차원에서도 이를 위한 준비를 하지 않을 수 없어 자율규제도 실효성이 있다는 의견이다. 실제로 네이버는 지난 2021년 서울대 AI 정책 이니셔티브(SAPI)와 협업해 ‘네이버 AI 윤리 준칙’을 공개했으며, 올해 6월 AI 안전성 실천 체계인 ‘네이버 ASF(AI Safety Framework)’를 발표했다.

LG AI연구원은 내외부 레드팀을 통해 AI 알고리즘과 모델의 편견이나 오류, 시스템의 취약점을 점검하며, 데이터 거버넌스를 구축해 저작권이나 개인정보 이슈를 검토하고 있다. 국제전기전자 표준협회(IEEE-SA)와 협력, ‘IEEE CertifAIEd((Certified AI Ethics)’ 국내 1호 협력 기관으로서 신뢰할 수 있는 AI를 위한 개발 생태계 확장에도 힘쓰고 있다.

KOSA 안홍준 본부장은 “주요 AI 기업들은 내부적으로 윤리 준칙 등을 마련해 공개하고 있다. 특히 유럽, 미국에서 AI 안전성을 강조하고 있다. 국내 기업 역시 글로벌 추세를 따라 안전, 신뢰 등을 지키기 위해 노력해야 한다”며 “시장이 빠르게 변화하고 있는 만큼, 강한 규제를 앞세우기보다 기업이 자체적으로 원칙을 세우고 이를 준수하는 문화가 자리 잡도록 지원하는 것이 우선될 필요가 있다”고 밝혔다.

산업 진흥 강화 필요…중소기업·스타트업 보호 의견도

일각에서는 더 확실한 산업 진흥 방안이 제시돼야 한다는 목소리도 나왔다. AI 기본법이 국내 AI 산업 진흥을 목적으로 한다고 하지만, 구체적 지원 방안 등이 충분히 담겨 있지 않다는 것이다.

한 업계 관계자는 “기업들 사이에서 AI 기본법을 두고 산업 진흥을 강조해야 한다는 의견이 많다. 하지만 산업 진흥을 위해 무엇을 해야 하며, 법안에 어떤 조항이 담겨야 하는지에 대해서는 뚜렷한 답이 없는 듯 보인다”고 진단했다.

이어 이 관계자는 “국내 기업에 자본을 지원하는 사업이 필요하다. AI가 발전하며 기술뿐 아니라 자본 경쟁의 성격이 두드러지고 있다. 국내 기업이 경쟁력을 갖춰 해외 시장으로 나가기 위해서는 자금 지원이 필요하다. 우리나라가 AI 경쟁력을 확보하기 위해서는 원천기술도 개발할 수 있어야 한다. 따라서 연구개발(R&D) 예산과 인재 양성 사업 지원도 놓쳐선 안 된다”고 제언했다.

중소기업과 스타트업은 규제 대응이 상대적으로 더 어렵다는 점을 들어 중소기업과 스타트업을 위한 지원이 필요하다는 의견도 있었다.

한국인공지능협회 김현철 회장은 “일부 기업은 법안 발표 후에야 상세 내용을 알게 돼 의견을 제시할 기회가 부족했다고 말했다. 특히 중소기업과 스타트업의 의견이 AI 기본법에 충분히 반영되지 않았다는 우려도 있다”며 “중소기업과 스타트업은 규제 준수를 위한 자원이 제한적이기에, 이들을 고려한 지원과 배려가 필요하다”고 강조했다.

시민단체 “모호한 규제, 오히려 산업 성장 저해할 것”

시민단체는 AI 기본법에 고위험 AI에 대한 정확한 규정이 부재하다고 평가했다. 조항에 몇 가지 사례를 더한 법안이 있으나 고위험 AI를 포괄하기에는 부족하며, 위험에 따른 책임과 의무도 불분명하다는 지적이다.

참여연대 공익법센터 이지은 간사는 “몇몇 발의안에서 고위험 AI를 규정하며 그 범위를 설정했지만 몇 가지 나열하는 데 그쳤다. 또 고위험은 그에 걸맞은 의무와 책임이 명시돼 있어야 하며, 사건·사고 발생 시 사후 처리를 위한 실효성 있는 장치가 필요하다. 하지만 발의안에는 고위험 여부를 표시하는 의무 정도만 제시돼 있다”라고 말했다.

권칠승 의원안에는 금지된 AI를 규정하고 이를 개발할 시 5년 이하의 징역 또는 5천만 원 이하의 벌금에 처하는 벌칙 조항이 담겼다. 하지만 이마저도 구체적 기준은 담겨 있지 않으며 이를 대통령령으로 정하도록 하고 있어 제 역할을 하기 어렵다는 게 참여연대 측 의견이다.

이지은 간사는 “시민단체에서도 AI 산업을 진흥해야 할 필요성에는 공감한다. 신기술을 활용한 제품·서비스에 일정 기간 일부 규제를 적용하지 않는 ‘규제 샌드박스’도 고려해 봄 직하다”면서도 “우선 규제의 명확한 틀을 갖춰야 한다. 유럽·미국이 AI 규제를 선도하는 상황에서 우리나라도 그에 발맞춰 적절한 체계를 마련해야 국내 기업들이 세계 시장에서 제대로 평가받을 수 있다. 불분명한 규제는 오히려 기업의 비용 증가, 더 나아가 사업의 지속 가능성을 떨어뜨리는 문제로 작용할 수 있다”고 강조했다.

법학계 전문가 “명확한 규정 수립 이뤄져야”

학계에서는 AI 기본법에 보완이 필요하다는 의견을 내놓고 있다. 먼저 가천대학교 법학과 최경진 교수(한국인공지능법학회 회장)는 지난 9월 열린 공청회에서 22대 국회 발의안을 두고 신뢰 기반 조정을 입법 목적으로 삼고, 이중 다수가 국민 권익과 존엄성 보호를 규정했다는 점에서 긍정적으로 평가했다. 다만 AI 개념을 광범위하게 설정하면 실효성이 없는 규제안이 나올 수 있다고 우려했으며, 법률 하나로 모든 AI 문제를 해결할 수 없으므로 다각적인 접근 필요성을 주장했다.

한동대학교 유승익 연구교수는 AI 기본법 규정의 불명확함을 지적했다. 대표적으로 이훈기 의원안은 고위험 AI를 에너지법, 보건의료기본법 등에 해당하는 AI로서 사람의 생명, 신체의 안전 및 기본권의 보호에 중대한 영향을 미칠 우려가 있는 AI로 정의(定意)했다.

이에 유승익 교수는 “발의안에 나온 내용 외에 수사기관, 재판, 선거 등 주요 공공영역은 물론 고용관계, 학교 교육 등은 규율하고 있지 않다”며 “제한적 정의로는 안전 및 인권에 미치는 위험을 체계적으로 규율하는 데 한계가 있다”고 진단했다.

유승익 교수는 기본법 내 AI에 대한 정의도 불명확하다고 평가했다. 11개 발의안은 대체로 AI를 “학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것”으로 규정한다.

유 교수는 “세계적으로 합의된 바는 없으나 경제협력개발기구(OECD), EU AI법의 정의가 지금까지는 표준으로 받아들여지고 있다. 현재 우리 법안에서 AI 정의가 명확하지 않아 소프트웨어까지 통칭할 수 있다는 문제가 있다”고 설명했다.

OECD는 ‘AI 시스템’을 “배포 이후에 적응성을 보이고, 명시적 또는 암묵적 목표를 위해 입력받은 정보를 바탕으로 예측, 콘텐츠, 추천 또는 결정을 생성해 물리적 또는 가상 환경에 영향을 미칠 수 있는 기계 기반 시스템”으로 규정했다. 유승익 교수는 안철수 의원안만이 OECD나 EU AI법을 참조해 더 구체적인 정의(“자율성을 가지고 외부 환경 또는 입력에 적응해”(후략))를 제시했다고 평가했다.

디지털정책연구소 김윤명 소장은 “AI 기본법이 불명확한 내용을 담고 있는 이유는 그 목적이 뚜렷하지 않기 때문”이라고 지적했다. 김 소장은 “법안은 어떤 문제를 해결할 것인지가 담겨야 한다. 그런데 AI 기본법은 문제를 정의하지 않고 있어 해결할 과제도 분명하지 않다. 이대로 가면 산업 진흥도 규제도 해당하지 않는, 이도 저도 아닌 법이 돼 버릴 것”이라고 우려했다.

이어 김윤명 소장은 “산업 진흥의 경우, 관련 법을 개정함으로써 여러 방안을 모색해 볼 수 있다. 가령 텍스트마이닝(TDM) 규정을 저작권법에 도입하는 등 학습데이터를 위한 관련 시책으로 산업 진흥 방안을 마련할 수 있다. 이와 관련, 지난 21대 국회에서는 3~4개 법안이 발의됐으나 제22대 국회에서는 저작권법 개정안이 제안되지도 못하고 있다”고 덧붙였다.

정부, 연내 제정 요청…가능성은 ‘불투명’

정부는 지난 9월 26일 대롱령 직속 ‘국가AI위원회’를 출범하며 AI 기본법을 연내 제정할 것이라고 발표한 바 있다. 이후 지난 10월 23일 한덕수 국무총리가 ‘2024 서울미래콘퍼런스’에서 “AI 기본법이 조속히 제정될 수 있도록 국회와 긴밀히 소통해 나가겠다”는 의견을 밝히는 등 정부 차원에서 AI 기본법 제정을 촉구하는 움직임이 이어지고 있다.

다만 AI 기본법의 연내 제정 가능성은 미지수인 상황이다. 관련 발의안들은 아직 소관위원회(과방위)를 통과하지 못했다. 안철수 의원안이 7월 16일, 정점식 의원안과 권칠승 의원안을 비롯한 총 5개 의안이 8월 26일에 소관위에 상정됐다.

새로운 법안이 제정될 때는 소관위 회의에서, 개정 취지가 유사하지만 각기 다른 발의안을 병합해 심사하는 과정을 거친다. 그다음 의결한 법안이 관련 법과 충돌하지 않는지, 또는 법안 내 문구가 적정하게 쓰였는지를 확인하는 ‘체계자구 심사’를 통과해야 한다. 이 모든 과정을 거친 후에야 본회의에 상정되며 이후 표결 결과에 따라 제정 여부가 결정된다. 이러한 입법 절차를 고려할 때 소관위 심사도 통과하지 못한 AI 기본법은 아직 갈 길이 많이 남은 셈이다.

업계 한 관계자는 “발의안을 병합 심사하는 데만 해도 시간이 오래 걸리며, 그 과정에서 공청회 등도 이뤄져야 한다. 지금으로서는 가야 할 길이 먼 상황이다. 올해 안에 제정될지 확신하기 어렵다”고 말했다.

또 다른 업계 관계자는 “만약 올해 안으로 AI 기본법이 제정되지 않는다면 언제 될지 그 시점을 장담키 힘들다. 지금까지 발의안이 11개 나왔는데 앞으로 더 늘어날 가능성도 배제할 수 없다. 그렇게 된다면 차일피일 미뤄지게 될 것”이라며 우려를 나타냈다.

이 같은 상황에서 AI 기본법을 제정하는 데 뚜렷한 청사진 수립이 필요하다는 의견도 나왔다. 한동대 유승익 연구교수는 “국회 원 구성이 달라지며 AI 기본법 논의는 다시 원론적 수준으로 되돌아갔다. 몇몇 국회의원이 조찬 포럼 등을 개최하며 논의의 장을 마련하고는 있으나, 심도 있는 토론까지 이어지지 못하고 있다”며 “국가 차원에서 AI 기본법 제정을 위한 명확한 단계를 수립해 추진해 나갈 필요가 있다”고 지적했다.