[아이티데일리] AI 제품·서비스로 사용자에게 다가가려는 기업들의 노력이 이어지고 있지만, ‘AI 신뢰성’이 발목을 잡고 있다. 더 많은 고객을 확보하기 위해서 기업은 ‘신뢰성’이라는 장벽을 넘어서야 한다. AI에 대한 높은 기대에도 불구하고 환각 현상으로 인한 부정확한 답변이나 데이터 편향성이 만드는 잘못된 결과가 실제 나타나고 있기 때문이다.

이런 상황에서 ‘AI 인증제도’가 주목받고 있다. 기업에는 난해한 신뢰성 문제를 풀어갈 실마리를 제공하고, 사용자에게는 믿을 수 있는 AI 제품을 안내하고 있는 것이다. ‘AI 신뢰성’을 둘러싼 국내외 상황과 현재 국내에서 AI 관련 인증제도에 대해 살펴본다.

막대한 비용 들인 AI…서비스로 수익 확보 모색

생성형 AI는 기술적 혁신으로 큰 주목을 받고 있지만 이를 위해 막대한 비용이 들어간다는 사실을 간과하는 사람이 많다. 국내외 AI 기업들은 투입된 개발 인력뿐 아니라 거대언어모델(LLM) 개발에 필수적인 엔비디아 GPU를 확보하기 위해 막대한 자금을 투자하고 있다. 엔비디아 GPU는 생산이 수료를 따라가지 못해 품귀 현상까지 빚어지는 실정이다.

마이크로소프트는 지금까지 오픈AI에 130억 달러(약 17조 4,000억 원)를 투자해 GPT-4 등에 대한 지적재산권(IP) 라이선스를 확보한 것으로 알려졌다. 아마존은 오픈AI의 경쟁업체로 떠오르고 있는 ‘앤스로픽(Anthropic)’에 40억 달러(약 5조 3,500억 원)를 투자했다.

구글은 데이터 센터 건설 및 확장에 30억 달러(약 4조 원)를 쏟아부었으며, 미국 온라인 커뮤니티 ‘레딧(Reddit)’과 지난 2월 AI 학습 데이터 제공 등을 조건으로 매년 6천만 달러(약 800억 원) 규모의 계약을 체결했다. 오픈소스 LLM ‘라마(Llama)’를 개발한 메타는 올해 말까지 엔비디아 H100 GPU 35만 개를 구매한다는 계획을 발표했다. H100이 약 3만 달러(약 4천만 원) 선에서 거래되는 점을 고려할 때, 투자 규모는 100억 달러(약 14조 500억 원)에 이를 전망이다.

국내 업체도 예외는 아니다. 국내 주요 AI 기업인 네이버의 경우 지난해 연구개발(R&D) 비용으로 1조 9,926억 원을 썼는데, 이는 같은 기간 영업이익(1조 4,888억 원)보다 더 많은 금액이었다. 네이버는 R&D 예산을 바탕으로 AI 기반 스마트에디터 글쓰기 기능인 ‘클로바 포 라이팅(CLOVA for Writing)’을 개발하고 ‘초대규모 AI 한계 극복 및 고도화 연구’, ‘AI 기반 취약점 탐지 기술 연구’ 등을 진행해 왔다.

국내외를 막론하고, AI 기업들은 1조 원 이상의 자금을 들여 기술 개발을 이어가고 있다. 미래를 보고 연구개발을 진행 중이지만, 천문학적 투자에 비해 아직 확실한 수익을 담보할 수 없다는 점이 문제다. 미국 금융권을 중심으로 ‘AI 거품론’이 부상하고 있는 것도 이런 이유에서다. 현재 AI 기업들은 기술 고도화뿐 아니라 서비스 확대로 안정적인 수익을 확보해야 한다는 과제에 당면한 상황이다.

서비스 신뢰 저해하는 AI 관련 문제들

수익 확보를 위해선 다양한 성공 사례를 만들어 내고 더 많은 사용자를 모아야 한다. 관건은 AI가 대중으로부터 ‘신뢰’를 얻을 수 있는가이다. 오픈AI의 챗GPT(ChatGPT)를 경험한 많은 사람들이 AI에 대한 기대를 품고 있는 것은 사실이다. 하지만 AI를 중요 업무 등에 도입할 수 있는가는 여전히 의문으로 남아 있다.

가장 큰 문제는 ‘환각 현상(Hallucination)’이다. 환각 현상은 생성형 AI가 만드는 그럴듯한 거짓말이다. 생성형 AI는 많은 매개변수(파라미터)로 학습을 거친 후, 확률적으로 가장 자연스러운 답변을 제공하는 구조로 만들어졌다. 그러나 ‘자연스러운’ 답변은 정보의 참, 거짓과 무관하다. 즉, 잘못된 정보로 만들어진 거짓까지도 사실인 양 만들어 내는 일이 발생하는 것이다.

개인 사용자가 일상에서 AI를 사용할 때 발생하는 환각 현상은 큰 문제가 되지 않을 수 있다. 하지만 기업은 상황이 다르다. 생성형 AI가 만들어 낸 교묘한 거짓 정보를 업무에 적용함으로써 큰 피해가 발생할 수 있다. 이 때문에 기업은 AI 관련 개념검증(PoC)을 적극 진행하면서도, 내부 시스템에 AI를 도입하는 데 주저하고 있다.

또 다른 문제는 ‘데이터 편향성’이다. AI 모델은 학습 데이터에 의존해 판단을 내리거나 결과물을 생성하기 때문에, 특정한 경향으로 쏠리는 답변을 제공하기도 한다. 오픈AI, 구글 등 주요 AI 기업들은 데이터 편향성으로 만들어진 답변으로 인해 곤혹스러운 상황에 놓이기도 한다. 챗GPT가 올해 초 “독도는 어느 나라 땅입니까”라는 질문에 국제적 분쟁지역 중 하나라고 답한 게 대표적 사례 중 하나다.

AI가 접목된 서비스에서도 문제는 발생한다. 자율주행이 대표적 사례다. 미국 전기자동차 업체 테슬라는 2021년 자사 제품에 ‘완전 자율주행(Full Self-Driving, FSD)’ 기능을 넣었다. FSD는 신호등과 정지 표지판을 인식하고 변화를 감지해 자동주행을 가능케 하는 기술이다. 하지만 자율주행 중 발생한 교통사고는 많은 논란을 낳았다. 외신에 따르면, 미국 도로교통안전국(NHTSA) 통계를 분석한 결과, 지난 2019년 이후 4년간 주행보조장치로 인한 전체 사고 건수 807건 중 테슬라 사고가 90%를 차지했으며 17명이 사망한 것으로 나타났다.

EU, 미국 등 해외 각국서 AI 규제 준비 나서

잇따른 AI 관련 문제에 각국 정부에서는 관련 법·제도를 신설하거나 정비하고 있다. 가장 적극적인 곳은 유럽연합(EU)이다. EU는 지난 2021년 4월부터 ‘AI 법(AI Act)’에 대한 협의 및 수정을 거쳐 올해 5월 최종 승인했다. EU AI법은 발효 6개월 뒤부터 시행 조항을 점차 확대하다가 2026년 전면 시행될 예정이다.

EU AI법은 위험도에 따라 AI를 크게 △허용 불가(Unacceptable Risk) △고위험(High Risk) △제한적 위험(Limited Risk) △저위험(Minimal Risk) 등 4단계로 나눠 차등 규제한다. 치명적인 문제를 일으킬 수 있는 ‘허용 불가’에 해당하는 AI는 시장 출시가 전면 금지된다. 생체인식을 활용하거나 가스, 전기 등 중요 기반 시설과 관계된 ‘고위험’ AI는 위험관리체계 수립·이행, 투명성 및 배포자 정보 제공 등 요구사항 준수를 통해 신뢰성을 확보해야 한다.

챗봇, 생성형 AI, 딥페이크 등은 제한적 위험으로 분류된다. 이 경우, 위험도는 상대적으로 낮으나 사람과 상호작용하는 시스템이라는 점, 콘텐츠가 AI에 의해 생성됐다는 점 등을 투명하게 공개해야 한다. 마지막으로 비디오 게임, 스팸(SPAM) 문자 차단 기능 등은 위험이 최소화되거나 존재하지 않는 저위험 요소로 분류되며, 법상 규제는 적용되지 않고 자율적 행동 강령을 마련할 것을 권고받는다.

미국은 지난해 10월 ‘안심할 수 있고, 안전하며, 신뢰할 수 있는 인공지능(AI) 개발과 사용에 관한 행정명령’을 발표했다. 이에 따라 국가 안보, 건강, 안전 등을 위협할 수 있는 AI 개발자는 안전 시험 결과를 미국 정부에 제출해야 한다.

또 미국 정부는 국립표준기술연구소에 AI 도구 안전선 표준을 마련하라고 지시했으며, 상무부에는 딥페이크 등의 콘텐츠 식별을 위한 워터마크 의무화 방안을 추진하도록 했다. 다만 행정부가 갖춰야 하는 조처가 핵심 내용을 구성하고 있어 EU AI법만큼 민간 기업에 대한 강제력을 지녔다고 보긴 어렵다는 게 전문가들의 의견이다.

우리 정부도 EU, 미국 등에서 이뤄지는 AI 규제 흐름에 발맞춰 ‘AI 기본법’에 대한 논의를 이어 왔다. 하지만 지난 21대 국회에서 발의된 관련 법안들은 1년여간 표류 끝에 폐기됐다. 이후 22대 국회에서 새로운 법안들이 나오는 등 다시 논의가 이어지고 있다.

개념적으로 이해하기 어려운 신뢰성 문제

AI는 금전적 피해부터 심한 경우, 안전 문제를 일으킬 수 있기에 신뢰할 수 있는 서비스 구현이 매우 중요하다. 또 EU가 AI법으로 관련 규제에 시동을 걸고 있는 만큼, 해외 시장을 고려하는 국내 기업이라면 신뢰성 확보 방안을 고려하지 않을 수 없다. 하지만 기업 차원에서 신뢰성을 어떻게 확보할 것인가는 해결하기 어려운 부분이다.

우선, 신뢰성이라는 개념이 가진 난해함 때문이다. ‘신뢰’는 사전적 정의로 ‘굳게 믿고 의지함’을 뜻하는데, 여기서 ‘무엇으로’ 말미암아 대상을 믿을 수 있는가는 천차만별일 수 있다. AI의 경우 틀리지 않은 적확한 답변도, 윤리적으로 올바른 정보도, 인적·물적 피해를 유발하지 않는다는 점도 모두 신뢰의 요인이 될 수 있다.

AI 신뢰성도 영어로 보면 ‘Trustworthy’와 ‘Reliability’ 두 가지 관점으로 나눠 볼 수 있다. 두 단어 모두 한국어로 ‘신뢰성’이라 번역되지만, 의미는 미세하지만 차이가 있다.

한국정보통신기술협회(TTA) AI융합시험연구소 양상운 팀장은 “한국에서 말하는 신뢰성은 Trustworthy와 Reliability가 섞여 있는데 엄밀히 말하면 둘은 조금 다른 개념”이라며 “Reliability가 성능이나 품질이 견고한가에 달려 있다면, Trustworthy는 결과에 따른 부작용 여부, 시스템이나 관리체계 수준 등으로 AI를 얼마나 믿고 쓸 수 있는가와 관계가 있다”고 설명했다.

정리하자면, AI 신뢰성이란 안정적인 성능·품질과 더불어 데이터 편향을 제거하고 개인정보 보호 방안을 마련하는 등 기업의 역량, 관리체계 등을 총망라해야 성취할 수 있다.

믿을 수 있는 AI의 가늠자, 인증과 표준

날이 갈수록 시장 경쟁이 치열해짐에 따라 기업들이 서비스 완성도뿐 아니라 신뢰할 수 있는 관리체계까지 마련해야 하는 상황에 놓이게 됐다. 신뢰성을 위해서는 개발 단계에서부터 점검해야 할 요소가 많은데, 이를 모두 다루기 위해서는 오랜 개발 시간과 많은 비용이 요구된다. 내부 품질보증·품질관리(QA·QC) 조직을 갖춘 대기업과 달리, 중소기업과 스타트업은 신뢰성 문제까지 다룰 여력이 부족한 실정이다.

사업 추진을 위해 기업 역량을 검증해야 하는 쪽에서도 신뢰성은 까다로운 문제다. 무엇을 기준으로 두고 평가하는지도 관건이거니와, 그 과정에서 현장을 검증하는지 결과물의 품질만 놓고 보는지 등 고려 사항이 여러 가지다. 더군다나 IT 전문 인력이 상대적으로 부족한 공공기관이라면 면밀한 수준의 AI 신뢰성 평가는 더욱 어렵다고 볼 수 있다.

이처럼 혼란스러운 상황에서 참고할 만한 기준점을 제시하는 것이 ‘ISO/IEC 국제 표준’이다. 해당 표준들은 국제표준화기구(ISO) 내에서 여러 국가의 인증 심사원이 모여 선정하며, 현재 AI 관련해서는 JTC 1 SC 42에서 개발한 △AI 시스템의 품질 모델 표준인 ‘ISO/IEC 25059:2023’ △AI 경영시스템 표준인 ‘ISO/IEC 42001:2023’ 등이 마련돼 있다. JTC 1 SC 42는 2017년 AI 국제 표준화를 위해 신설돼 64개국 700여 명 이상의 국제 전문가가 활동 중이다.

국내에서는 몇몇 기관 및 기업이 AI 인증제도를 운영 중이다. 와이즈스톤과 한국표준협회(KSA)의 ‘에이아이플러스(AI+) 인증’, TTA의 ‘AI 신뢰성 인증(CAT, Certification of Artificial Intelligence)’, 그리고 한국인공지능협회(KORAIA)의 ‘산업지능화 인증(AI+X Certificate)’ 등이 그것이다.

국내 AI 인증들은 전반적으로 ISO/IEC 국제 표준을 바탕으로 만들어지며, 인증기관별로 어떤 부분에 중점을 두느냐에 따라 구성요소, 시험 방식 등이 세부적으로 달라진다.

와이즈스톤의 AI+ 인증은 모델 성능, 신뢰성, 경영시스템 등 제품 전반 품질을 평가한다. TTA의 AI 신뢰성 인증은 ‘AI 시스템 신뢰성 제고를 위한 요구사항’ 15개를 기반으로 믿을 수 있는 서비스를 제공하기 위한 체계가 마련됐는지를 검증한다. 그 밖에 모델의 강건성, 성능·품질, 안전 컨설팅 등에 대해서는 인증이 아닌 시험을 거친 후 성적서를 제공한다. 한국인공지능협회의 경우, 6개 유형으로 나눠 운영하며 기업의 다양한 요소를 검토함으로써 지능화 수준을 보증하는 것을 목적으로 한다.

TTA AI 신뢰성 센터 곽준호 팀장은 “기업과 소비자는 서로 다른 기준으로 신뢰성을 바라보는 경향이 있는데, 인증제는 그 차이를 좁히는 효과를 제공한다. 기업은 신뢰성을 확보하기 위한 노력을 입증받고, 소비자는 인증을 통해 보다 믿을 수 있는 제품, 서비스를 선택할 수 있다. 또 해외 진출을 준비하는 기업이라면 EU AI법, 미국 행정명령 등 글로벌 규제에 대비하는 데 도움받을 수 있다”고 AI 인증의 긍정적 효과에 대해 강조했다.

단순한 시험검증 넘어 품질 제고 효과까지

각 기관의 인증제도는 기본적으로 기업의 AI 제품, 서비스 등이 안전한지 검증하는 데 초점이 맞춰져 있다. 엄격한 심사, 시험 과정을 거쳐 기업에는 고객 확대 기회를 제공하고, 사용자에는 믿고 쓸 수 있음을 보증하는 것이 인증제도의 일차 목표다. 하지만 그렇다고 해서 인증제도가 단순한 합불 여부를 가리는 시험에 그치는 것은 아니다.

기관들은 기업이 AI 인증을 내부 시스템 점검의 기회로 삼을 수 있도록 노력하고 있다. 우선, 와이즈스톤과 KSA의 AI+ 인증의 경우, 기업과 시험에 대해 합의 후 일차적으로 제품 시험과 현장 심사를 수행한다. 이후 발견된 오류 요소에 대한 수정 기간이 주어지고, 그에 대한 확인 과정을 거친 후 최종 심사가 이뤄진다.

와이즈스톤 ICT시험인증연구소 윤종운 수석연구원은 “AI+ 인증은 업계 입지를 다지는 마케팅 요소만큼이나 인증 과정을 거치며 서비스 품질을 제고하는 효과도 크다. 와이즈스톤은 AI + 인증이 시험검증을 넘어 회사가 내부 점검하는 기회로도 삼을 수 있도록 지원한다”며 “특히 자체 QA 역량이 부족한 중소기업, 스타트업 등에서 AI 서비스·제품의 품질을 강화할 수 있도록 ‘스탠다드’ 인증을 별도로 마련하고 있다”고 설명했다.

TTA는 AI 신뢰성 인증을 받고자 하는 기업들이 신뢰성 확보를 위한 참고 자료로 활용할 수 있는 ‘신뢰할 수 있는 인공지능 개발안내서’를 지난 2022년부터 과학기술정보통신부와 함께 발간하고 있다.

안내서는 15개 개발 요구사항과 67개 검증 항목을 상세히 소개한다. 특히 지난해부터 △의료 △자율주행 △공공·사회 △생성 AI △스마트 치안 △채용 등 6개 세부 분야별 안내서도 별도로 발간하고 있다. AI 신뢰성 인증 과정에서도 단번에 취득 여부를 가리는 게 아니라 일차적인 시험검증 후 유예기간을 부여해 기업이 내부 시스템을 점검 및 개선하는 기회를 제공한다.

한국인공지능협회는 인증서와 함께 종합 보고서를 제작하고 있다. 유형별로 적절한 전문가를 소집해 만든 평가위원회가 기업의 AI 역량 평가에 그치는 게 아니라, 향후 보강해야 할 점까지 조언한다. 또 관련된 기술 유행까지 전반적으로 포괄하는 내용을 담아 기업이 발전 방향성 등을 모색할 수 있도록 돕는다.

시장 초기 단계…“확산 위해 정책적 지원 필요”

AI 인증제도는 아직 초기 단계다. 우선, 기업들이 윤리, 신뢰성 등을 충분히 인식하지 못하고 있다. 머신러닝, 딥러닝 그리고 LLM을 중심으로 성장한 생성형 AI까지 다양한 기술이 단 시간에 시장에 모습을 드러냈다. 대부분 기업은 빠르게 변하는 기술 유행을 따라잡으면서도 사업 성과를 창출해야 하는 어려운 과제에 놓여 있다. 이러한 상황 속에서 신뢰성, 윤리성 문제는 상대적으로 소홀해질 수밖에 없다.

AI 신뢰성 문제에 대한 대응 방안을 어디서부터 준비해야 할지 모르는 기업도 있다. 특히 국가 법·제도는 규정 하나하나를 세밀하게 만들기에 범위가 방대하고 내용도 복잡해 전문가가 아니고서는 충분히 이해하기 어렵다.

인증기관들은 AI 인증이 기업들에 가이드라인을 제시할 수 있다고 주장한다. 인증 기준에 부합하기 위한 내부 점검으로 신뢰성을 다지는 기반을 마련하는 일이 가능하다는 것이다. 하지만 그러면서도 민간에서 관련 시장을 확대하기란 현실적으로 한계가 있다는 점을 들어 정부에서 초기 시장 활성화를 위한 제도적 지원 등을 제공할 필요가 있다고 강조했다.

한 업계 관계자는 “AI 인증을 확산하기 위해서는 제도적 혜택이 제일 효과적이다. 가령 GS(Good Software) 인증의 경우, 취득 시 조달청 우수조달품목을 신청할 수 있으며 공공기관 구매 책임자의 책임을 면책해 주는 등의 혜택이 제공된다”고 설명했다.

와이즈스톤 윤종운 수석연구원은 “AI+ 인증에 대해 처음보다는 많은 기업에서 관심을 표하고 인증에 참여하고 있다. 하지만 여전히 AI 인증의 가치나 효용성, 중요도를 알지 못하는 경우도 많다”며 “민간 차원에서 분위기를 바꾸기엔 여러모로 어려운 점이 있다. 정부에서 사업 과제에 인증서 관련된 조항을 마련하거나, 국가적 기준을 만들어 민간 기관을 통해 확산하는 등의 노력이 이뤄질 필요가 있다”고 말했다.

한국인증지능협회 한국인공지능인증센터 박성주 센터장은 “AI 시장이 많은 변화를 겪고 있듯, 관련 인증 역시 시대가 요구하는 수준을 찾아가야 하는 노력이 요구된다. 그런 관점에 보면, 여러 기관이 AI 신뢰성 인증으로 방향성을 탐색하는 현 상황은 긍정적이다”라고 평가하면서도 “인증이란 특정 분야에 대해 기업이 충분한 역량이 있음을 보여주는 증표 같은 것이기에 나름의 표준이 확립돼야 한다. 정부에서 합의된 방향을 만들어 갈 수 있는 가이드라인을 제시할 필요가 있다”고 진단했다.

제품 시험, 현장 심사로 산업경쟁력 확보 돕는 ‘AI+ 인증’

와이즈스톤은 한국표준협회(KSA)와 AI 제품과 서비스의 품질을 점검 및 평가하는 ‘AI+ 인증’을 지난 2020년 7월 출시했다. AI+ 인증은 초기 ISO/IEC 25023(소프트웨어 제품 품질 표준), 25051(패키지 소프트웨어 품질 요구사항 및 테스팅 지시사항) 등에 자체 개발한 AI 성능 평가 항목을 바탕으로 AI 제품·서비스를 평가한다.

와이즈스톤은 AI 기술 발전에 발맞춰 인증 체계를 지속적으로 고도화하고 있다. 지난해 수립된 ISO/IEC 25059(AI 시스템 품질 모델 표준)와 42001(AI 경영시스템)을 반영해 AI+ 인증의 심사를 강화했다. 국내외 사업장의 AI 관리체계에 대해서는 42001의 요구사항에 적합하며, 품질 향상을 목표로 효율적으로 운영되는지를 현장 심사로 검증, 부적합 사항 발생 시 개선 조치를 요청한다. 제품 시험에서는 25059를 기반으로 AI 관련 8개 특성에 대한 품질을 측정하며, 결함이 발견되면 수정 및 회귀 시험 과정을 거쳐야 한다.

AI+ 인증은 크게 △신청 및 계약 △심사 및 시험 △인증 결정 등 세 가지 단계로 구성된다. 기업이 KSA에 신청서를 보내면 인증 가능 여부를 사전 검토 후, 와이즈스톤 측으로 해당 내용을 전달한다. 이후 와이즈스톤은 기업과 시험에 대한 합의를 진행한 후, 본격적인 제품 시험에 착수한다. 제품 시험을 마치면 현장 심사가 이루어지며, 심사와 시험을 모두 완료한 결과를 심의위원회에서 평가해 인증서를 발급한다.

와이즈스톤 윤종운 수석연구원은 “AI+ 인증은 실제 제품 및 AI 모델 등의 품질을 제품 시험으로 확인하고, 현장 심사로 AI 제품 및 서비스의 품질을 지속 관리 및 개선하고 있는지 점검한다. 이를 통해 정량적 요소와 정성적 요소를 아우르는 검·인증으로 기업은 고객으로부터 신뢰받은 AI 산업경쟁력을 확보하고, 소비자는 AI 제품·서비스를 믿고 안전하게 쓸 수 있도록 지원하고 있다”고 말했다.

아울러 와이즈스톤은 보다 많은 기업에서 AI+ 인증에 참여할 수 있도록 핵심 AI 기술 및 기능에 대한 심사 항목에 중점을 둔 ‘AI+ 스탠다드’를 올해 출시했다. 중소기업이 자사 개발 AI 제품·서비스 품질을 향상함과 동시에 우수성을 외부에 알리는 기회를 제공할 수 있도록 한다는 것이다. 품질과 조직 역량, 관리체계 등을 종합적으로 평가하던 기존 인증은 ‘AI+ 프리미엄’으로 리브랜딩했다.

AI+ 인증에는 삼성전자, LG전자 등의 AI를 접목한 생활가전부터 빅데이터 기반 부동산 분석 모델, 지능형 실시간 탐지 개인정보 필터링 솔루션 등 다양한 분야의 기업에서 참여해 자사 제품의 신뢰성을 입증받고 있다.

“‘AI+ 스탠다드’로 중소기업·스타트업에 관리체계 검증 기회 확대”

Q. AI의 품질과 신뢰성을 검증하는 데 가장 중점에 두는 점은?

“품질의 경우, 분야마다 기준점이 조금씩 다르다. 가령 기업이 공정 과정에서 제품을 판별하는 AI에 80% 정확도를 요구한다면, 의료 AI는 생명을 다루는 만큼 거의 100%에 가까운 정확도를 요구할 것이다. 그렇기에 분야별, 제품·서비스의 용도별로 기준점을 다르게 설정하는 등 유연하게 운영하는 데 집중하고 있다. 또 제품이 갖춰야 할 요소와 AI 간 균형점 모색에 초점을 맞추고 있다.”

“신뢰성은 품질과 달리 구체적 지표를 기준에 두고 판단하기 어려운 면이 있다. 와이즈스톤은 인적 피해 가능성과 사회적 파장에 중점을 뒀다. AI가 인적 피해를 발생할 가능성이 있는지를 첫째로 검토한다. 둘째로 사회적으로 미칠 수 있는 영향을 고려한다. 생성형 AI의 환각 현상으로 만들어지는 그럴듯한 거짓 답변이 이에 해당한다. 기업에서 이를 방지하기 위한 대응 방안은 마련했는지, 추후 다른 문제가 발생하지 않도록 안정된 관리체계를 구축했는지를 두고 신뢰성을 검증하고 있다.”

Q. 와이즈스톤이 AI+ 인증에 있어 현재 집중하는 부분은?

“지금은 AI+ 인증의 저변을 확대하기 위해 노력하고 있다. 4년여간 인증제도를 운영하며 대기업보다 중소기업, 스타트업에서 인증을 통한 품질, 신뢰성 확보가 더욱 필요하다는 점을 느꼈다. 대기업은 마케팅 역량도 충분하고, 내부 조직을 통한 품질관리도 가능하다. 반면, 빠른 개발을 통해 시장에서 성과를 내야 하는 중소기업과 스타트업은 상대적으로 안정된 프로세스 구축 등의 작업이 어려울 수밖에 없다. 실제 인증에 참여했던 중소기업 중에서 충분한 준비가 돼 있지 않아 초기 단계에서 심사에 탈락한 경우가 많았다”

“중소기업에서도 AI+ 인증에 참여하고 내부 역량을 강화할 수 있도록 AI+ 인증을 프리미엄과 스탠다드로 이원화했다. 모델 성능부터 신뢰성, 제품 품질 등을 전반적으로 다루는 기존 인증은 ‘AI+ 프리미엄’으로 리브랜딩했다. 새롭게 출시한 ‘AI+ 스탠다드’는 개발 시 준수해야 하는 필수 요구사항을 심사하고, 모델 성능 및 기능 품질을 시험하는 방향으로 인증을 간소화했다. 출시 후 중소기업으로부터 내부 시스템을 점검하는 계기가 됐다는 좋은 반응을 얻고 있다.”
 

Q. 와이즈스톤은 AI와 관련해 준비하는 방향성은?

“와이즈스톤은 지난 2022년 과기정통부에서 발주한 ‘민간 AI 신뢰성 시범인증 사업’에 한국표준협회와 함께 최종 사업자로 선정돼 ‘AI 신뢰성 인증’을 개발했다. AI 신뢰성 인증은 AI+ 인증에 비해 견고성, 투명성, 개인정보 보호 역량 등에 초점을 맞추고 있다. 시범사업 과정에서 클라썸 ‘AI 도트(AI DOT)’, 딥브레인AI ‘AI 휴먼(AI Human)’ 등에 대한 검증을 진행한 바 있다. 시범사업 경험과 AI+ 인증을 통해 축적한 노하우를 바탕으로, 내년에 본격적으로 시장에 선보이기 위해 개발에 박차를 가하고 있다”

 15개 항목으로 안전한 개발 역량 검증하는 ‘AI 신뢰성 인증’

한국정보통신기술협회(TTA)의 ‘AI 신뢰성 인증(CAT)’은 AI 기반의 제품 및 서비스에 대해 △모델 및 알고리즘에 따라 안전한 결과를 도출하는지 △악의적 공격에 강건한지 △AI가 잘못된 추론, 생성을 제공할 경우, 대책이 존재하는지 등을 위험 요인 분석 및 요구사항 준수 여부를 평가한다,

AI 신뢰성 인증은 TTA가 지난해 12월 제정한 단체표준인 ‘인공지능 시스템 신뢰성 제고를 위한 요구사항’에 기반하고 있다. 해당 단체표준은 ISO/IEC TR 24028(신뢰성 개요), 23894(위험 관리) 등을 비롯해 유네스코, EU 집행위원회의 권고안, 그리고 과기정통부와 TTA가 2022년부터 발간 중인 ‘신뢰할 수 있는 인공지능 개발 안내서’ 등을 참고해 만들어졌다.

인공지능 시스템 신뢰성 제고를 위한 요구사항은 △생명주기 관리 △데이터 수집 및 처리 △AI 모델 개발 △시스템 구현 △운영 및 모니터링 등 5개 유형에 대한 15개 항목으로 구성된다. AI 신뢰성 인증은 15개 항목을 바탕으로 문서·절차 검사와 측정·기능 시험 등을 진행하며, 추가로 프라이버시 준수 요건도 확인한다.

한국정보통신기술협회(TTA)의 ‘AI 신뢰성 인증(CAT)’은 AI 기반의 제품 및 서비스에 대해 △모델 및 알고리즘에 따라 안전한 결과를 도출하는지 △악의적 공격에 강건한지 △AI가 잘못된 추론, 생성을 제공할 경우, 대책이 존재하는지 등을 위험 요인 분석 및 요구사항 준수 여부를 평가한다,

AI 신뢰성 인증은 TTA가 지난해 12월 제정한 단체표준인 ‘인공지능 시스템 신뢰성 제고를 위한 요구사항’에 기반하고 있다. 해당 단체표준은 ISO/IEC TR 24028(신뢰성 개요), 23894(위험 관리) 등을 비롯해 유네스코, EU 집행위원회의 권고안, 그리고 과기정통부와 TTA가 2022년부터 발간 중인 ‘신뢰할 수 있는 인공지능 개발 안내서’ 등을 참고해 만들어졌다.

인공지능 시스템 신뢰성 제고를 위한 요구사항은 △생명주기 관리 △데이터 수집 및 처리 △AI 모델 개발 △시스템 구현 △운영 및 모니터링 등 5개 유형에 대한 15개 항목으로 구성된다. AI 신뢰성 인증은 15개 항목을 바탕으로 문서·절차 검사와 측정·기능 시험 등을 진행하며, 추가로 프라이버시 준수 요건도 확인한다.

품질·운영 점검부터 컨설팅까지 아우르는 ‘산업지능화 인증’

한국인공지능협회의 산업지능화(AI+X) 인증은 IT와 AI 융합, 윤리·신뢰성을 갖춘 서비스 및 애플리케이션, 데이터 기반 인재와 경영 관리 등을 검토해 기업 지능화 수준을 유형별로 인증하는 데 그 목적을 두고 있다. 다양해지는 AI 분야의 기술 요소를 전문적으로 다룰 수 있는 전문조직을 마련하기 위해 지난 2022년에는 한국인공지능인증센터를 출범하기도 했다.

산업지능화 인증은 △연구/개발 △기술/제품 △품질/테스트 △기업 △운영/관리 △지속성장 등 총 6개 유형으로 운영 중이다. 또 AI 기술 도입, 프로세스 점검 등을 지원하는 ‘컨설팅/교육’ 패키지, 그리고 인증과 컨설팅·교육 등을 전체적으로 아우르는 ‘산업지능화’ 패키지도 제공하고 있다.

한국인공지능인증센터 박성주 센터장은 “산업지능화 인증은 단순히 검사 항목의 수준별 검증 절차만 거치는 것이 아니라, 기업이 ‘지능화’되기 위해 필요한 여러 요소를 점검하고 유형별 자동화 분석, 기술 컨설팅과 교육, 교류 네트워크 등을 지원하고 있다”고 설명했다.

기업에서 인증을 신청하면, 센터에서 인증 가능 항목인지 적합성을 확인한 후 AI 모델, 데이터 등 관련 자료를 요청한다. 해당 자료를 바탕으로 전문가들이 모인 검토위원회가 검증을 진행해도 되는지 그 여부를 판단 후, 센터에서 분석 작업을 수행한다. 그다음 평가위원회를 소집해 분석 결과를 바탕으로 인증 기준 부합 여부를 판별하고 적합할 경우 인증서를 부여한다.

산업지능화 인증은 인증서뿐 아니라 제품·서비스와 현재 전 세계적 기술 흐름에 대한 의견을 담은 종합보고서도 제공한다. 박성주 센터장은 “AI는 너무 빠른 속도로 유행이 바뀌고 있다. 가령 기업에서 1년여간 솔루션을 개발했는데, 그 사이 시장 상황이 달라지는 경우도 발생한다. 국내 교수, 연구진이 산업지능화 인증 평가 위원으로 참여하고 있다. 이들이 AI 모델의 데이터를 어떻게 개선하면 좋을지, 향후 바람직한 발전 방향은 무엇인지 등 여러 인사이트를 제공함으로써 인증이 일회성 사업에 그치지 않도록 적극 돕고 있다”고 말했다.

산업지능화 인증은 경북대학교 인공지능학과의 ‘AI 기반 스마트 무인민원발급기’, 모아데이타의 ‘이상탐지·예측 등 AI 처리 기능’을 비롯해 지금까지 한국인공지능협회 1천여 개 회원사 중 208곳에 인증을 처리한 바 있다.

아울러 생성형 AI와 같은 신기술 변화에 대응함으로써 공신력을 확보하고자 한국화학융합시험연구원(KTR), 한국기계전기전자시험연구원(KTC)와 업무협약을 체결하고, AI 인증 관련 표준을 세우고 인증 체계를 고도화하기 위해 노력하고 있다.