[아이티데일리] 전 산업군에서 인공지능(AI) 기술을 활용한 서비스가 빠르게 등장하고 있다. 그러나 AI 기술이 가져다주는 혜택만큼이나 엇나갔을 때의 부작용 또한 상당하다. 이에 고객들은 우수한 AI 기술과 관련 서비스를 골라내 선택적으로 도입할 수 있는 선구안을 요구받고 있으며, 일부 공신력 있는 기관들은 AI의 품질과 완성도 등을 객관적으로 평가할 수 있는 역량을 활용해 다양한 AI 관련 인증 제도들을 속속 내놓고 있다. 국내 시장의 대표적인 AI 관련 인증 제도들을 살펴봤다.

AI 서비스 범람…‘옥석 가리기’ 필요

AI를 머나먼 미래의 기술처럼 여기던 시대는 지나갔다. 오늘날 AI 기술은 산업 분야를 가리지 않고 빠른 속도로 확대 적용되고 있으며, 일상생활 속에서 AI 기술의 혜택을 손쉽게 만나볼 수 있다. 그러나 AI 기술이 빠르게 확산되면서 그에 따르는 부작용도 상당하다. 충분히 검증되지 않은 AI 기술을 활용했다가 기대 이하의 성능에 실망하게 되거나, 초기 설계 및 개발 단계에서 예측하지 못한 오작동을 일으켜 문제를 일으키기도 했다. 특히 최근 몇 년 사이에는 AI의 윤리성이라는 화두가 물망에 오르면서, AI의 기계적인 성능과 신뢰성 뿐만 아니라 보다 인간에게 이로운 윤리적 AI를 만들어야 한다는 목소리도 부각되고 있다.

이에 따라 전문가들은 AI 서비스의 기술력과 품질을 객관적으로 판단할 수 있는 AI 중심의 기준이 필요하다고 입을 모은다. AI 서비스를 개발하는 것은 기존 SW를 개발하는 것과는 설계 방식이나 작동 원리가 판이하게 다르기 때문에, 자연히 점검해야 하는 요소들이나 평가 방식 역시 달라져야 한다는 의미다. IT팀은 조직에서 도입하려는 AI 서비스에 대해 SW 측면과 데이터 및 알고리즘에 대한 평가를 동시에 수행해야 하는데, 대다수 조직들은 지식과 경험이 부족해 도입하려는 AI 서비스들의 성능과 비교우위를 파악하는 데에 어려움을 겪고 있다. 따라서 SW 분야의 GS(Good Software) 인증처럼, 공신력 있는 외부 기관이 수많은 AI 서비스들을 검증해 옥석을 가려내줬으면 하는 요구가 발생하고 있다.

실제로 이러한 요구들은 다양한 AI 관련 인증제들로 구체화되고 있다. 정부에서 지난해 ‘신뢰할 수 있는 AI 실현 전략’을 통해 AI 서비스의 신뢰성 부문의 인증 제도를 마련해야 한다고 선언한 것이 대표적이며, 이를 구체화한 ‘민간 AI 신뢰성 시범인증 사업’은 올해 상반기에 사업자 모집에 나섰다. 공공기관 이외에 다수의 민간기업과 협회들도 제각기 다양한 AI 인증 제도들을 내놓으며, AI 기업들의 제품과 서비스에 대해 참고할 수 있는 지표들을 다함께 만들어나가고 있다.

AI 품질 향상 지원하는 AI+(에이아이플러스) 인증

그동안 정부와 산업계의 지속적인 노력에 힘입어 SW의 성능이나 품질 관리에 대한 연구는 많이 진척돼왔다. 덕분에 국내 SW 품질 평가나 인증 제도는 국제 표준(ISO/IEC 25023)을 기준으로 제법 자리를 잡은 상황이다. 하지만 해당 국제 표준이 정의한 8가지 SW 평가 요소(기능성, 신뢰성, 사용성, 유지보수성, 이식성, 효율성, 상호운용성, 보안성)들은 AI 서비스의 품질을 평가하는 데에 그대로 적용하기 어렵다. 이러한 문제에 착안해, 한국표준협회(KSA)와 와이즈스톤은 AI 서비스의 품질을 점검하고 평가할 수 있는 에이아이플러스(이하 AI+(에이아이플러스)) 인증을 지난 2020년 7월 출시했다.

산업표준화법에 근거해 설립된 한국표준협회는 KS인증으로 대표되는 23개 인증 제도를 운영하며 국가표준의 제‧개정과 보급‧확산에 힘쓰고 있으며, 국내 기업들의 품질 관리 활동 수준을 평가해 포상하는 국가품질상 제도를 통해 품질 경영 문화의 확산에도 기여하고 있다. 한편 와이즈스톤은 SW 품질 관리 및 테스트 분야에서 15년 이상의 비즈니스를 수행해온 경험이 있고, SW에 대한 민간공인시험기관 중에서 가장 많은 경험과 노하우를 보유하고 있는 기업으로 꼽힌다. 이러한 양 기관이 협력해 빠르게 증가하고 있는 AI 서비스들을 점검하고 객관적인 품질 진단을 수행할 수 있는 AI+(에이아이플러스) 인증을 운영한다는 취지다.

AI+(에이아이플러스) 인증이 보장하는 ‘품질’이란 ‘AI 서비스가 사용자의 요구사항을 얼마나 충족하는지’를 의미한다. 이를 위해서는 AI 서비스에 대한 사용자의 요구사항이 무엇인지를 정확히 파악하고, 해당 서비스가 설계자의 의도대로 기능해 충분한 편의와 혜택을 제공하고 있는지를 확인해야 한다. 이에 AI+(에이아이플러스) 인증은 국제표준인 ISO/IEC 25023과 ISO/IEC 25051을 기반으로 제품시험을 실시한다. 이는 △사용자 입장에서 입력에 대해 정확한 출력값이 나오는지 점검하는 ‘블랙박스 테스트’ △API를 통한 서비스 호출에 응답하는지 확인하는 ‘API 테스트’ △기업이 운영하는 테스트모듈의 정확성을 점검하고 실행해보는 ‘모듈 테스트’ 등으로 구성된다. 현재는 와이즈스톤이 제품시험의 지정 시험기관 역할을 수행하고 있다.

또한 AI 서비스는 운영 중에도 반복적인 학습을 통해 성능이 향상되는 경우가 많고, 비즈니스 환경의 변화에 따라 언제든 새로운 기능이 업데이트될 수 있다. 따라서 AI 서비스를 제공하는 기업이 앞으로도 동일한 품질 수준을 유지할 수 있을지를 점검할 필요가 있다. AI+(에이아이플러스) 인증에서는 ISO 9001 기반의 현장심사를 통해 서비스 제공 기업에 대한 품질 경영 수준을 점검한다. 제품시험을 통과한 기업에 직접 현장심사원을 파견해 AI 서비스의 설계‧개발‧제조 프로세스의 적합성을 평가하는 단계다.

이렇듯 AI+(에이아이플러스) 인증은 제품시험과 현장심사로 구분된 점검 프로세스를 통해 AI 서비스 자체의 품질 향상을 제고하고, AI 서비스를 제공하는 기업이 앞으로도 일정 수준 이상의 품질을 유지할 수 있는 품질 경영 체계를 마련할 수 있도록 돕는다.

윤리성‧안전성까지 고려하는 AI 신뢰성 인증

AI+(에이아이플러스) 인증의 성공에 힘입어 한국표준협회와 와이즈스톤은 AI 신뢰성 인증 분야에서도 협력을 이어가고 있다. 지난 5월, 양 기관은 과학기술정보통신부가 발주한 ‘민간 AI 신뢰성 시범인증 사업’에 뛰어들어 4:1의 경쟁률을 뚫고 최종 사업자로 선정됐다.

정부는 지난 2020년에 ‘사람이 중심이 되는 AI 윤리 기준’을 발표했으며, 이를 더욱 구체화해 지난해 ‘신뢰할 수 있는 AI 실현 전략’을 마련했다. ‘민간 AI 신뢰성 시범인증 사업’은 ‘신뢰할 수 있는 AI 실현 전략’의 연장선에 있는 사업이다. 구체적으로는 한국정보통신기술협회(TTA)가 구축한 ‘신뢰할 수 있는 AI 개발 안내서’의 59개 검증사항과 관련 표준을 고려해, 실제 산업 현장에서 활용할 수 있는 ‘민간 자율 AI 신뢰성 인증제’ 신설이 주요 목표다. 이를 통해 국내 산업계 전반에 AI 신뢰성을 확보하는 분위기와 문화를 조성하고, 민간 중심의 AI 인증제 활성화를 지원하겠다는 취지다.

AI 신뢰성이라는 표현에서 언급되는 신뢰성(Trustworthy)이란 단순히 해당 AI가 기대한 바와 같이 동작할 것이라는 믿음을 의미하는 것이 아니다. 앞서 AI+(에이아이플러스) 인증이 검증하던 AI 서비스 품질이 1+1이라는 문제에 2라는 결과값이 잘 나오는지를 확인하는 논리적이고 수학적인 믿음이라면, AI 신뢰성은 AI가 만들어내는 결과값이 어떤 식으로든 사람에게 피해를 입히지 않을 것이라는 추상적이고 인문학적인 믿음이다. 이는 최근 몇 년 사이 급격하게 대두된 윤리적인 AI(Ethical AI)의 개념을 포함한다.

AI의 품질과 신뢰성을 구분하는 데에는 한때 사회적인 물의를 일으켰던 스캐터랩의 대화형 AI 챗봇 서비스 ‘이루다’가 대표적인 사례다. 이루다는 방대한 일상회화 데이터를 학습해 진짜 사람처럼 느껴질 만큼 자연스러운 대화가 가능했다. 하지만 정식 출시 이후 성소수자와 장애인에 대한 혐오 발언, 남녀 차별적인 표현, 20대 여성으로 설정된 이루다에 대한 성희롱 등 수많은 문제가 발생했다. 이루다는 주어진 일상회화를 학습해 사용자와 자연스럽게 대화한다는 목적을 달성했기 때문에 AI 서비스 품질 관점에서는 큰 문제가 없었다고 볼 수 있다. 반면 대화의 내용이나 동의없는 개인정보 수집 등이 일반적인 사회통념이나 윤리에 반하는 것이었으므로 AI 신뢰성 관점에서는 심각한 문제가 있었다. 스캐터랩은 당시 이루다의 수준이 부족하다는 것을 인정하고 빠르게 서비스를 중단했으며, 이후 1년여의 개발 기간을 거쳐 기존의 문제점들을 해결한 ‘이루다 2.0’을 공개한 상태다.

한국표준협회와 와이즈스톤이 개발하는 AI 신뢰성 인증은 AI 서비스를 개발 및 활용하는 모든 단계에 걸쳐서 사회통념과 윤리를 준수해야하는 문제들과 신뢰할 수 있는 AI 기술 관점에서 집중적으로 점검한다. 이를 위해 AI 모델이 갖추고 있는 공정성‧안전성‧책임성‧투명성‧공공성 등 5가지 핵심 요소들을 살피고, 서비스 제공 기업이 갖추고 있는 윤리적인 리스크 관리 시스템이 제대로 작동하고 있는지 확인하게 된다. 인증 대상 역시 차이가 있는데, AI+(에이아이플러스) 인증의 품질 점검은 AI가 탑재된 모든 서비스를 대상으로 하지만, AI 신뢰성 인증은 편향적이거나 윤리적인 문제를 일으킬 수 있는 판단을 내리는 AI 서비스에 한정적으로 적용될 예정이다.

AI+(에이아이플러스) 인증 노하우와 방대한 현장 경험으로 AI 신뢰성 인증 완성도 높인다
와이즈스톤 ICT시험인증연구소 이영준 연구소장, 정세린 수석연구원

Q. 한국표준협회와 와이즈스톤이 이번 사업을 수주할 수 있었던 이유는?

AI 신뢰성 문제는 기존에 대부분의 인증제와 달리 상당히 추상적이고 인문학적인 개념을 포함한다. 그렇기때문에 이것을 이론과 학문으로 개발하면 실제 현장과 맞지 않는, 실효성이 굉장히 떨어지는 결과물이 나올 수 있다.

와이즈스톤은 지난 한 해에만 약 340여 건의 AI 시험과 테스트를 진행했고, 한국표준협회와 함께 AI+(에이아이플러스) 인증을 통해 국내 기업들 중에서는 가장 선제적으로 AI 관련 인증을 개발하고 운영한 경험이 있다. 따라서 AI 신뢰성 인증을 개발하는 과정에서도 이론만이 아니라 충분한 경험과 기술적인 이해를 활용할 수 있을 것으로 예상한다.

또한 현장에서 AI 시험과 인증을 진행해본 다수의 테스트 엔지니어와 SW 품질 전문인력을 보유하고 있다는 점도 장점이다. 한국표준협회는 전체 규모만 300명 이상이고, 와이즈스톤 시험인증연구소는 출범 이후 매년 인원을 확충해 지금은 400명 이상의 전문시험원들을 보유하고 있다. 이들은 AI+(에이아이플러스) 인증을 운영하면서 삼성과 LG를 포함한 국내 굴지의 제조사들과 금융사, 공공기관 등에서 총 52개 AI 제품을 점검했다. 제품의 종류 역시 세탁기나 냉장고, 로봇 청소기 등의 가전부터 AI 챗봇이나 고객센터 서비스 등을 커버하며 폭넓은 경험을 갖췄다.

Q. AI 신뢰성 인증과 관련해 향후 와이즈스톤의 목표는?

먼저 AI 신뢰성 시범인증 사업을 성공적으로 마무리하고자 한다. 우리가 보유한 기술력과 실제 AI 서비스를 개발하는 기업들의 요구사항, AI 전문가들의 수준 등을 모두 고려해서 너무 문턱이 높지 않으면서도 믿을만하다고 생각되는 수준의 적절한 인증을 만들고자 한다. 남은 사업 기간 동안 한국표준협회와 함께 더욱 열심히 일할 수 있도록 산업 전반에서 많은 관심을 가져주시기를 바란다.

한편 와이즈스톤의 장기적인 비전은 글로벌 시험인증기관으로 성장하겠다는 것이다. 현재 와이즈스톤은 SW와 AI 테스트를 전문으로 하며 공인시험기관의 지위를 바탕으로, 2021년 행정안전부 민방위 경보단말장비 인증기관으로 지정되며 독자적인 인증기관의 지위도 갖췄다. 이를 계기로 시험‧인증 실적을 만들어나가며 인지도와 공신력을 확장해가고 있다. 향후에는 SW와 AI 테스트에 더해 전기전자분야까지 확대된 시험인증이 가능하도록 진화할 계획이며, 궁극적으로는 TUV나 UL과 같은 글로벌 전문시험인증기관으로 나아가는 비전을 가지고 있다.

방대한 지표로 AI 완성도 전방위 점검 지원

한국인공지능협회(KORAIA)는 그동안 AI 비즈니스와 기술에 대한 수준을 점검하고 인증하는 AI산업인증 제도를 운영해왔다. 해당 인증 제도는 목적에 따라 △AI 서비스 제공 기업이 AI 서비스에 대해 받는 ‘AI 테크(AI Tech) 인증’ △AI 서비스를 도입한 기업이 받는 ‘AI 비즈(AI Biz) 인증’ 등으로 구분돼 있었다. 그간 약 150여 개 기업이 약 220개 AI 서비스에 대해 AI산업인증을 획득해 자사의 AI 서비스 역량을 입증했다.

하지만 AI 서비스를 도입하는 분야와 기술 요소들이 다양해지면서, 협회는 기존의 AI산업인증보다 더욱 세분화된 인증 시스템과 전문조직이 필요하다고 판단했다. 이에 지난 5월 AI 인증과 관련된 조직을 분리해 한국인공지능인증센터(KORAIA CC)를 새롭게 출범했다. 첫 센터장은 한국인공지능협회 김세현 기술이사가 맡았다. 센터 개소와 함께 기존에 2개 노선으로 나뉘에 제공되던 AI산업인증도 산업지능화 인증으로 새롭게 개편했다.

협회 측은 산업지능화 인증만이 갖춘 차별점으로 무엇보다 많은 점검지표의 수를 꼽았다. 이는 산업지능화 인증의 취지가 다른 인증들과는 다소 차이가 있기 때문이다. 일반적인 인증들은 취지에 따라 점검 항목들을 신중하게 선별해 만들어진다. 하나의 AI 서비스를 바라볼 수 있는 수많은 시각 중에 해당 인증의 목적에 맞는 것들만 추려내고, 이를 표준화해서 적용한다. 반면 산업지능화 인증은 우선 AI 서비스를 바라볼 수 있는 수많은 시각들, 점검지표들을 손이 닿는 대로 전부 모아놓고 있다.

산업지능화 인증의 이러한 특징에 대해 한국인공지능인증센터 김세현 센터장은 “표준화를 하면 그 과정에서 잃어버리는 것이 많다. 가령 사람이라는 존재를 정의할 때 아주 보편적인 요소들만을 넣게 되면 개별적인 사람에 대한 탐구가 어렵다. 반면 한 사람에 대한 모든 것을 표현하면 보편적인 사람에 대한 일관성 있는 정의가 나오지 않는다”면서, “이는 어느 한쪽에 좋고 나쁘고를 따질 것이 아니라 함께 공존해야 하는 것이다. 산업지능화 인증은 점검지표의 수와 종류를 최대한 확보해 한 AI 서비스의 수준과 특성, 그리고 이것이 현실 기술과 어떻게 연결돼있는지까지 세부적으로 보여준다”고 설명했다.

점검지표의 수가 많은 만큼 산업지능화 인증은 한 번의 인증에 모든 지표를 다 적용하지는 않는다. 현재 산업지능화 인증은 △연구/개발 △기술/제품 △품질/테스트 △기업 △운영/관리 △지속성장 등 6개 유형으로 나뉘어 있으며, 각 유형에 따라 서로 다른 점검지표를 적용한다. 특히 해당 유형에서 어느 정도 수준을 달성했는지를 등급으로 나누어 보여주기 때문에, 기업은 자사가 개발 혹은 도입한 AI 서비스의 우수한 점과 부족한 점을 파악해 빠르게 개선해나갈 수 있다.

김세현 센터장은 “산업지능화 인증의 방향성은 최대한 많은 지표를 모으되 적용은 신중하게 하자는 것이다. AI 산업은 여전히 빠르게 성장하는 시장인 만큼, 많은 지표를 모아두는 노선과 핵심적인 것만 남기고 표준화하는 노선이 병행돼야 한다”면서, “지표가 많은 것이 무조건 좋은 것만은 아니지만, 스타트업들과 실제 산업현장에서는 기업의 AI 서비스를 전방위로 점검하고 성장을 독려할 수 있다는 점에서 유리한 점이 있다”고 강조했다.

지능정보산업협회, 현장 중심적인 인증 강조

한편 지능정보산업협회(AIIA)는 지난 3월 AI 신뢰성 인증(Trustworthy AI)을 만들고 시범운영하겠다는 계획을 발표했다. 이는 AI 인증 체계가 민간 주도로 빠르게 만들어질 수 있다는 기대를 품게 하며 관련 산업계의 주목을 받았다. 다만 이미 정부가 AI 인증 체계를 민간 주도로 만들어가겠다는 스탠스를 취하고 있었던 데다, 곧이어 5월에는 과학기술정보통신부가 발주한 ‘민간 AI 신뢰성 시범인증 사업’을 한국표준협회와 와이즈스톤이 수주하게 되면서 다소 빛이 바랜 감이 있다.

지능정보산업협회의 AI 신뢰성 인증은 EU에서 제안한 ‘고위험 AI 시스템 요구사항’을 기반으로 한다. AI 신뢰성 이슈가 발생할 수 있는 기술이 적용된 디바이스나 SW, 서비스 등 다양한 시스템들을 대상으로 하며, AI의 성능과 결과물의 정확성은 물론, 해당 AI를 개발한 기업이 AI 워크플로우 전 과정에서 적절한 관리체계를 갖추고 있는지 등을 점검한다.

특히 협회 측은 AI 신뢰성 인증을 만들어나가는 과정에서 민간 기업들의 요구사항을 적극 반영할 것이라는 점을 강조했다. 다양한 혜택을 미끼로 인증 획득을 강제하는 등 산업계의 AI 서비스 출시를 막거나 제한할 수 있는 방법은 최대한 지양하고, 대신 인증을 획득하는 과정에서 협회가 적절한 지원과 컨설팅을 제공해 최종적인 AI 서비스 결과물의 완성도를 높일 수 있도록 지원하겠다는 설명이다. 또한 한 번에 거창한 인증체계를 만들어 적용하는 대신, 시범인증을 통해 실제 AI 서비스의 신뢰성 확보 과정을 지원하면서 산업계의 목소리를 충분히 받아들이면서 보다 정교하고 현장 중심적인 인증을 만들어나간다는 목표다.