[아이티데일리] 최근 AI 신뢰성에 대한 관심이 높아지며 AI가 생산한 결과물을 AI로 검증하는 솔루션이 나오고 있지만 이에 의존하게 되면 사람의 비판적 사고가 약화되고 수동적으로 변할 수 있다는 우려가 제기된다.

AI 업계에서는 지속적으로 가짜 뉴스, 딥페이크, 저작권 침해 등의 논란이 잇따르고 있으며, 이에 대한 ‘AI 검증 시스템’의 필요성이 커지고 있다. 기업들은 AI를 만드는 과정에서 신뢰성 검증에 자원을 쏟기 시작했으며 몇몇은 이를 지원하기 위한 ‘검증 솔루션’을 선보였다.

하지만 여기서 근본적인 딜레마가 발생하고 있다는 지적이다. AI에 대한 불신으로 진행하는 신뢰성 검증 작업을 AI에게 맡기는 행위에서 모순이 발생한다.

실제로 AI가 생성한 콘텐츠를 AI가 검증하는 방식은 이들이 근본적으로 비슷한 논리 구조를 공유한다는 점에서 그 한계를 드러낸다. 미국국립과학원회보(PNAS)의 ‘AI-AI 편향’ 연구에 따르면, AI 시스템은 인간의 창작물보다 AI가 만든 콘텐츠를 더 정확하거나 신뢰할 수 있는 정보로 판단하는 경향을 갖고 있다. 이러한 AI 편향은 AI 검증이 근본적인 한계를 가질 수밖에 없음을 시사한다.

또한 AI 검증 시스템이 사람의 비판적 판단 능력을 약화할 수도 있다. 하버드 경영대학원 연구진이 발표한 ‘인간-AI 감시 역설’ 연구에 따르면, 검증 AI가 결과를 최종 보고서처럼 제시할 때, 사람들은 복잡한 내용을 다시 검토하기보다 기계의 판단을 손쉽게 수용하는 ‘인지적 대체(Cognitive Substitution)’에 빠지기 쉽다.

이러한 현상은 특히 AI가 단순한 추천을 넘어, 그 결정에 대한 논리적인 설명까지 제공할 때 두드러졌다. 연구진은 AI가 생성한 설득력 있는 서술이 투명성을 높이기보다는, 오히려 인간 평가자의 비판적 관여를 줄이고 AI 추천에 대한 맹목적인 의존도만 높인다고 주장했다. 즉 AI가 겉보기에 완벽하고 논리적인 설명을 제공할수록 사람은 스스로 판단할 필요성을 느끼지 못하고 무비판적으로 동조하게 되는 것이다.

결국 AI 검증 시스템에 구조적인 편향이나 오류가 있어도 사람이 이를 교정하지 못한 채 그대로 승인하는 결과를 낳게 된다.

이에 전문가들은 AI 시대의 신뢰 체계를 지키기 위해선 AI에 대한 과도한 의존을 경계하고 인간의 지적 책임을 명확히 해야 한다고 강조하고 있다. AI가 제시하는 검증 결과를 무조건적으로 받아들이는 대신 AI를 보조자로 두고 인간의 비판적 사고 능력을 활용해야 한다는 주장이다.

하버드 경영대학원 연구진은 “겉보기에 협력적인 과정은 미묘하게 인간이 능동적인 평가자가 아닌 수동적인 승인자가 되도록 유도할 수 있다”며 “AI 시스템이 품질을 개선하고 일관성을 높이는 데 도움을 줄 수 있지만, 사람의 비판적 검증을 유지하는 것은 여전히 중요하다”고 밝혔다.