[아이티데일리] 최근 AI가 사법 시스템에 도입되기 시작하며 기존의 인종 편향을 단순히 재현하는 것을 넘어 확대시킨다는 주장이 제기되고 있다. AI가 특정 인종에게 불리한 판결을 내리는 것을 넘어 자체적으로 편향성을 증폭해 결론을 내릴 수 있다는 우려다.

최근 옥스퍼드 대학교 이그나시오 코포네(Ignacio Cofone) 교수가 공동 발표한 논문에 따르면, 현재 사법 시스템에서 널리 사용되는 모델 중 컴퍼스(COMPAS)와 같은 로지스틱 회귀 알고리즘들이 인종 편향성을 확대하고 있는 것으로 나타났다. 이는 훈련 데이터셋 자체에 인종 편향이 존재한 결과로, AI 모델이 이를 20.58% 증폭시키는 것으로 드러났다.

컴퍼스는 재범 예측을 방지하기 위해 체포 데이터를 활용하는데 미국의 체포 데이터가 인종적으로 편향돼 있어 AI 모델도 편향성을 지니게 된다. 예를 들어 흑인과 백인이 불법 마리화나를 비슷하게 소비하더라도 흑인이 마리화나 소지로 체포될 확률은 백인의 약 2배이며, 이는 컴퍼스 데이터셋 자체에 인종적 편향을 유발할 수 있다.

논문은 이러한 현상들에 대해 AI 모델이 재체포 가능성과 같은 결과 변수의 정확성을 최대화하는 과정에서 발생한다고 설명했다. 결과 변수 자체가 사회적 편향성을 포함하고 있기 때문에 AI 모델이 편향을 증폭한다는 지적이다.

또한 컴퍼스 데이터셋을 기반으로 한 로지스틱 회귀 모델의 예측 정확도가 비흑인의 경우 89%인 반면, 흑인의 경우 81%로 특정 인종에 대한 정보력이 떨어지는 것으로 나타났다. AI 시스템이 유색인종에 대해 덜 정확한 예측을 수행할 수 있다는 것이다.

한편 사법 시스템에 AI를 도입하려는 움직임은 국내에서도 나타나고 있다. 최근 대법원 법원행정처는 145억 원 규모의 ‘재판지원을 위한 AI 플랫폼 구축 및 모델 개발사업’을 발표했다. 사법부 내부의 AI 도입 필요성에 따라 추진되는 사업으로, 법관이 복잡한 사건에 신속 대응하고 재판 준비 시간을 단축하는 것이 목표다. AI 편향성이 인종에만 국한된 것이 아닌 만큼 신중한 사업 추진이 필요한 상황이다.

옥스퍼드 대학교 이그나시오 코포네 교수는 “흔히 AI의 공정성을 높이면 예측 정확도가 떨어진다고 알려졌지만 우리는 이에 반대한다. 공정성 제약 조건이 잘못된 결과 변수로 인한 왜곡을 교정할 수 있으므로 재범 예측을 반드시 저하시키지 않고 오히려 개선할 수 있다”며 “이는 AI 공정성에 흔히 수반되는 비용 없이 공정성을 개선할 수 있다는 것을 의미하므로 법과 정책에 시사하는 바가 크다”고 말했다.