색상 정보 및 주파수 정보 모두 활용한 다중 압축 변형 영상 탐지 기술 실증

카이스트 CI
KAIST 전산학부 이흥규 교수

[아이티데일리] KAIST(총장 이광형)는 전산학부 이흥규 교수 연구팀이 영상의 위변조 여부를 보다 정확하게 탐지해낼 수 있는 AI 엔진 기술을 개발했다고 13일 밝혔다.

지난해 3월, 이흥규 교수 연구팀은 디지털 콘텐츠의 위변조 검사 애플리케이션 ‘카이캐치(KaiCatch)’를 개발한 바 있다. 미세 변형 신호 흔적과 미세 이상 신호 흔적 탐지 기술을 적용한 신호처리 방식을 AI 기술에 도입해, 각종 이미지나 영상뿐만 아니라 CCTV 비디오 변형 여부도 분석할 수 있다.

이번 연구는 영상 내 변형 영역을 더욱 정밀하게 탐지하기 위해 영상 내 색상 정보와 주파수 정보를 함께 활용하는 AI 엔진 기술을 개발한 것이다. 새로운 AI 구조와 학습 방법론, 그리고 실험실 환경에서는 구하기 힘든 고급 변형 이미지 영상들을 사용해 영상 이미지 정밀도와 정확도를 크게 높였을 뿐만 아니라, 비디오 편집 변형도 탐지할 수 있게 됐다. 해당 기술은 새롭게 출시된 ‘카이캐치 2.1버전’에 적용됐다.

‘카이캐치’는 ‘이상(異常) 유형 분석 엔진’과 ‘이상 영역 추정 엔진’ 등 두 개의 AI 엔진으로 구성된다. ‘이상 유형 분석 엔진’은 블러링, 노이즈, 크기 변화, 명암 대비 변화, 모핑, 리샘플링 등을 필수 변이로 정의해 이를 탐지하며, ‘이상 영역 추정 엔진’은 이미지 짜깁기, 잘라 붙이기, 복사 붙이기, 복사 이동 등을 탐지한다.

이번 연구를 통해 개선된 부분은 ‘이상 영역 추정 엔진’이다. 기존 기술에서는 이상 영역 탐지 시 그레이 스케일(회색조)로 이상 유무를 탐지했으나, 분석 신호의 표현력이 낮고 탐지 오류가 많아 위변조 여부 판정에 어려움이 있었다. 새롭게 개발된 기술은 색상 정보와 주파수 정보를 함께 활용해 정밀도(precision)와 재현율(recall)을 크게 향상시키고, 변형 영역을 컬러 스케일로 표현함으로써 해당 영역의 이상 유무와 위변조 여부를 명확하게 판별할 수 있도록 했다.

새롭게 개발된 이상 영역 추정 엔진은 색상 정보와 주파수 정보를 함께 활용해 정밀도와 재현율을 높였다.
새롭게 개발된 이상 영역 추정 엔진은 색상 정보와 주파수 정보를 함께 활용해 정밀도와 재현율을 높였다.

연구팀은 이번 연구에서 영상 생성 시 발생하는 흔적과 압축 시 발생하는 흔적 신호들을 함께 분석하기 위해 색상 정보와 주파수 정보를 모두 활용하는 접근 방법을 학계 처음으로 제시했다. 또한 이러한 방법론을 설계 구현하기 위해 주파수 정보를 하나의 분할 네트워크에서 직접 입력으로 받아들이는 방식의 ‘압축 왜곡신호 탐지 네트워크(CAT-Net, Compression Artifact Tracing Network)’를 학계 최초로 개발했다. 해당 기술은 원본과 변형본을 판별하는 평가 척도인 F1 점수, 평균 정밀도(average precision)에서 기존에 제시된 기법들에 비해 대단히 뛰어난 성능을 보였다.

KAIST 전산학부 이흥규 교수는 “‘카이캐치’는 논문 수준이나 실험 결과 등을 감안할 때 위변조 분야 최고 기술로 만든 SW인데, 오탐지율이 높아 실제 탐지 정밀도가 이론치보다 매우 낮았다. 하지만 이번 연구를 통해 개발한 ‘카이캐치 2.1버전’은 CAT-Net이라는 새로운 네트워크 구조와 학습 방법론, 그리고 ‘색상 및 주파수 영역 왜곡 흔적 동시 분석’이라는 첨단 기술을 사용해 정밀도를 높여 보다 명확한 판별이 가능하게 됐다”고 설명했다.

이흥규 교수는 이어 “영상 이미지의 경우 영상 편집 변형 시 영상에 남겨지는 인위적으로 발생하는 JPEG 압축 미세 신호 탐지에 주안점을 두고 위변조 여부와 위변조 영역을 잡아내는 것에 집중했다. 비디오의 경우 특정 프레임들을 삭제하거나 삽입하는 경우, 프레임 부분 편집 후 재압축 하는 경우 등을 탐지한다. 최근 CCTV 비디오 편집 여부에 대한 분쟁이 많아 크게 도움을 줄 수 있을 것으로 기대하며, 향후에도 지속적으로 연구 개발해 취약점들을 보완해 나갈 계획”이라고 덧붙였다.

한편 이번 연구는 제1저자로 참여한 KAIST 전기및전자공학부 권명준 박사, 김창익 교수, 남승훈 박사, 유인재 박사 등과 공동으로 수행됐으며, 스프링거 네이처(Springer Nature)에서 발간하는 컴퓨터 비전 분야 국제저널 국제 컴퓨터 비전 저널(International Journal of Computer Vision, IF 7.410)에 2022년 5월 25일자 온라인판에 게재됐다(논문명 : Learning JPEG Compression Artifacts for Image Manipulation Detection and Localization).

저작권자 © 아이티데일리 무단전재 및 재배포 금지