"'N번방'에 쓰인 딥페이크, 정치범죄에 악용될 수 있다"

지난 3월25일 오전 미성년자를 포함한 여성들을 협박, 성 착취물을 제작·유포한 텔레그램 'n번방' 박사방의 운영자 조주빈(25)이 검찰에 송치되기 전 종로경찰서에서 기자들의 질문에 답을 하고 있는 가운데 시민단체 회원들이 종로경찰서 밖에서 조주빈의 강력처벌을 요구하는 시위를 벌이고 있다. /사진=김창현 기자

#올 들어 주범 검거가 이뤄진 ‘박사방’·‘N번방’ 같은 텔레그램 비밀방에서는 미성년자 성 착취물만 문제가 된 것이 아니었다. 평범한 여성은 물론 걸그룹, 여배우, 여성 아나운서 등의 얼굴을 음란 영상의 여성 몸과 정교하게 합성한 이른바 ‘딥페이크(deepfake)물’ 공유도 속수무책으로 이어졌다.

기존의 사진 합성 범죄는 주로 포토샵 같은 이미지 편집 툴을 활용해 사람 손으로 만들어졌다. 반면 이번 ‘N번방’ 범죄에 악용된 ‘딥페이크물’은 AI(인공지능)의 이미지 딥러닝(deeplearning·심층학습) 기술이 피해자 얼굴의 특징을 학습해 음란물에 자동 합성한 결과였다.


텔레그램 비밀방 이용자들은 마치 피해 여성이 진짜로 성행위를 하는 것 같은 이런 영상을 보며 피해자를 능욕하거나 다른 곳으로 퍼뜨렸다. 이 일이 알려지면서 지난 5월 19일 시행된 ‘텔레그램 n번방 방지법’(성폭력범죄의 처벌 등에 관한 특례법 개정안)에도 딥페이크로 영상을 제작·배포해 얻은 범죄 수익을 환수할 수 있게 하는 내용이 포함됐다.

우 사이먼 성일 성균관대 소프트웨어학과 교수는 지난 17일 이같은 N번방 범죄 등에서의 딥페이크 악용 사례를 두고 “보안 측면에서 심각한 문제”라며 새로운 딥페이크 공격에 대한 탐지법을 마련해야 한다고 지적했다.
2020 NetSec-KR "새로운 유형 딥페이크까지 찾을 탐지 모델 개발해야"
우 교수는 이날 온라인으로 진행된 ‘2020 NetSec-KR(제26회 정보통신망 정보보호 컨퍼런스)’에서 AI를 활용한 최근의 딥페이크 탐지 기술 동향을 설명하면서 “새로운 딥페이크 생성 방법이 계속 나오지만 이에 대해 충분히 데이터셋을 수집하지 못하면 탐지하기 어렵다는 문제가 있어 보다 일반적인 탐지 모델을 개발하는 것이 중요하다”라고 말했다.

우 교수는 딥페이크 기술이 기존 AI가 알지 못하는 알고리즘까지 진화하더라도 합성된 이미지를 찾아낼 수 있게 할 최적의 방법으로 정상 이미지만 AI에게 학습시키는 방법을 소개했다.


보통의 딥페이크 탐지 알고리즘은 정상 이미지와 가짜 이미지를 모두 학습하는 경우가 있다는 설명이다. 다만 이는 학습되지 않은 새롭게 생성된 가짜 이미지는 탐지하지 못한다는 단점이 있다는 지적이다.

우 교수는 “정상 이미지만 학습하는 방법은 그동안 성능이 안 좋아서 활발히 연구되지 않았다”며 “그러나 이 방법이 더 근본적으로 (학습된) 정상 데이터와 다른 어떤 가짜든지 분리해낼 수 있는 최적화 모델이 될 수 있을 것”이라고 말했다.

이어 “연구팀이 정상 이미지만의 특징을 가장 최적으로 뽑아내고 가짜 이미지가 들어갔을 때 오차가 크다는 점을 검증했다”며 “이 방법의 성능을 더 높일 수 있다면 일반화할 수 있을 것”이라고 말했다.

우 사이먼 성일 성균관대 소프트웨어학과 교수가 지난 17일 비대면으로 진행된 '2020 NetSec-KR(제26회 정보통신망 정보보호 컨퍼런스)'에서 강연하고 있다. /사진=한국정보보호학회 유튜브 채널

“정치범죄 악용, 가짜 선전 메시지 생성할 수도”
우 교수는 현재의 딥페이크 기술이 텔레그램 N번방 사례처럼 불법 음란물 유포 등 성범죄에 악용되는 경우뿐 아니라 각종 정치적 선전에도 사용될 우려가 크다고 지적했다.

우 교수는 “스마트폰 앱에서도 가짜 동영상을 만들 수 있는 앱이 많아지고 있는 데다 이미 한국 연예인 얼굴의 20% 이상이 딥페이크에 사용됐다는 통계도 있다”며 “정치적으로 악용돼 가짜 선전 메시지가 생성될 수 있다는 문제도 제기된다”고 말했다.

딥페이크 기술로 이미지·영상을 합성하면 아무나 말하는 영상을 찍어 실시간으로 다른 사람이 말하는 것처럼도 만들 수 있어서다.

실제로 벨기에의 다른 사회당(Socialistische Partij Anders)이 정치 활동의 일환으로 지난해 5월 공식 SNS에 도널드 트럼프 미 대통령이 벨기에에 기후변화협약 탈퇴를 촉구하는 내용의 딥페이크 영상을 올렸다가 논란이 되기도 했다.

우 교수는 “결국 사람을 해치는 것은 딥페이크가 아니라 딥페이크를 악용하는 사람”이라며 “AI 기반 딥페이크 탐지 기술에 대해 좋은 AI와 나쁜(bad) AI를 고려해 연구를 진행해야 한다”고 당부했다.