"딥페이크 영상물 24시간 이내 삭제"…서울시·방심위 공동대응

(서울=뉴스1) 민경석 기자 = 오세훈 서울시장과 류희림 방송통신심의위원회 위원장이 28일 오후 서울 중구 서울시청에서 열린 '서울시-방송통신심의위원회 딥페이크 영상물 삭제 지원을 위한 업무협약식'에서 협약을 마친 뒤 기념촬영을 하고 있다. 2024.8.28/뉴스1 Copyright (C) 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지. /사진=(서울=뉴스1) 민경석 기자

서울시가 지자체 중 최초로 방송통신심의위원회와 함께 확산하고 있는 딥페이크 성범죄 피해에 신속 대응하기 위해 불법 영상물이 공개사이트에 유포될 경우 24시간 내에 삭제·차단할 수 있는 '핫라인 시스템'을 구축한다.

오세훈 서울시장과 류희림 방송통신심의위원장은 29일 오후 서울시청에서 긴급 회동하고 딥페이크 영상물을 신속 삭제하는 핫라인 구축 협약을 체결했다. 최근 생성형 AI(인공지능)를 활용해 음란 영상과 무관한 인물의 얼굴을 합성하는 '딥페이크'(deepfake)가 빠르게 퍼지면서 범죄 피해를 막기 위한 신속 대응이 필요하다는 판단에 따른 것이다.


서울시와 방심위는 텔레그램 등 폐쇄형 SNS에 있는 딥페이크 불법 영상물이 성인사이트나 SNS 등 공개사이트에 유포될 경우 24시간 내에 모니터링하고 삭제·차단 조치할 계획이다. 지금은 서울시가 운영하는 디지털성범죄안심지원센터에서 방심위에 삭제를 요청하면 각종 증빙 자료를 제출해야 한다. 30일부터는 핫라인 시스템과 연계해 대량 건수를 일시에 삭제 요청할 수 있다.

김선순 서울시 여성가족실장은 "방심위 홈페이지 신고 배너를 서울시 홈페이지에도 게재해 범죄 피해자들이 디지털성범죄지원안심센터 외에도 신속히 신고할 수 있는 핫라인 시스템을 구축할 계획"이라고 했다. 서울시는 지난 2022년 3월 개소한 지원센터를 통해 1437명의 범죄 피해자를 원스톱으로 지원했고, 딥페이크 피해자 72명에게 772건의 서비스를 제공했다.

서울시는 아울러 딥페이크 범죄에 아동·청소년도 빠르게 대응할 수 있도록 카카오톡 오픈채팅방에 '딥페이크 SOS 전담 상담창구'를 개설할 계획이다. 상담창구에는 피해지원관 2명이 배치돼 신고방법과 범죄 채증 방법 등을 안내한다. SOS 상담창구에서 신속하고 효율적인 상담 및 삭제 지원을 진행하고 필요시 수사기관이나 의료기관에 동행하는 서비스도 제공한다. 시는 서울교육청을 통해 상담창구를 각 학교에 홍보하기로 했다.


시는 또 연말까지 불법 영상물을 자동으로 삭제신고하는 시스템을 구축하고 딥페이크 검출 기술도 개발해 삭제 지원 건수를 획기적으로 늘릴 계획이다. 시는 AI(인공지능)가 피해 영상물을 검색, 신고하는 전 과정을 자동으로 수행하는 기술을 서울연구원과 개발 중이다. 내년에는 AI 기반의 딥페이크 검출 기술 '서울 안심 아이'(Seoul Safe Eye)를 개발해 딥페이크와 원본 사진·영상물을 구분해 검출한다.

마지막으로 시는 딥페이크를 호기심이나 장난으로 여기는 아동·청소년 대상 교육을 강화할 계획이다. 딥페이크 범죄혐의 전체 피의자 중 10대가 차지하는 비중은 75.8%에 달한다. 오세훈 서울시장은 "폐쇄형 SNS에서 직접 삭제하기는 어렵지만 급증하는 딥페이크 불법 영상물로부터 시민 피해를 최소화하기 위해 24시간 이내 삭제지원 체계를 마련하고 전담 상담 창구 운영, 기술개발을 추진해 나가겠다"고 말했다.