딥페이크 음란물·가짜뉴스…AI가 싹틔운 새로운 범죄

국내 청소년들의 생성형AI 인지도/그래픽=최헌정

지난해 5월 미국 플로리다주 샌퍼드에 위치한 한 이슬람사원(모스크)에 중무장한 경찰 30여명이 출동했다. 총소리를 배경으로 "사탄의 이름으로 대량 총격을 가하겠다"는 전화통화가 경찰서에 접수됐기 때문이다. 이는 가짜신고로 확인됐다. 미국 대법원, 상원의원, 학교 등을 상대로 한 유사한 허위신고가 잇따랐다.

외신에 따르면 이같은 허위신고는 AI(인공지능)가 합성음성을 사용해 경찰특공대(SWAT) 출동, 소위 '스와팅'(Swatting)을 유도하는 텔레그램 채널 '토르스와트'(Torswat)에 의해 이뤄졌다.


지난해 미국 학교, 정치인 거주지, 법원, 종교단체 등에 폭탄이 설치됐다거나 총기난사가 이뤄지고 있다는 등의 허위 신고 수백 건은 토르스와트에 의해 발생한 것으로 알려졌다. 토르스와트는 '응급 의료출동'이나 '화재 및 가스누출' 관련 출동을 유도하는 허위신고에는 40달러를 청구했고 '대규모 경찰 대응'에는 50달러, '폭탄위협이나 대량 총기난사' 등 경찰특공대 출동신고엔 75달러를 청구했다.

이 때문에 긴급한 상황이나 범죄, 총격사건, 납치 등 강력범죄에 대한 허위신고가 남발됐고 집주인이 무장경찰의 총격을 받을 위험에 처하는 등 스와팅 사건이 급증했다. 수 개월의 수사 끝에 토르스와트 운영자가 잡혔다. 미국 캘리포니아에 거주하는 17세 청소년이 운영자였다. 그는 TTS(문자-음성변환) 프로그램으로 음성을 위조하고 ID '스푸핑'(Spoofing·눈속임)을 통해 자신의 위치를 숨긴 것으로 조사됐다.

AI의 진화, 범죄의 진화=2022년 11월말 오픈AI가 '챗GPT'를 공개한 지 20개월이 지났다. 그새 생성형 AI는 우리 일상에 깊숙이 들어왔다. 공공·민간의 각종 조직이 업무프로세스에 생성형 AI를 속속 도입했고 제조·서비스·사무직 현장에도 AI로 효율성을 높일 수 있는 애플리케이션이 속속 등장했다. 그러나 밝음이 있으면 어두움도 있는 법이다. 텍스트는 물론 음성, 사진, 동영상 등 상상할 수 있는 모든 매체를 만들어낼 수 있는 AI의 만능기술은 범죄행위에도 악용된다.


AI모델 자체가 악의적으로 설계된 것들이 있다. '울프GPT' '다크바드' '사기GPT'(Fraud GPT) '웜GPT' 등의 이름을 단 것들이 대표적이다. 챗GPT나 바드(Bard) 라마(Llama) 등 오픈AI, 구글, 메타 등 빅테크(대형 IT기업)들이 만든 AI모델을 변용·조작해 악의적인 목적에 활용할 수 있도록 한 모델들이라는 공통점이 있다. 이같은 악의적 AI모델들은 이용자들의 개인정보를 탈취하거나 악성코드를 배포하기 위한 가짜 웹사이트 등을 만드는 데 쓰인다.

생성형 AI가 소개된 지 얼마 되지 않았음에도 수많은 악용 사례가 터져나왔다. 딥페이크 동영상과 음성으로 기업 재무책임자를 속여 막대한 금액을 탈취한 사건이나 선거국면에 딥페이크 허위뉴스로 선거결과를 뒤흔든 사건 등이 주로 꼽힌다. 챗봇 속 가상인물과의 감정적 유대감이 깊어진 탓에 스스로 세상을 등지는 극단적 선택을 한 사례도 있었다. AI로 성착취물을 만들어 유통하는 디지털성범죄도 있다. 선생님이나 친구 등 지인의 사진을 음란물에 합성해 모욕감을 불러일으키는 '지인능욕' 등이다.

인터넷이 성착취에 활용될 가능성을 최소화하기 위해 만들어진 영국 비영리기구 인터넷감시재단(IWF)은 지난해 10월 보고서를 발표했다. 한 달 동안 '어둠의 인터넷'으로 불리는 다크웹에서 공유된 1만1000여개 이미지를 조사했고 이 중 2500개 이상이 아동에 대한 성적 학대를 묘사한 것으로 나타났다. 앞서 미국의 실종및착취아동보호센터(NCMEC) 역시 지난해에만 4700건에 이르는 아동 성착취 묘사 콘텐츠 신고를 접수했다고 밝혔다.

호주에서도 AI가 생성한 아동 성착취물을 유통한 혐의를 받는 48세 남성이 유죄로 인정받는 사건이 있었다. AI기술의 발달로 누구든 손쉽게 AI로 딥페이크 영상, 이미지를 만들 수 있게 되면서 발생한 새로운 유형의 범죄라는 데 공통점이 있다.

생성AI 활용 증가세, 청소년 우려 점증=청소년들의 생성형 AI 활용은 점차 늘어난다. 한국청소년정책연구원이 지난해 '청소년 디지털 인재양성' 연구의 일환으로 진행한 생성형 AI 관련 연구에 따르면 청소년의 36.1%가 '생성형 AI를 잘 안다'고 답했고 '생성형 AI를 신뢰한다'는 응답도 55%에 달했다. 생성형 AI를 '이용할 의향이 있다'는 응답도 71.8%나 됐다.

경찰청에 따르면 국내에서 AI 딥페이크와 관련한 신고건수는 2021년 156건, 2022년 160건, 2023년 180건이다. 영국 IWF나 미국 NCMEC에 접수된 신고건수 등에 비해 훨씬 적은 수준이다.

그러나 안심하기는 이르다. 이미 수많은 청소년이 사이버폭력과 디지털범죄에 노출됐고 디지털 성착취물을 경험한 이가 많다는 조사결과도 있어서다. 방송통신위원회와 한국지능정보사회진흥원(NIA)가 지난해 9~11월 1만6868명을 대상으로 진행한 조사에 따르면 청소년의 40.8%가 '사이버폭력을 경험했다'고 답했다.

방통위는 이번 실태조사 결과를 바탕으로 추후 사이버폭력 예방교육의 대상과 주제를 확대한다는 방침이다. 언어폭력이나 명예훼손 등 전통적 의미의 사이버폭력에 국한하지 않고 디지털 혐오표현이나 가짜뉴스 등 딥페이크 관련 우려 사항과 올바른 정보판별 방법 등으로 교육주제를 확대하겠다는 것이다.