손흥민이 종목 추천을?…AI 날개 단 딥페이크, 사기·음란물부터 여론조작도

인스타그램 팔로워 1400만명 돌파 기념으로 유망 투자종목 3개를 추천해주겠다는 내용의 '손흥민 딥페이크' 동영상 광고 캡쳐본

"나는 손흥민입니다. 제 인스타그램 팔로워가 1400만을 돌파했다는 기념으로 저는 4월에 최신으로 폭등한 3가지 블루칩 종목을 공유하고 있습니다. 제 보조자의 카톡을 추가하려면 아래 버튼을 클릭하세요."

유튜브 동영상을 보다 보면 중간 광고에 손흥민이 나온다. 손흥민의 목소리와 표정, 목소리를 흉내내며 투자하라고 꼬드긴다. 광고에 나온 홈페이지에 접속해보면 "축구선수로서 활약하는 동안 투자에도 많은 년동안 참여해왔다" 등 번역기로 돌린 듯한 어설픈 한국어 문구로 버튼 클릭을 유도한다. 물론 이는 가짜다.


AI(인공지능) 기술의 발달로 누구나 손쉽게 딥페이크 동영상과 음성, 사진을 만들어낼 수 있게 되면서 나타난 AI 일상화의 어두운 이면이다. 딥페이크란 딥러닝(Deep Learning)과 페이크(Fake, 가짜)의 합성어다. 조금만 주의를 기울이면 가짜라고 알 수 있는 것들도 있지만 AI 기술의 발달은 감쪽같이 속아넘어갈 정도로 정교한 딥페이크물의 생성을 가능하게 했다. 단순한 오락거리로만 쓰이는 게 아니라 범죄 수단으로 악용된다는 데 문제가 크다.

투자사기에 지인능욕, 정치여론 왜곡... '딥페이크 몸살' 앓는 전 세계

(서울=뉴스1) 김명섭 기자 = 23일 오전 서울 양천구 방송통신심의위원회에서 열린 제14차 통신심의소위원회 회의에서 한 위원이 틱톡에 올라온 '가상으로 꾸며본 윤석열 대통령 양심고백' 딥페이크 영상 게시물 관련 자료를 살펴보고 있다. 2024.2.23/뉴스1 Copyright (C) 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지. /사진=(서울=뉴스1) 김명섭 기자

2021년 UAE(아랍에미리트연합)의 한 은행이 대기업 임원을 사칭한 딥페이크 전화를 받아 3500만달러(약 480억원)를 송금한 사건은 이미 유명한 사례다. 국내에서도 최근 투자사 대표나 연예인, 방송인 등 유명인을 사칭한 딥페이크 투자사기가 극성이다. 여성 연예인이나 지인의 사진을 포르노와 합성해 성착취물로 만드는 '지인능욕' 역시 딥페이크 범죄의 대표적 유형으로 꼽힌다.

딥페이크 범죄는 정치의 영역에도 침투했다. 지난 1월 미국에서는 조 바이든(Joe Biden) 미국 대통령의 목소리를 본따 만든 녹음 파일 사건이 불거졌다. 민주당 당원들을 대상으로 투표하지 말 것을 촉구하는 내용의 음성 파일이었다.


튀르키예(터키)에서는 지난해 5월 쿠르드족 무장단체 PKK(쿠르드노동자당)가 야당 후보를 지지하는 딥페이크 동영상이 퍼졌다. 마치 야당 후보가 테러단체의 지지를 받는 것처럼 오인한 유권자들이 야당 후보에게서 등을 돌렸고 에르도안 튀르키예 대통령이 3선에 성공하는 결정적 변수로 작용했다. 국내에서도 지난 2월 '윤 대통령 양심 고백'이라는 제목으로 윤석열 대통령이 '국민을 괴롭혀 죄송하다'는 연설을 하는 것처럼 만들어진 딥페이크 동영상이 유포되기도 했다.

개인을 노린 보이스피싱 등도 딥페이크로 더욱 날개를 단 셈이 됐다. 사진 한두 장만으로 얼굴을 본딴 딥페이크 동영상을 만들 수 있고 몇 초의 음성파일만으로 목소리를 그대로 흉내낼 수 있기 때문에 전화와 영상통화로도 상대방의 진위여부를 확인할 수 없게 된 것이다.

AI기술의 발달속도에 비례해 더욱 정교해지는 딥페이크 동영상·음성·사진 등은 디지털 경제의 근간에 깔린 신뢰 시스템을 훼손한다는 점에서 더 큰 문제로 지적된다. 지난 2월 글로벌 시장조사기구 가트너는 2026년쯤이면 기업의 30%가 기존 신원확인 및 인증 솔루션을 신뢰하지 못하게 될 것이라는 내용의 보고서를 냈다. 디지털 기반 경제활동이 진행되는 과정에서 거래 당사자를 확인하는 데 쓰이는 신원인증 솔루션을 신뢰하지 못하게 되면 신원확인을 위한 추가비용이 소요된다. 거래비용이 높아지는 만큼 경제에도 부정적 영향이 커진다는 지적이다.
"신뢰 시스템의 붕괴", 기술로 대응 나선 ICT업계

국내 주요 ICT 기업의 딥페이크 악용 대응 전략/그래픽=윤선정

김명주 서울여대 바른AI연구센터장 겸 정보보호학과 교수는 "우리 가족도 의심쩍은 전화가 걸려올 때 서로의 신분을 확인하는 암구호를 정해뒀다"며 "가족끼리 통화할 때도 상대방이 AI로 만들어진 가짜 인간인지 의심해봐야 하는 시대가 된 것"이라고 했다.

딥페이크물의 악용에 대한 가중처벌 및 안전한 AI 사용을 위한 교육 등이 대안으로 거론되는 가운데 ICT(정보통신기술) 기업도 기술을 활용한 부작용 감소에 노력을 기울이고 있다. 이동통신사 중에서는 LG유플러스가 자체 개발 AI '익시'를 활용해 만든 '화자음성인식' 기술로 보이스피싱 피해 예방에 나섰다. 스푸핑(Spoofing, 눈속임) 방지를 위해 딥페이크 합성기술로 생성된 음원을 탐지하고 딥페이크 음성으로 인증이나 대화를 시도할 때 경고하는 등 솔루션을 개발하고 있다.

자체 초거대 AI 모델을 보유한 네이버는 대화형 AI 서비스 '클로바X'의 이미지 편집기능을 이용할 때 사람 얼굴이 포함된 사진은 업로드 자체가 불가능하도록 강하게 조치하고 있다. 사람 얼굴로 합성해달라는 명령어가 입력돼도 결과물 자체가 나오지 않도록 하고 음란물이나 성착취물을 생성하는 것도 불가능하도록 했다.

NHN 역시 머신러닝 기술로 개발한 '얼굴인식'(Face Recognition) 기술을 상용화했다. 고객이 특정 얼굴 이미지의 스푸핑 여부를 확인하고 싶을 때 얼굴도용 여부를 확인할 수 있도록 하는 서비스다. NHN 얼굴인식 기술은 올초 세계에서 가장 권위 있는 얼굴인식 기술대회 FRVT(Face Recognition Vendor Test)에서 국내 최상위권 성적을 거뒀다.