"바이든 노망" 해리스의 망언?…선 넘는 가짜뉴스, 전 세계 '몸살'

전 세계를 휩쓴 AI 제작 가짜뉴스 사례/그래픽=이지혜

지난달말 영국 리버풀 인근에서 17세 소년이 댄스교실에 난입해 3명의 어린이를 흉기로 살해했다. 이 범죄자가 무슬림 이민자라는 가짜뉴스가 퍼지면서 영국 전역이 열흘 가까이 '반(反)이민·반이슬람' 폭력시위로 뒤덮였다.

영국의 가디언은 "흉기 사태 후 3시간 만에 AI(인공지능)로 조작된 사진이 X(옛 트위터)에서 90만번 이상 트윗(공유)됐다"며 "무슬림 복장의 남성들이 울고 있는 아이 뒤에서 칼을 휘두르는 AI 생성물이었다"고 보도했다. 진짜 사진과 구분하기 힘들 정도로 고도화한 AI 생성물이 사실확인 없이 순식간에 퍼진 것. 영국 테러방지기술협회 애덤 해들리 대표는 "전쟁을 총알과 폭탄만 생각하는데 X와 같은 SNS(소셜미디어)도 이제 생각해야 한다"고 지적했다.


해프닝에서 폭력시위로…생성형 AI 커지는 음(陰)

러시아의 블라디미르 푸틴 대통령과 김정은 북한 국무위원장이 함께 롤러코스터를 타는 듯한 AI 생성 이미지. /사진=X(옛 트위터)

2022년 11월 '챗GPT' 등장 이후 2년도 되지 않아 생성형 AI가 만든 제작물이 실체적 위협이 되는 시대가 왔다. 구글 딥마인드가 최근 발표한 '생성형 AI의 오용 및 남용' 보고서에 따르면 생성형 AI가 가장 많이 악용된 사례는 '여론조작'(26.5%)이다. 이에 AI 제작물에 반드시 '워터마크'를 붙여야 한다는 요구가 커진다. AI 제작물이 불러올 사회적 혼란을 막기 위해 최소한의 규제라도 필요하다는 의미다.

지금까지 생성형 AI로 불거진 논란은 단순 '해프닝' 정도로 끝난 경우가 많았다. 카이스트(KAIST) 초빙교수로 임명된 가수 지드래곤이 카이스트가 있는 대전의 성심당 빵을 잔뜩 사가는 모습이나 러시아의 블라디미르 푸틴 대통령과 북한의 김정은 국무위원장이 롤러코스터를 탄 황당한 사진이 공유된 게 그 예다.

조금 더 심각한 논란을 빚은 사례로는 전쟁 상황에서 볼로디미르 젤렌스키 우크라이나 대통령 부부가 60억원 넘는 슈퍼카를 구매했다는 가짜영상이 하루 만에 2000만회에 가까운 조회수를 기록한 것이다. 카멀라 해리스 미국 부통령이 "조 바이든 대통령이 노망났다"고 말하는 딥페이크(Deepfake) 영상도 조회수가 1억건을 넘은 대표적 사례로 꼽힌다. 딥페이크를 활용한 성착취물 제작 등 범죄도 늘어나는 추세다.


AI 생성물 '안전장치', 기업도 정부도 앞장서

지난달 30일(현지시각) 영국 사우스포트 칼부림 현장 인근 이슬람 사원 부근에서 성난 군중이 경찰과 충돌하고 있다. 전날 17세 소년이 어린이 댄스 교실에 난입해 흉기를 휘둘러 어린이 3명이 숨지고 10명이 다친 가운데 경찰은 무슬림이 이 사건을 저질렀다는 온라인 소문에 휩싸인 극우 시위대가 몰려들어 경찰에 병과 돌을 던지고 경찰 차량을 불태웠다고 전했다. 리버풀 지역 이슬람 단체는 이번 사건이 이슬람과는 관련이 없다면서 악질적인 이번 사건을 비난하는 성명을 발표했다. /사진=AP(뉴시스)

전세계는 AI 워터마크 도입 의무화 방안을 고민 중이다. 지난해 11월 영국에서 열린 AI 정상회의에 참석한 28개 국가는 AI 부작용을 막기 위해 워터마크를 도입해야 한다는 데 뜻을 모았다. 유럽연합(EU)이 올해 말부터 시행하는 AI법은 AI 제작물을 구별 또는 탐지·추적할 수 있도록 의무화했다. 미국 바이든행정부는 지난해 10월 AI 생성물을 구분할 수 있는 기술을 개발해야 한다는 행정명령을 발표했다. 우리 정부도 지난 5월 AI 생성물에 워터마크 표시를 의무화하는 방안을 추진한다는 '새로운 디지털 질서정립 추진계획'을 발표했다.

어도비와 마이크로소프트(MS), 인텔 등 빅테크(대형 IT기업)와 영국 BBC의 주도로 2021년 설립된 'C2PA 연합'도 구글·오픈AI·네이버 등 전세계 AI 기업이 참여하며 AI 워터마크와 같은 디지털 콘텐츠 확인 '기술표준'을 마련한다. C2PA는 메타데이터 형태로 삽입되는 '비가시적 워터마크'라서 제거가 더 어렵다. 오픈AI의 이미지 생성 모델 '달리3'(DALL-E3)에 C2PA가 적용됐다. C2PA는 민간 단체표준이었지만 생성형 AI 발달로 그 중요성이 인정되면서 국제표준화 채택을 앞두고 있다.

이 밖에도 기업은 각자 AI 제작물 구분을 위한 기술개발에 전력을 쏟는 중이다. 구글의 최신 이미지 생성도구 '이마젠3'은 생성한 이미지에 디지털 워터마크를 표시하고 유명인사의 이미지를 제작하지 못하도록 했다. 유튜브와 틱톡, 인스타그램 등 SNS와 동영상 플랫폼은 생성형 AI 콘텐츠를 표시하도록 안내한다.

무르익지 않은 AI 워터마크 기술에 정부·기업 모두 고심 그러나 아직 AI 워터마크 관련 기술이 완전하지 않아 규제하는 정부도, 이를 적용하는 기업도 혼란스러운 상태다. 이미지에 적용되는 가시적 워터마크는 적용도 쉽지만 훼손도 쉽다. 비가시적 메타데이터도 훼손이 불가능한 것은 아니다. 텍스트나 영상 기반 AI 제작물을 구분하는 기술은 아직 제대로 된 상용제품이 나오지 않았다. 한 AI 개발자는 "텍스트의 경우 50단어 이하의 단문이라면 구분이 어렵고 1000단어 이상이라면 패턴을 삽입하는 방법으로 구분할 수 있지만 아직 개발단계"라고 설명했다. 딥페이크 영상의 경우 화면 속 사람의 혈색을 통해 가짜영상 여부를 구분할 수 있을 전망이다. 이는 이번 올림픽 양궁 경기에서 선수들의 '심박수'를 측정한 광용적맥파(PPG) 기법을 활용한 것이다. 그러나 점점 고도화하는 AI가 인간의 혈색까지 따라 만들게 된다면 무용지물이 된다.

혼란을 틈타 윤리의식을 잊고 있는 기업도 생겨났다. 월스트리트저널(WSJ)은 최근 오픈AI가 정확도 99.9%로 챗GPT가 작성한 문서를 탐지하는 방법을 개발했으나 1년째 공개하지 않고 있다고 보도했다. AI 생성물을 구분할 수 있게 되면 이용자 이탈로 수익성이 저하될 것을 우려해서다. AI 이미지 생성기술 '그록2'를 발표한 xAI의 설립자 일론 머스크는 "(그록2가) 세계에서 가장 재미있는 AI"라며 그록2로 조작된 정치인의 영상을 적극적으로 공유했다. 머스크는 사용자를 끌어들이기 위해 AI 안전장치를 적용하지 않고 있다.

전문가들은 혼란 속에서 규제가 역효과를 내지 않도록 방향을 잘 잡아야 한다고 주장한다. AI 워터마크 기술이 발전하는 상황에서 무리하게 규제하면 '빈대 잡으려다 초가삼간 다 태우는' 꼴이 날 수도 있어서다. 규제를 하되 기술적 어려움과 산업생태계 상황을 함께 고려해야 한다는 지적이다. 하정우 네이버클라우드 AI이노베이션센터장은 "AI 생성물에 워터마크를 표기하는 것까지는 의무화할 수 있지만 기술투자와 준비가 안된 상태에서 제작·유통 과정까지 모두 메타데이터로 남기게 하는 등 무리하게 규제하면 결국 기업은 AI개발을 포기할 수밖에 없다"며 "장기적으로 실효성 있는 규제를 할 수 있는 현명한 방법을 찾아야 한다"고 강조했다.