AI로 '19금 만드는 법' 판치는 꼼수…'딥페이크' 아니면 처벌 못 해

/사진=임종철 디자인기자

생성 인공지능(Generative AI) 기술 중 사람처럼 자연스럽게 대화하는 '챗GPT(ChatGPT)'가 전세계에서 돌풍을 일으키고 있는 가운데, 이미지를 생성하는 AI 기술에 대한 관심도 뜨거워지고 있다.

문제는 이를 악용해 음란물을 제작·배포하는 사례가 발생하고 있다는 점이다. 실제 인물을 바탕으로 하지 않아 직접적인 피해자는 없더라도 아동·청소년 보호를 위해 적절한 규제책이 마련될 필요가 있다는 지적이 나온다.


9일 IT 업계에 따르면 제시된 문장을 이미지로 변환하는 생성 AI 기술은 이미 수년 전부터 이용돼왔다. 최근 챗GPT 열풍과 맞물려 이용자들이 크게 늘어나는 추세다.

이용자들이 증가한 만큼 부작용도 나타난다. 현재 국내 온라인 커뮤니티들에서는 이미지 생성 AI 기술을 이용해 제작한 음란물을 쉽게 찾아볼 수 있다. 노출이 심한 옷을 입거나 가슴을 부각한 여성 이미지가 상당수다.

이미지 생성 AI 기술은 단어나 문장을 바탕으로 이미지를 만든다. 관련 기업들은 악용 가능성을 차단하기 위해 필터링 기술을 적용하고 있지만, 이용자들은 약어나 은어 등 우회적인 방법으로 음란물을 생성한다. 이런 비법들이 커뮤니티에서 공유되는 중이다.
"악용하는 사람 처벌, 기술 자체 제한하면 안돼"

/사진=임종철 디자인기자

성적 콘텐츠에 연예인 얼굴 등을 합성하는 딥페이크(Deepfake) AI 기술의 경우 '성폭력범죄의 처벌 등에 관한 특별법'에 따라 처벌을 받는다. 제작 행위만으로도 5년 이하의 징역 또는 5000만원 이하의 벌금에 처해질 수 있다.


하지만 AI로 생성한 가상인물 이미지는 음란물이라고 해도 제재할 수단이 마땅치 않다. AI가 만드는 이미지는 저작권이나 초상권 개념에 제한되지 않고, 어떤 데이터를 합성했는지 '원본'을 규명하는 것이 사실상 불가능하다.

커뮤니티나 소셜미디어(SNS)로 퍼진 음란물은 별다른 제한 없이 누구나 볼 수 있어 아동·청소년들의 접근이 자유롭다. 아동·청소년이 직접 성인물을 제작할 가능성도 있다. 이 같은 다양한 문제 소지를 선제적으로 막는 방안을 논의해야 한다는 여론이 나온다.

관련 업계는 이미지 생성 AI 기술 자체가 문제시될 가능성에 대해 경계하는 입장이다. 한 개발자는 "AI는 사람의 생산성을 높여주는 기술"이라며 "악용하는 사람을 처벌해야지 기술 자체를 제한하려고 하면 안 된다"고 했다.

전문가들도 규제 논의가 AI 기술 발전에 악영향을 주면 안 된다고 입을 모은다. 최한준 순천향대 법학과 교수는 "미리 예방하는 것이 이상적이지만 기술을 막는 일을 초래할 수 있으므로 예상치 못한 부작용에는 빠른 입법으로 막아낼 필요가 있다"고 했다.

이희정 고려대 법학전문대학원 교수는 "표현의 자유를 인정하면서도 유해성 문제에는 대응해야 한다. 영상물 등급 제도(영상물 시청이 허용된 연령을 규정하는 제도) 같은 방안이 검토될 수 있다"고 조언했다.

이 교수는 "AI를 통해 생성된 이미지가 '보는 사람'에게 미치는 영향을 중심으로 볼 필요가 있다"며 "음란물로서 아동·청소년에게 유해하다고 판단하면 이 콘텐츠가 유통되는 구조를 중심으로 봐야 한다"고 말했다.

그러면서 "기존 영상물 유통에 적용되는 규제들이 활용될 수 있다. 이를 바탕으로 비즈니스를 한다면 관련 콘텐츠 사업자에게도 규제가 가해질 수 있다"며 "그럼에도 문제가 해결되지 않는다면 완전히 새로운 규제의 틀을 만들어야 할 것"이라고 덧붙였다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']