'폴란드식 더빙'에 기막힌 두 남자, 젠슨 황 입으로 거듭났다[월드콘]

일레븐랩스 창업자 표트르 다브코우스키(왼쪽)와 마티 스타이세우스키./ 사진=표트르 다브코우스키, 마티 스타이세우스키 엑스 계정 갈무리

"투표하지마" 바이든 전화, 알고 보니 AI였다미국 민주당 대선 주자 선출을 위한 뉴햄프셔 주 경선을 하루 앞둔 지난 1월22일, 지역 당원들은 황당한 전화를 받았다. 전화기 너머 조 바이든 대통령은 "투표하면 트럼프 당선을 돕는 꼴", "11월 대선을 위해 투표를 하지 말아라"라며 투표 불참을 독려하고 있었다.

알고 보니 목소리의 주인공은 바이든이 아니었다. 누군가 음성 생성 AI 스타트업 일레븐랩스의 기술로 바이든의 목소리를 합성해 거짓 메시지를 유포했던 것. 일레븐랩스는 유포자를 추적해 서비스 이용을 정지시켰다.


일레븐랩스는 2022년 폴란드 출신 개발자 마티 스타이세우스키와 표트르 다브코우스키가 공동 창업한 회사다. 두 사람은 구글과 빅데이터 기업 팔란티어를 거친 AI 전문 엔지니어다. 이들이 음성 생성 AI 개발을 결심한 것은 폴란드의 특이한 더빙 문화 때문.

남자 성우가 여배우 대사까지 더빙…충격 받아 창업 결심폴란드는 외국 영화를 더빙할 때 렉터(Lektor)라 불리는 남자 성우 한 명이 모든 대사를 읽는다. 배우의 성별은 물론 어조와 감정표현을 모두 무시한 채 낮은 목소리로 폴란드어 번역 대사를 읽어나가는 게 특징. 원래 배우의 목소리는 렉터 목소리 뒷편으로 희미하게만 들려야 한다. 월스트리트저널(WSJ) 설명에 따르면 이는 폴란드가 공산주의를 따르던 시절 시작된 방식이다. 이 방식에 익숙한 시청자들이 아직 많은 데다 저예산으로 많은 프로그램을 더빙할 수 있다는 장점 때문에 해외 배급사들이 그대로 이용해왔다.

그러나 인터넷, 스마트폰 발달로 해외 영상을 손쉽게 접할 수 있는 신세대들에게 렉터는 더 이상 '먹히는' 방식이 아니었다. 지난 5월 디 애틀란틱 인터뷰에 따르면 2021년 다브코우스키는 여자친구와 영화관에 갔다가 아직도 렉터 영화가 상영된다는 사실에 충격을 받았다. 그리고 렉터 방식만큼 저비용으로 영화를 현지화할 수 있는 수단을 마련해보자는 생각을 갖고 이듬해 일레븐랩스를 창업했다.


음성 복제는 오랜 기간 여러 업체가 개발해온 분야다. 이 시장에서 일레븐랩스가 주목받는 이유는 접근성이다. 일레븐랩스를 이용하면 매달 1만 자 한도 내에서 재생 시간 최대 10분 길이의 음성 복제 파일을 무료로 생성할 수 있다. 총 29개 언어를 지원한다. 유료 서비스는 개인 요금제 기준 연 50달러, 220달러, 990달러 등 세 가지로 나뉜다. 각각 매달 3만, 10만, 50만 자 한도 내에서 재생 시간 최대 30분, 2시간, 10시간 길이의 음성 복제 파일을 생성이 가능하다.

음성 복제 과정도 간단하다. 1분 길이의 목소리 샘플만 있으면 누구나 음성 복제가 가능하다. 전문가 수준으로 복제하려면 30분 길이의 음성파일이 필요하다.

오디오북·통역·더빙·콜센터·광고까지…활용 범위 무궁무진

젠슨황 엔비디아 최고경영자(CEO)가 지난 2일(현지시간) 대만 타이페이에서 열린 컴퓨텍스에서 연설하고 있다./로이터=뉴스1

젠슨황 엔비디아 CEO가 이달 초 대만 컴퓨텍스에서 기조연설을 할 때 일레븐랩스가 통역을 제공했다. 덕분에 젠슨황의 영어 연설을 그 목소리 그대로 중국어로 바로 옮길 수 있었다.

영국 출판사 하퍼콜린스와 AI 콜센터 운영업체 보코드, 미국 라디오 오더시 등은 일레븐랩스와 파트너십을 맺고 오디오북 제작, 더빙, 라디오 광고 등에서 음성 복제 기술을 활용하고 있다. 워싱턴포스트(WP)도 일레븐랩스를 통해 기사를 음성으로 재생하는 기능을 선보였다. 타임지도 이달 일레븐랩스와 파트너십을 체결했다.

이외에 자기 콘텐츠를 여러 외국어로 선보이고 싶은 유튜버들과 작가들도 일레븐랩스 서비스를 이용 중이라고 한다. 회사 자체 추산에 따르면 서비스 이용자는 100만명 이상이다. 블룸버그 등 보도에 따르면 일레븐랩스는 지난 1월 세콰이어캐피탈 등으로부터 8000만달러를 조달하면서 기업가치 11억달러를 인정받았다. 창업 2년 만에 기업가치 10억달러를 돌파, 유니콘에 등극한 것.

지난 2월 WSJ 보도에 따르면 미국 총기 규제 운동에도 일레븐랩스 기술이 이용됐다. 2015년 플로리다 주 파크랜드에서 발생한 총기난사 사건 피해자 유족들은 의원들을 상대로 총기 규제 운동을 벌이고 있다. 이들은 일레븐랩스를 통해 숨진 학생들의 목소리를 복원한 뒤 그 목소리로 의원들에게 전화를 걸어 입법을 요청했다. 깔끔하게 목소리만 녹음된 샘플이 거의 없었음에도, 샘플을 업로드하고 몇 초 만에 거의 완벽한 복제본이 나왔다고 한다. 한 유족은 WSJ 인터뷰에서 "정말로 아들이 여기 있는 것 같았다"고 말했다.

'범죄 악용 가능성' 비판 정면 돌파…"추적 가능케 할 것"앞서 바이든 사칭 전화처럼 음성 복제 기술이 악용될 가능성도 적지 않다. 정치인, 연예인 등의 목소리를 이용해 가짜 뉴스를 유포하거나 혐오를 조장할 수 있다. 특히 보이스피싱 범죄에 악용된다면 누구나 손쉽게 걸려들 수 있다. 일레븐랩스도 이런 가능성을 인지하고 예방을 위해 노력 중이다. 특히 미 대선을 앞두고 가짜 뉴스 생성, 유포를 막기 위해 앤트로픽, 오픈AI 등 주요 AI 개발사들과 협정을 체결했다

스타이세우스키는 지난해 9월 더 리커시브 인터뷰에서 "인증된 사용자만이 음성 생성 기능을 이용할 수 있어야 한다"면서 추적 가능성을 중요 가치로 꼽았다. 누가 어느 계정을 이용해 음성을 복제했는지 추적할 수 있어야 악용을 방지할 수 있다는 의미다. 그는 "음성이 일레븐랩스를 통해 생성된 것인지 판단해주는 AI 음성 분류 프로그램을 출시했다"며 "시간이 지나면 이 프로그램이 다른 플랫폼에서 생성한 음성 파일도 감지할 수 있게 될 것"이라고 말했다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']