클레온·다이아티비, AI로 콘텐츠에 다국어 더빙 입힌다

진승혁 클레온 대표(사진 왼쪽)와 박진우 CJ ENM 국장이 6일 열린 ‘다국어 더빙 멀티 콘텐츠’ 협약 체결식에서 기념 촬영 중이다/사진제공=클레온

AI 기술로 한국 크리에이터가 영상 속에서 중국어·한국어·일본어를 원활히 구사할 수 있게 될 전망이다.

컬처 콘텐츠 AI(인공지능) 기업 클레온이 최근 다이아 티비(DIA TV)와 협약을 맺고 다이아 티비 콘텐츠의 글로벌화를 지원한다고 7일 밝혔다.


딥러닝 영상·음성 생성 기술을 보유한 클레온은 이번 기술 협력을 통해 CJ ENM 산하의 MCN(멀티 채널 네트워크)인 다이아 티비 콘텐츠에 크리에이터 목소리로 다국어를 더빙할 수 있는 기술력을 제공한다. 1장의 사진과 1분의 음성 데이터로 영상 속 인물의 얼굴과 음성을 생성하고 변환하는 '딥휴먼'(Deep Human) 기술을 활용한 것이다. 1분의 음성 데이터만 있으면 그 목소리로 중국어, 영어, 일본어 등 다양한 국가의 언어를 구사할 수 있어 기존 더빙 방식의 불편함을 해결할 수 있다.

원하는 국가 언어를 입력해 음성을 생성하고, 음성에 맞게 입 모양이 똑같이 따라 움직이는 기술을 구현하면 유튜버 목소리로 다국어 더빙이 가능하다. 마치 한국 크리에이터들이 다국어를 할 수 있는 것처럼 보이게 만들 수 있는 것이다.

클레온 측은 "외국 영화를 관람할 때 한국은 약 83.7%가 더빙보다 자막을 선호한다"며 "그에 반해 중국과 독일, 프랑스, 스페인은 자막보다 더빙을 선호한다"고 했다. 이어 "2019년을 기준으로 자막 시장 규모는 $277M이었던 것에 비해 더빙 시장은 $2431M으로 약 9배가량 차이가 난다"면서 "비대면 영상 콘텐츠 시장이 커지는 상황 속에서 더빙 솔루션은 한국을 넘어 글로벌 더빙 문화의 판도를 바꿀 수 있는 혁신적인 솔루션이 될 것"이라고 했다.


다이아 티비는 국내외 1400개 팀의 파트너 크리에이터와 파트너십을 맺고 있는 국내 최대 MCN이다. 국내외 글로벌 시장에서도 수많은 팬을 보유하고 있다. 1400개 팀의 합산 구독자 수는 3억 명에 달한다. 이번 협약을 계기로 기존 글로벌 팬들에게 현지어 자막으로 영상을 소개하던 한계를 뛰어넘어 직접 목소리로 소통함으로써 팬들과의 교감을 넓혀나간다는 계획이다.