'또 다른 나를 만든다'…가상인간, 탄생의 비밀

머니투데이

최태범 기자

마인즈랩의 가상인간이 여수MBC 기상캐스터로 활약하고 있다. /사진=마인즈랩 제공

#'전남 동부지역은 대체로 맑은 가운데 가끔 구름만 많겠습니다'라는 문장을 넣으니 여수MBC 날씨 코너에서 가상인간으로 제작된 유승민 기상캐스터가 입을 움직이고 음성을 내면서 내일의 날씨를 전했다.

지난 13일 경기 성남 판교테크노밸리에 위치한 인공지능(AI) 가상인간 개발기업 마인즈랩이 공개한 가상인간 'M1' 제작 과정은 복잡해 보이면서도 간단했다. 우선 가상인간으로 만들 실존 인물을 동영상으로 찍는다. 촬영 대상은 다양한 표정으로 풍부한 문장을 말하는 것이 좋다. 가상인간도 그만큼 자연스럽게 표현할 수 있게 된다고 한다.

촬영을 마친 동영상은 프레임별로 나눠 여러 장의 이미지로 만든다. 이미지 파일에서는 얼굴 부분만 따로 추출한 뒤 입 영역을 지우고 가상으로 만든 입모양을 해당 영역에 일치시킨다. 반복적으로 AI에게 학습시켜 가상 입모양이 실제 입모양과 일치하도록 모델링한다.

이후 음성에 따라 가상 입모양이 발음대로 움직이도록 맞춘다. 잘 학습이 됐다면 텍스트만으로 가상인간의 입을 움직일 수 있다. 문장을 넣으면 TTS(Text to Speech) 기술이 음성과 함께 입모양으로 구현하는 식이다.

마인즈랩 사무실 전경

현재 활동 중인 가상인간 광고모델 '로지'나 유튜버 '루이', 11명으로 구성된 걸그룹 '이터니티', 마인즈랩의 'M1' 등은 모두 가상인간으로 통칭되고 있지만 제작 기술은 각기 다르다.

로지의 경우 AI 기술이 아닌 컴퓨터 그래픽(CG) 작업으로 탄생했다. 실제 사람을 대상으로 영상을 촬영한 뒤 CG 작업을 통해 얼굴만 3D 모델링했다. 각 포인트들을 움직여 원하는 표정을 만들어낼 수 있으나 막대한 작업량이 뒤따른다.

전신을 3D 모델링하지 않는 것도 이 때문이다. 광고모델인 만큼 옷을 여러 번 갈아입는데 이를 모두 CG로 만드는 것은 불가능에 가깝다. 질감, 주름, 조명 등을 CG로 일일이 표현하는 것보다 사람을 촬영한 뒤 얼굴만 바꿔주는 것이 시간·비용 면에서 효율적이다.

루이와 이터니티에는 AI 기술이 적용됐다. 사람을 촬영한 뒤 얼굴만 바꾼다는 점에서 로지와 비슷하지만 CG와는 다르다. AI가 사람의 얼굴 데이터를 학습한 뒤 새로운 이목구비를 만들어내는 가상얼굴 생성 기술이다. 춤과 노래, 연기 등은 실제 사람이 한다.

로지나 루이, 이터니티의 경우 광고나 인스타그램·유튜브 같은 미디어 영역에 적합하다. 많은 움직임이나 퍼포먼스가 요구되는 동적인 분야에서 문화·예술적인 부가가치가 높다.

다만 '보여주는 것'이 중심이며 상담이나 민원해결 등 상호작용은 어렵다. 새로운 콘텐츠를 만들 때마다 사람을 모델로 다시 촬영을 진행한 뒤 CG 또는 AI 기술로 얼굴을 생성하는 작업을 해야 한다.

마인즈랩의 가상인간을 은행원으로 도입한 신한은행

마인즈랩의 M1은 몸의 움직임이 없는 대신 '음성인식-문제해결' 등 목적 지향적 대화에 특화돼 있다. 사람을 한 번 촬영해놓으면 재촬영을 하지 않아도 된다.

최홍섭 마인즈랩 대표는 "대화를 이해하고 답변하면서 이를 자연스러운 입모양으로 표현하는 기술은 B2B 비즈니스와 ROI(투자대비수익률) 측면에서 훨씬 가치가 있다"며 "아나운서, 상담원, 강사, 박물관 큐레이터, 도서관 사서 등 확장성이 매우 넓다"고 했다.

실제로 M1은 신한은행 AI 은행원으로도 활약하고 있다. 박철민·민경수·정소라 아나운서의 경우 M1으로 가상인간을 만들어 판매하고 있다. 각 기업은 'AI 휴먼 스토어'에서 가상인간을 구매해 홍보용 영상이나 모델로 활용 가능하다. 아나운서들 입장에서는 자신의 '분신'이 돈을 벌어오는 셈이다.

최 대표는 "사람은 사람만이 할 수 있는 고도의 지성과 창의성이 필요한 일을 하는데 기여하고 노동의 시간은 줄이는 것이 우리가 추구하는 가상인간"이라며 "더 똑똑한 가상인간을 만들어 반복적 일들을 대체하는 전문 직업군으로 확장해나갈 것"이라고 했다.