통역하는 가상인간, VR로 군사훈련…AI를 만난 메타버스 세상

AI(인공지능)는 메타버스 콘텐츠 생성에 드는 인력과 비용을 효과적으로 줄여 생태계를 보다 풍성하게 만드는 든든한 조력자 역할을 한다. 이에 메타버스 기업들은 최근 들어 AI를 활용한 서비스를 연달아 내놓고 있다.

메타버스이노베이션 대상 심사위원회(위원장 최재홍 가천대 교수)는 2023년 메타버스이노베이션 대상 1회차 후보작으로 △가우디오랩 'FALL-E' △딥브레인AI 'AI통역사'△스코넥엔터테인먼트 'XR(혼합현실) 모의훈련 시스템'을 선정했다고 19일 밝혔다.
오디오북 읽어주는 성우 대체…AI 목소리

쇠라의 '그랑자뜨섬의 일요일 오후' 이미지를 인식하면 이에 맞는 사운드를 만들어주는 가우디오랩. /사진=가우디오랩 유튜브 캡처

가우디오랩은 생성AI모델 'FALL-E'를 통해 텍스트를 사운드로 바꿔주는 기술을 갖고 있다. 지난 7월 25일 출판한 '사건 보고서 2023'은 FALL-E가 만든 소리가 적용된 최초의 오디오 콘텐츠다. 스토리에 맞는 효과음을 자동으로 생성해 독자들에게 들려준다.


가우디오랩의 오디오 콘텐츠에는 BTRS (Being There Recreate System, 현장감 재창조 시스템)'라는 공간 음향 기술도 적용된다. 텍스트 속 극의 흐름이나 인물의 움직임에 맞춰서 오디오북 사운드가 들리는 위치에 차이를 준다. 콘텐츠 이용자들은 소리를 듣는 것만으로도 극장처럼 입체적인 공간에 온 느낌을 받을 수 있다. 심지어 이미지만 입력해도 이에 걸맞는 현장음을 만들어준다.

이를 통해 가우디오랩은 메타버스에서도 실제 현장에 있는 느낌을 전달할 수 있도록 한다. 영화 기준으로 1편당 4주간 걸리던 사운드 작업은 FALL-E를 통해 5일로 줄어든다. FALL-E의 학습에는 약 1만 시간 분량의 고품질 데이터가 활용됐다.
버추얼휴먼과의 대화도 AI로 통역 '뚝딱'

AI 휴먼 기반의 실시간 통역 서비스 ‘AI 통역사’. /사진=딥브레인AI

딥브레인AI는 딥러닝 기반 영상·음성 합성 및 자연어 처리 기술을 융합한 대화형 AI 솔루션을 보유하고 있다. AI 휴먼을 기반으로 교육, 금융, 미디어, 엔터테인먼트, 공공, 커머스 등 다양한 분야에서 서비스를 제공한다. 지난 5월에는 프로골퍼 최경주 선수를 AI 휴먼으로 구현했다. AI 캐디 서비스에 대한 특허도 출원한 바 있다.

딥브레인AI가 지난달 내놓은 AI통역사는 사용자가 말하는 언어를 버추얼휴먼(가상인간)이 감지해 실시간 대화 형식으로 통역하는 서비스다. AI 통역사는 음성인식 솔루션을 통해 사용 언어의 종류와 함께 강세, 어투 및 억양 등 사용자의 음성학적 특징을 인식하고, 이를 텍스트로 변환한다. 이후 상대방이 구사하는 언어로 번역하는 과정을 거쳐 버추얼휴먼이 대답하는 식이다.


딥브레인AI의 음성합성 기술은 기업과 크리에이터들이 실제 인간 대신 버추얼휴먼이 출연하는 영상을 활용하는 폭을 넓혀준다. 텍스트 입력만으로 다양한 언어를 쓰는 버추얼휴먼의 '목소리'를 만들어주기 때문이다. 매장 직원, 선생님, 앵커 등 실제 사람의 외모와 제스처, 말하는 패턴 등을 학습해 실제 모델과 유사한 형태로 학습하는 AI 휴먼 기술은 대화형, 반응형에 필요한 CS(고객관리), 교육 등에 활용될 수 있다.
VR게임 노하우로 군사훈련까지

XR기반 대공간 하이브리드형 체감 통합 모의훈련 시뮬레이터. /사진=스코넥엔터테인먼트

스코넥엔터테인먼트는 메타버스 게임으로 20여년 간 기술을 축적해온 곳이다. 닌텐도 DS 마법천자문, 세계 최초의 상용화 VR(가상현실) FPS(일인칭슈팅게임) '모탈 블리츠'가 스코넥의 손에서 나왔다. 이 같은 기술력을 기반으로 소방·화학·국방훈련 교육 VR 콘텐츠도 만들고 있다.

아울러 스코넥엔터테인먼트는 비대면 가상화 기술을 쇼핑, 커뮤니케이션, 쇼핑등 다양한 분야로 확장하고 있다. 'Vconec Live'라는 실시간 가상캐릭터 방송 시스템을 유튜브에서 진행하고 있다. 버추얼 유튜버 '초이'도 스코넥이 기획했다.

지난 6월에는 국방기술연구소와 손잡고 'XR 기반의 대공간 하이브리드형 모의훈련 시스템'을 개발하고 시범운영에 들어갔다. 이 시스템은 훈련자의 실제 움직임에 따라 캐릭터가 이동하는 워크스루 방식, 컨트롤러 조작에 따라 이동하는 로코모션 방식을 단일 시나리오에 적용해 각 방식의 강점을 취사선택한 종합 훈련을 가능케 한다.