재난현장에 갇힌 피해자들 찾아낸 드론…근데 게임사가 만들었다

엔씨소프트가 '인공지능 그랜드 챌린지'에 앞서 진행한 시범 테스트 영상. /출처=엔씨소프트

#. 60㎡ 규모의 실내 공간. 드론이 장애물 사이를 날아다니며 구조요청자(마네킹)를 찾는다. 한 방을 탐색할 수 있는 시간은 1분 남짓. 짧은 시간내 드론이 찍은 흐릿한 영상과 음성정보를 바탕으로 AI(인공지능)가 몇 명이 어디에 갇혔는지 실시간 파악해야 한다. 재난영화 한 장면 같은 이 대회 우승자는 놀랍게도 '리니지'로 유명한 게임사 엔씨소프트 (216,500원 ▲1,000 +0.46%)였다.

엔씨소프트는 최근 과학기술정보통신부가 주최한 '인공지능 그랜드 챌린지' 3차 대회에서 최종 1위를 차지했다. AI와 로보틱스를 활용해 복합 재난상황에서 발생하는 다양한 임무를 수행하는 대회에서 게임사가 175팀 935명 중 1위에 오른 것이다. 4년에 걸쳐 진행된 이번 대회에서 3년 연속 2위를 기록한 엔씨는 최종 단계에서 끝내 1등을 거머쥐었다.


다른 팀도 혀를 내두를 정도로 드론비행장으로 출근 도장을 찍으며 시행착오를 줄인 덕분이다. 수상 주역인 비전 AI 랩의 김민재 실장과 이영현 Recognition팀장, 이주성·김영백 연구원을 경기 성남시 엔씨 사옥에서 만났다. 2018년 출범한 비전 AI 랩은 카메라로 찍은 영상·사진에서 정보를 분석하는 컴퓨터 비전 기술을 연구한다.
8분 내 5개 방 탐색 미션…"1등하겠다는 오기 생겼다"

김민재 엔씨소프트 비전 AI 랩 실장/사진=엔씨소프트

OCR(광학문자인식) 기술 역량을 점검하기 위해 이번 대회에 출전한 비전 AI 랩은 2년 연속 문자인지 분야 2위에 올랐지만 성에 차지 않았다. 지난해 문자인지 뿐 아니라 △상황·음성인지 △드론 제어 △모델 경량화 △복합인지처리 통합 시스템 구축 등 '종합예술'을 구현해야 하는 과제에 도전한 배경이다. 엔씨는 유비파이·엠피웨이브·노타·서강대와 산학협력단을 꾸렸지만, 쉽지 않은 과정이었다.

이 연구원은 "주어진 이미지를 1~2시간 내 분석하는 기존 대회에 달리, 이번 챌린지는 드론이 날며 문제를 해결해야 해 소프트웨어 외에도 통신·하드웨어 등을 종합적으로 고려해야 했다"라고 회고했다. 김 연구원도 "임베디드 보드(특정 기능만 수행하도록 제작된 보드)라는 제한된 리소스에 큰 AI 모델을 넣으면 드론이 동작을 멈춘다"라며 "이 때문에 AI를 최적화·경량화하는 게 중요했다"라고 말했다.

실제 비전 AI 랩은 7개월간 14번의 실전테스트를 진행했다. 경기도 화성드론전용비행시험장을 따로 대여했을 정도다. 이영현 팀장은 "계속 2등만 하니까 1등을 하겠다는 오기가 생겼다"라며 "극한의 재난 상황에서도 성능 높은 비전 AI 기술을 확보한 데다, 드론이나 서버에서도 잘 동작하는 알고리즘을 만들면서 플랫폼 이해도도 높아졌다"라고 강조했다.
사람 표정·몸짓 이해하는 디지털 휴먼 개발 '박차'

엔씨소프트 비전 AI 랩의 김영백 연구원, 이영현 팀장, 이주성 연구원, 김민재 실장(왼쪽부터) /사진=엔씨소프트

이번 대회는 디지털 휴먼 개발 전초전과 다름없었다. 엔씨는 올해부터 디지털 휴먼 개발에 AI 센터와 NLP 센터 역량을 결집하고 있다. 비전 AI 랩의 역할은 드론의 눈을 디지털 휴먼으로 옮기는 것이다. 김 실장은 "최근 나온 버추얼 인플루언서는 겉모습만 사람 같을 뿐 사람과 인터랙션할 수는 없다"라며 "상대의 표정이나 몸짓 등 비발화성 요인을 인지하면 더 자연스러운 소통이 가능해질 것"이라고 말했다.


이번 챌린지에서 쌓은 AI 경량화·최적화 노하우도 디지털 휴먼에 필수적이다. 김 실장은 "한 서버에 대화·동작·인지 등 사람 뇌에서 하는 모든 기능을 다 구현해야 하는데, 크고 좋은 모델만 집어넣으면 실시간 처리가 요원해진다. 질문을 듣고 대답하는 데 10초까지 걸릴 수 있다"라며 "각 모듈을 최대한 경량화하면서도 성능을 유지하는 게 필요한데 이번 챌린지로 미리 경험한 것"이라고 설명했다.

디지털 휴먼의 외형을 만드는 것도 비전 AI 랩 역할이다. 그래픽과 딥러닝 기술을 합친 뉴럴 렌더링 기술의 등장으로 2차원(2D) 이미지를 3D로 쉽게 생성할 수 있어서다. 김 실장은 "기존엔 3D 모델링에 비용과 시간이 많이 들었으나, 요즘엔 카메라로 사진을 찍는 등 저가의 장비나 적은 시간으로도 3D 콘텐츠를 생산할 수 있게 됐다"라며 "디지털 휴먼 제작 방식을 새롭게 대체할 수 있을지 검토 중"이라고 말했다.
가상인물 외형 만드는 딥페이크…"긍정적 활용방안 많아" 컴퓨터 비전 분야에서 안면인식 기술은 프라이버시 침해 및 딥페이크 등의 우려가 따라다닌다. 엔씨는 윤송이 CSO(최고전략책임자)를 필두로 AI 윤리 정립에 힘쓰고 있다. 이에 비전 AI 랩에서도 AI 학습용 얼굴인식 영상 데이터를 활용할 때 인종이나 성별에 편향되지 않았는지 확인하고, 사내 직원들의 이미지를 수집할 때도 반드시 개인정보활용 동의서를 받는 등 AI 연구윤리를 강조한다.

특정 인물의 얼굴을 AI로 합성한 딥페이크도 나쁜 기술만은 아니라는 지적도 있다. 김 실장은 "내부에선 딥페이크를 '페이스 스왑' 기술이라고 하는데, 하나의 동작을 여러 사람의 얼굴로 표현하는 등 긍정적으로 활용할 수 있는 부분이 많다"라며 "엔씨는 실존하는 인물이 아니라 가상인물의 영상제작을 위해 딥페이크를 활용할 예정"이라고 말했다.