최초, 또 최초…'AI 프리마돈나' 도전하는 소프라노 조수미

조수미 KAIST 문화기술대학원 초빙석학교수가 16일 KAIST 본원에서 명예과학기술학 박사 학위를 받았다. 조수미 교수(왼쪽), 이광형 KAIST 총장(오른쪽). /사진=KAIST

최초, 최초, 또 최초…미지의 영역에 뛰어들어 세계 최고가 됐다. 서울음대 사상 실기 최고점을 기록하며 수석 입학, 세계 5대 오페라 극장의 주역, 세계 6대 콩쿠르에서 우승을 휩쓴 최초의 동양인 프리마돈나. '신이 내린 목소리' 조수미 KAIST(한국과학기술원) 문화과학기술원 초빙석학교수에게 늘 따라붙는 수식어다. 하지만 그는 스스로를 "과학자처럼 끊임없는 도전을 통해 새로운 것을 창조하는 사람"이라고 정의한다. 세계적 소프라노 조수미 교수가 이번엔 최초로 'AI(인공지능) 프리마돈나' 육성에 도전한다.

카라얀이 인정한 '신이 내린 목소리', 아바타 조수미도 가질 수 있을까..."AI 시대는 현실" 화려한 드레스가 아닌 KAIST 졸업가운을 걸친 조 교수를 지난 16일 KAIST 본원에서 만났다. 그는 이날 KAIST에서 명예과학기술학 박사 학위를 받았다. 2021년 10월 KAIST 문화기술대학원 초빙석학교수로 임명된 조 교수는 AI를 활용한 음악 연주 분석·생성, 무대 연출 기술에 대한 연구에 나섰다. KAIST 학부생과 대학원생을 대상으로 특강도 진행했다. '조수미 공연예술 연구센터'를 설립해 가상 연주자와 인간 연주자의 메타버스(3차원 가상세계)에서의 인터랙션 기술 등을 연구했다.


'정통 클래식' 음악가로서 클래식과 AI를 접목하는 건 쉽지 않은 도전이다. 조 교수는 "클래식은 아주 보수적인 세계다"라고 입을 열었다. "악보를 해석하고 끊임없이 연습해 감정을 표현하는 클래식 예술가로서 '나만의 섬'을 벗어난 영역과는 타협이 어렵다"는 것이다.

하지만 "AI가 인간보다 더 나은 소리와 감정을 전달하는 날이 오지 않는다고 누가 장담하나"라고 외려 질문을 던졌다. 그는 2021년 예술의전당에서 열렸던 '조수미 홀로그램 미니콘서트'를 떠올렸다. "나는 분명 좌석에 앉아있는데 무대에선 또 다른 내가 노래를 부르고 있었다"며 "환상적이었다"고 소감을 전했다. 그러면서 "내가 이 세상에서 사라진 뒤엔 대중이 나를 홀로그램으로 기억할 수도 있겠다는 생각이 들었다"고 덧붙였다.

실제로 AI는 어느덧 음악가의 영역까지 치고들어왔다. AI로 유명 가수의 목소리를 모사해 마치 그가 직접 노래를 부른 것처럼 편집한 'AI 커버곡'은 유튜브, 틱톡 등에서 연일 수백만 조회수를 기록 중이다. 한 인간의 고유한 특성이자 대체 불가능한 자산으로 여겨졌던 목소리를 AI가 똑같이 따라하기에 이른 것이다. 목소리의 진짜 주인을 둘러싸고 '목소리 저작권'에 대한 논의가 불거졌다.


거장 헤르베르트 폰 카라얀이 '신이 내린 목소리'라고 극찬한 조 교수는 이에 "AI 시대는 우리가 마주할 수 밖에 없는 현실"이라고 담담하게 답했다. 그는 "모든 기술은 이롭게 사용하면 좋은 기술, 해가 되면 나쁜 기술로 평가된다"며 "축음기가 발명됐을 때만 해도 당시 가수들은 가수라는 직업이 사라질까봐 우려했지만 누구나, 언제든 가수의 목소리를 들을 수 있는 시대로 이어졌지 않나"라고 말했다. 그러면서 "AI가 좋은 기술로 사용될 수 있도록 철학적, 산업적 방법을 함께 모색해야 한다"고 밝혔다.

"소프라노로서는 억울한 면도 있다"고 털어놨다. 2006년 프랑스 파리공연 직전, 조 교수는 갑작스런 아버지의 부고를 들었다. 그를 기다리던 관중을 뒤로하고 한국으로 돌아갈 수도 없었다. 무대에 남기로 한 그는 아버지를 향해 슈베르트의 '아베마리아'를 불렀다. 당시 감정이 고스란히 담긴 아베마리아는 이후 '조수미'하면 떠오르는 역작이 됐다.

조 교수는 "AI 조수미가 그때 그 감정을 담아낼 수 있을까"라고 자문했다. 곧이어 "후세대가 AI가 구현한 내 목소리를 들으며 '저게 조수미의 목소리다'고 해도 괜찮을 것 같다"며 고개를 끄덕였다. "비록 완벽한 수준은 아닐지라도 AI가 25살 젊은 조수미의 목소리를 그대로 재현해준다면 좋지 않겠나"라며 웃었다.

16일 명예박사수여식사를 위해 무대에 오른 조수미 교수는 KAIST 졸업생을 향해 "여러분 모두에게도 자신만의 밤의 여왕 아리아가 있다"며 "저마다 갈고 닦아온 자신만의 아리아를 즐기라"고 말했다. /사진=KAIST

"그럼에도 아직, AI는 '주체적 예술가'가 아니다" 조 교수는 2021년 KAIST 공대 교수로서 첫 연구 활동을 시작했다. 남주한 KAIST 문화기술대학원 음악 오디오 컴퓨팅 연구실 부교수(조수미 공연예술 연구센터장)와 함께 AI를 음악에 적용했을 때의 효과를 시각적으로 가장 잘 보여 줄 수 있는 방법을 찾는 데 주안점을 뒀다.

그 결과가 지난해 'AI 조수미'가 '인간 조수미'와 함께 무대에 섰던 '이노베이트 코리아 2023' 공연이다. 조 교수는 AI가 연주하는 피아노 반주에 맞춰 슈베르트의 '들장미'를 불렀다. 이어진 정훈희의 '꽃밭에서'는 AI와 조 교수가 가사를 한 소절씩 주고받으며 듀엣으로 완창했다.

"바쁜 일정에 리허설도 거의 못하고 오른 무대였다"고 조 교수는 후일담을 밝혔다. 가수가 AI의 반주에 박자를 맞춰줘야 하는 한계도 발견됐다. 조 교수는 "AI가 인간 예술가의 역량과 90%까지만 가까워져도 성공했다고 본다"며 "AI는 아직 주체적인 예술가가 될 수 없다"고 밝혔다.

조 교수는 "가수는 작곡가가 남긴 악보를 스스로 이해해 그 생각을 표현하는 '수단'으로서 기능한다"며 "AI 예술가가 인간 예술가와 똑같아질 수 없는 이유"라고 말했다. 특히 "복잡하고 화려한 기교를 선보이는 고음역대의 콜로라투라 소프라노를 재현하려면 아주 오랜 시간이 필요할 것"이라고 내다봤다.

현재까지 예술계에서 AI의 역할은 '예술가를 보조하는 똑똑한 조수'라는 게 조 교수와 남 교수의 관점이다. 남 교수는 "AI기술력은 학습 데이터량과 거의 비례하는데 대중가요에 비해 오페라는 AI가 학습할 수 있는 데이터가 부족한 게 사실"이라며 "조 교수 같은 콜로라투라 음역의 음원은 더욱 드물다"고 설명했다. 그러면서 "우선 피아노 반주 등 가수의 노래를 돕는 기술을 개발하는 데부터 시작할 것"이라고 말했다.

올해도 국내외 공연 일정으로 빠듯한 조 교수지만 무대와 학교를 오가며 새로운 AI 공연을 기획할 예정이다. 국제 무대 데뷔 38주년을 맞은 조 교수는 "예술인으로서 평생 '아름다운 도전'을 해왔다"며 "과학기술이 바꿔놓을 세상에 어떻게 대처할지 고민하며 흥미로운 아이디어를 선보일 것"이라고 포부를 밝혔다.