영화 '그녀'가 현실로...KAIST 뮤직테크 박사가 만든 'AI 작곡가'

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

뉴튠 이종필 대표/사진=김휘선 기자

"BTS(방탄소년단) 신곡이 나왔을 때 그 곡의 리듬, 베이스, 기타 등의 소리를 나만의 스타일로 바꿔보고 재구성해 팬카페에서 공유하고 아티스트들의 평가를 받아볼 수 있다면, 나아가 그렇게 만들어진 곡이 실제 아티스트의 앨범 발매 때 함께 수록된다면 어떨까요. 음악을 사랑하고 아티스트를 사랑하는 이들이라면 누구나 한 번 상상해보는 일이 이제 현실이 될 겁니다."


인공지능(AI) 뮤직테크 스타트업 뉴튠(Neutune)의 이종필(36) 대표는 자신들이 개발한 솔루션을 통해 바뀔 수 있는 '음악 콘텐츠 이용 패턴'을 이처럼 예상했다. 이 대표는 2020년 3월, 카이스트(KAIST·한국과학기술원) 문화기술대학원 MAC(Music and Audio Computing)에서 동고동락한 연구실 동료들과 창업했다. ISMIR(International Society for Music Information Retrieval) 등 뮤직테크 분야 세계 최고 학회에서 30개 이상의 기술을 발표할 정도로 실력을 갖춘 연구자들과 프로듀서, DJ, 인디밴드 등 국내 실력파 뮤지션들이 함께 회사를 운영하고 있다.

믹스오디오/사진=뉴튠

AI 기술을 통해 음악이라는 영역에서 이제껏 보지 못한 새로운 경험을 만들어 보고 싶었다는 이 대표는 지난달 멀티모달(Multi Modal) 기술을 활용한 AI 배경음악(BGM) 생성기 '믹스오디오(Mix.audio)' 베타 서비스를 시작했다. 이 기술로 올해 1월 열린 세계 최대 IT(정보기술)·가전 전시회 CES에서 혁신상을 수상했다. 멀티모달은 AI가 텍스트 뿐 아니라 이미지, 오디오 등 다양한 정보를 인식하는 것을 말한다.

믹스오디오는 '카페에 어울리는 음악'과 같이 원하는 음악에 대한 설명을 입력하면 그에 상응한 음악을 만들어준다. 자신의 기분, 처한 상황, 주변 분위기 또는 원하는 장르, 박자에 이르기까지 자유롭게 글자로 입력하면 이 같은 조건에 딱 맞는 음악을 생성한다.


영화나 드라마 배경음악을 선정할 때도 유용하다. 음악이 필요한 영상이나 사진을 보여주면 AI가 이를 해석해 어울리는 음악을 새롭게 만들어준다. 이 대표는 "틱톡이나 인스타그램 쇼츠(짧은영상) 등 새로운 형태의 콘텐츠를 제작하는 크리에이터(창작자)들이 배경음악을 제작할 때 또는 게임 배경음악을 만드는 데 주로 쓰일 것"이라고 말했다.

뉴튠의 솔루션은 나아가 웨어러블(착용형) 제품이나 생활 주변에 설치된 각종 센서 데이터와 연결돼 장소나 상황에 맞는 맞춤형 음악을 들려주는 서비스도 함께 개발 중이다. 이 대표는 "예컨대 운동화에 부착된 센서 움직임이 활발해지면 이어폰에선 경쾌한 음악이 흘러나온다거나 도서관에 가면 GPS(위성위치확인시스템)를 통해 해당 장소를 인식한 후 공부할 때 집중하기 좋은 음악을 들려주는 기술"이라고 설명했다. 영화 '그녀'(Her, 2014년)의 AI 비서 사만다처럼 사람의 기분이나 환경에 맞춰 자동으로 음악을 들려주는 AI 음악 에이전트를 선보인다는 계획이다.

이 대표가 AI 음악 창작 솔루션으로 창업한 계기는 2019년 포토샵·프리미어 등 그래픽 소프트웨어로 잘 알려진 기업 어도비에서 인턴으로 근무했던 경험이 영향을 미쳤다.

그의 인턴 시절에 어도비는 배경음악 판매사이트 1등 기업인 에피데믹사운드를 인수할지 말지를 두고 내부에서 논의를 벌이고 있었다.

당시 이 대표는 에피데믹사운드를 인수하게 되면 그 서비스에 붙일 수 있는 음악 검색 등의 알고리즘을 개발하는 팀에서 근무했는데 이 분야의 성장 잠재력이 생각했던 것 이상으로 크다는 생각을 했다고 한다.

믹스오디오에서 사용된 곡들은 저작권 문제에서 자유롭다. 그는 "자체적으로 60명 이상의 프로듀서와 작곡가 풀을 확보하고 있다"며 "그분들이 제공해준 음원을 모두 개별 라이선스 계약을 체결한 뒤 사용하므로 애초에 저작권 문제가 없는 음원 소스를 쓰는 것"이라고 말했다.

이 대표는 생성 AI가 음악시장 판도를 완전히 바꿔놓을 것이라고 전망했다. 그는 "누구나 쉽게 자신의 느낌을 음악으로 표현하고 사람들과 공유해 새롭게 향유하는 문화가 조성될 것"이라고 말했다. 이어 "이런 새로운 플랫폼 탄생과 관련해 일각에선 아티스트들의 일자리를 빼앗는 건 아니냐며 걱정하는 분들이 있는데 오히려 AI의 도움을 얻어 더 풍부한 영감과 독특한 아이디어가 들어간 음악을 만들게 될 것"이라고 덧붙였다.

한편, 글로벌 시장조사기관 마켓유에스(Market.US)에 따르면 전세계 생성 AI 음악시장은 2023년부터 2032년까지 연평균 성장률이 28.6%로 시장가치는 26억6000만달러(약 3조 4811억원)에 이를 것으로 예상된다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']