'전력·연산' 갈수록 비대해지는 AI…다이어트 기술에 CVC 줄베팅

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
최근 인공지능(AI) 업계의 최대 화두는 전력소비와 연산속도다. AI의 전력소비량이 일부 도시국가 전체 사용량에 맞먹을 정도로 커지면서 비용뿐 아니라 환경파괴 문제까지 대두되고 있다. 자율주행차, 무인항공기 등 안전과 밀접한 분야까지 AI가 확산되면서 더 빠르고 정확하게 데이터를 처리하는 것도 점점 중요해지고 있다.

문제를 해결하기 위해서는 더 빠르고 전력효율이 좋은 반도체가 필요하다. AI를 음식에, 반도체를 그릇에 비유하자면 음식이 많아진 만큼 큰 그릇을 준비해야 하는 것이다. 그러나 반도체 발전 속도는 AI의 발전 속도에 비해 상대적으로 더디고 가격도 비싸다. 이에 AI모델을 효율화하는 'AI 모델 경량화(Model Compression·)' 기술이 주목받는다. 음식 크기에 맞는 그릇이 개발될 때까지 일단 음식을 잘게 부수거나 꾹꾹 눌러 넘치지 않게 만드는 방식이다. 이를 통해 새로운 반도체 구매 비용을 절감시켜주고, 같은 반도체 환경에서 더 성능 좋은 AI 모델을 사용할 수 있게 지원한다.


업계에서 주로 사용하는 AI 모델 경량화 기법은 주로 '가지치기(Pruning)'와 '양자화(Quantization)' 방식이다. 가지치기는 주로 사용되는 연산에서 중요하지 않은 매개변수를 찾아 제거하는 방식으로 AI 모델을 경량화한다. 양자화는 일종의 반올림처럼 매개변수의 비트를 바꿔 데이터 처리 방식을 경량화하는 기법이다. 그밖에 서로 다른 AI 모델의 데이터를 효과적으로 전달하는 '지식 증류(knowledge distillation)'나 '경량 네트워크 디자인' 등 기법도 사용된다.

기법은 다양하지만 효과는 △저전력 △고속화로 동일하다. 업계 관계자는 "AI 모델의 종류나 용도, 활용 분야에 따라 각각 적합한 경량화 기법이 다르다"며 "필요에 맞춰 다양한 경량화 기법이 사용된다"고 말했다. 그러면서 "경량화를 할수록 저전력·고속화가 가능하지만 연산 정밀도는 낮아질 수 있는 만큼, 고객의 상황에 맞춰 경량화를 진행하는 것이 핵심"이라고 말했다.

오픈AI, 구글, 네이버 등 AI를 개발하는 글로벌 빅테크 기업들은 이미 경량화 기술 개발에 집중하고 있다. 최근에는 AI 모델을 전문적으로 경량화해주는 솔루션 스타트업들도 등장했다. 네이버, 카카오, 삼성전자 등 대기업들의 기업형 벤처캐피탈(CVC)들은 일찌감치 기술력과 성장 잠재력을 보고 이들에게 뭉칫돈을 투자했다.

가지치기와 양자화의 개괄적 원리 /사진=엔비디아, 텐서플로우 기술블로그

노타·스퀴즈비츠 '경량화 솔루션'으로 창업…해외서도인정대표적인 스타트업은 노타와 스퀴즈비츠다. 빅테크가 개발한 AI 모델로 제품·서비스를 운영하려는 기업들이 이들의 고객이다. 하드웨어 사양에 비해 고성능의 AI 모델을 사용하려 하거나 운영비 부담을 줄이려는 의료, 게임, 보안 등 다양한 분야의 기업들이 두 기업을 찾고 있다.


노타는 다양한 디바이스(기기)의 AI 모델을 경량화해줄 수 있다는 점을 강점으로 내세운다. 채명수 노타 대표는 "경량화 기술은 AI 모델을 적용할 기기가 서버인지, 스마트폰인지, 자율주행차인지, 혹은 어떤 사양인지에 따라 다르게 적용해야 한다"며 "노타는 다양한 하드웨어에서 최적화된 경량화를 제공한다"고 했다. 노타는 고객에 따라 양자화와 가지치기 방식을 모두 사용한다.

노타의 기술력은 글로벌 시장에서도 인정받고 있다. 글로벌 시장조사기관 CB인사이트는 지난해 LLMOps(초거대언어 AI 모델운영) 분야 선두기업 조사에서 노타를 'AI 최적화' 부문 대표기업 4곳 중 1곳으로 선정했다. 2022년부터 3년 연속 엔비디아의 개발자 컨퍼런스 GTC 발표기업으로 선정되기도 했다.

스퀴즈비츠의 경량화 솔루션은 '양자화' 방식에 집중하고 있는 것이 특징이다. 김형준 스퀴즈비츠 대표는 "기업들마다 집중하고 있는 세부 기술이 조금씩 다르다"며 "스퀴즈비츠는 양자화로 더 효율적인 경량화가 가능한 분야에서 강점을 가지고 있다"고 말했다.

스퀴즈비츠의 기술력도 상당하다는 평가다. 스퀴즈비츠는 포스텍 NPU 연구팀이 주축이 돼 설립한 스타트업이다. 창업자들이 머신러닝 분야 학회에서 발표한 경량화 관련 논문만 70여편에 달한다. 김재준 서울대학교 전기·정보공학부 교수, 박은혁 포스텍 컴퓨터공학과 교수 등 국내외에서 인정받는 교수진들과도 협업하고 있다.

국내 대표적인 AI 경량화 스타트업/그래픽=조수아

삼성·LG·네이버·카카오도 일단 투자…"커질 수밖에 없는 시장"투자업계의 관심은 뜨겁다. 특히 CVC들의 관심이 높다. 노타는 네이버D2SF, 카카오인베스트먼트, 삼성벤처투자, LG CNS 등에서 누적 272억원(시리즈B)의 투자를 유치했다. 스퀴즈비츠는 상대적으로 시장 진입이 늦었지만, 초기부터 네이버D2SF, 카카오벤처스, 삼성넥스트, 포스코기술투자 등에서 25억원(프리시리즈A)을 유치했다. AI 모델을 만드는 네이버, 카카오나 AI 인프라 기업인 삼성, LG가 모두 경량화 솔루션 스타트업에 투자한 것이다.

두 기업에 투자한 CVC들은 SI(전략적 투자)성격의 투자는 아니라면서도 모기업과의 협업 가능성은 열려 있다고 했다. 실제 해외에서는 경량화 솔루션 스타트업인 옴니ML이 창업 2년만에 엔비디아에 인수되는 등 빅테크 기업과의 적극적인 협업이 이뤄지고 있다.

투자업계에 따르면 AI모델 경량화 기술에 한정해서는 시장조사기관에서도 아직 공식적으로 시장을 집계하지 않았다. 다만 생성AI가 확산되고 시장이 커질수록 경량화 시장도 커질 수밖에 없다는 게 투자자들의 판단이다. 해외에서도 뉴럴매직, 오토AI(OctoAI), 데씨이AI(DeciAI) 등 스타트업들이 가파르게 성장하고 있다.

특히 최근 불고 있는 온디바이스AI 열풍도 경량화 스타트업이 주목받는 이유다. 온디바이스AI는 더 낮은 하드웨어 스팩, 전력 환경에서 작동되는 만큼 이를 각종 디바이스에서 제대로 구동시키기 위해서는 다양한 경량화 기술 도입이 필수적이기 때문이다.

투자업계 관계자는 "AI 모델은 규모가 커질 수록 성능이 좋다는 게 검증된 명제"라며 "더 큰 AI 모델을 효율적이고 저렴하게 사용할 수 있게 해주는 기술과 시장은 지속적으로 성장할 수밖에 없을 것"이라고 말했다.

[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]