"한국어 이해력 최고"…LogicKor 리더보드서 1위 오른 sLLM

머니투데이

최태범 기자

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

음성인식 AI(인공지능) 기술 스타트업 리턴제로가 한국어 언어모델의 다분야 사고력을 측정하는 '로직Kor'(LogicKor) 리더보드에서 sLLM(경량화된 거대언어모델) 가운데 1위를 기록했다고 2일 밝혔다.

LogicKor은 오픈AI·앤스로픽 등 글로벌 빅테크와 국내 기업들이 모두 참여하는 한국어 언어모델 벤치마크다. LLM의 한국어 추론, 수학, 글쓰기, 코딩, 이해 등 6개 요소를 측정한다.

매개변수(파라미터) 9B의 모델 크기를 갖는 리턴제로의 LLM은 지난 31일 LogicKor에서 총점 8.67점을 기록하며, 매개변수 13B 이하 sLLM 모델 중 최고 성능을 보였다. 이는 직전 기록인 8.21점을 크게 웃도는 수치다.

특히 리턴제로는 '이해' 능력 파트에서 두각을 드러냈다. 10점을 기록하며 동일 크기의 LLM은 물론 모든 크기의 매개변수를 가진 LLM을 통틀어 가장 높은 점수를 나타냈다. 추론 능력에서도 미스트랄AI, 오픈AI 등에 이어 최상위권인 9점대를 기록했다.

이번에 선보인 리턴제로의 LLM 모델은 한 달 정도의 신규 파운데이션 모델 파인튜닝 기간을 거쳐 탄생했다. 짧은 기간에도 불구하고 높은 수준의 성능을 구현했다는 설명이다.

리턴제로가 선보인 매개변수 13B 이하 sLLM은 AI를 도입하려는 기업들 사이에서 가장 인기가 많은 크기로 꼽힌다. 적은 매개변수에도 고도화를 통해 성능을 높이고 비용 부담은 줄일 수 있어서다. 온디바이스AI의 성장과 함께 sLLM 수요는 더욱 커지고 있다.

이참솔 리턴제로 대표는 "더욱 매개변수가 많은 일부 모델보다도 우수한 성능을 보여주면서 기술 역량을 증명했다. 앞으로도 리턴제로의 노하우를 접목해 글로벌 빅테크와 견주어도 손색없는 최고 수준의 기술을 선보일 것"이라고 했다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']