세계 3대 학회서 논문 발표…업스테이지, LLM '솔라' 우수성 입증

머니투데이

최태범 기자

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

인공지능(AI) 기술 스타트업 업스테이지가 자연어처리(NLP) 분야 최고 권위 학회인 '북미 전산언어 학회(NAACL) 2024'에서 자체 개발한 거대언어모델(LLM) '솔라' 관련 논문을 발표한다고 29일 밝혔다.

세계 3대 NLP 학회로 꼽히는 NAACL은 매년 구글, 메타, 아마존 등 글로벌 빅테크 기업과 수천여명의 NLP 연구자들이 참여해 최신 연구 성를 공유한다. 올해 학회는 6월 16~21일 멕시코시티에서 열릴 예정이다.

이번 NAACL에 채택된 논문은 김다현 연구원, 박찬준 수석 연구원 등이 주도하고 업스테이지의 김성훈 대표와 이활석 최고기술책임자(CTO) 등 주요 경영진이 모두 참여했다.

해당 논문은 '깊이 확장 스케일링(DUS, Depth-Up Scaling)'이라는 기법으로 LLM의 깊이 차원을 확장해 모델 규모를 늘리는 새로운 방법론을 제시한다.

구체적으로 업스테이지는 메타의 '라마(Llama) 2' 아키텍처인 미스트랄(Mistral) 7B를 기반으로 DUS 기법을 적용해 107억 매개변수로 구성된 '솔라 10.7B' 모델을 개발했다.

업스테이지 관계자는 "솔라는 지난해 12월 알리바바 큐원(Qwen)의 6분의 1도 안 되는 크기로 빅테크의 대형 모델을 제치고, 머신러닝 플랫폼 허깅페이스의 '오픈 LLM 리더보드'에서 세계 1위를 차지해 DUS 기법의 우수성을 입증한 바 있다"고 했다.

업스테이지는 국내외 AI 관련 논문 110여편을 발표하고, 구글 스콜라 랭킹 기준 톱7 NLP 분야 컨퍼런스에서 모두 논문 채택을 달성하는 등 연구 측면에서 저력을 이어가고 있다.

김성훈 업스테이지 대표는 "솔라를 개발한 기술력을 글로벌 탑티어 학회에서 인정받았다. 앞으로도 최고의 AI 기술력을 토대로 국내는 물론 해외 시장을 주도할 수 있는 강력한 LLM 개발에 힘쓸 것"이라고 했다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']