"기업의 LLM 활용 돕는다"…에이프리카, LLMOps로 시장 공략

머니투데이

최태범 기자

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

인공지능(AI) 개발 및 클라우드 관리 플랫폼 기업 에이프리카가 기업의 특정 요구에 맞는 거대언어모델(LLM)에 대한 선정·학습·배포 등 관리·운영을 위한 플랫폼 'LLMOps'로 기업용 LLM 시장에 진출한다고 6일 밝혔다.

기업들이 사용하는 머신러닝운영(MLOps) 플랫폼이 AI 머신러닝 모델의 안정적인 유지·관리를 돕는다면 LLMOps는 대규모 데이터셋으로 훈련한 수천억개의 매개변수를 가진 LLM의 활용이 용이하도록 돕는 플랫폼이다.

일반적인 MLOps가 하나의 AI 모델을 개발하고 최적화해 서비스를 제공하는 방법론이라면, LLMOps는 기업 내부 보안정보 유출 방지와 같은 특정 요구에 맞는 LLM을 운영하고 통합 관리할 수 있는 체계다.

따라서 LLMOps를 효과적으로 구현하려면 MLOps와 LLM에 대한 기술과 경험이 요구된다. 에이프리카는 2019년 MLOps 플랫폼 '치타'를 개발해 경찰청, 광주과학기술원, 현대글로비스 등 주요 기업과 공공기관에 공급한 바 있다.

지난해 11월에는 보안을 강화하고 환각현상(할루시네이션) 방지에 초점을 둔 기업 전용 프라이빗 LLM 서비스 '가젤 LLM'을 출시했다. 기존 MLOps 솔루션 분야를 넘어 프라이빗 LLM 분야까지 비즈니스의 폭을 넓혔다.

에이프리카의 LLMOps은 치타 플랫폼을 기반으로 LLM 특화 기능이 추가되는 형태다. LLM 파인튜닝, 프롬프트 관리, 벡터데이터 관리 등을 지원할 계획이다. 폐쇄형 환경에서 내부 보안 데이터로 LLM 기술을 접목하고자 하는 기업에 유용한 툴이 될 수 있다는 설명이다.

강선근 에이프리카 대표는 "LLMOps 플랫폼은 LLM을 효과적으로 활용하고자 하는 모든 기업에게 필수적인 도구가 될 것"이라며 "기업이 복잡한 기술적 장벽 없이 언어모델을 도입하고 활용할 수 있도록 적극 돕겠다"고 말했다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']