더 작고 효율적으로…MS, SLM '파이-3.5' 시리즈 출시

10억개 이상 파라미터를 가진 SLM 성능 비교. /사진=MS 블로그 갈무리

MS(마이크로소프트)가 지난 4월 출시한 AI(인공지능) SLM(소형언어모델) '파이-3(Phi-3)' 시리즈를 업그레이드한 '파이-3.5' 시리즈를 최근 출시했다고 27일 밝혔다.

파이-3.5 시리즈는 △파이-3.5-미니 △파이-3.5-비전 △파이-3.5-MoE(Mixture of Experts) 3종으로 구성됐다.


파이-3.5-미니는 38억개 파라미터로 구성된 모델이다. 12만8000토큰 길이의 문서를 지원해 긴 문서나 회의록 처리에 유용하다. 지원되는 언어는 한국어를 포함해 23개다. 파이-3.5-미니는 같은 크기의 파라미터로 구성된 파이-3-미니보다 처리할 수 있는 문서 길이가 길어졌고, 아랍어·핀란드어 등 일부 언어 성능을 개선한 것이 특징이다.

파이-3.5-비전은 멀티 프레임 이미지 이해와 추론 능력을 강화한 모델이다. 지난 5월말 출시된 파이-3-비전 모델에서 다중 프레임 이미지 이해 등 성능을 강화한 모델이다. 스테이블 디퓨전이나 달리 등 모델처럼 이미지 생성을 하지 않는 대신 모델 크기를 줄이고 이미지 내용을 이해하고 분석하는 데 초점을 맞췄다. 해당 모델은 슬라이드 요약·비디오 요약·이미지 스토리텔링 등 작업에서 정확도와 효율성이 향상됐다.

파이-3.5-MoE는 전문가 혼합 모델로 총 420억개 파라미터 중 66억개 활성 파라미터를 사용한다. 이 모델은 특히 긴 문서와 20개 이상 다국어 지원에서 높은 성능을 발휘한다. 지원하는 문서 길이는 파이-3.5-미니와 동일하게 12만8000토큰이다.


MS는 "파이-3 모델의 도입으로 MS 애저(MS의 클라우드) 고객들은 고품질 모델에 대한 선택의 폭이 넓어져, 생성형 AI 애플리케이션을 설계하고 구축할 때 더욱 실용적인 옵션을 갖게 됐다"며 "파이-3.5 모델은 나아가 오픈 소스 커뮤니티와 MS 애저 고객을 위해 경제적이면서도 고성능 옵션을 제공하며, 소형 언어 모델과 생성형 AI의 경계를 넓힐 것"이라고 말했다.