속보
VIP
통합검색

메타, 오픈소스 모델 '라마3' 공개…4000억 매개변수 모델도 준비

  • 카카오톡 공유하기
  • 카카오톡 나에게 전송하기
  • 페이스북
  • 트위터
  • 네이버
  • 텔레그램
  • 문자

메타, 오픈소스 모델 '라마3' 공개…4000억 매개변수 모델도 준비

머니투데이
  • 김승한 기자
  • 카카오톡 공유하기
  • 카카오톡 나에게 전송하기
  • 페이스북
  • 트위터
  • 네이버
  • 텔레그램
  • 문자
  • 2024.04.19 16:25
  • 글자크기조절
메타가 지난해 공개한 오픈소스 LLM(대규모언어모델) '라마'의 최신 모델인 '라마3'를 19일 공개했다.

이날 메타 홈페이지에 공개된 내용에 따르면 라마3는 사전훈련과 미세조정을 마친 80억개와 700억개 매개변수 두 가지 모델이다. 현재 4000억개 매개변수 모델도 학습 중이다.


두 모델은 현재 동급의 오픈소스 모델 중 최고 성능을 자랑한다. '대규모 다중작업 언어 이해'(MMLU)를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았다. 추론과 코드 생성, 지시 수행에 있어 '라마2'보다 성능이 개선됐다.

라마3의 성능 향상은 모델의 사전훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련됐으며, 이는 라마2 대비 7배 이상 많다.

또 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터 세트가 사용됐다. 라마3 모델은 홈페이지에서 다운로드할 수 있다. AWS, 데이터브릭스, 구글 클라우드 등 다양한 플랫폼에서도 공개된다. 하드웨어 측면에서는 AMD, AWS, 델, 인텔, 엔비디아와 퀄컴이 파트너로 함께 한다.

머니투데이 주요뉴스

'-40% 급락'은 기회?…"5000억 더 사" 서학개미 위험한 베팅
네이버 메인에서 머니투데이 구독 다음 언론사 홈에서 머니투데이 구독

실시간 급상승

9.9

베스트클릭

MT리포트

더 늘어난 PF 부실, 더 급해진 부실정리(上) 경기침체 늪 빠지자 '부실' 눈덩이…PF 경공매사업장 2배 늘 듯

이슈패키지

PADO
PADO
'웰컴인!' 대한민국
'웰컴인!' 대한민국
카카오 김범수 구속
카카오 김범수 구속

오늘의 꿀팁

  • 뉴스 속 오늘
  • 더영상
  • 날씨는?
  • 헬스투데이

많이 본 뉴스

오피니언

풀민지

포토 / 영상

머니투데이 공식 SNS 채널