AI도 한국어 능력 평가 받는다…'클루 리더보드' 공개

기업의 인공지능(AI) 전환을 돕는 스타트업 업스테이지가 한국어 AI 모델을 평가받을 수 있는 성능지표 '클루(KLUE) 리더보드'를 공식 오픈한다고 2일 밝혔다.

클루는 업스테이지가 한국어 자연어 처리 관련 산학계의 전문가들과 함께 7개월에 걸쳐 개발한 최초의 '한국어 자연어 이해 평가 데이터셋(Korean Language Understanding Evaluation Benchmark)'이다.


구체적으로 △뉴스 헤드라인 분류 △문장 유사도 비교 △자연어 추론 △개체명 인식 △관계 추출 △형태소 및 의존 구문 분석 △기계 독해 이해 △대화 상태 추적 등 8개 종류의 한국어 자연어 이해 문제가 포함된 데이터 집합체다.

그동안 자연어 처리·이해 연구는 전 세계적으로 활발하게 진행돼 왔지만, 연구 기반이 되는 공개 데이터셋은 대부분 영어로 이뤄져 있어 한국어 고유의 특성을 고려한 연구가 어려웠다.

클루는 영한 번역문이 아닌 일상생활에서 실사용되는 한국어 원문으로만 제작돼 한국어의 정확한 이해와 추론 능력을 평가할 수 있다.


특히 누구나 데이터에 접근·활용할 수 있는 국내 최초의 오픈 데이터셋이라는 점에서 의미가 크다. 앞으로 한국어 자연어 처리 분야의 발전을 앞당길 것이라는 기대감이 커진다.

AI 모델 평가를 받고자 할 경우 클루 프로젝트 홈페이지에 접속해 데이터셋을 다운받고 테스트하고 싶은 AI 모델을 학습시킨 후 리더보드에 제출하면 된다. 모델의 성능 수준을 종합적인 점수로 평가받을 수 있다.

업스테이지는 2~3일 이틀간 연세대 언어정보연구원과 함께 '인공지능 성능평가-KLUE 벤치마크 데이터의 이해와 활용'을 주제로 아카데미를 개최한다.

클루 제작 과정에 참여한 박성준·문지형 AI 리서치 엔지니어, 한지윤 데이터 매니저가 클루 데이터셋의 특성과 제작 과정을 소개하고 리더보드의 활용법에 대해 알려준다. 이번 아카데미 강연은 업스테이지 유튜브 채널에서 볼 수 있다.

김성훈 업스테이지 대표는 "클루 리더보드 오픈으로 다양한 한국어 AI 모델의 평가·연구를 위한 활발한 교류의 장이 펼쳐지길 기대한다"며 "앞으로도 한국어 AI 연구 생태계를 넓히고 국내 AI 산업 발전에 보탬이 되기 위해 힘쓰겠다"고 했다.