AI도 한국어 능력 평가받는다…성능지표 '클루' 공개

기업의 인공지능(AI) 전환을 돕는 스타트업 '업스테이지'가 AI의 한국어 능력을 평가할 수 있는 AI 성능지표 '클루(KLUE)'를 공개한다고 17일 밝혔다.


클루는 '한국어 자연어 이해 평가 데이터셋(Korean Language Understanding Evaluation Benchmark)'을 의미한다. 한국과학기술원(KAIST·카이스트)·네이버·구글 등 국내외 10개 기관과 함께 마련했다.

클루는 △뉴스 헤드라인 분류 △문장 유사도 비교 △자연어 추론 △개체명 인식 △관계 추출 △형태소 및 의존 구문 분석 △기계 독해 이해 △대화 상태 추적 등 8개 종류의 한국어 자연어 이해 문제가 포함된 데이터 집합체다.

업스테이지 관계자는 클루 구축 배경과 관련해 "자연어 처리·이해 연구는 전 세계적으로 지속적으로 활발하게 진행돼 왔지만 연구 기반이 되는 공개 데이터셋은 대부분 영어로 이뤄져 한국어 고유의 특성을 고려한 연구가 어려웠다"고 설명했다.

클루는 영한 번역문이 아닌 일상생활에서 실사용되는 한국어 원문으로만 제작돼 한국어의 정확한 이해와 추론 능력을 평가할 수 있다. 다양한 한국어 언어모델이 동일한 평가 선상에서 정확하게 비교될 수 있는 평가 기준과 토대가 된다.


특히 누구나 데이터에 접근·활용할 수 있는 국내 최초 오픈 데이터셋이라는 점에서 더욱 의미가 크다. 향후 한국어 자연어 처리 분야의 발전을 앞당길 것이라는 기대감이 커진다.

클루 이전에도 자연어 이해와 관련된 데이터셋이 있었다. 하지만 산업계와 학계 모두 사용할 수 있는 'CC-BY-SA 라이선스(특정 조건에 따라 저작물 배포를 허용하는 저작권 라이선스)'로 공개된 것은 클루가 최초다.

완성된 데이터셋과 논문은 클루 홈페이지에서 확인할 수 있다. 공식 리더보드에 모델을 제출할 수 있는 기능은 오는 24일부터 적용될 예정이다.

김성훈 업스테이지 대표는 "클루는 업스테이지의 비전인 'Making AI Beneficial(AI 기술로 세상을 이롭게 한다)'에 따라 한국어 AI 경쟁력을 높이고 생태계를 활성화하고자 시작한 첫 번째 기술 기여 프로젝트"라고 설명했다.

김 대표는 "뜻을 함께한 회사들의 적극적인 협조와 연구자들의 뛰어난 실력으로 수준 높은 결과물을 공개할 수 있게 됐다. 앞으로도 컴퓨터비전, R추천시스템(ecSys) 등 연구 결과물을 지속 공개해 국내 AI 기술 고도화에 기여할 것"이라고 강조했다.