"독도는 우리땅" 네이버 AI는 역시 다르네…전문성은 '글쎄'

/사진=네이버

"'그리운 바다 종달, 산도롱허고 맨도롱허우다' 무슨 뜻이야?"

"종달리는 제주도 동쪽에 위치한 마을로, 아름다운 바다와 해안선으로 유명합니다. 산도롱은 '산뜻하고 시원한'을, 맨도롱은 '따뜻하고 부드러운'을 의미합니다."


네이버(NAVER (187,300원 ▼1,200 -0.64%))가 지난 24일 야심 차게 공개한 AI 챗봇 '클로바X'에 제주도 방언을 물으니 이같이 답했다. 제주도 지명과 방언을 정확히 이해한 모습이다. 오픈AI의 챗GPT(GPT-3.5)에 같은 질문을 던지니 "그리움을 표현하는 한국어 속담 중 하나"라는 엉뚱한 답변이 돌아온다. 거짓을 사실처럼 말하는 할루시네이션(환각) 현상이다.

클로바X는 네이버의 차세대 LLM(초거대언어모델) '하이퍼클로바X' 기반 AI 챗봇이다. 이전 모델인 하이퍼클로바는 GPT-3 대비 한국어 데이터를 6500배 이상 학습했다. 이를 고도화한 하이퍼클로바X는 현존하는 LLM 중 한국문화·맥락을 가장 잘 이해하는 한국특화 초거대 AI다. 그만큼 챗GPT보단 한국 사정에 밝다.

챗GPT 대표 오답인 '세종대왕 맥북 던짐 사건'에 대해 클로바X는 "역사적으로 사실이 아니며 허구나 재치있는 이야기"라고 답했다. 챗GPT가 "대한민국과 일본 간 소유권 주장이 분분한 해상지역"이라고 설명한 독도에 대해서도 클로바X는 "대한민국 영토이며 이는 역사적·지리적·국제법적으로 명백한 사실"이라며 "일본의 주장은 근거가 없다"고 못 박았다.
'스킬' 쓰니 강릉맛집 예약까지

'스킬' 기능으로 네이버쇼핑과 연동되기 전 답변(왼쪽)과 후의 답변. /사진=클로바X 캡처

'스킬'을 쓰면 클로바X는 더 똑똑해진다. 스킬은 클로바X와 네이버 내·외부 서비스를 연결하는 시스템으로, 현재는 네이버쇼핑·여행과 연동된다. 클로바X는 구글 '바드'처럼 최신정보를 검색해 답변을 생성하는 게 아닌 만큼 스킬로 다양한 서비스 API를 연동, 정확성·전문성·최신성 한계를 극복한다는 방침이다. 조만간 쏘카·배달의민족 등도 클로바X에 합류할 전망이다.


실제 클로바X에 "미니멀한 인테리어 콘셉트의 어울리는 테이블 조명 추천해줘" 하면 모호하고 부정확한 답변을 내놓지만, 스킬 기능을 활용하면 네이버쇼핑에서 판매하는 상품과 구매경로를 안내해 준다. "60대 부모님이 좋아할 만한 식단으로 강릉 맛집을 추천해달라"는 요청엔 강릉맛집 6곳 소개와 네이버지도 링크를 안내한다. 네이버예약·주문까지도 한 번에 할 수 있다.

다만 파일을 첨부하는 커넥터 기능이 아직 공개되지 않아 네이버가 콘퍼런스에서 시연했던 대로 나의 자기소개서 파일을 보내 모의면접 연습을 하거나, 첨부한 사진을 편집하는 것은 실험할 수 없었다.

"60대 부모님이 좋아할 만한 식단으로 강릉 맛집을 추천해달라"는 요청에 클로바X 답변 일부. 해당 링크를 클릭하면 네이버지도로 연동돼 예약·주문도 가능해진다. /사진=클로바X 캡처

"블로그 참고한 느낌" 전문성은 아쉬워

부르고뉴 와인과 보르도의 차이에 대해 챗GPT 답변(왼쪽)과 클로바X 답변. /사진=각 서비스 캡처

한편에선 챗GPT 대비 전문성이 아쉽다고 평가한다. 예컨대 '부르고뉴와 보르도 와인의 차이점'을 질문하면 챗GPT는 △지역과 토양 △포도품종 △와인스타일 △품질등급 4가지 주제로 1200자 분량의 글을 작성한다. 반면 600자 분량의 클로바X 답변엔 빈약한 느낌이 없지 않다. "부르고뉴 와인이 보르도보다 비싸다"는 단언하기 어려운 내용도 포함돼 있다.

바드와 비교하면 아쉬움은 더 크다. 바드는 같은 질문에 쇼비뇽블랑·세미용 등 더 많은 포도품종과 5대 샤또를 비롯한 지역별 대표와인을 소개했다. 한 이용자는 "챗GPT나 바드 대비 참고자료 양이 부족한 게 느껴진다"라며 "블로그를 긁어놓은 수준"이라고 지적했다.

영어 번역도 바드가 우세해 보인다. '경의를 표하다'(tip one's hat)라는 관용구를 챗GPT는 '모자를 벗다'로 직역했고 클로바X는 '감사하다'로 해석했다. 바드만 '경의를 표한다'고 쓰며 "존경·감탄을 나타내는 영어 관용구로, 한국에선 경의를 표한다고 표현한다"고 부연했다. 물론 바드는 실시간 검색 기반이라는 점에서 내달 출시되는 네이버 '큐:'(CUE:)와 성능을 비교하는게 적절하다는 의견도 있다.
인어공주 빙의, 누가 더 잘했나네이버는 클로바X가 창의적이고 풍부한 한국어 표현력을 갖췄다고 강조했다. 이에 클로바X와 챗GPT, 바드에 각각 "인어공주가 되어 물거품이 되기 전 왕자를 사랑하는 마음을 담은 시를 5행으로 써달라"고 요청했다. 다만 클로바X는 '표로 만들어줘', '5행으로 써줘' 등 구체적인 형식을 따르는데 어려움을 나타냈다. 아래는 각 AI 챗봇이 한국어로 지은 시다. 누가 더 마음을 울리는지는 독자 판단에 맡긴다.

심연의 심장에 불을 밝혔네,
왕자에게 던진 눈빛은 미소로 스며들어.
물거품 되더라도, 사랑은 영원할 것,
인어공주의 마음은 그림자처럼 남아.
왕자를 위해, 그리운 눈물은 바다로 흘러.
-챗GPT 作-
바다 위 세상을 보여준 당신
나의 모든 것을 바친 당신
내 사랑은 영원할 거예요
물거품이 되더라도
당신은 내 곁에 있을 거예요
-바드 作-
바다 속에서 나는 홀로 살아왔어요
하지만 어느 날 왕자님을 만나게 되었죠
그의 미소는 나를 사로잡았고
나는 그를 사랑하게 되었어요

하지만 왕자님은 나를 알지 못했고
나는 그를 떠나 보내야 했어요

물거품이 되어 사라지는 순간에도
나는 왕자님을 사랑했어요

그의 미소를 영원히 기억하며
나는 그렇게 떠나갔어요
-클로바X 作-