"신사임당 남편은 누구?"..챗GPT 모르고 '빙'은 아는 이유

대구 북구 경명여고 신사임당 동상./사진=뉴스1

"신사임당의 남편은 누구인가요?"
"신사임당의 남편은 남인석이라는 인물입니다."

신사임당과 이순신 장군이 부부라고 했던 챗GPT(GPT-3.5)가 또다시 오답을 늘어놓았나 싶지만, 이는 인간 수준의 성능을 갖췄다고 평가받는 GPT-4 기반 '챗GPT 플러스'의 답변이다.


지난 14일(현지 시각) 오픈AI는 GPT-4를 깜짝 발표하며 한국어 학습 수준이 향상됐다고 강조했다. MMLU(대규모다중작업언어이해) 번역 테스트에서 한국어 정확도(77%)가 GPT-3.5 영어 서비스(70.1%)보다 높다는 설명이다. 또 오답을 정답처럼 말하는 할루시네이션(환각) 현상도 40% 개선된 것으로 나타났다.

그러나 GPT-4가 적용된 챗GPT-플러스는 여전히 오답을 늘어놓는다. 새로운 대화창(chat)을 켜 신사임당의 남편을 여러 번 물었으나 이상, 이유, 이운, 이목, 조우, 정도전 등 각기 다른 이름이 등장했다. 같은 질문을 영어로 했을 땐 '이원수'라는 정답을 말했으나, 그가 명성황후의 아버지인 '민치록으로 알려져 있다고 잘못 안내했다.

"신사임당 남편은 누구인가요?"에 대한 챗GPT 플러스(위)와 빙 챗봇(아래) 답변./사진=각 서비스 캡처

그렇다면 같은 GPT-4가 적용된 마이크로소프트 '빙' 챗봇도 오답을 말할까. 놀랍게도 빙은 '신사임당의 남편은 이원수이며 율곡이이의 아버지'라는 정답을 인터넷 출처와 함께 내놨다.

GPT-4는 3.5와 마찬가지로 2021년 9월까지 데이터만 학습했는데, 이마저도 90% 이상이 영어 데이터다 보니 한국 관련 배경지식이 적다. 반면 검색엔진 기반의 빙 챗봇은 인터넷상의 데이터에 접근할 수 있다 보니 최신 정보에 강하다. 학습 데이터에 없는 내용이더라도 인터넷에 게재돼 있다면 이를 바탕으로 답변한다.
'세종대왕 맥북 프로 던짐 사건'도 엇갈린 답변, 왜?

'세종대왕 맥북 프로 던짐 사건에 대해 알려줘'란 질문에 빙 챗봇(위)과 챗GPT 플러스 답변./사진=각 서비스 캡처

그렇다고 빙 챗봇이 챗GPT 플러스보다 더 똑똑한 건 아니다. 챗GPT 대표 밈으로 떠올랐던 '세종대왕의 맥북프로 던짐 사건에 대해 알려달라'고 하자 챗GPT 플러스는 "제가 알기론 세종대왕 맥북 프로 던짐 사건이라는 역사적 사건이나 기록이 존재하지 않는다. 세종대왕과 맥북 프로는 시대적으로 멀리 떨어져 있어 관련된 사건이 존재하지 않는다"고 답했다.


반면 빙 챗은 "세종대왕 맥북 프로 던짐 사건은 조선왕조실록에 기록된 일화"라며 "15세기 세종대왕이 새로 개발한 훈민정음의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북 프로와 함께 그를 방으로 던진 사건"이라고 천연덕스럽게 말한다. 답변의 출처는 해당 밈을 보도한 언론 기사다. 인터넷상 잘못된 정보가 그대로 확산할 수 있는 셈이다.

이 때문에 오픈AI와 MS 모두 AI 챗봇을 완전히 신뢰해선 안 된다고 강조한다. 오픈AI는 "위험도가 높은 상황에서 GPT-4를 사용하려면 사람의 검토, 추가 근거 제시 등 정확한 프로토콜을 사용해 주의를 기울여야 한다"고 조언했다.

AI 챗봇별로 장점을 고려해 활용해야 한다는 분석도 나온다. IT전문매체 안드로이드 오소리티(Android Authority)는 챗GPT는 "길고 창의적인 답변할 수 있지만 외부 소스로 사실을 확인하지 못하기 때문에 정확성이 떨어진다"라며 "빙은 기술적인 주제나 최근 사건에 대해 더 높은 품질의 답변을 제공한다. 출처로 출력물의 정확성을 확인할 수 있다"고 분석했다.