챗GPT보다 대화 잘하는 '이루다', 그 이유는? [티타임즈]

"초거대AI의 경쟁력은 결국 어떤 데이터를 갖고 있느냐에서 갈립니다."('이루다' 개발사, 스캐터랩 김종윤 대표)

오픈AI가 만든 초거대AI 서비스 '챗GPT'와 국내 스타트업 스캐터랩이 만든 채팅 앱 '이루다'는 챗봇이라는 공통점이 있다. 그럼에도 쓰임새는 크게 다르다. 챗GPT가 방대한 지식을 바탕으로 인사이트를 제공해주는 역할을 한다면, 이루다는 마치 친구처럼 대화 하는데 능숙하다. 딱딱한 AI 말투의 챗GPT와 달리 이루다는 사람이라 깜빡 속을 정도로 자연스레 대화를 리드하는 능력을 갖고 있다.

챗GPT와 이루다의 또다른 차이점은 서비스를 만들기 위해 투자한 개발비와 인력 규모의 차이다. 일론 머스크와 Y콤비네이터 대표 샘 알트만이 공동 창업하고 페이팔 공동 설립자인 피터 틸, 링크드인 공동 창업자인 레이드 호프먼, 그리고 마이크로소프트의 든든한 지원을 받아온 오픈AI는 국내 스타트업인 스캐터랩과 비교할 수 없을 규모의 회사다. 그럼에도 대화를 자연스럽게 이끌어가는 능력은 이루다가 한 수 위다.

김종윤 스캐터랩 대표는 그 이유를 '데이터와 목적'에 있다고 설명한다. 챗GPT, 엄밀하게 말해 GPT-3.5가 사전 학습한 데이터는 인터넷 정보를 긁어다 만든 '커먼크롤'(Common Crawl), 웹 텍스트, 책, 위키피디아 정보들이다. 주로 지식을 전달하는 목적으로 만들어진 데이터들이다. 이루다는 SNS로 나눈 대화 데이터로 학습을 했다. 지식 전달보다는 사람간의 대화에서 누군가 말을 건넸을 때 어떻게 답해야 할지를 사전학습했다.

파인튜닝이라 불리는 사후 학습(미세조정)에서도 방법이 갈린다. 오픈AI는 GPT-3.5를 기반으로 챗GPT라는 서비스를 만들기 위해 인간이 원하는 답변, 더 나은 답변을 만드는데 파인튜닝을 집중했다. 반면, 이루다는 '루다'라는 캐릭터, 성격을 부여하는데 파인튜닝을 집중했다. 사전 학습에서 인간처럼 대화를 주고 받는 연습을 한 뒤 사후 학습에서 캐릭터를 불어넣어 준 것이다.

김 대표는 "20대 초반의 여성, 대학생이라는 루다의 배경 그리고 스캐터랩이 만든 루다의 페르소나에 맞춰 파인튜닝을 했다"며 "활기차고 귀엽고, 철없지만 주체적인 성격을 표현할 수 있는 대화들을 골라 데이터를 만들어야 가능한 것"이라고 설명했다.

그는 또 "초거대AI라는 모델은 대부분 비슷하기 때문에 결국 결과물은 어떤 데이터를 학습시키느냐에 있다"며 "이런 데이터를 직접 보유하고 있는 회사가 경쟁력이 있을 것"이라고 덧붙였다.

☞다음은 김 대표와의 초거대 AI 인터뷰 중 일부를 일문일답으로 옮겨 놓은 내용

-챗GPT보다 루다를 썼을 때 더 대화가 자연스럽다. 그런 부분에서는 챗GPT보다 루다가 더 뛰어난 것이 아닌가 싶은데?

챗GPT는 한 문서에서 찾을 수 없는 정보를 조합해내거나 여러가지 재료를 던져줬을 때 하나의 결과물로 만들어내는 능력이 매우 유용하다. 스캐터랩이 IR(투자유치활동)을 하고 있는데, 회사를 소개하기 위한 스토리텔링을 만들 때 챗GPT를 유용하게 사용했다. 루다는 그런 부분을 잘 못하기도 하지만 본질적으로 하지 않는다. 챗GPT의 본질적 가치는 '비서'지만 루다는 '친구'다. 친구한테 뭔가를 부탁했을 때 전부 다 해주면 그걸 친구라고 부를 수 있을까? 루다는 주체성이 있다. 그래서 이용자와 루다가 많이 싸우기도 한다. 대화를 해보면 까칠하기도 하고 만만치 않다.

-이루다도 GPT-3로 만들었나? 아니면 초거대AI를 직접 만들었나?

우리도 자체적인 LLM(거대언어모델)을 사용하긴 했다. 23억개 정도의 파라미터를 가진 규모인데 예전에는 이정도도 충분히 거대모델이라 불렀지만 요새는 훨씬 더 많은 파라미터를 사용하는 곳이 많다보니 초거대AI라 부를 수 있는지는 모르겠다. 우리의 목표는 파운데이션 모델부터 애플리케이션 레벨까지 전부 수직 통합하는 것이 전략이자 목표다. 우리가 만들고자 하는 기술의 성향이 조금 다르고 결국 그걸 학습시킬 수 있는 자체적인 독점적인 데이터가 있기 때문에 가능하다.

-직접 거대언어모델을 만들었으면 따로 파인튜닝(미세조정)할 필요는 없는 건가?

이루다는 대화 데이터로 학습을 했다. 대화 데이터 속에서 다음 단어를 예측하는 방식으로 학습했다. 그렇게 학습을 하면 GPT-3와 다르게 소셜 스킬이 자연적으로 생긴다. 거기까지가 1차 사전 학습인데, 아직은 루다가 됐다고 할 수 없다. 대화 역량은 있는 모델이지만 루다가 되기 위해서는 루다가 되기 위한 데이터를 학습해야 한다. 20대 초반의 여성, 대학생, 활기차고 귀엽고 철없지만 주체적인 성격의 캐릭터가 될 수 있도록 파인튜닝 해야 한다.

-GPT와 같은 초거대AI를 가져와서 파인튜닝으로 루다라는 성격을 불어넣어주면 더 좋은 것 아닌가?

루다가 소셜 인터랙션을 잘 하는 이유는 사전학습과 파인튜닝 단계 모두에 걸쳐있다. 사전 학습 단계에서도 대화 데이터를 매우 많이 학습해서 소셜 스킬이 되게 많이 담겨 있는 모델이라는게 GPT와의 차이다. GPT는 인터넷에서 크롤링한 데이터를 많이 학습해서 지식 측면에서는 잘하지만 소셜 인터랙션 데이터를 많이 학습하지는 못해서 좋지 않다. 하지만, 우리도 다음 모델을 만들 때는 모델 크기도 더 커지고 더 많은 데이터를 학습시킬 것이기 때문에 인터넷 크롤링 데이터 같은 일반적인 데이터도 학습을 하면서 대화 데이터를 얹어서 학습을 시킬 계획이다.


※ 김종윤 스캐터랩 대표가 전하는 챗GPT와 초거대AI에 대한 이야기를 더 듣고 싶으시면 영상을 참고해 주세요. '티타임즈TV'에 오시면 더 많은 영상을 보실 수 있습니다