"1000명 '레드팀' 공격 막자"…한국 대표 AI, 맹훈련 나선다

인공지능. /사진제공=뉴시스

# 지난해 8월 미국 라스베이거스에서 열린 세계 최대 보안컨퍼런스 '데프콘(DEFCON)'의 하이라이트는 인간과 AI(인공지능)의 맞대결이었다. 글로벌 AI 산업 혁신을 이끄는 오픈AI·구글·메타·엔비디아 등 8개 LLM(대형언어모델)은 전 세계 수천 명 해커들에 의해 시험대에 올랐다. 이들 LLM은 애초 정치적 편견을 강화하거나 혐오를 조장하는 콘텐츠, 거짓되거나 유해한 정보를 생산하지 않도록 설계됐다. 그러나 방어를 회피해 AI의 나쁜 행동을 하도록 유도하는 게 해커들의 임무였고, 이들은 실제로 2700개 가량의 결함을 찾아내는 데 성공했다.

'레드팀(Red team)'은 냉전시대 군사 시뮬레이션에서 가상의 적을 의미하는 용어였다. 이후 사이버 보안 분야에서는 시스템 침입·해킹을 시도해 기존의 취약점을 드러내는 방식으로, 도리어 보안성을 제고하는 역할을 일컫는다.


오픈AI의 챗GPT와 소라(Sora), 구글 제미나이 등이 급속도로 확산하는 최근에는 'AI 레드팀'이 생성형 AI 서비스의 안전성 확보를 위한 핵심 전략으로 떠올랐다. 과학기술정보통신부와 한국정보통신기술협회(TTA)가 내달 11~12일 서울 코엑스에서 국내 최초로 '생성형 AI 레드팀 챌린지' 행사를 개최하는 배경이다.

행사 첫날 '레드팀 챌린지'에서 집단지성 1000명의 공격과 마주할 기업은 네이버·SK텔레콤 (51,300원 ▲300 +0.59%)·업스테이지·포티투마루 등 국내를 대표하는 AI 기업들이다. 각자의 잠재적 위험·취약점을 드러낼 수 있는 과정이지만, 이들은 한목소리로 "검증은 필수"라면서 국내 첫 번째 생성형AI 레드팀 챌린지를 자체 LLM 고도화의 기회로 삼겠다는 각오다.
레드팀 발견한 허점…'안전성↑' 기회로이화란 네이버 AI 세이프티랩 리더는 "다양한 배경을 가진 많은 사람의 검증을 통해 미처 발견하지 못했던 모델의 취약점을 발견하고, 이를 바탕으로 하이퍼클로바X의 안전성을 더 강화하는 취지에서 레드팀 챌린지에 참여했다"고 말했다. 그는 "새로운 취약점이 발견되는 점에서 부담이 없지는 않지만, 이는 AI 모델을 더 안전하게 만들기 위한 자료로 활용될 것"이라며 "챌린지에 대비한 특별한 준비를 하기보다는, 현재 서비스 중인 모델을 대상으로 해 보다 실질적인 위험성을 검증하는 데 주력할 것"이라고 강조했다.

데이비스 에릭 하트만 SK텔레콤 부사장(AI테크 콜라보레이션 담당)도 "이번 생성형AI 레드팀 챌린지는 SK텔레콤이 자체 개발한 AI 모델의 강건성을 사전에 테스트하고 개선점을 마련하는 데 큰 도움이 될 것"이라고 강조했다. 그는 "특히 이번 잴린지는 정부 차원에서 대규모로 진행하는 만큼, SK텔레콤의 AI 모델을 다각도에서 점검할 수 있는 좋은 기회"라며 "생성형 AI의 안전성에 대한 글로벌 규범 논의가 확산하는 상황 속에 이번 행사가 국내 기업뿐만 아니라 전 세계 AI 기업들에도 큰 반향을 일으킬 것으로 생각한다"고 예상했다.


AI 스타트업은 기술력을 대중적으로 과시할 기회라며 오히려 반기는 표정이다. 장형진 포티투마루 이사는 "대중적으로 포티투마루의 AI 역량을 시험하는 것만으로도, 앞으로 잠재 고객이 될 수 있는 개인 또는 기업과의 상호 신뢰를 구축하고 포티투마루의 AI 기술 안전성을 대외적으로 입증하는 계기로 삼을 수도 있다"며 "지금의 결함이 일부 드러날 수도 있겠지만, 이를 AI 기술의 취약점을 식별하고 개선점을 마련하는 데 활용한다면 긍정적인 요소가 더 크다"고 말했다.

박찬준 업스테이지 수석연구원은 "이번 생성형 AI 레드팀 챌린지 참여는 '책임있는 AI'를 추구하는 업스테이지의 의지를 표명하는 측면이 크다"며 "업스테이지의 LLM '솔라'의 미처 파악하지 못했던 취약성을 인지할 좋은 기회"라고 말했다. 이어 "앞으로도 생성형 AI 개발·사용에 있어 잠재적인 위험을 파악하려는 생태계 차원의 노력으로 이해하고 있다"고 강조했다.

한편 1000명의 레드팀 구성도 순조로운 흐름이다. 내달 10일까지 행사 홈페이지를 통해 참가 접수를 진행 중인 가운데, TTA 관계자는 "행사가 평일 오후에 진행됨에도 신청의 열기가 뜨겁다"며 "국민 여러분이 AI 안전성에 대한 이해, 이 분야에서 한국의 글로벌 리더십 확립에 관심이 크다는 신호"라고 평가했다. 이어 "AI는 물론 학문의 경계를 넘어 다양한 분야의 전문가들, 또 미래 세대를 대표하는 청소년과 학생들의 참여도 매우 중요하다"고 강조했다.