한국, AI 테스트 국제 '모범사례' 도전

생성형AI 레드팀 챌린지 포스터./사진제공=과기정통부

마이크로소프트(MS)가 2018년 자체적인 AI(인공지능) 레드팀(Red Team)을 출범시켰다. 기존 보안업계의 레드팀이 해킹을 시도해 드러난 취약점을 보완하는데 주력했다면, AI 레드팀은 생성형 AI가 만들어낸 결과물의 안전·신뢰성 담보를 목표로 일종의 '스트레스 테스트'를 진행한다.

오픈AI 역시 챗GPT 출시 전 50여명의 레드팀을 구성했으며, 구글·메타·앤트로픽 등 글로벌 빅테크는 물론 네이버·카카오·삼성전자 등 국내 주요 기업들도 자체 레드팀을 운영한다. 다만 국내 AI 산업의 질적 성장을 위해선 민간에서 AI 레드팀의 중요성을 인식하고, 자발적인 안전성 확보 노력이 뒤따라야 한다는 게 정책당국의 인식이다.


이에 과학기술정보통신부는 내달 11~12일 TTA(한국정보통신기술협회)와 함께 개최하는 '생성형 AI 레드팀 챌린지'를 계기로 "국내 AI 시장 현황과 기업 특성을 고려한 레드팀 테스트 절차·체계를 개발해 각 기업이 스스로 체계적인 생성형 AI 레드팀 테스트를 시행할 수 있도록 일종의 '모범사례'를 제시한다"는 방침을 28일 밝혔다.

앞서 미국 바이든 행정부는 지난해 10월 'AI 행정명령'에서 레드팀 테스트의 필요성과 함께 적절할 절차·프로세스를 포함하는 가이드라인 수립을 예고한 바 있다. 세부 내용은 아직 공개되지 않았지만, 이는 국내에서도 생성형AI 레드팀의 테스팅 절차·체계를 설계하는 과정에서 준용할 핵심 기준이 될 것이라는 게 정부의 판단이다.

이에 따라 과기정통부는 미국 AI 행정명령 시행을 주도할 국립표준기술연구소(NIST)를 비롯한 글로벌 연구기관의 협력을 강화하고, 글로벌 기준을 준수하면서도 국내 AI 산업의 실정에 적합한 자체적인 지침을 마련할 계획이다. 그 일환으로 올해 첫 행사 AI 레드팀 챌린지 행사를 정례화하고, 공격 기법 및 특정 분야에 특화한 챌린지를 별도로 마련하는 방안도 검토하고 있다.

이와 함께 오는 5월 우리나라가 영국과 함께 개최하는 'AI 정상회의'를 계기로 AI 안전성과 혁신에 대한 글로벌 논의를 주도한다. 장기적으로는 한국이 선도한 'AI 레드 테스트 절차·체계를 표준화 하는 방안도 추진한다. 과기정통부는 "기업들과 함께 안전하고 신뢰할 수 있는 AI 혁신생태계를 지속 구축해 나가면서, AI 정상회의를 계기로 글로벌 리더십을 확보해 나가겠다"고 말했다.