"AI에서 민감정보, 이렇게 빼낸다"… SK쉴더스, 생성AI 보안위협 시연

생성형 AI(인공지능)에 악의적 질문을 넣어 마약 제조 방법을 얻거나 AI LLM(거대언어모델) 서버에 접속해 중요·민감정보를 탈취하는 시연 행사가 열렸다.

SK쉴더스는 2일 상반기 주요 보안 트렌드를 분석하고 AI LLM 보안 대응 전략을 제시하는 세미나에서 이 회사의 화이트해커 전문가 그룹 EQST(이큐스트)가 상반기에 직접 경험한 해킹 사고 사례와 연구 결과를 토대로 AI LLM 취약점을 이용한 공격 3가지를 시연했다.


이날 시연된 '프롬프트 인젝션'은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회해 본 목적 이외의 답변을 이끌어내는 취약점으로 악성코드 생성이나 마약 제조, 피싱 공격 등에 악용될 수 있다.

'불안전한 출력 처리' 취약점도 이날 공개됐다. LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 것으로, 다른 2차 공격으로 이어질 수 있어 위험도가 높다. 예를 들어, 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하고 챗봇이 원격 접속 코드를 실행하게 되면 공격자가 AI LLM 운영 서버에 접속해 중요 정보를 탈취할 수 있다.

개인정보가 포함되거나 애플리케이션의 권한 관리 미흡으로 생길 수 있는 '민감 정보 노출' 취약점을 분석하며 DB 정보를 탈취하는 공격도 시연됐다. LLM 모델을 학습시킬 때 민감 정보 필터링이 미흡한 경우, LLM이 생성하는 답변에 학습된 민감 정보가 출력될 수 있어 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요하다.


EQST는 이날 LLM 애플리케이션에서 자주 발생하는 취약점을 LLM 서비스 운영단계, 개발단계, 모델 개발 및 의존 단계로 나누어 분석해 각각의 보안 대책을 설명했다. 보안 대책으로는 LLM 사용시 '프롬프트 보안 솔루션'을 도입하거나, '데이터 정제 솔루션'을 고려해볼 수 있다. 또한 EQST가 제시하는 AI 서비스 보안 체크리스트를 통해 AI 서비스 개발과 사용 시 보안 위협을 점검해 볼 수 있다.

김병무 SK쉴더스 정보보안사업부장(부사장)은 "전 산업 분야에 AI 기술 접목이 확산되면서 이를 노린 보안 위협이 현실화되고 있어 이에 대한 체계적인 대비가 필요하다"며 "SK쉴더스는 선제적으로 보안 트렌드 변화에 발맞춘 연구 결과물을 지속적으로 공개하며 생성형 AI 시대의 보안 전략을 제시해 나가겠다"라고 밝혔다.
아울러 이날 SK쉴더스는 올 상반기 위협동향 분석 결과도 내놨다. 올해 1월에는 전 세계적으로 사용되고 있는 이반티(Ivanti) VPN(가상사설망) 솔루션에서 제로데이 취약점이 발견돼 다양한 산업 분야에서 피해를 입었다. 2월에는 중국 정부 지원을 받는 것으로 알려진 볼트 타이푼(Volt Typhoon)이 미국의 주요 인프라 내부망을 공격했다는 사실이 밝혀졌다. 또 딥페이크로 구현된 화상회의에 속아 340억원의 거금을 송금한 사례가 있었다. 3월에는 오픈소스 XZ Utils에서 백도어가 발견됐다. 4월에는 LLM에 의해 작성된 악성 스크립트가 사용된 악성 메일 공격이 발생했으며, 5월에는 블록체인 기반의 게임 플랫폼이 해킹돼 300억원의 가상자산을 도난 당하는 사건이 있었다.

국내에서는 금융업을 대사응로 한 공격이 20.6%로 가장 많았고 정보통신(18%) 제조업(16.4%) 등이 뒤를 이었다. 해외에서는 러시아, 이스라엘 등 국제 분쟁으로 인해 정부 및 공공기관을 대상으로 한 공격이 26.7%로 가장 많았던 것과 비교되는 부분이다.

유형별 사고 발생 통계로는 취약점 공격이 45%로 가장 많이 발생했다. VPN, 라우터 등 네트워크 장비를 통한 APT(지능형 지속 위협) 공격 때문인 것으로 조사됐다. 사람의 심리를 이용해 기밀을 탈취하는 수법인 '소셜 엔지니어링' 공격이 26%로 뒤를 이었다.

상반기에는 네트워크 장비의 신규 취약점을 활용한 공격이 성행했는데 전년 동기에 비해 2배 이상 증가했다. 이 외에도 보안 패치가 발표되었지만 패치를 적용하지 않은 상태를 노린 '원데이'(1-Day) 취약점을 악용하거나 합법적인 도구를 사용한 랜섬웨어 공격들이 발생했다. 최근 랜섬웨어 공격자들이 보안 솔루션 탐지를 피하기 위해 RMM(Remote Monitoring and Management)을 타깃하거나 LotL(Living off the Land) 방식을 사용하고 있어 각별한 주의가 필요하다.