얼굴도 목소리도 분명 내 친구인데…'사람' 더 쉽게 속이는 'AI'

"AI의 취약점은 결국 '사람'...AI 위협은 AI로 막아야" 국내 대표 보안업계 리더들과 대담... "AI 위협 대응은 기업이 잘해, 정부가 시장형성 지원해야"

왼쪽부터 조규곤 파수 대표, 최일훈 소만사 사장, 윤두식 지란지교시큐리티 대표가 머니투데이 회의실에서 AI리터러시 대담에 참가하고 있다. /사진=김휘선 기자 hwijpg@

생성형 AI(인공지능)가 빠르게 우리 사회에 확산되는 그 위험성을 지적하는 목소리도 크다. 당장 사이버 보안분야가 대표적인데 이미 가족이나 지인의 목소리는 물론 심지어 얼굴까지 복제하는 딥페이크를 통해 보이스피싱 등 범죄에 악용하는 사례가 보고되고 있다. 아울러 강력한 코딩생성 기술로 해킹 프로그램을 양산하거나 사람의 심리를 이용하는 소셜엔지니어링 등에 까지 AI가 접목되면서 사이버 침해사고가 폭증할 것이라는 우려가 나온다. 생성AI의 등장으로 해킹기법이 새로운 차원으로 진화하고 판도라의 상자가 열렸다는 평가까지 나온다.


이에대해 보안 전문가들은 AI의 고도화로 우리 사회가 그간 접하지 못한 혼란을 겪는 것은 불가피한 일이라고 말한다. 다만 그렇다 하더라도 정부가 AI에대한 규제 일변도의 접근법을 취하는 것은 바람직하지 못하다고 입을 모은다. AI기술 및 관련 서비스 개발은 풀어주되 AI의 부작용 저감이라는 두 가지 목표를 동시에 추구해 나갈 수밖에 없다는 지적이다. AI의 본질과 한계를 이해하고 AI를 통한 해킹기법에대한 대응기술을 충분히 연구해 대응해야한다는 것이다.

머니투데이는 조규곤 파수 (6,390원 ▼20 -0.31%) 대표, 윤두식 지란지교시큐리티 (3,855원 ▲230 +6.34%) 대표(한국정보보호산업협회 부회장), 최일훈 소만사 사장 등 국내 보안업계 리더들을 만나 AI가 초래할 수 있는 사이버 보안상 위협 요인을 점검하고 AI와 공존을 위한 방안을 모색해봤다.


■ 취약요소는 '사람'…"시스템보다 사람 속이기 더 쉽다"

조규곤 파수 대표 /사진=김휘선 기자 hwijpg@

- 생성형 AI에 대한 기대만큼 공포도 커지고 있다. 생성형 AI로 인한 위험요인은 뭔가.
▶조규곤 대표(이하 조 대표) : 해커들의 손에 AI가 들어가면 나쁜 의도를 가지고 진짜 악성코드를 만들 수 있다. 해커들이 이용자들의 크레덴셜(신원)을 해킹해서 활용할 수 있다는 우려도 크다. 무엇보다도 생성형 AI엔진에 이용자들이 무분별하게 회사 기밀들을 입력할 때 다른 이용자들에게 해당 기밀내용들이 답변으로 제시될 수 있다는 점도 문제로 부각된다.

▶윤두식 대표(이하 윤 대표) : 공격자는 수신자용·송신자용 연락처를 다 가지고 중간에서 양쪽을 속여서 피해를 입힌다. 피싱메일이나 딥보이스, 딥페이크 등 AI를 이용한 사기도 훨씬 고도화될 수 있다. 심지어 국내 대기업들도 피싱메일에 당했다. 생성AI는 속이기 쉬운 형태의 피싱메일을 훨씬 더 잘 생성할 수 있다. 3초의 음성파일만 있으면 목소리의 톤과 스타일을 그대로 복제해 다른 사람인 것처럼 흉내낼 수 있다. 공격이 훨씬 정교해지는 셈이다.

- 국내외 주요 기업들이 챗GPT 등의 AI 사용을 막는 경우도 있다.
▶최일훈 사장(이하 최 사장) : 이용자들이 챗GPT에 프롬프트(명령어) 형태로 넣은 내용을 다시 다른 이용자들에게 답변 형태로 제공하는게 가장 두려운 점이다. 이 때문에 기관·기업 등이 비밀정보 유출을 우려해 생성형 AI 사용을 금지한 것이다. 또 AI 사업자의 의도를 순수하게만 볼 수 있을지에 대해서도 우려가 있다. 예컨대 마이크로소프트(MS)나 구글 등 AI엔진을 개발·운용하는 기업들이 삼성전자 임직원의 질문들만 따로 모아서 모니터링할 가능성도 있다.

▶윤 대표 : 기업의 사무실·공장에서 직원들이 챗GPT 등에 접속을 막는 것으로 충분하지 않다. 퇴근 후 집에서, 이동 중에 생성형 AI를 쓰는 것은 막기가 불가능하다. 더욱이 챗GPT를 활용한 플러그인 프로그램만 해도 엄청 많다. 그 중 해커가 악성 플러그인 프로그램을 심어두는 데 성공할 경우 어떤 기업의 직원이 이 플러그인을 설치하는 것만으로 개인과 기업의 정보까지도 한꺼번에 털릴 수 있다.

- 사람이 가장 취약하다는 얘기인가.
▶조 대표 : 요즘 공격의 패턴은 다 피싱메일로 시작한다. 사람을 속여서 일단 뭔가를 끄집어낸 후 거기서부터 공격을 하는 것이다. 그간 일상적으로 주고받는 업무용 메일은 보안의 대상이 아니라고 여겨져 왔지만 이 메일이 해커의 손에 들어가면 그럴싸한, 속을 수밖에 없는 피싱메일이 만들어질 수 있게 된다. 기업들도 다른 수준의 보안장치를 마련해야 한다.

▶최 사장 : 국민 인식제고가 필요하다. 과거에는 전화로 걸려 오는 피싱전화에 많이 당했다. 하지만 이제는 이런 피싱유형 등에 대한 경각심이 높아지며 피해사례가 많이 줄었다. 아예 아는 전화번호만 받는 사람도 있다. 생성형 AI 시대에서도 이같은 적응과정이 있을 것이다.

▶윤 대표 : AI 시대에서도 시스템 공격이 많이 발생하겠지만 사람의 헛점을 노리는 사회공학(소셜엔지니어링)을 활용한 공격 사례가 훨씬 많아질 것이다.

윤두식 지란지교시큐리티 대표 /사진=김휘선 기자 hwijpg@

- 북한·중국 등 국가배후 해커조직의 공격도 AI로 더 고도화될 수 있겠다.
▶조 대표 : 해킹만큼 비용 효율적인 공격수단이 없기 때문이다. 공격의 흔적도 남지 않는 데다 피해자도 공격을 받았는지 자체를 모르는 경우도 많다. 발각이 되더라도 공격자가 우길 수도 있다. 거의 전력을 다해서 (북한·중국 등 해커들이) 해킹을 하고 있다고 봐야 한다. 해킹이라고까지 하기는 뭣하지만 생성형 AI를 써서 사람들이 관심을 가질 만한 콘텐츠로 채운 사이트를 만들고 여기에 광고를 붙여서 광고수익을 버는 방식도 가능해진다. 지금도 남의 저작권을 침해해 베낀 콘텐츠로만 운영되는 사이트는 많다.

▶윤 대표 : 블록체인 프로젝트와 AI를 결합한 비즈니스가 북한 등 해커조직의 주요 기법이 될 가능성이 높다. 생성형 AI를 이용하면 블록체인 기반 스마트 컨트랙트(계약조건 충족시 프로그램에 따라 자동으로 계약을 실행시키는 것)를 무척 쉽게 만들 수 있다. 여기에 생성형 AI가 트위터, 페이스북 등 SNS(사회관계망서비스)를 통해 해당 프로젝트가 매우 매력적으로 보이도록 사람들을 끌어들일 수 있다. 그렇게 돈을 한번에 끌어모아서 돈만 받고 튀는 형태의 사기가 하루에 수백개가 아닌, 몇천 개씩도 가능해질 수 있다.


■ "결국 기술로 대응해야, 정부·공공의 시장창출 노력 필요"


- 해킹·피싱사기 등 부작용 우려가 이렇게 큰데 초거대·생성형 AI 개발 기업의 책임은 없을까?
▶조 대표 : AI 엔진을 개발하는 회사들끼리도 논쟁이 있다. AI가 위험하니까 더 보완한 뒤에 오픈해야 하는지 여부다. 문제는 해당 AI엔진이 어떤 콘텐츠와 답을 내놓을지에 대해 AI엔진을 만드는 사람도 잘 모른다는 점이다. 프롬프트를 어떻게 넣느냐에 따라 답이 달라지는데 이걸 회사가 책임져야 하는지에 대한 의문이다.

▶최 사장 : 국내에서도 주요 대기업들이 곧 AI엔진을 공개하는데 나쁜 의도의 프롬프트를 막는 조치를 취하느라 늦어진다고 하는 얘기가 있다. 그만큼 AI 개발사들의 입장에서도 고민이 클 수밖에 없다.

최일훈 소만사 사장 /사진=김휘선 기자 hwijpg@

- 악의적으로 생성형 AI를 쓰면 가중처벌하는 조치가 필요할까?
▶조 대표 : 현실적으로 쉽지 않다. 이미 생성형AI 엔진은 숱하게 나와 있고 이용자들도 여러 엔진을 섞어가며 쓴다. 그렇게 해서 나온 산출물에 대한 책임은 누구에게 있다고 봐야할까. 결국은 악용하는 사람에게 책임을 물어야 한다.

▶윤 대표 : 챗GPT나 MS의 빙과 같은 프로그램은 사람이 위험한 프롬프트를 날리면 필터링하도록 설계돼 있다. 그럼에도 모든 프롬프트를 다 필터링 못하는 게 한계다. 여전히 인젝션(AI서비스 지침을 우회해서 본래의 목적 이외의 답변을 이끌어내려는 시도를 지속하는 것)이나 탈옥(Jail Breaking, AI의 기존 규칙에서 벗어나도록 코딩이나 학습을 통해 교란시키는 것) 등이 활개를 치는 게 대표적 사례다.

- AI와의 공존을 위해 필요한 제도가 있을까?
▶윤 대표 : AI는 실제 써보지 않으면 무엇이 위험한지 아닌지를 알 수 없다. 그러나 정부와 기업들에서 일단 쓰지 말자고 하면 겉도는 정책이 나올 수밖에 없다. 챗GPT만 해도 API(응용 프로그래밍 인터페이스)로 구동되는 서비스가 몇 만개에 이른다. 이걸 어떻게 다 막을 수 있나.

미국 NIST(국립표준기술연구소)는 'AI 리스크관리 프레임워크'를 내놓고 기업·기관에서 AI를 활용하면서 발생하는 문제를 지속 모니터링하도록 한다. '위험하니까 막아야 한다'는 방식은 글로벌 기업들만 치고 나가고 우리 기업들은 뒤쳐지게 만든다. 결국 AI를 써야 한다. AI의 공격을 판별하는 AI 프로그램이 있어야 한다는 얘기다.

▶조 대표 : 위험성을 줄이기 위한 대응책은 있어야 한다. 그러나 정부가 R&D(연구개발) 등 방식으로 대응하려면 늦다. 대응책은 기업들이 빠르게 잘 만든다. 기업들이 적극적으로 나서면 AI를 통해 보안 솔루션을 고도화하는 제품이 나오기까지는 오래 걸리지 않는다.

기업들이 만든 솔루션을 정부가 적극 구매해서 사용해주는 등 투자를 아끼지 않았으면 한다. 미국이 R&D가 잘 되는 이유는 국방부 등 공공기관에서 민간 솔루션을 적극 구매해주는 등 초기 시장이 잘 형성되도록 해주기 때문이다. 다만 국내에서는 신제품에 대한 인증에 시간이 오래 걸리는 데다 공공 구매 담당자들은 신제품에 대한 모든 것이 검증된 후에 맨 마지막에서야 나서는 등 아쉬움이 있다.

왼쪽부터 조규곤 파수 대표, 최일훈 소만사 사장, 윤두식 지란지교시큐리티 대표가 머니투데이 회의실에서 AI리터러시 대담에 참가하고 있다. /사진=김휘선 기자 hwijpg@

해커에 날개단 생성형 AI…많이 써보면서 경계해야생성형 AI 시대의 사이버 보안 전략

임종철 디자이너 /사진=임종철 디자이너

보안 전문가들은 생성형 AI의 등장으로 해커들이 전문적 지식 없이도 다양한 유형의 악성코드를 지금보다 쉽게 생성할 수 있게 됐다고 지적했다. 챗GPT는 기본적으로 부적절한 답변은 회피하도록 설계돼 있으나 해커들은 우회적인 질문으로 혼동을 일으켜 악성코드를 생성할 수 있는 것으로 알려져 있다.

해커들은 또 생성형 AI를 피싱 메일을 만드는데 악용할 가능성도 있다. 생성형 AI의 이미지 생성 기술로 가짜 로고 등을 만들어낼 수 있고 생성형 AI가 인간의 언어와 최대한 유사한 구조로 답변을 하도록 설계된 점을 악용해 피싱 메일을 실제 인간이나 특정 단체가 보낸 것처럼 위장할 수 있다.

생성형 AI에 학습시킨 데이터가 유출될 우려도 존재한다. 해커가 생성형 AI의 저장 서버를 해킹하는 경우다. 또 생성형 AI 개발사들이 AI 학습을 위해 수집한 데이터를 개인정보보호 규정 등을 어겨가며 불법적으로 처리할 가능성도 있다. 사용자가 개인 또는 기관의 기밀 정보를 AI 모델에 입력했을 때 정보가 다른 사용자에게 유출될 가능성도 제기된다.

이같은 데이터 유출 우려로 삼성전자는 지난 3월 사내 챗GPT 사용을 제한했다. DX(디바이스 경험) 부문은 사내 PC를 통한 챗GPT 사용을 아예 금지했고 DS(디바이스 솔루션) 부문은 챗GPT 사용 글자 수에 제한을 뒀다. 카카오도 개인정보, 대외비 정보를 챗GPT에 물어보는 행위를 금지시켰고 네이버도 대외비 등의 자료·정보를 챗GPT에 입력하지 말라고 경고했다.

이에대해 전문가들은 사용자들이 생성형 AI가 만든 콘텐츠에대한 변별력을 길러야 한다고 강조한다. 또 GPTZero(GPT제로)나 DetectGPT(디텍트GPT) 등 생성형 AI 콘텐츠 구별 도구를 적극 활용할 것도 권고했다.

아울러 생성형 AI를 이용할 때 주민등록번호나 신용카드 정보, 비밀번호 등 개인정보 뿐만 아니라 소속기관의 내부 민감 정보를 입력하지 않도록 주의를 당부했다. 생성형 AI 개발사들은 각국의 보안 정책에 따라 데이터 처리 방식을 점검하고 가명화, 익명화 등 개인정보보호 조치를 확실하게 적용해야 한다고 지적했다.

염흥열 순천향대 정보보호학과 교수는 "생성형 AI로 인해 해커들이 악성코드를 만들기가 쉬워진 만큼 공격 빈도도 늘어날 것으로 보인다"며 "기본적으로 의심스러운 사이트는 피하고 첨부파일을 조심하는 등 기초적인 보안수칙들을 더 잘 지킬 수 있도록 신경써야 한다"고 말했다.

이어 "KISA(한국인터넷진흥원)같은 신뢰할 수 있는 제3의 기관에서 보안 업계가 각자 수집한 공격 정보를 공유할 수 있는 장을 만들어야 한다"며 "공격자들의 기술이 발전하는 만큼 업계가 악성코드 정보를 공유하며 방어 기법을 함께 논의해야 한다"고 덧붙였다.

박태환 안랩 사이버시큐리티센터 대응팀장은 "해커들이 최근 생성형 AI의 언어구사 능력을 악용해 피싱 메일·문자 등을 고도화하는 모습"이라며 "사용자 입장에서는 기존 콘텐츠와 구별이 더욱 어려워졌다. 이메일과 문자의 발신자와 출처를 항상 확인하고 의심스러운 URL이나 첨부파일은 실행하지 않아야 한다"고 말했다.

그러면서 "막연히 두려움을 가지기 보다는 다양한 생성형 AI 서비스를 직접 이용해 보면서 생성형 AI가 만들어내는 결과물에 익숙해질 필요가 있다"며 "스스로 주의해야 할 부분을 직접 판별하는 안목을 기르는 것도 중요하다"고 조언했다.