"거대언어모델이 내 개인정보를?" 20초 안에 탈취 가능

KAIST 연구팀 "챗GPT 등 AI 에이전트에 보안장치 필요"

한국과학기술원(KAIT)은 거대언어모델(LLM) 에이전트를 이용한 개인정보 탈취 가능성을 입증했다고 24일 밝혔다.

최근 인공지능(AI) 기술 발전으로 챗GPT 등 LLM이 자율적인 인공지능(AI) 에이전트(사람의 개입 없이도 문제 해결을 위한 의사 결정을 자율적으로 수행하는 AI)로 발전하고 있다.

구글이 최근 AI에 관한 윤리 지침에서 AI 기술을 무기나 감시 용도로 사용하지 않는다는 조항을 삭제하면서 LLM 에이전트의 기술 악용 가능성에 대해 논란이 일기도 했다.

웹 기반 도구와 결합해 실시간으로 정보를 검색·활용할 수 있는 LLM 에이전트의 강력한 기능은 사이버 공격의 위험성을 높인다.

예를 들어 웹에서 대량의 개인식별정보(PII)를 수집하거나 특정 인물을 사칭해 잘못된 정보를 퍼뜨릴 수 있다.

클로드가 메타의 CEO인 마크 저커버그의 이메일 주소를 활용해 작성한 피싱 이메일. KAIST 제공

KAIST 전기·전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동 연구팀은 상용 LLM 서비스가 자체 탑재한 방어 기법을 우회해 사이버 공격을 수행할 수 있음을 규명했다.

챗GPT, 클로드, 제미니 등 상용 LLM 모델을 사용해 주요 대학 컴퓨터과 교수들의 개인식별정보를 자동 수집하는 테스트를 한 결과, 평균 5∼20초 안에 30∼60원의 저렴한 비용으로 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다.

기존 공격자들보다 적은 노력을 들이고도 월등히 빠른 속도로 공격할 수 있다.

또 LLM 에이전트가 저명한 교수를 사칭해 허위 게시글을 생성하도록 한 실험에서 최대 93.9%가 진짜 같다는 평가를 받았다.

대상자의 이메일을 주소만 입력하면 맞춤형 피싱 이메일을 생성할 수 있으며, 피싱 이메일의 링크 클릭률은 최대 46.7%로 기존 피싱 공격 대비 매우 높은 수준으로 나타났다.

이번 연구의 제1 저자인 김한나 연구원은 "LLM에 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다"며 "LLM 에이전트의 능력을 고려한 보안 장치가 필요하다"고 말했다.

신승원 교수는 "LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획"이라고 말했다.

<연합>