02. 악성 LLM 서비스로 인한 공격의 보편화
OpenAI의 대규모 언어 모델(LLM, Large Language Model) ChatGPT가 공개되고 인공지능은 기술의 저변을 확대하고 있다. Google의 Gemini, META의 LLaMA, Microsoft의 Copilot, Anthropic의 Claude, Mistral AI의 Mixtral Large 등 글로벌 기업들은 앞다투어 LLM 서비스를 발표하면 생태계 빅뱅을 열고 있다. LLM의 빠른 성장을 기반으로 사이버 보안 문제를 해결하거나 효율성 향상을 위한 목적인 'AI for Security’가 대두되는 한편, 공격자들 역시 공격 기술의 고도화 및 신규 취약점을 발견하기 위해 'AI for Attack’을 추구하면서 사이버 보안 생태계는 새로운 국면을 맞이하고 있다.
‘AI for Attack’을 구현하기 위해서는 LLM을 포함한 인공지능에 대한 이해가 필요하다. 1950년 영국의 수학자 앨런 튜링이 주장한 튜링 테스트를 통해 인간의 지능적 행동을 구현하는 기계 능력에 대한 기준을 확인하게 되면서 인공지능 기술의 서막이 올랐다. 다트머스 회의(Dartmouth Conference)에서 기계가 인간처럼 학습할 수 있는지 고민하는 과정을 일컬어 ‘인공지능’이라는 용어를 사용했다. 이후 인공신경망(Artificial Neural Network) 모델인 퍼셉트론(Perceptron)이 컴퓨터가 패턴을 인식하고 학습할 수 있다는 사실이 증명되면서 새로운 발전 가능성을 알렸으나, 데이터 부족과 기술적 한계로 인해 침체기에 돌입하게 되었다.
규칙을 통해 동작하는 전문가 시스템(Expert System)으로 문제점을 보완하고자 했으나, 현실 세계의 복잡한 문제 해결에는 한계점을 보였다. 결국 명시적인 규칙 없이도 컴퓨터가 데이터 기반으로 학습하고 데이터를 찾아 패턴 기반의 추론이 가능한 기계학습(Machine Learning)이 등장하면서 문제가 해소되었다. 이후 XOR 논리 연산 문제를 해결한 다층 퍼셉트론(Multi-Layer Perceptron)에 의해 본격적인 딥러닝(Deep Learning)으로 이어져 [보안위협 그림 2-1]과 같이 현재의 LLM으로 발전하였다.
[보안위협 그림 2-1] 인공지능 기술 종류
인공지능에서 말하는 LLM은 인간의 언어를 이해하는 데 초점을 맞춰 컴퓨터가 자연어를 이해하고 분석하는 NLP의 일부 기술이다. ‘A Survey of Large Language Models’에 따르면 [보안위협 그림 2-2]와 같이 LLM으로 발전되기 이전에는 n-gram 언어 모델 기반의 통계적 모델인 SLM(Statistical LM)에서 시작되었다.
[보안위협 그림 2-2] 과제 해결능력 관점에서 본 LLM모델의 진화과정
하지만 정확도 문제나 충분한 양의 데이터 훈련이 선행되지 않으면 모델의 정확도가 낮아지는 희소(Sparsity) 문제나 Trade-off 이슈가 발생하였다. 이를 해결하기 위해 Word2Vec나 NLPS와 같이 자연어 처리 및 특정 NLP 작업을 수행하기 신경언어 모델인 NLM(Neural LM)으로 발전하였고, 사전 학습된 언어 모델인 PLM(Pre-trained LM)을 거쳐 대용량의 언어 모델인 LLM으로 발전하였다.
[보안위협 그림 2-3] ‘AI for Attack’을 통한 악성 LLM의 등장배경
[보안위협 그림 2-3]과 같이 인공지능을 포함한 LLM 기술의 발전을 통해 활용 범위가 증가하면서 사이버 공격자들 역시 LLM 기술에 주목하기 시작하였다. 국가 주도의 사이버 공격이나 대규모 해킹 그룹(Threat Actor)에 의한 사이버 공격의 고도화·지능화는 기존 보안 체계의 한계를 유발하고 있다. 공격자들은 목적(Tactics)과 목적을 이루기 위한 공격방식(Techniques), 공격방식을 달성하기 위한 상세 기법(Procedures)의 기술적 효율성을 도모하기 위해 인공지능이나 LLM을 통해 공격 자동화와 무기화를 통해 기존 보안 체계를 우회하거나 무력화하여 악성 LLM 생태계에 기여하기 시작했다.
2022년부터 2023년까지 1년간 MGM Grand Market, Hack Forums, XSS.is, BreachForums, BlackHatWorld 등 언더그라운드 마켓 플레이스 9곳의 정보를 토대로 악성 LLM 서비스를 분석한 ‘Malla: Demystifying Real-world Large Language Model Integrated Malicious Services’에 따르면 악성코드 생성(Malicious code generation), 피싱메일 작성(Phishing email writing), 사기 사이트(Scam site)를 생성하기 위해 14개의 악성 LLM 서비스가 존재하는 것으로 나타났다.
악성 LLM 서비스의 상당수는 천문학적인 금액이 요구되는 악성 LLM의 자체 개발보다는 탈옥(Jailbreak)을 통해 LLM의 데이터 무결성과 기밀성을 보호하기 위한 Guardrails을 우회하는 방법을 사용한다. 상당수의 악성 LLM 서비스는 일정 비용을 지불하면 사용자가 특정 기능을 사용할 수 있는 HaaS(Hacking as a Service)로 제공되며, ChatGPT와 같이 LLM의 Guardrails를 우회해 LLM이 제한한 악의적인 공격 수행이 가능하다. 대표적인 악성 LLM 서비스로 WormGPT, XXXGPT, WolfGPT, EvilGPT, DarkBARD, DarkGERT 등이 있다.
[보안위협 그림 2-4] 악성 LLM 서비스를 이용한 공격 구성도
악성 LLM 서비스는 [보안위협 표 2-1]과 같이 DARK, Evil, Black, Fraud와 같이 악성 행위를 연상할 수 있는 키워드를 사용하거나, ChatGPT의 기능을 이용한다는 점을 부각시키기 위해서 GPT라는 네이밍을 사용하고 있다. 악성 LLM 서비스는 [보안 위협 표2-2]와 같이 악성코드 생성을 주요 기능으로 제공하고 있다. 정상적인 LLM이 악성코드를 생성하기 위해 보안 기능을 우회하기 위해서는 Jailbreaking LLMs와 Uncensored LLMs가 있다. 공통적으로 LLM에 적용된 보안 기능 우회나 제거가 주요 목적이기는 하나 구현 방법이나 기술적인 관점에서 차이가 존재한다.
Jailbreaking LLMs는 주로 LLM에 내장된 안전조치를 우회하는 것이 목적이기 때문에 본래 의도된 제한을 무시하거나 유해한 정보를 생성하도록 한다. 이에 반해 Uncensored LLMs는 모델의 훈련 과정에서 검열이나 제한을 최소화하거나 제거하는 일련의 불법적인 공격 형태를 의미한다.
[보안위협 표 2-1] 악성 LLM 서비스 유형
[보안위협 표 2-2] 악성 LLM 서비스 유형 제공 기능
3종의 악성 LLM 서비스 WormGPT와 FraudGPT를 통해서 공격자들이 LLM을 통해 사이버 범죄의 비즈니스 모델을 어떻게 운영하고 있는지 살펴볼 수 있다. 먼저 2023년 6월에 오픈한 WormGPT는 Telegram과 언더그라운드 포럼을 통해서만 홍보를 진행되어 왔다. ‘WormGPT: A Large Language Model Chatbot for Criminals’에 따르면 EleutherAI가 개발해서 2021년 출시된 GPTJ 언어 모델을 사용하여 60억 개가 넘는 매개변수를 통해 악성코드 관련 데이터나 사이버 범죄 콘텐츠를 사용해 훈련된 것으로 추정한다. WormGPT를 이용하면 높은 정확도의 BEC(Business Email Compromise)를 작성할 수 있으며, 이외에도 악성코드 생성, 피싱 공격 등이 가능하다. 하지만 너무 많은 관심으로 인해 개발자가 부담을 느끼면서 2023년 8월경에 서비스를 중단하였다.
[보안위협 그림 2-5] 언더그라운드 포럼에 공개된 WormGPT 홍보 게시글
[보안위협 그림 2-6] WormGPT 서비스 종료 게시글
FraudGPT는 2023년 7월부터 WormGPT와 마찬가지로 Telegram과 EMPIRE, WHM, TORREZ, WORLD, ALPHABAY, VERSUS 등 언더그라운드포럼을 통해 유통된다. 스피어피싱 작성, 크래킹 도구 생성할 수 있으며, 월 200달러부터 연간 최대 1,700달러를 지불하면 사용이 가능하다.
[보안위협 그림 2-7] 언더그라운드 포럼에 공개된 FraudGPT홍보 게시글
[보안위협 그림 2-8] FraudGPT를 사용해 악성 스캠 페이지를 작성하는 코드 생성 예시
앞서 언급된 악성 LLM 서비스 이외에도 JailbreakBot, WormGPT(FlowGPT), Abrax666, darkgemini, demonGPT v2.0, Demon Jailbreak, Dark Jarvis, Red Reaper, PoisionGPT 등 서비스를 통해 사기, 탈옥, 악성코드 생성의 서비스를 지원하고 있다.
앞서 살펴본 사례는 악성 LLM 서비스였다면, TA547(aka. Scully Spider) 공격그룹 사례는 LLM을 이용해 공격을 시도한 실제 피해사례라 할 수 있다. TA547은 2017년부터 활동한 공격 행위자로 Gootkit, Ursnif, Corebot등 윈도우 기반의 악성코드와 Mazar Bot, Red Alert과 같은 안드로이드 기반의 악성코드를 유포하여 사용자 디바이스의 정보를 탈취하는 인포스틸러(Intostealer)로 활동했다.
2024년에 발견된 공격 행위는 독일 유통회사 Metro를 사칭해 송장과 관련된 악성메일 내에 ‘MAR26’으로 비밀번호가 걸린 zip파일내에 포함된 LNK파일을 통해 PowerShell이 실행되면서 base64로 인코딩된 Rhadamanthys이 파일리스로 실행되게 된다. TA547이 공격과정에서 사용한 PowerShell이 사람이 만든 코드에서는 잘 보이지 않는 주석 처리 등이 사용된 것으로 미루어 ChatGPT, Gemini, CoPilot과 같은 LLM을 사용한 것으로 추정한다.
[보안위협 그림 2-9] TA547이 독일업체 사칭메일 내 생성형AI를 통한 Powershell일부
‘HP Wolf Security Threat Insights Report: September 2024’에 따르면 프랑스 사용자 대상의 피싱 캠페인에서 ZIP 파일로 배포되는 VBScript와 JavaScript 파일에서 LLM이 관여된 정황이 확인되었다. Windows 레지스트리를 통해 예약된 작성을 생성하게 하는 VBScript에서 주석 구문이나 함수 이름과 변수 등의 형태를 미루어 해당 스크립트가 LLM이 생성한 것으로 추정되고 있다.
[보안위협 그림 2-10] AsyncRAT공격에 LLM을 이용해 생성된 VBScript일부
2022년 말 OpenAI의 ChatGPT 발표 이후 위협 행위자들은 악성 LLM 서비스에서 주로 사용하는 랜섬웨어 생성, 피싱 메일 생성, 취약점 식별, 사기 사이트 생성 등의 공격에 사용하기 시작하였다. Microsoft와 OpenAI가 2024년 2월 초에 발표한 ‘Staying ahead of threat actors in the age of AI’를 통해 중국 관련 위협 행위자 Charcoal Typhoon과 Salmon Typhoon, 이란 위협 행위자 Crimson Sandstorm, 북한 위협 행위자 Emerald Sleet, 러시아 위협 행위자 Forest Blizzard와 관련된 OpenAI 계정이 피싱 및 스피어 피싱 공격, 공격 정보 검색, 시스템 프로세스 숨기기, 오픈소스 연구 등의 행위에 사용된 정황이 확인되어 삭제하였다는 사실을 공개했다.
2024년 10월에는 OepnAI에서 ‘Influence and cyber operations: an update’를 통해 중국 위협 행위자 SweetSpecter와 이란 위협 행위자 Storm-0817이 OpenAI의 LLM 서비스인 ChatGPT을 이용해 공격하는 절차를 LLM ATT&CK 프레임워크를 통해 공개하기도 하였다.
이와 같은 사실을 통해 공격자들은 공개된 LLM을 이용해 악성 LLM 서비스를 통한 서비스화를 진행하거나, 공격그룹 및 캠페인에서 적대적인 공격을 통해 공격 효율화를 도모하고 있다는 사실을 알 수 있다. 이와 같은 공격 양상은 2025년에도 APT 공격을 포함한 다수의 사이버 공격 생태계 전반에 영향을 미칠 수 있으며, 자동화된 악성코드 생성 및 스피어 피싱을 통한 정교한 사이버 공격이 빈번해진다는 것을 의미하기 때문에 LLM을 둘러싼 사이버 공격 양상의 변화를 주시할 필요가 있다.
