✅ 보고서 제목:

AI 및 LLM을 활용한 위협 사례 연구 #01: 악성코드의 활용 및 진화

S2W 위협 인텔리전스센터 탈론에서 생성형 AI를 활용한 악성코드 분석에 대한 보고서를 발행했습니다. 현재 AI/LLM을 활용해 유포되고 있는 악성코드 개발에 대한 실제 사례 뿐 아니라 실현 가능한 가상 사례를 확인할 수 있는 난이도 높은 위협 인텔리전스 보고서입니다.

✅ 보고서 요약:

1) 배경: AI/LLM의 발전에 의해 다양한 분야에서 활용되고 있지만 윤리적이지 않은 분야에도 활용이 됩니다.

- 악성코드 개발자는 악성기능 개발, 고도화, 탐지우회 등 악성코드 개발의 다양한 요소에 활용이 가능합니다.

2) 실제 사례: 현재 유포되고 있는 악성코드 개발에 AI/LLM이 활용되고 있습니다.

- 악성코드에서 사용되는 스크립트에 AI/LLM이 생성한 코드의 형태를 가지고 있는 사례가 빈번하게 발견되고 있습니다.

- LLM 운영사에서 악성코드 개발자가 LLM에 악성코드 개발에 활용한 사례를 공개한 바 있습니다.

3) 가상 사례: AI/LLM을 악성코드 고도화에 다양하게 활용 가능함을 보여주려고 하는 연구가 진행된 사례가 존재함

- AI/LLM가 악성코드를 자동으로 생성하여 악성코드 탐지율을 낮춰주는 연구가 존재합니다.

- AI/LLM이 스스로 상황을 판단하고 상황에 맞추어 악성코드를 생성하는 완전 자율형 악성코드를 만들 수 있습니다.

4) 시사점: AI/LLM을 통해 정교하고 탐지 우회의 성공률이 높은 악성코드가 등장할 가능성이 더 높아짐을 예상이 가능합니다.

📌 AI/LLM을 활용해 개발한 악성코드는 어떻게 알 수 있나요?

- 일반적으로 AI/LLM에게 코드 구현을 요청할 경우, AI/LLM이 구현한 코드에는 각 단계별로 단계의 행위를 설명하는 주석이 들어가고, 주석, 변수 등을 사용자의 언어에 맞추어 작성하는 특징이 존재합니다. 공격자들은 AI/LLM이 구현한 코드를 그대로 악성코드에 사용하여 유포함으로써 발견되는 악성코드에 위와 같은 흔적들이 남아있는 경우가 종종 발견됩니다. (증거 이미지 전문은 별도 문의 필요)

- 하나의 예로, FunkSec은 랜섬웨어 그룹으로 악성코드를 개발하는 과정에서 LLM을 활용하며, 랜섬노트와 같은 문서 또한 LLM으로 생성하는 것으로 보입니다. FunkSec 그룹이 활용한 DDoS 도구의 Python 코드로 각 변수마다 의미하는 것을 정확한 영어로 주석에 다 작성되어 있다는 점을 확인할 수 있습니다.

- 또한, FunkSec 그룹이 영어를 사용할 때는 언어적 오류가 존재하거나 기초적인 영어만을 사용하는 것에 반해 해당 코드에서는 영어를 구사하는 것도 관찰됩니다. 이로써 LLM이 생성하는 코드와 패턴이 유사함과 다른 요소에도 LLM이 사용된 흔적을 근거로 해당 그룹은 LLM을 활용하여 악성코드를 개발하고 있음을 추측할 수 있습니다.

- 피싱 메일 본문 내 링크 또는 첨부파일을 이용한 악성코드 유포에 사용된 악성코드에 LLM에 도움을 받아 작성된 것으로 보이는 경우도 많아지고 있습니다.

- 하나의 예로, AsyncRat을 사용하여 프랑스를 대상으로 악성코드가 담긴 이메일에 사용된 AsyncRat Dropper에 사용된 VBScript에 LLM이 코드를 구현하는 형태가 관찰됩니다. 또한, 악성코드를 다운로드 하는 스크립트에 AI/LLM의 흔적이 발견되는 경우가 빈번하게 발견되는데 Symantec이 조사한 바에 따르면, Rhadamanthys, NetSupport, CleanUpLoader, ModiLoader, LokiBot, Dunihi 악성코드를 다운로드 하는 악성 스크립트에 AI/LLM이 생성한 흔적이 발견되었다고 합니다.

보다 상세한 내용은 보고서 전문을 통해 확인하실 수 있습니다.