✅ 보고서 제목: AI 및 LLM을 활용한 위협 사례 연구 #03: 다크웹과 텔레그램
S2W 위협 인텔리전스센터 TALON은 최근 딥다크웹(DDW)과 텔레그램 상에서 확인된 사례를 바탕으로, 생성형 언어모델(LLM) 등 최신 기술이 사이버 위협 행위에 어떻게 활용되고 있는지를 심층 분석한 보고서를 발행했습니다. 본 보고서는 악성코드 제작, 취약점 분석, 피싱 자동화 등 실전 공격에 LLM이 활용되는 흐름과, 이에 대응하기 위한 기술적 연구 및 방어 전략, 나아가 LLM 자체를 공격 대상으로 삼는 새로운 위협 유형까지 폭넓게 다루고 있습니다.
✅ 보고서 요약:
1) 딥다크웹 및 텔레그램 내 동향
- 생성형 언어모델을 포함한 고성능 자동화 기술은 산업 전반에서 혁신을 이끌고 있지만, 동시에 사이버 공격의 효율성을 높이고 기술 장벽을 낮추는 수단으로도 악용되고 있습니다.
- 사이버 위협 행위자들이 주로 활동하는 딥다크웹(DDW) 포럼 및 텔레그램에서는 악성코드 제작, 취약점 분석, 피싱 캠페인의 자동화 등 공격 목적의 기술 활용 사례가 지속적으로 확인되고 있습니다.
- 일부 포럼과 채널에서는 LLM 관련 전용 게시판이 생성되거나, 프롬프트 제작과 시스템 우회 방법에 대한 논의가 활발히 이루어지는 등, 위협 행위자 사이에서도 해당 기술에 대한 관심이 증가하고 있는 것으로 보입니다.
2) 딥다크웹 내 주요 위협 사례
2.1 소셜 엔지니어링(Social Engineering)
- 생성형 언어모델과 음성 합성 기술은 스피어 피싱, 보이스 피싱 등 소셜 엔지니어링 기법을 더욱 정교하게 만드는 데에도 활용되고 있습니다.
- 공격자는 개인 정보를 직접 분석하지 않고도 맞춤형 이메일 작성, 음성 메시지 생성 등을 자동화해 대규모 피싱 캠페인을 손쉽게 실행할 수 있습니다.
- 대표 사례로는 스팸 이메일 생성 자동화 시스템, 가상 인물 생성 사이트를 통해 만들어진 가짜 SNS 프로필을 악성 봇이나 사칭 공격에 사용하는 방식 등이 확인되었습니다.
2.2 상용 LLM 서비스 계정 탈취 및 정보 유출
- 상용 LLM 서비스에 대한 계정 탈취 시도가 지속적으로 포착되고 있으며, 이와 관련한 질의가 다수의 텔레그램 채널에서 확인되고 있습니다.
- 고성능 모델의 유료 사용이 보편화되면서 유료 계정의 가치가 상승하고, 이에 따라 탈취된 계정이 불법적으로 유통되거나 공유되는 사례가 증가하고 있습니다.
- 대화 내역, 프롬프트 입력 데이터, 사용자 데이터베이스 등 LLM 시스템 자체를 겨냥한 정보 탈취 시도도 병행되고 있어, 서비스 운영자 입장에서 새로운 위협 지점으로 부상하고 있습니다.
2.3 악성코드 제작 및 취약점 악용
- 악성코드 제작과 취약점 분석 과정에 LLM을 도입하는 사례가 늘어나고 있으며, 이는 컴퓨터 지식이 없는 위협 행위자도 손쉽게 사이버 공격을 준비하고 실행할 수 있도록 하는 데 중요한 역할을 합니다.
- 일반적인 LLM은 사이버 공격 관련 요청을 제한하도록 설계되어 있으나, 이를 우회하기 위한 프롬프트 조작 기법(Jailbreak 등)에 대한 논의도 활발히 이루어지고 있습니다.
대표 사례: 잔소록스 AI (Xanthorox AI)
- Xanthorox AI는 2024년 7월경 텔레그램 채널을 통해 확인된 생성형 모델 기반 도구로, 기존 WormGPT의 대체재로 소개되고 있습니다.
- 자체 개발된 모델을 사용하여 응답을 생성하며, 외부 서비스 및 인터넷 연결 없이 판매자의 서버에서 동작하는 구조를 갖추고 있습니다.
- 텔레그램, 다크웹 포럼, 트위터(X)를 통해 홍보되고 있으며, 데모 버전은 텔레그램 봇과 디스코드 채널을 통해 제공되고 있는 것으로 확인됩니다.
✅ 권장 사항 및 조치 방안:
- AI 기술의 발전은 사이버 공격 과정을 자동화 및 정교화하는 데 기여하고 있으며, 이에 따라 악성코드 제작부터 피싱 메시지 생성, 음성 사기 등 다양한 위협 행위에 AI가 활용되고 있습니다.
- 동시에 상용 LLM 서비스 자체가 공격 표적이 되어 새로운 보안 리스크로 부상하고 있으며, 이는 단순한 데이터 유출을 넘어 유출된 입력 데이터를 통한 기업이나 사용자의 민감 정보가 유출될 수 있음을 시사합니다.
- 향후 기술 발전 속도와 비례해 사이버 위협의 수준도 고도화될 것으로 예상되므로, AI 기술 발전에 대한 동향 파악 뿐만 아니라 이에 따른 사이버 공격 사례 및 대응 방식 연구도 지속적으로 이루어져야 합니다.
🧑💻 보고서 작성자: S2W TALON
👉 보고서 전문 문의하기: https://s2w.inc/ko/contact
*해당 보고서는 별도 문의 가능하며 S2W의 플랫폼 구독 시 전문으로 제공됩니다.