다크버트 (DarkBERT) 인공지능 기술에 대한 심층 이해 Part 2

Resources

다크버트 (DarkBERT) 인공지능 기술에 대한 심층 이해

2023.06.29

DarkBERT에 대한 심층 이해를 돕기위해 S2W의 AI 기술에 대한 두 번째 이야기를 준비했습니다.

☑️ DarkBERT 논문에 대한 첫 번째 기술 이야기: https://s2w.inc/ko/resource/detail/278

1. DarkBERT와 인텔리전스

S2W는 세계 최초 다크웹 특화 ai 언어모델인 다크버트를 활용하여, 마약 밀매부터 암호화폐, 랜섬웨어 등의 하이테크 기반의 범죄에 이르기까지 다양한 위협과 관련된 공공 및 민간 기관을 위한 데이터 인텔리전스 플랫폼 서비스를 제공해 왔습니다. S2W의 고객들은 숨겨진 데이터 소스에서 수집한 다양한 데이터로 분석 및 제공된 S2W의 솔루션을 활용하여 실행 가능한 인텔리전스(Actionable Intelligecne)를 도출해 내고 있습니다.

아래 링크의 기술 블로그 내용은 S2W가 다양한 데이터 소스에서 수집한 데이터를 S2W 솔루션에서 쉽게 사용할 수 있게 만든 방식을 보여 줍니다. 이미지에 표시된 각 구성 요소는 완전한 위협 인텔리전스 생산 과정을 수립하는 데 중요하며, 따라서 모두 In-house 방식으로 개발 및 유지되고 있습니다. 이러한 시스템을 운영함으로써 S2W는 직접, 최신 인텔리전스를 고객사에게 제공할 수 있습니다.

이와 같이 확장 가능한 데이터 수집 플랫폼을 가지고 있기 때문에, 매일 방대한 양의 데이터를 처리하고 있습니다. 모든 수집 데이터에 대해 S2W 위협 데이터 창고는 다양한 위협 분석 워크플로우를 적용하여 정보를 추출, 연관시키고 풍부하게 합니다.

예를 들어, 하나의 워크플로우는 모든 웹 데이터를 분석하여 유사한 웹사이트 클러스터로 분류합니다. 이 워크플로우에서 생성된 새로운 유형의 정보는 고급 검색 필터, 피싱 웹사이트 탐지(The Web Conf 2019) 등의 다양한 기능을 활성화합니다. 또 다른 워크플로우는 추출된 정보를 암호화폐 메타데이터와 거래로 풍부하게 하여 고객이 암호화폐 이전과 관련된 사이버 범죄를 연관 짓고 조사할 수 있도록 합니다(NDSS 2019 참고).

하지만 워크플로우의 작업이 위협 분석가의 도메인 지식이나 통찰력을 필요로 하는 경우에는 어떻게 될까요? 이러한 작업을 자동화하고 확장성 문제를 해결할 수 있을까요? 바로 여기에서 AI가 중요한 역할을 합니다.

2. DarkBERT를 넘어서

S2W는 설립 이래로, 특수 목적을 위한 AI 연구에 많은 노력을 기울여 왔으며, DarkBERT는 세계 탑티어 학회에서 발표된 두 번째 AI(NLP) 연구 논문입니다. 참고로, 첫 번째 논문은 우리의 위협 주제 분류 모델을 소개했으며, 이 모델은 AI 기반의 사이버 범죄 인텔리전스 플랫폼인 자비스(XARVIS)에 배포되었습니다.

일반적인 AI 모델(e.g., 챗GPT)과 달리, DarkBERT는 사이버 범죄 분야에서 효과적으로 작동하도록 특별히 훈련되고 조정된 특수 목적 AI 모델입니다. 그래서 DarkBERT는 "아무거나 물어보세요" 스타일의 모델이 아니라, 사이버 범죄 분야에서 수년간 경험을 쌓은 전문 분석가와 흡사합니다. 우리 회사에 이러한 DarkBERT가 있다는 것은 우리가 생산하는 인텔리전스의 품질뿐만 아니라 전반적인 생산성과 효율성을 크게 향상시킬 수 있다는 사실을 의미합니다. DarkBERT의 성능과 효과가 세계적으로 평가를 받았기 때문에 S2W는 DarkBERT를 기반으로 다양한 애플리케이션 개발을 시작했고, 그 중 하나의 사례를 소개하고자 합니다.

3. 위협 탐지(Threat Detection)를 위한 DarkBERT

위협 탐지는 사이버 범죄와 사이버 위협 인텔리전스 분야에서 가장 중요한 과정입니다. 위협을 조기에 탐지할수록 조직은 더 빠르게 대응하여 피해를 최소화할 수 있습니다. 그 중요성을 이해함에도 불구하고, 많은 조직들이 위협 탐지에 어려움을 겪고 있습니다. 이는 근본적으로 복잡하고 도전적인 작업이기 때문입니다. 사이버 범죄자들은 새로운 기술을 적극적으로 활용하여 목표를 달성하려 하며, 이는 새로운 전술이나 기술을 빠르게 식별하고 대응하기 어렵게 만듭니다.

S2W의 위협 분석 플랫폼을 통해 위에서 언급한 다양한 문제를 해결할 수 있지만, 동시에 기업 혹은 조직에서 내부의 위협 분석 팀을 보유하고 있다면 최상의 성과를 낼 수 있었습니다. 이 팀들은 다음과 같은 우려를 가지고 있었습니다.

1) 자체 보안 팀이 없는 소규모 기업도 위협 탐지를 수행할 수 있나요?

2) 기업이 확장하고 보안 위협의 양과 복잡성이 증가함에 따라 더 많은 위협 분석가를 고용해야 하나요?

DarkBERT는 앞서 언급한 바와 같이, 잘 훈련된 사이버 범죄 분석가를 구축하는 핵심 AI 엔진이 될 수 있습니다. 이러한 AI 분석가가 우리의 위협 분석 플랫폼에서 추출된 정보를 이해하고 분석하여 인간 분석가를 지원하거나 대체할 수 있다면, 확장성 및 비용 문제를 해결할 수 있을 것입니다.

우리는 현재 다음 질문에 답하기 위해 데이터를 자율적으로 분석하는 AI 사이버 범죄 분석가를 구축하고 테스트하고 있습니다.

1) 데이터에 위협이 될 수 있는 정보가 포함되어 있습니까?

2) 어떤 유형의 위협입니까?

3) 그렇다면 잠재적인 대상/피해자는 누구입니까?

4) 행위자는 누구입니까?

5) 어떤 정보가 다른 정보보다 더 중요한가요?

다음 그림은 데이터 유출 문제를 처리하기 위해 특별히 구축된 DarkBERT 애플리케이션의 스크린샷입니다. 이 애플리케이션은 위의 질문에 답하고 사용자가 인지해야 할 긴급한 데이터 유출을 추천하도록 설계되었습니다. 이 예시에서는 미국 공공 부문의 데이터 유출을 탐지하도록 애플리케이션을 구성했습니다.

✅ 아래 링크를 통해 DarkBERT AI 기술에 대한 심층 이해가 가능합니다.

- 다크버트 (DarkBERT) 인공지능 기술에 대한 심층 이해 자세히 보기

👉 다크버트 문의: https://s2w.inc/ko/contact