다음은 S2W가 세계 탑티어 인공지능 학회 ‘NAACL(북미 전산언어학학회)’에서 발표한 사이버보안 문서에 특화된 AI 언어모델 ‘사이버튠(CyBERTuned)’ 논문 내용입니다.

Ignore Me But Don't Replace Me: Utilizing Non-Linguistic Elements for Pretraining on the Cybersecurity Domain (NAACL 2024)

논문 내용을 한 줄로 요약하면, 사이버보안 영역에서의 사전학습을 위한 비언어적 요소 활용입니다.

1. 언어 모델

인간의 언어(자연어)를 입력받아 컴퓨터가 문맥을 이해할 수 있도록 학습하는 모델을 언어모델이라고 합니다. 이 연구에서는 BERT 계열의 encoder 모델을 사용했습니다. Encoder 모델은 언어를 입력받아 그 의미를 벡터 형태로 변환하는 모델로, ChatGPT와 같은 대화형 생성 모델과는 다릅니다. DarkBERT 역시 encoder 모델이었습니다. S2W의 첫 번째 언어모델이자 세계 최초의 다크웹 언어모델인 다크버트(DarkBERT)에 대한 기술 논문은 아래 링크에서 확인할 수 있습니다.

- Part 1: https://s2w.inc/ko/resource/detail/278

- Part 2: https://s2w.inc/ko/resource/detail/279

2. 사전학습

사전학습(pretraining)은 대규모 텍스트 데이터를 이용해 언어 모델이 일반적인 언어 패턴과 문맥을 먼저 학습하는 과정입니다. 이후 특정 작업이나 능력을 학습시키기 위해 파인튜닝(finetuning)을 진행할 수 있습니다. 즉, 특정 목적에 맞게 모델을 조정하기 전에 텍스트를 기반으로 기본적인 언어 능력을 학습하는 과정이 사전학습입니다.

2.1 MLM

일반적인 encoder 모델의 사전학습에는 Masked Language Modeling(MLM)이 사용됩니다. 주어진 문장에서 일부 단어를 가린(masking) 뒤 해당 단어를 맞히도록 학습하는 방식입니다. 가려진 단어를 예측하는 과정을 통해 모델은 단어 사이의 관계와 문맥을 학습하게 됩니다.

예를 들어 ‘The capital of France is Paris’라는 문장에서 일부 단어를 [MASK]로 치환해 ‘The capital of France is [MASK]’와 같은 형태로 만든 뒤, [MASK] 위치에 ‘Paris’가 들어갈 것을 학습합니다.

가려진 단어를 정확히 예측하려면 문장을 구성하는 단어들의 관계를 이해해야 하며, 프랑스의 수도가 파리라는 정보도 필요합니다. 이와 같은 예측 학습을 대규모 데이터에서 반복하면서 모델은 문맥과 언어적 관계를 학습합니다.

3. 사이버보안 전용 모델

이와 같은 사전학습 방법을 이용하면 모델이 언어를 효과적으로 학습할 수 있지만, 일반적으로 사용되는 언어와 전문적인 문맥(context)에서 사용되는 언어 사이에는 차이가 있습니다.

전문적인 사이버보안 지식을 갖춘 모델을 학습하려면 사이버보안 데이터를 이용해 학습해야 합니다. 이러한 방식으로 특정 분야에 특화된 언어모델을 만드는 연구가 활발하게 이루어졌으며, 대표적인 예로 BioBERT와 LegalBERT 등이 있습니다.

다크버트(DarkBERT) 역시 다크웹상의 데이터를 이용해 사전학습한 모델이며, 관련 논문은 2023년 ACL에서 발표되었습니다.

사이버보안 자료에서 사용되는 언어에 특화된 모델을 만들기 위해서는 사이버보안 관련 자료를 확보해야 합니다. 이를 위해 S2W의 AI팀은 다양한 사이버보안 데이터를 직접 수집했습니다.

4. 사이버보안 언어모델의 한계 극복

사이버보안 전용 언어모델을 만들기 위해서는 앞서 설명한 사전학습을 사이버보안 문서를 대상으로 진행해야 합니다. 하지만 이러한 방식으로 사이버보안 전용 모델을 만들려는 시도는 이전에도 여러 차례 있었습니다. 사이버튠(CyBERTuned)은 기존 사이버보안 전용 언어모델의 한계를 분석하고 이를 극복하기 위한 새로운 학습 방법을 제시했습니다.

4.1 기존 학습법의 한계점

사이버보안 문서에서는 URL이나 SHA 해시와 같이 자연어가 아닌 문자열이 자연어와 함께 등장하는 경우가 많습니다. 논문에서는 이러한 요소를 통틀어 ‘비언어적 요소(Non-linguistic elements)’라고 정의했습니다. 문제는 이러한 비언어적 요소를 일반적인 단어와 동일한 방식으로 마스킹하면 원래 문자열을 복원하는 과정에 언어적 의미가 거의 없을 수 있다는 점입니다. 예를 들어 ‘The capital of France is [MASK]’라는 문장에서 ‘Paris’를 맞히도록 학습하는 것은 문맥과 지식을 학습하는 데 의미가 있습니다. 반면 랜덤한 문자열인 ‘d8[MASK]93252f41…’에서 가려진 문자열을 복원해 ‘d8e93252f41…’을 맞히도록 학습하는 것은 자연어의 의미나 문맥을 이해하는 데 큰 도움이 되지 않을 수 있습니다.

4.2 새로운 학습법 제시

연구에서는 기존 학습 방법의 한계를 개선하기 위해 여러 가지 방식을 실험했습니다. 그중 다음과 같은 변경 사항을 적용한 학습 방법이 가장 좋은 성능을 보였습니다.

1. 비언어적 요소의 유형에 따라 마스킹 여부를 다르게 적용
2. 마스킹된 내용을 예측하는 학습과 별개로 비언어적 요소의 유형도 예측하도록 학습

검증을 통해 선정한 학습 방법을 이용해 전체 사이버보안 데이터로 언어모델을 학습했습니다. 완성된 모델인 사이버튠(CyBERTuned)은 다른 사이버보안 전용 모델보다 우수한 성능을 보였으며, 연구 결과는 2024년 6월 19일 멕시코시티에서 발표되었습니다.

5. 발표 자료 및 논문

👉 사이버튠 문의: S2W 문의하기