DarkBERT(다크버트)는 S2W가 다양한 다크웹 컨텐츠를 활용해 학습시킨 세계 최초 다크웹 특화 언어 모델입니다. 언어 모델이란 사람의 언어를 이해하고 방대한 지식을 사전 학습하여 여러 자연어처리 문제 해결 능력이 뛰어난 AI 모델을 뜻합니다. 그 중에서도 DarkBERT는 특히 다크웹에 존재하는 비정형 데이터를 처리하고 분석하는데 탁월한 성능을 자랑합니다. 타 유사 구조의 인코더 언어 모델들은 다크웹의 비정형 어휘 및 구조적 다양성에 어려움을 겪는 반면, DarkBERT는 특히 다크웹의 불법 콘텐츠를 이해하기 위해 학습되었습니다. 더 나아가 DarkBERT는 다크웹에서 수집된 텍스트의 가리워진 언어 모델링 (MLM)을 통해 RoBERTa 모델을 추가로 훈련합니다.
코퍼스 수집은 DarkBERT 훈련의 근본적인 과제입니다. S2W는 다크웹 데이터를 비롯해 다크웹 상의 도플갱어들을 수집하고 분석하는 능력으로 유명하며, 훈련에 적합한 대량의 다크웹 텍스트 코퍼스를 축적했습니다. 코퍼스의 품질은 중복과 저밀도 페이지 제거를 통해 개선했으며, 정제 후에도 5.83GB의 방대한 코퍼스를 보유하고 있습니다.
DarkBERT는 기존 대량 언어모델을 활용해 특정 도메인 데이터를 추가로(post-training) 학습했습니다. 일반적으로 추출이 어려운 익명 웹에 존재하는 비정형 데이터를 처리하고 문맥을 추론합니다. 또한, 익명 웹에서 발생하는 다양한 범죄 활동을 탐지/분류하고, 핵심 위협 정보를 추출하는데 이용할 수 있습니다.
NLP는 자연어 처리 (Natural Language Process)의 약자입니다. 이는 인공지능(AI)의 한 분야로, 컴퓨터와 인간 언어 간 상호작용에 중점을 둡니다. NLP는 컴퓨터가 인간의 언어를 이해하고 해석하며 가치 있는 방식으로 생성할 수 있도록 하는 것을 목표로 합니다. 이는 특정 작업을 수행할 수 있게 하는 알고리즘, 모델 및 기술의 개발을 포함합니다.
NLP는 양질의 인텔리전스를 보다 효과적으로 처리하기 위한 필수 기술입니다. NLP는 검색 엔진, 가상 어시스턴트, 고객 지원 챗봇, 추천 시스템 등을 포함한 다양한 응용 분야에서 중요한 역할을 하는데요, 인터넷 상의 텍스트 데이터 급증과 언어 관련 데이터 처리 자동화 필요로 인해 NLP의 중요성은 지속적으로 증가하고 있습니다.
정보 추출 (Information Extraction)
비정형 텍스트로부터 정형화 정보를 자동으로 추출하는 것으로, 주요 데이터를 식별하는 것(개체명 인식), 데이터 간의 관계를 추출하는 것(관계 추출), 그리고 데이터를 지식 베이스에 연결하는 것(데이터 연결)을 포함합니다.
텍스트 분류 (Text Classification)
텍스트를 미리 정의된 그룹이나 태그로 자동으로 분류하는 것으로, 감성 분석이나 스팸 탐지와 같은 응용 프로그램에서 사용됩니다.
문서 요약 (Document Summarization)
긴 텍스트 문서를 간결하고 일관된 요약하는 것으로, 주요 문장을 선택하는 방식(추출적)이나 새로운 요약 내용을 생성하는 방식(추상적)으로 이루어집니다.
언어 모델 (Language Models)
단어 순서의 가능성을 예측하는 통계 모델로, 텍스트 생성, 음성 인식, 기계 번역 등 다양한 응용에서 사용됩니다.
데이터 인텔리전스(Data Intelligence)는 데이터를 수집, 분석하고 해석해 기업이나 조직이 더 효과적인 의사결정을 내릴 수 있도록 도와주는 데이터 활용 전략입니다. 인공지능과 알고리즘 분석 기술 융합을 데이터에 적용하여 데이터 분석에 대한 새로운 접근 방법을 열어줍니다.
문의 내용 검토 후 빠른 시일 내에
담당자가 연락드리도록 하겠습니다. 감사합니다.
신청 내용 검토 후 빠른 시일 내에
담당자가 연락드리도록 하겠습니다. 감사합니다.