DarkBERT에 대한 심층 이해를 돕기위해 S2W에서 블로그 시리즈를 준비했습니다. 

오늘은 그 첫 번째로 Part 1을 먼저 소개합니다.

DarkBERT는 RoBERTa를 기본 모델로 학습되었습니다. 이는 BERT보다 더 많은 데이터를, 더 오랜 시간 동안 학습했다는 사실을 의미합니다. 잘 구축된 AI 엔진의 기준을 크게 '학습 데이터의 양'과 '데이터 처리 기술'로 정해보았을 때, RoBERTa를 기반으로의 하이퍼파라미터를 따르고, MLM 작업에 대해 RoBERTa를 따라 훈련했는데요.

DarkBERT를 보다 구체적으로 이해하기 위한 이야기. S2W의 미디엄 블로그에서 만나보실래요?

☑️ Click here to learn more.