Data Science/ML&AI
[NLP] BERT란? - 자연어 처리 모델 알아보기
BERT(Bidirectional Encoder Representations from Transformers, BERT)는 2018년 구글이 개발한 자연어 처리 신경망 구조이며, 기존의 단방향 자연어 처리 모델들의 단점을 보완한 양방향 자연어 처리 모델이다. 트랜스포머를 이용하여 구현되었으며, 방대한 양의 텍스트 데이터로 사전 훈련된 언어모델이다. BERT의 기본 구조는 위와 같이 transformer의 encoder를 쌓아올린 구조이다. BERT는 이 구조를 기반으로 다음와 같은 Task를 학습시킨다. 다음 문장 예측 (Next Sentence Prediction, NSP) 문장에서 가려진 토큰 예측 (Maked Language Model, MLM) 위와 같은 학습을 거친 모델로 다른 자연어 처리 학습..
