(3강) BERT 언어모델 소개
BERT 언어모델에 대한 소개 BERT를 활용하여 해결할 수 있는 다양한 Task 소개
1. BERT
1.1. BERT 모델 소개
지금까지의 모델 복습
BERT는 학습시 Mask를 함으로써 학습을 더 어렵게 한 방
BERT의 다양한 Task에서 활용
거의 모든 자연어처리 문제가 BERT로 해결이 가능하다
1.2. BERT 모델의 응용
문장 벡터가 유사한지 정도를 판단하는 모델이다.
주요 Feature 에 대해서 Entity를 명시 하는 방식으로 성능을 향상 시킬 수 있었다.
언어 모델 학습시에 feature가 무엇인지 확인하고 그를 모델에 녹여서 학습시키는 것을 고민하는 것이 중요하다!
실습 코드 Link
Last updated
