(3강) BERT 언어모델 소개

BERT 언어모델에 대한 소개 BERT를 활용하여 해결할 수 있는 다양한 Task 소개

1. BERT

1.1. BERT 모델 소개

지금까지의 모델 복습

• BERT는 학습시 Mask를 함으로써 학습을 더 어렵게 한 방

• BERT의 다양한 Task에서 활용

• 거의 모든 자연어처리 문제가 BERT로 해결이 가능하다

1.2. BERT 모델의 응용

• 문장 벡터가 유사한지 정도를 판단하는 모델이다.

• 주요 Feature 에 대해서 Entity를 명시 하는 방식으로 성능을 향상 시킬 수 있었다.

• 언어 모델 학습시에 feature가 무엇인지 확인하고 그를 모델에 녹여서 학습시키는 것을 고민하는 것이 중요하다!

실습 코드 Link

(3강) BERT 언어 모델 소개 - 0_Huggingface.ipynbGoogle Docs

(3강) BERT 언어 모델 소개 - 1_BERT_유사도_기반_챗봇.ipynbGoogle Docs