(10강) 최신 자연어처리 연구
최신언어모델의 트랜드
RoBERTa, XLNet, BART, T5
[Reference]
Reformer
1. The Reformer - Pushing the limits of language modeling
4. Training RoBERTa from scratch the missing guide polish language model
T-5
3. Transformers Summarization wandb
4. MT5 Inference for question generation
5. Fine-tune MT5 for question generation in hindi
Roberta
2. How to train a new language model from scratch using Transformers and
3. Warm-starting RoBERTaShared for BBC XSum
Longformer
Multimodal transformers
1. BERT 이후의 다양한 LM
1.1. XLNet
BERT와 GPT-2는 위와 같은 문제점을 가지고 있다.
위 두가지 문제점을 보완하고자 나온 모델이 XLNet이다.
Relative positional encoding
BERT의 (512 token)Embedding length의 한계를 보완하고자 positional encoding을 사용하였다. 현재의 토큰의 위치 대비 즉, 상대적 거리 표현법으로 사용하여 sequence의 길이에 제한이 없어졌다.
Permutation language modeling
mask token을 없애고 Permutation language modeling으로 학습을 진행한다.
순서를 섞어서 학습함으로써 단방향이 아닌 모든 가능성에 대해 학습하게 됨.
출시 당시 SOTA 등극함.
1.2. RoBERTa
BERT 모델 구조에서 학습 방법을 고민
Model 학습식간 증가 + batch size 증가 + Train data 증가
NSP(Next Sentence Prediction) 제거 -> fine-tuning 과 관련 없음 + 너무 쉬운 문제라 오히려 성능하락
Longer sentence 추가
Dynamic masking -> 똑같은 텍스트 데이터에 대해 masking을 10번 다르게 적용하여 학습
1.3. BART
Transformer Encoder - Decoder 통합 Language Model
BERT + GPT
복잡하고 다양한 task 들을 한번에 예측할 수 있도록 만든 모델
1.4. T5
Transformer Encoder - Decoder 통합 LM -> 현재 SOTA (2021.10 기준)
Pre-Train 과정에서 온갖 task들을 다양하게 학습이 가능하다.
masking 기법을 사용하는데 의미를 가진 여러 어절들을 동시에 masking을 하고 한번에 여러 multi mask를 복원하는 방식으로 학습을 한다.
한국어 T-5가 없지만 mt-5에 한국어가 포함되어있다.
1.5. Meena
대화모델을 위한 LM
소셜 미디어의 데이터 (341GB, 400억개의 단어)를 이용하여 26억개의 파라미터를 가진 신경망 모델을 이용한 end-to-end multi-turn 챗봇
챗봇의 평가를 위한 새로운 Metric인 SSA(Sensibleness and Specificity Average)를 제시
1.6. Controllable LM
확률론에 기반한 생성모델은 윤리성 문제를 담을 수 없다. 이런 부분에 대해 연구되고 있는 부분이 Controllable Language Model이다.
Plug and Play Language Model (PPLM)
다음에 등장할 단어 -> 확률 분포를 통해 선택
내가 원하는 단어들의 확률이 최대가 되도록 이전 상태의 vector를 수정
수정된 vector를 통해 다음 단어 예측
내가 가진 back of word에 담긴 단어들이 최대 확률이 되도록 수정하는 방식이다.
즉, 의도적인 유도를 만들어 낼 수 있다는 것.
확률 분포를 사용하는 것이기 떄문에, 중첩도 가능 (기쁨 + 놀람 + 게임)
특정 카테고리에 대한 감정을 컨트롤해서 생성 가능
정치적, 종교적, 성적, 인종적 키워드에 대해 중립적인 단어를 선택하도록 할 수 있음
범죄 사건에 대해서는 부정적으로 선택하도록 할 수 있음
확률 분포 조절을 통해 그라데이션 분노 가능하다.
2. Muti-modal Language Model
자연어로만 자연어를 예측하는 것은 한계가 존재한다. 사람은 언어를 습득함에 있어서 시각, 후각, 청각, 촉각 등 다양한 감각이 영향을 끼친다. 이런 부분을 다룬 것이 Multi-modal Language model이다.
2.1. 할머니 세포 (Grandmother cell)
어머니에 대한 정보를 담고 있는 뉴런들을 제거 하자 해당 concept에 대한 기억이 사라진다는 것.
2.2. LXMERT
이미지와 자연어를 동시에 학습
Cross-modal reasoning language model (learning Cross-Modality Encoder Represen - tations from Transformers)
2.3. ViLBERT
BERT for vision- and-language
이미지와 텍스트를 함께 학습한 모델이 가장 좋은 성능을 나타내는 것을 볼 수 있었다.
2.4. Dall-e
자연어로부터 이미지를 생성해내는 모델
VQ-VAE를 통해 이미지의 차원 축소 학습
큰 이미지에 대해 차원을 축소한다.
Autoregressive 형태로 다음 토큰 예측 학습
Last updated
