Day6~7 (10.2~3, 토~일)

• Base 학습 모델 Hyperparamter 선택

• Typed entity marker 기법을 시도 + 데이터 정제 후 재시도 + punct 기법 시도

제출

1차 제출

model_name = klue/bert-base
optimizer_name = AdamW
scheduler_name = CosineAnnealingLR

loss_name = CrossEntropy_weighted
num_train_epochs = 10
learning_rate = 5e-5
batch_size = 64
warmup_steps = 500
weight_decay = 0.01
early_stopping = 3 # with eval/loss
random_state= 42

eval_steps = 500
seed = 42

• 기존에 제출한 프로세스가 seed를 고정하지 않아서 seed 고정 후 정상 고정 여부를 확인하고 다시 base로 삼기위해 제출함.

2차 제출

🌟아이디어

• 오피스아워에서 배운 special token을 추가하는 방법을 사용하여 성능향상을 목표로 함.

model_name = klue/bert-base
optimizer_name = AdamW
scheduler_name = CosineAnnealingLR

loss_name = CrossEntropy_weighted
num_train_epochs = 10
learning_rate = 5e-5
batch_size = 64
warmup_steps = 500
weight_decay = 0.01
early_stopping = 3 # with eval/loss
random_state= 42

eval_steps = 500
seed = 42

add_special_token = True
new_special_token_list = ['S:PER', 'S:ORG', 'S:POH', 'S:DAT', 'S:LOC', 'S:NOH', 
                          'O:PER', 'O:ORG', 'O:POH', 'O:DAT', 'O:LOC', 'O:NOH']

• check ) 정리하면서 발견한건데 new_special_token_list 에서 오타가 하나 있었다...

• 어제 오피스아워에서 배운 Typed entity marker 를 추가하는 로직을 구현하여 시도했으나, WandB에서는 상승세가 보이긴했지만 실제 제출한 결과는 그렇지 못한것을 확인할 수 있었다.

🤷‍♂️❓ 원인

• PER 에 대한 데이터가 많은데 그 중 하나를 O:PER 를 누락한 점.

• token을 만들 때, 주어진 subject_entity의 type 값를 활용하였는데 해당 값이 기존 EDA에서처럼 잘못 작성된 case가 있었음.

• f1-score 2점은 사실 데이터에 따라서 변할 수 있는 정도의 수치라고 생각됨...

  • seed값에 따라 얻는 점수의 폭이 크게는 1~3점도 나는것으로 보인다. 그렇기에 단지 테스트 데이터가 잘 맞지 않았다라고 생각할 수 있을 것 같다.

💭 해볼 만 한것.

• 오기입 한 데이터 수정해서 재학습

큰 차이는 없는 것으로 보인다. 여기서 또 주목할 만한 것은 loss가 상승하면서 과적합 되는 현상을 볼 수 있는데 f1 score와 auprc 값이 미세하지만 상승하는걸 볼 수 있다. 하지만 제출해본 결과 과적합이 맞는 것으로 보인다. (50점 대로 떨어짐)

• type 값 검증 작업 진행 및 오기입 부분 수정 혹은 삭제하고 재학습

• Typed entity marker(punct) 으로 학습해보기

후기

지금 앞서가는 팀들을 보면 1일차에 비해 모두들 5~8점 가량이 비슷하게 향상된 것을 느낄 수 있었다. 왠지 Summary 대회에서처럼 특정 pre-trained 모델을 사용하여 성능향상이 된것이 아닌가 생각이 든다.

뭔가 구현해보기 좋겠다는 생각이 들어서 special token을 추가하는 기법을 가장 먼저 시도해보았는데 생각해보니 모델의 성능에 가장 영향을 많이 끼치는 순으로 테스트를 했어야한다는 생각이 들었다.

• 데이터 정제, 증강 작업

• 모델 테스트(Ro-BERTa-{small, base, large}, KoBERT, KoBart, KoElectra, T5)

우선 이 두가지를 연구해 보기로 하자.