Day2 (9.29, 수)

✔ hugging face 모델가져와서 추론해보기
❌ fine-tuning 해보기
✔ 제출하기

추론을 하는 것조차도 익숙하지 않다보니 이렇게 하는게 맞는건가 머뭇거리게 되었고, 결국 동료들의 작업과 도움을 바탕으로 ainize/kobart-news 모델로 코드를 만들고 추론을 진행해볼 수 있었다.

from tqdm import tqdm
from transformers import PreTrainedTokenizerFast, BartForConditionalGeneration
import torch
import pandas as pd

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')

#  Load Model and Tokenize
tokenizer = PreTrainedTokenizerFast.from_pretrained("ainize/kobart-news")
model = BartForConditionalGeneration.from_pretrained("ainize/kobart-news")
model.to(device)

test = pd.read_csv('/content/drive/MyDrive/boostcamp/dacon/aihub-2021/test_data.csv')
text_list = list(test.text)

submission_csv = pd.read_csv('/content/drive/MyDrive/boostcamp/dacon/aihub-2021/sample_submission.csv')
error_cnt = 0

for index, input_text in enumerate(tqdm(text_list)):
    if index in [4083, 4913, 5525, 8788]:
        continue

    try:
        #input_text = input_text[:2300]
        input_ids = tokenizer.encode(input_text, return_tensors="pt").to(device)
        
        summary_text_ids = model.generate(
            input_ids=input_ids,
            bos_token_id=model.config.bos_token_id,
            eos_token_id=model.config.eos_token_id,
            length_penalty=2.0,
            max_length=142,
            min_length=56,
            num_beams=4,
        )

        submission_csv.summary[index] = tokenizer.decode(summary_text_ids[0], skip_special_tokens=True)
    except:
        print(f'index error {index}')
        pass

submission_csv.to_csv('/content/drive/MyDrive/boostcamp/dacon/aihub-2021/submission_1.csv')

print('Job done')

처음에 알 수 없는 오류로 인해 추론이 중간중간 멈추는 현상을 겪게 되었다.

CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.