TIL
  • Main
  • TIL : ML
    • AI News
      • AI-powered coding, free of charge with Colab
    • Paper
      • Retrieval-augmented generation for knowledge-intensive nlp tasks
        • reference 정리
      • Sequence to Sequence
    • Generative AI
      • LLM
        • 기본 개념
    • Boostcamp
      • Daily Report
        • 2021
          • 09
            • week4
            • week5
          • 10
            • week1
            • week2
            • week3
            • week4
          • 11
            • week1
            • week2
            • week3
            • week4
            • week5
          • 12
            • week1
            • week2
            • week3
      • Final Project
        • 프로젝트 기획
          • 🌟최종 프로젝트 기획
          • 최종 프로젝트 Version
          • 아이디어 수집
          • 욕설, 혐오발언 감지
          • 라이브 커머스 레포팅 프로젝트
        • 프로젝트 진행
          • week1
          • week2
          • week3
      • Competition
        • 1. [NLP] 문장 내 개체간 관계 추출
          • Day1 (9.27, 월)
          • Day2-3 (9.28~29, 화~수)
          • Day4 (9.30, 목)
          • Day5 (10.1, 금)
          • Day6~7 (10.2~3, 토~일)
          • Day8 (10.4, 월)
          • Day9 (10.5, 화)
          • Day10 (10.6, 수)
          • Day 11 (10.7 목)
        • 2. [NLP] MRC 프로젝트
          • Day1 (10.25, 월)
          • Day2 (10.26, 화)
          • Day3 (10.27, 수)
          • Day4-5 (10.28-29, 목-금)
          • Day6 (11.1, 월)
          • Day7 (11.2, 화)
          • Day8 (11.3, 수)
          • Day9 (11.4, 목)
        • 🔨3. [NLP] 데이터 제작
          • Day1
        • 🔨4. [공통] 모델 경량화
      • [U Stage] - DL basic
        • (01강) 딥러닝 기본 용어 설명 - Historical Review
        • (02강) 뉴럴 네트워크 - MLP (Multi-Layer Perceptron)
        • (03강) Optimization
        • 🔨(04강) Convolution은 무엇인가?
        • 🔨(05강) Modern CNN - 1x1 convolution의 중요성
        • 🔨(06강) Computer Vision Applications
        • (07강) Sequential Models - RNN
        • (08강) Sequential Models - Transformer
        • Page 2
      • [U Stage] - PyTorch
        • (01강) Introduction to PyTorch
        • (02강) PyTorch Basics
        • (03강) PyTorch 프로젝트 구조 이해하기
        • (04강) AutoGrad & Optimizer
        • (05강) Dataset & Dataloader
        • (06강) 모델 불러오기
        • (07강) Monitoring tools for PyTorch
        • (08강) Multi-GPU 학습
        • (09강) Hyperparameter Tuning
        • (10강) PyTorch Troubleshooting
      • [U Stage] - NLP
        • (01강) Introduction to NLP, Bag-of-Words
        • (02강) Word Embedding
        • (03강) Recurrent Neural Network and Language Modeling
        • (04강) LSTM and GRU
        • (05강) Sequence to Sequence with Attention
        • (06강) Beam Search and BLEU score
        • (07-08강) Transformer
        • (09강) Self-supervised Pre-training Models
      • [P Stage] - KLUE
        • (1강) 인공지능과 자연어 처리
        • (2강) 자연어의 전처리
        • (3강) BERT 언어모델 소개
        • (4강) 한국어 BERT 언어 모델 학습
        • (5강) BERT 기반 단일 문장 분류 모델 학습
        • (6강) BERT 기반 두 문장 관계 분류 모델 학습
        • (7강) BERT 언어모델 기반의 문장 토큰 분류
        • 오피스아워 (9.30, 목)
        • (8강) GPT 언어 모델
        • (9강) GPT 언어모델 기반의 자연어 생성
        • (10강) 최신 자연어처리 연구
      • [P Stage] - MRC
        • Before Study
        • (1강) MRC Intro & Python Basics
        • (2강) Extraction-based MRC
        • (3강) Generation-based MRC
        • (4강) Passage Retrieval - Sparse Embedding
        • (5강) Passage Retrieval - Dense Embedding
        • 오피스아워
        • (6강) Scaling up with FAISS
        • (7강) Linking MRC and Retrieval
        • (8강) Reducing Training Bias
        • (9강) Closed-book QA with T5
        • (10강) QA with Phrase Retrieval
        • 마스터클래스
      • [P Stage] - 데이터제작(NLP)
        • (1강) 데이터 제작의 A to Z
        • (2강) 자연어처리 데이터 기초
        • (3강) 자연어처리 데이터 소개 1
        • (4강) 자연어처리 데이터 소개 2
        • (5강) 원시 데이터의 수집과 가공
        • 오피스아워 (11.10, 수)
        • (6강) 데이터 구축 작업 설계
        • (7강) 데이터 구축 가이드라인 작성 기초
        • (8강) 관계 추출 과제의 이해
        • (9강) 관계 추출 관련 논문 읽기
        • (10강) 관계 추출 데이터 구축 실습
      • [P Stage] - 모델 최적화
        • (1강) 최적화 소개 및 강의 개요
        • (2강) 대회 및 데이터셋 소개
        • (3강) 작은 모델, 좋은 파라미터 찾기: AutoML 이론
        • 🔨(4강) 작은 모델, 좋은 파라미터 찾기: AutoML 실습
        • (5강) 작은 모델, 좋은 파라미터 찾기: Data Augmentation & AutoML 결과 분석
        • 🔨오피스아워 -Baseline 코드에 모듈 작성하기(신종선 멘토님)
      • [P Stage] - Product Serving
        • Part 1: Product Serving 개론
          • 1.1 강의 진행 방식
          • 1.2 MLOps 개론
          • 1.3 Model Serving
          • 1.4 머신러닝 프로젝트 라이프 사이클
        • Part 2: 프로토타입부터 점진적으로 개선하기
          • 2.1 프로토타이핑 - Notebook 베이스(Voila)
          • 2.2 프로토타이핑 - 웹 서비스 형태(Streamlit)
          • 2.3 Linux & Shell Command
          • 2.4 Cloud
          • 2.5 Github Action을 활용한 CI/CD
        • Part 3: 더 완성화된 제품으로
          • 3.1.1 FastAPI
          • 3.1.2 Fast API
          • 3.1.3 Fast API
          • 3.2 Docker
          • 3.3 Logging
          • 3.4 MLFlow
        • Part 4: 심화 소재
          • 4.1 BentoML
          • 4.2 Airflow
          • 4.3 머신러닝 디자인 패턴
          • 4.4 앞으로 더 공부하면 좋을 내용
      • 특강
        • (특강) 김상훈 - 캐글 그랜드마스터의 노하우 대방출
        • (특강) 이활석 - 서비스 향 AI 모델 개발하기
        • (특강) 구종만 - AI + ML과 Quant Trading
        • (특강) 문지형 - 내가 만든 AI 모델은 합법일까, 불법일까
        • (특강) 이준엽 - Full Stack ML Engineer
        • (특강) 박은정 - AI 시대의 커리어 빌딩
        • (특강) 오혜연 - AI Ethics
    • Competition
      • (DACON)한국어 문장 관계 분류 경진대회
        • Day1(2.14, 월)
        • Day2(2.15, 화)
        • Day3(2.16, 수)
        • Day4(2.17, 목)
      • 2021 인공지능 데이터 활용 경진대회
        • 역량평가
          • Day1 (9.28, 화)
          • Day2 (9.29, 수)
          • Day3 (9.30, 목)
        • 예선
          • Data 분석
          • NSML
          • What We Have Done?
    • ETC
      • 인터뷰 대비
        • Computer Science
        • ML/DL
      • Poetry로 dependency 관리
        • window에서 설치하기
      • code block
      • 공부할 것 임시보관
      • Transformer to T5
      • Hugging Face Tutorial
        • Ch1. Transformer models
        • Ch2. Using Transformers
        • Ch3. Fine-tuning a model with the Trainer API
      • KLUE
      • Pandas
  • TIL : Ops
    • AWS
      • SageMaker
  • TIL : Computer (CS)
    • Error
      • TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]
    • Algorithm
      • Theory
      • Programmers
        • 기능개발
    • ETC
      • Github 커밋 히스토리 삭제
Powered by GitBook
On this page
  • 1. 메인 시간표 (week9)
  • 2. 세부일정
  • 📝9.27 (월)
  • 📝9.28 (화)
  • 📝9.29 (수)
  • 📝9.30 (목)
  • 📝10.1 (금)
  • 📝10.2 ~ 3 (토, 일)

Was this helpful?

  1. TIL : ML
  2. Boostcamp
  3. Daily Report
  4. 2021
  5. 09

week5

Previousweek4Next10

Last updated 3 years ago

Was this helpful?

  • ✔ 강의 overview, 1, 2강 듣고 정리하기

  • ✔ special mission 1 - 한국어 전처리 연습하기

  • ✔ baseline 코드 이해하기 1회 제출하기

  • 강의 3강 듣기

  • ✔ 강의 3, 4, 5강 듣고 정리하기

  • ✔ 실습심화(간단한 챗봇 구현) 맛보기

  • ❌관계추출 Competition validation Set 분리하기

  • ❌단위 Test용 notebook 파일 만들고, 필요한 코드 작성

  • ❌경현님 코드로 설정 파일 만들기

  • 제출한 모델에 대해 정리하기

  • 다음으로 제출할 모델에 대해 정리하고 제출하기(이게 뭐가 더 좋은지 생각해보기)

  • AI-Hub 대회 코드 뜯어보고 제출할 만한 아이디어 생각해보기

AI-Hub 대회 코드 준비에 시간을 투자하여야 해서 관계추출 대회는 30일 이후에 다시 진행하기로 함.

  • ✔ 강의 6, 7강 듣고 정리

    • 실습 위주의 내용으로 주말에 직접 코드를 치면서 연습해야할 것 같다.

  • ✔ 요약 대회 추론 돌리고 제출하기

  • ✔요약 대회 1, 2회 정도 추가로 할 만한 아이디어 생각하고 제출하기

  • ✔관계추론 대회 baseline 추가 세팅정리

    • ✔seed 값 설정 및 확인

    • ✔config 파일 세팅 - 경현님 코드 참고

    • ✔git 브랜치 파서 커밋하기

  • 동현님이 제출한 pororo 모델이 상위권을 차지하면서 요약 대회 마감

  • 멘토링

  • 오피스아워

  • 관계 추론 대회 데이터 검증 작업 (id 10,000 ~ 10,270)

  • ✔피어세션 서기

  • RE Task와 관련된 논문이나 사이트 찾아보기

  • ✔오피스아워 다시 보기

  • ✔주간 회고 작성

  • ✔EDA 진행

  • ✔오피스아워를 토대로 앞으로 시도해볼 것 정리

  • ✔10.1 에 시도하고자 했던 것들 시도하기

  • ✔코드 구현하면서 정리가 필요한 것들 단위별로 만들기

우선 새로운 캠퍼들과 같은 팀이 되어서 수업을 들으며 진행한 첫주로 설렘과 어색함이 함께였던 한주가 되었다. 빨리 친해지기 위해서 매일 10분씩 아이스브레이킹을 한 것이 큰 도움이 되었던 것 같다. 다들 이미 이 분야에 대해 많이 알고 있고, 다양한 정보를 가지고 있어서 너무 도움만 받는게 아닌가 라는 생각도 들곤 한다.

부스캠프 이외에 요약 대회를 참가하기로 하였다. 취지는 250명의 취준생들이 한번에 나오는 만큼 +α\alphaα로 할 수 있는 것을 해보자는 것이었다. 사실 dacon도 kaggle도 한번도 해보지 않아서 어떤건지 궁금하기도 했고, 막상 처음하다보니 잘 할 수 있을까 걱정이 되었지만 데이터도 분석해보고 추론도 해보면서 대회의 프로세스를 이해할 수 있었던 시간이되었다. 또한 동현님의 모델 선정으로 좋은 성적을 가지고 예선에 진출 할 수 있게 되어서 의미가 더해질 수 있었다. 그 다음주에 치르는 예선도 잘 해낼 수 있으면 좋겠다.

KLUE RE 대회에 다소 신경을 못 썼는데 이번 주말을 통해 오피스아워에서 알려준 기법들을 테스트 해보는 시간을 가지려고 한다. 첫 P-Stage에서 아쉬웠던 점들을 보완해가면서 진행을 하고자하였고, 한번 할 때, 두번 할 때 점점 프로세스가 이해가 되고 있다. 다만 아직 이론적인 부분이나 이게 왜?? 라는게 명확하지는 않아서 추가적인 공부가 필요하다고 생각이 들었다.

1. 메인 시간표 (week9)

2. 세부일정

📝9.27 (월)

[강의]

[특강]

18:00~19:30 Model Interpretability (시각화 - 김준태 멘토님)

[기타]

P Stage 타운홀 미팅 (9/27 월요일 11:00~12:00)

📝9.28 (화)

[강의]

[기타]

📝9.29 (수)

[강의]

[기타]

📝9.30 (목)

[특강]

  • 9/30 (목) 18:00~19:30 Relation Extraction (KLUE - 박채훈 멘토님)

[기타]

📝10.1 (금)

[기타]

📝10.2 ~ 3 (토, 일)

휴식 + 학습

[기타]

(1강) 인공지능과 자연어 처리
(2강) 자연어의 전처리
Day1 (9.27, 월)
(3강) BERT 언어모델 소개
(4강) 한국어 BERT 언어 모델 학습
(5강) BERT 기반 단일 문장 분류 모델 학습
Day1 (9.28, 화)
(6강) BERT 기반 두 문장 관계 분류 모델 학습
(7강) BERT 언어모델 기반의 문장 토큰 분류
Day2 (9.29, 수)
오피스아워 (9.30, 목)
Day3 (9.30, 목)
Day4 (9.30, 목)
Day5 (10.1, 금)
Day6~7 (10.2~3, 토~일)
1. [NLP] 문장 내 개체간 관계 추출