🔨(4강) 작은 모델, 좋은 파라미터 찾기: AutoML 실습

• AutoML 직접 구현하기

• yaml 파일에서 모델을 만드는 법을 학습하고

• Optuna를 사용하여 자동으로 모델을 찾는 법을 학습한다.

[Further Reading]

• [Code] pytorch/vision

  - Datasets, Transforms and Models specific to Computer Vision - pytorch/vision

• Optuna

1. Overview

1.1. Review

AutoML: 기준 성능을 잘 만족하는 적절한 모델과 파라미터를 탐색할 수 있다.

1.2. Objective

사람이 직접 찾는것 보다 충분히 좋은 configuration 찾기

• 어느정도의 prior를 개입, 적은 search space를 잡는다.

• 적지만, 대표성을 띄는 좋은 subset 데이터를 정한다. (+ n-fold Cross validation)

• 학습과정의 profile을 보고 early terminate하는 기법 적용

  ASHA Scheduler, BOHB(Bayesian Optm & Hyperband)

2. 코드: Sample 파트

search space를 설정하고, 임의의 모델과 파라미터를 sample하는 코드를 살펴본다.

2.1. 이론과 코드의 연결

overview

• Optuna API의 활용

  • SOTA알고리즘 구현, 병렬화 용이, Conditional 파라미터 구성 용이

• 과정

  • Optuna Study 생성(blackbox optimizer 및 관리담당)

  • Study에 최적화할 목적함수 및 시도횟수, 조건 등을 주고 Optimize

study = optuna.create_study(directions='maximize')
study.optimize(objective, n_trials=500)
print(f'best trial {study.best_trial}')

위에서 주어졌던 과정과 코드를 매핑해보면, 다음과 같이 표현할 수 있다.

3. 코드: Parse 파트