(09강) Hyperparameter Tuning

Further Question

1. 모델의 모든 layer에서 learning rate가 항상 같아야 할까요? 같이 논의해보세요!

2. ray tune을 이용해 hyperparameter 탐색을 하려고 합니다. 아직 어떤 hyperparmeter도 탐색한적이 없지만 시간이 없어서 1개의 hyperparameter만 탐색할 수 있다면 어떤 hyperparameter를 선택할 것 같나요? 같이 논의해보세요!

Codes

• Ray-tune for Hyperparameter Turning

Reference

• Pytorch와 Ray 같이 사용하기