(01강) 딥러닝 기본 용어 설명 - Historical Review

• 딥러닝에 대한 소개와 역사

• Data, Model, Loss, Optimization Algorithms

1. Introduction

• AI(Artificial Inteligence): 인간의 지능을 모방

• ML(Machine Learning): 데이터를 가지고 학습하는 알고리즘을 구현

• DL(Deep Learning): 뉴런 네트워크를 활용하는 것

1.1. DL의 4가지 요소

• Data

• Model

• Loss

• Optimization Algorithm(to minimize loss)

2. Historical Review

• 2012 - AlexNet : 이미지 분류에서의 딥러닝이 두각을 나타낸 시작

• 2013 - DQN : (알파고를 만든) 강화학습을 통해 풀어낸 방법론

• 2014 - Encoder / Decoder : 번역

• 2014 - Adam Optimizer: 그냥 Adam 결과가 왠만하면 잘나온다

• 2015 - GAN(Generative Adversarial Network)

• 2015 - ResNet(Residual Networks) : 딥러닝의 딥러닝이 가능해졌다.(Layer를 깊게 쌓아도 Test셋의성능이 좋아질 수 있었다)

• 2017 - Transformer (Attention is all you need)

• 2018 - Bert (fine-turned NLP models)

• 2019 - Big Language Models (GPT-X)

• 2020 - Self-Supervised Learning (SimCLR)

Reference

• Denny Britz의 블로그