(07강) Sequential Models - RNN

Further Question

• LSTM에서는 Modern CNN 내용에서 배웠던 중요한 개념이 적용되어 있습니다. 무엇일까요?

• Pytorch LSTM 클래스에서 3dim 데이터(batch_size, sequence length, num feature), batch_first 관련 argument는 중요한 역할을 합니다. batch_first=True인 경우는 어떻게 작동이 하게되는걸까요?

1. Sequentual Model

• Naive sequence model

  

• Autoregressive model

  

• Markov model (first-order autoregressive model)

  

• Latent autoregressive model

  

2. RNN (Recurrent Neural Network)

• Short-term dependencies

• 오래된 정보가 소실되게 된다. (Gradient Vanishing / Exploding)

3. LSTM (Long Short Term Memory)

RNN이 가지는 소실 문제를 해소하기 위해 과거의 정보를 누적하는 cell state를 가진다.

4. GRU (Gated Recurrent Unit)