[책 요약] 밑바닥부터 시작하는 딥러닝2-Chapter 5. 순환 신경망(RNN)

Intro지금까지의 신경망은 Feed forward 유형의 신경망이었으나, 이러한 신경망은 시계열 데이터를 잘 다루지 못하는 단점이 있다.따라서 본 장에서는 시계열 데이터를 다루는데 특화된 RNN이라는 네트워크에 대해서 설명하고자 한다.확률과 언어 모델word2vec을 확률 관점에서 바라보다.word2vec의 경우, 좌우 단어(맥락)을 통해 단어를 유추했다.이를 확률로 표현하면 다음과 같다.$$P(w_t|w_{t-1}, w_{t+1})$$그런데 여기서 만약 왼쪽의 단어들만을 맥락으로 고려하면 어떻게 될까? $$P(w_t|w_{t-1}, w_{t-2})$$이것이 바로 언어 모델이다.바닐라 언어 모델은 왼쪽 문맥만을 고려하는 모델(left to right)이라고 봐야하고, 후에 나오는 BERT와 같은 Mas..