[책 요약] 밑바닥부터 시작하는 딥러닝2-Chapter 4. word2vec 속도 개선

Intro앞장에서 구현한 CBOW는 말뭉치에 포함된 어휘 수가 많아지면 계산량이 너무 커지기 때문에 이번 장에서는 네거티브 샘플링이라는 새로운 손실함수 도입을 통해 속도를 개선하고자 한다.word2vec 개선 1전체 어휘수가 7개라면 신경 쓸 것이 없다. 그러나 오른쪽 그림처럼 어휘수가 100만개로 늘어나게 되면 수많은 계산 시간이 소요된다.병목이 생기는 구간입력층의 원핫 표현과 가중치 행렬 \(\textbf{W}_{\text{in}}\)의 곱 계산은닉층과 가중치 행렬 \(\textbf{W}_{\text{out}}\)의 곱 및 softmax의 계산Embedding 계층아래와 같이 단어를 원핫 벡터로 표현할 경우 입력층에서는 다음과 같은 계산을 하게 된다하지만 1 X 100만 짜리 행렬을 곱하는 것은 간단..