[책 요약] 밑바닥부터 시작하는 딥러닝1-Chapter 6. 학습 관련 기술들

매개변수 갱신신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이며, 이러한 최적값을 찾는 것을 최적화(Optimization)이라고 한다.하지만 매개변수 공간은 매우 넓고 복잡해서 최적의 솔루션을 찾는 것은 어렵다.지금까지 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)을 이용했다.이것이 확률적 경사 하강법(SGD)이다.SGD와는 다른 최적화 기법을 알아보자.확률적 경사 하강법(SGD)\(W ⬅ W - \eta \frac{\partial L}{\partial W}\)위에서 W는 갱신할 가중치 매개변수이고 미분값은 W에 대한 손실 함수의 기울기이다. 에타는 학습률을 의미한다.⬅는 우변의 값을 좌변의 값으로 갱신한다는 의미이다.Optimizer는 ‘최적화를 행하는 자’라..