경사하강법 (Gradient Descent) 신경망 학습의 핵심은 가중치(weight)를 최적의 값으로 찾아내는 것.이때 손실(loss)을 최소화하는 방향으로 가중치를 조금씩 조정하는 알고리즘이 바로 경사하강법(Gradient Descent)임. 경사하강법이란? 최적의 매개변수를 찾아내기 위해 손실 함수가 최솟값이 될 때의 매개변수 값을 찾기 위한 방법매개변수 공간이 광대하여 어디가 최솟값이 될 지 짐작할 수 없는 경우 기울기를 이용해 함수의 최솟값 혹은 가장 작은 것을 찾으려고 하는 방법 기울기를 따라 나아가지만, 그 지점이 정말 최솟값인지는 보장할 수 없음. 함수가 극솟값, 최솟값, 또 안장점이 되는 장소에서는 기울기가 0임. 평평한 곳으로 파고들면서 고원이라 하는 학습이 진행되지 않는 정체기에 빠..