신경망 학습에서 초기 가중치 설정 신경망 학습에서 특히 중요한 것이 가중치의 초깃값 설정은 중요함.특히, 가중치의 초기값을 무엇으로 설정하는지에 따라서 신경망 학습의 성패가 달라질 수 있음. 목차초깃값을 0으로 설정은닉층의 활성화 값 분포Xavier 초깃값시각화 코드 샘플 초깃값을 0으로 설정 오버피팅을 억제해 범용 성능을 높이는 테크닉인 가중치 감소(weight decay) 기법을 소개하고자 함.가중치 감소는 가중치 매개변수의 값이 작아지도록 학습하는 방법으로 가중치의 값을 작게하여 오버피팅이 일어나지 않게 하는 것. 하지만, 가중치를 0으로 설정하면 학습이 올바로 이뤄지지 않음.왜냐하면 오차역전파법에서 모든 가중치의 값이 똑같이 갱신되기 때문.가중치들은 같은 초깃값에서 시작하고, 갱신을 거쳐도 여전..