배치 정규화 Batch Normalization + Pytorch 실습 각 층의 활성화값 분포를 관찰해보며, 가중치의 초깃값을 적절히 설정하면 각 층의 활성화값 분포가 적당히 퍼지면서 학습이 원활하게 수행됨. 그렇다면 각 층이 활성화를 적당히 퍼뜨리도록 강제하면 더 좋지 않을까란 생각에서 배치 정규화가 출발함. 배치 정규화 알고리즘 2015년에 제안되었으나 많은 연구자가 현재까지도 사용하고 있음. 배치정규화의 장점학습을 빨리 진행할 수 있음.초깃값에 크게 의존하지 않음.오버피팅을 억제 (드롭아웃 등의 필요성 감소) 배치 정규화의 효과대부분의 초깃값 표준편차에서 학습 진도가 빠름.배치 정규화를 이용하지 않은 경우 초깃값이 잘 분포되지 않으면 학습이 전혀 되지 않는 경우도 있음. PyTorch를 이용한..
