오차역전파

오차역전파 

 

신경망 학습에서 가중치 매개변수의 기울기를 구할 때 수치 미분을 이용해 구할 수 있는데, 수치 미분은 단순하고 구현하기도 쉽지만 계산이 오래 걸린다는 단점이 존재.

매개변수의 기울기를 효율적으로 계산하는 방법으로 오차역전파라고 함.

 

Input에서 Output으로 값을 전파하면서 보내는 것을 순전파(forward propagation)이라고 부르며, 값을 보내는 것.

역전파는 반대로 Output에서 Input 방향으로 향하며, 가중치를 재업데이트 함.

 

Input에서 Ouput이 나오는 과정에서 결과값은 오차(Error)를 가지는데, 역전파는 다시 오차를 역방향으로 은닉층과 Input 방향으로 보내면서 가중치를 계산하면서 Output에서 발생했던 오차를 돌려보냄.

 

1번 학습하는 것을 1 epoch라고 부르며, epoch를 늘릴 수록 가중치가 계속 업데이트(학습)되면서 점점 오차를 줄여가나는 방법.

 

 

계산 그래프를 통해 오차역전파 이해하기

스탠퍼드 대학교의 딥러닝 수업 CS231n 강의를 참고.

 

계산 그래프를 사용하면 역전파를 '미분'을 효율적으로 계산할 수 있다는 점.

 

 

 

국소적 계산

 

계산 그래프의 특징은 '국소적 계산'을 전파함으로써 최종 결과를 얻는다는 점.

 

국소적이란? 

• 자신과 직접 관계된 작은 범위

전체에서 어떤 일이 벌어지든 상관 없지만, 자신과 관계된 정보만으로 결과를 출력할 수 있음.

 

 

연쇄법칙

 

역전파는 '국소적인 미분'을 순방향과는 반대인 Output에서 Input으로 전달.

'국소적 미분'을 전달하는 원리 연쇄법칙에 따르며, 계산 그래프 상의 역전파와 같음.

 

합성 함수란?

• 여러 함수로 구성된 함수
• 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있음.

 

 

y = f(x)라는 역전파를 아래 그림처럼 나타낼 수 있음.

 

 

 

 

역전파

 

역전파에 대해서 그림으로 알아보자

 

우선 덧셈노드와 곱셉 노드를 간략히 보자.

 

 

 

덧셈노드와 곱셈노드

 

 

오차를 역전파 방향으로 전달하는 예시를 보자면 아래와 같음.

즉, 순전파에 관여하는 값이 클수록 Error에도 더 많은 영향을 미침.

 

오차역전파는 아래 그림처럼 오차를 점ㅈ머 거슬러 올라가면서 다시 전파하는 것을 의미