sigmoid 함수 미분 과정

신경망 activation function으로 ㅅ자주 언급되는 sigmoid함수의 미분 과정이 필요하여 정리해본다.

신경망 학습 과정중에 backpropagation 단계에서 아래 미분된 sigmoid 함수의 값이 요구되어진다.

아래처럼 생겼다. 지수 a 값에 따른 변화이다.

                

                

               

               

아래는 미분 값으 변화이다. 양끝단으로 갈수록 미분값이 0에 수렴하게 되는데,

이러한 사항때문에 나중에 신경망에서 vanishing gradient 문제가 발생하게 된다.

참고 : http://roboticist.tistory.com/494