데이터eng 2016. 5. 29. 13:03

신경망 activation function으로 ㅅ자주 언급되는 sigmoid함수의 미분 과정이 필요하여 정리해본다.

신경망 학습 과정중에 backpropagation 단계에서 아래 미분된 sigmoid 함수의 값이 요구되어진다.

아래처럼 생겼다. 지수 a 값에 따른 변화이다.


                

                

               

               


아래는 미분 값으 변화이다. 양끝단으로 갈수록 미분값이 0에 수렴하게 되는데,

이러한 사항때문에 나중에 신경망에서 vanishing gradient 문제가 발생하게 된다.


참고 : http://roboticist.tistory.com/494

'데이터eng' 카테고리의 다른 글

통계학 시작  (1) 2016.07.05
softmax, cross_entropy 에 대하여  (0) 2016.06.05
[라그랑제 승수]조건부 최적화 문제 풀기  (0) 2016.01.12
MLE(최우도 추정)에 관해  (0) 2015.12.31
bayes rule  (0) 2015.12.30
//