신경망 activation function으로 ㅅ자주 언급되는 sigmoid함수의 미분 과정이 필요하여 정리해본다.
신경망 학습 과정중에 backpropagation 단계에서 아래 미분된 sigmoid 함수의 값이 요구되어진다.
아래처럼 생겼다. 지수 a 값에 따른 변화이다.
아래는 미분 값으 변화이다. 양끝단으로 갈수록 미분값이 0에 수렴하게 되는데,
이러한 사항때문에 나중에 신경망에서 vanishing gradient 문제가 발생하게 된다.
참고 : http://roboticist.tistory.com/494
'데이터eng' 카테고리의 다른 글
| 통계학 시작 (1) | 2016.07.05 |
|---|---|
| softmax, cross_entropy 에 대하여 (0) | 2016.06.05 |
| [라그랑제 승수]조건부 최적화 문제 풀기 (0) | 2016.01.12 |
| MLE(최우도 추정)에 관해 (0) | 2015.12.31 |
| bayes rule (0) | 2015.12.30 |
