목록인공지는 (1)

딥러닝 for Deep Learning

5장 오차역전파법 part2

활성화 함수 계층 구현하기 [Sigmoid 계층] 시그모이드 함수는 아래의 식을 의미한다. 위의 식을 계산 그래프로 그리면 아래와 같다.(그림 5-19) 'exp'노드 --> y = exp(x) '/'노드 --> y = 1/x Sigmoid 계층의 역전파 흐름은 4단계로 구성된다. 1단계 '/'노드를 미분하면 아래의 식이 된다. 상류에서 흘러온 값에 -y2을 곱해서 하류로 전달. 2단계 '+' 노드는 상류의 값을 여과 없이 하류로 내보낸다. 3단계 'exp'노드는 y = exp(x) 연산 수행. (이 경우에서는 exp(-x)를 곱함) 4단계 'x'노드는 순전파 때의 값을 서로 바꿔 곱함. 모든 단계를 입력 x와 출력 y만으로 계산할 수 있다. 그래서 중간과정을 모두 묶어 아래와 같이 'sigmoid'노드..
지하에서부터 시작하는 딥러닝 2021. 1. 26. 23:58
이전 Prev 1 Next 다음