[딥러닝] 1개층을 가진 뉴럴 네트워크 경사하강법(backpropagation, backward 계산) , 역전파

단 1개의 parameter와 1개의 인풋, 1개의 아웃풋을 가진 매우 단순한 층으로 backpropagation을 계산 해 보았습니다.

 

참고로, x1이 2, w1이 3 , y1이 6 이라는걸 알았다는것 자체가 forwarding이라고생각하시면 되고

 

이것을 안다는 전재로 실제값과 y1을 MSELOSS(평균제곱오차)를 통해 오차를 구해주고

 

이를 바탕으로 오차와 W1의 영향 정도를 알아내서 W1을 개선해나가는 것이 backward (backpropagation)이라고 

 

생각하시면 될 것 같습니다.

 

이 예시는 너무 쉬운 예시이므로 조금 더 복잡한 sigmoid 활성화 함수를 사용하는 2계층 2파라미터 역전파를

 

계산하고 싶으시면 다음 블로그를 참조 해 주세요.

 

https://gomguard.tistory.com/182

[딥러닝] 뉴럴 네트워크 Part. 4 - 역전파 (backpropagation)