Softmax-with-Loss
-
오차역전파법 - Softmax-with-Loss계층 구현하기딥러닝 2020. 1. 28. 17:35
잠시 앞의 내용복습을 하겠습니다! 신경망은 그림1과 같은 층들이 여러 개 있는 것입니다. (그림이 조금 엉망이네요...ㅎㅎ) 이때 그림1의 h() 함수를 활성화 함수라고 하죠. 활성화 함수에는 계단, 시그모이드, ReLu 등 이 있습니다. 출력층의 활성화 함수는 항등함수와 소프트맥스 함수가 있습니다. 이제는 각 층을 하나의 클래스로 구현한다고 했습니다. (그림2) 그래서 이제는 소프트맥스함수를 구현해봅시다. 학습과정이므로 손실함수가 필수입니다. 그러므로 손실 구현도 같이 하겠습니다. ! 신경망에서 수행하는 작업은 학습과 추론 두 가지입니다. 추론에서 답을 하나만 낼 때는 소프트맥스 함수가 필요없습니다. 소프트맥스 함수는 입력값을 출력의 합이 1이 되도록 정규화하는 함수이기 때문입니다. (입력값과 출력값이..