relu
-
활성화함수딥러닝 2020. 1. 10. 17:08
활성화함수란 입력 신호의 총합을 출력 신호로 변환하는 함수입니다. 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 합니다. h가 활성화 함수 입니다. 입력 신호의 총합인 a를 입력값으로 가지고 y를 출력하네요. y = h(b + x1w1 + x2w2) 위 식의 활성화 함수는 임계값을 경계로 출력이 바뀝니다. 활성화 함수가 계단함수인 것입니다. 퍼셉트론이 예시가 되겠네요. 이 활성화 함수를 다른 함수로 바꾸면 신경망을 만들 수 있습니다. 그럼 활성화 함수의 종류를 알아봅시다. 종류 계단 함수, 시그모이드 함수, ReLU 함수 등이 있습니다. 시그모이드 함수는 신경망에서 자주 사용합니다. 입력을 넣으면 값이 작아져서 나옵니다. 그래서 계단함수와는 다르게 곡선입니다. (h(1.0) -> 0.7..., ..