DL.3 _ keras 하이퍼파라미터, 활동함수(Activation function)

○ 목차 활동 함수 Step Function Sigmoid Function ReLU + hyperbolic tangent (Tanh) + Leaky ReLU + Softmax 과적합을 방지하는 하이퍼 파라미터 튜닝 Weight Decay Weight constriant Drop-Out Learning rate 활성함수 (Activation function) 신경망 회로에서, 한 노드에 대해 입력값을 다음 노드에 보낼지 말지에 대해 결정하는 함수. - 계단함수 (Step function) 0을 기준으로 0보다 작으면 데이터를 보내지 않고, 0보다 같거나 크면 데이터를 보내는 유형의 함수이다. 다만 해당 함수는 미분할 수 없으므로, 실제로는 사용되지 않는다. - Sigmoid Function 위의 Step ..