얕은 Neural Network

  • 이번에는 얕은(Shallow) Neural Network에 대해 알아보겠다.

Neural Network

shallow-neural-network

Computing Neural Network

  • Neural Network의 각 Neuron들은 다음과 같이 계산된다.
shallow-neural-network

Activation Function

  • 그 동안 Activation Function은 전부 Sigmoid Function으로 예를 들었다.
  • 하지만 사실 Sigmoid Function은 output이 1,0인 경우를 제외하고는 사용하면 안된다.
  • Tanh Function이 대부분의 경우 더 나은 결과를 주는 function이기 때문이다.
shallow-neural-network
  • 다음과 같이 hidden layer에는 tanh를,
  • Output layer에는 sigmoid를 사용할 수 있다.
shallow-neural-network
  • 그리고 Activation Function의 default로 ReLU function을 가장 많이 사용한다.
  • ReLU function은 아래와 같다.
shallow-neural-network

Derivative

  • 각 Activation Function의 미분(Derivative)은 다음과 같이 된다.
shallow-neural-network

Gradient Descent

  • 얕은 Neural Network에서도 Loss(손실)를 줄이기 위해 다음과 같이 Gradient Descent를 사용한다.
shallow-neural-network

관련 글