깊은 Neural Network

Deep NN

  • 기본적으로 Deep Nueral Network의 이름은 hidden layer의 갯수가 많아져 붙게된 것이다.
  • 아래 그림을 보면 알겠지만, Shallow NN보다 Deep NN의 layer 갯수가 많다.

deep-neural-network

Forward propagation

  • Forward propagation 하는 방법은 layer만 많을뿐, 그 전의 방법과 비슷하다.
  • 각 layer의 값을 일반화 해보면 다음과 같다.

deep-neural-network

Matrix 크기 검산

  • 각 layer 값을 매번 계산해야 하기 때문에, 어찌보면 검토는 필수이다.
  • 각 layer의 Matrix 크기(dimension)는 다음과 같이 일반화 할 수 있다.
  • 일반화된 포맷에 맞는지 확인해봄으로써 대략적인 검토를 할 수 있다.

deep-neural-network

Forward & Backward 블록

  • Deep NN의 Forward와 Backward propagation을 포함해 큰 그림을 그려보면 다음과 같다.
  • 지금까지 매번 해왔던 propagation 과정을 반복하는 것이다.
  • 단, Forward propagation을 진행 할 때는 Z 값을 cache 한다.
  • Backward propagation을 진행 할 때는 dW와 db 값을 cache 한다.
  • cache된 값은 각 propagation 과정에서 사용된다.

deep-neural-network

Hyperparameters

  • 인간이 미리 습득한 지식으로 설정이 되거나 또는 외부 Model을 통해 설정 되는 변수를 말한다.
  • Hyperparameters에는 Learning rate나 hidden layer의 갯수 등이 포함된다.

deep-neural-network

관련 글

Deep NN

  • 기본적으로 Deep Nueral Network의 이름은 hidden layer의 갯수가 많아져 붙게된 것이다.
  • 아래 그림을 보면 알겠지만, Shallow NN보다 Deep NN의 layer 갯수가 많다.

deep-neural-network

Forward propagation

  • Forward propagation 하는 방법은 layer만 많을뿐, 그 전의 방법과 비슷하다.
  • 각 layer의 값을 일반화 해보면 다음과 같다.

deep-neural-network

Matrix 크기 검산

  • 각 layer 값을 매번 계산해야 하기 때문에, 어찌보면 검토는 필수이다.
  • 각 layer의 Matrix 크기(dimension)는 다음과 같이 일반화 할 수 있다.
  • 일반화된 포맷에 맞는지 확인해봄으로써 대략적인 검토를 할 수 있다.

deep-neural-network

Forward & Backward 블록

  • Deep NN의 Forward와 Backward propagation을 포함해 큰 그림을 그려보면 다음과 같다.
  • 지금까지 매번 해왔던 propagation 과정을 반복하는 것이다.
  • 단, Forward propagation을 진행 할 때는 Z 값을 cache 한다.
  • Backward propagation을 진행 할 때는 dW와 db 값을 cache 한다.
  • cache된 값은 각 propagation 과정에서 사용된다.

deep-neural-network

Hyperparameters

  • 인간이 미리 습득한 지식으로 설정이 되거나 또는 외부 Model을 통해 설정 되는 변수를 말한다.
  • Hyperparameters에는 Learning rate나 hidden layer의 갯수 등이 포함된다.

deep-neural-network

관련 글