깊은 Neural Network
- 지난 글에서 Shallow Neural Network를 알아봤다.
- 이어서 깊은(Deep) Neural Network를 알아보겠다.
Deep NN
- 기본적으로 Deep Nueral Network의 이름은 hidden layer의 갯수가 많아져 붙게된 것이다.
- 아래 그림을 보면 알겠지만, Shallow NN보다 Deep NN의 layer 갯수가 많다.
Forward propagation
- Forward propagation 하는 방법은 layer만 많을뿐, 그 전의 방법과 비슷하다.
- 각 layer의 값을 일반화 해보면 다음과 같다.
Matrix 크기 검산
- 각 layer 값을 매번 계산해야 하기 때문에, 어찌보면 검토는 필수이다.
- 각 layer의 Matrix 크기(dimension)는 다음과 같이 일반화 할 수 있다.
- 일반화된 포맷에 맞는지 확인해봄으로써 대략적인 검토를 할 수 있다.
Forward & Backward 블록
- Deep NN의 Forward와 Backward propagation을 포함해 큰 그림을 그려보면 다음과 같다.
- 지금까지 매번 해왔던 propagation 과정을 반복하는 것이다.
- 단, Forward propagation을 진행 할 때는 Z 값을 cache 한다.
- Backward propagation을 진행 할 때는 dW와 db 값을 cache 한다.
- cache된 값은 각 propagation 과정에서 사용된다.
Hyperparameters
- 인간이 미리 습득한 지식으로 설정이 되거나 또는 외부 Model을 통해 설정 되는 변수를 말한다.
- Hyperparameters에는 Learning rate나 hidden layer의 갯수 등이 포함된다.
