7. Training Neural Networks II

이번 시간에는 optimization에 대해서 더 배우고 regularization에 대해서 더 배웁니다. 우리가 앞서 배웠던 regularization은 기껏해야 L2, L1에 대해서 배웠죠. 그리고 batch normalization을 통해서 regularization 효과를 얻을 수 있다고 배웠고 잠깐 dropout에 대해서 배웠습니다.

이번 시간에는 이 dropout 등의 규제에 대해서 더 배웁니다.
마지막으로는 transfer learning인 전이 학습에 대해서도 배우게 됩니다.
일반적으로 우리는 vanilla gradient descent를 하게 되면 위 식처럼 weights를 초기화 해줍니다. 여기서 batch 단위로 끊어서 한게 SGD 였죠? 근데 SGD 방식은 문제가 조금 있습니다.

이 그림처럼 이렇게 타원의 모양을 가지게 되면 저 빨간색 점에서 이모티콘이 있는 지점까지 어떻게 찾아가게 될까요? 현재 모양은 Y축 방향은 되게 크죠? 왜냐하면 y축 방향으로 이동하면 빠르게 이동이 가능합니다. 하지만 x 축 방향은 엄청 완만하죠.