6. Training Neural Networks I

F = Wx 는 기본적인 식입니다. 그리고 뉴럴 네트워크에서는 이제 hidden layer가 쌓이게 되죠. 그래서  f = wx의 기본적인 식에서 층이 생기게 됩니다. F = w2max(0, w1x) 이런식으로 층을 쌓는 것이죠.
이제 우리는 CNN에 배웠습니다. CNN은 큰 input에서 점차 세부적으로 들어가면서 보는 것입니다. 지난 시간까지 CNN에서 사용되는 필터, activation map과 optimization 등을 배웠습니다.
그리고 SGD도 배웠구요. 이제 우리는 Training Neural Networks에 대해서 더 자세히 배워볼 것입니다.
이번장에서는 활성화 함수(activation functions)들에 대해서 배우고 그리고 data preprocessing(데이터 전처리)에 대해서 배울것입니다. 이후에 weight를 효율적으로 초기화 하는 weight initialization 배우고 정~말 많이 사용하는 배치 정규화(Batch Normalization, BN) 등 이런것들을 배울것입니다.