스탠포드 CS231n: CNN강의 정리

2. CPU vs GPU CPU는 central processing unit, GPU는 graphics processing unit이다. 이 둘은 어떤 차이가 있는 것일까? CPU는 컴퓨터의 뇌에 해당하는 부분이라고 생각하면 된다. 컴퓨터에서 구성 단위 중 기억, 해석, 연산, 제어부분을 수행하는 중요한 녀석이다. 좀 더 적은 core의 수로 연속적인 일을 처리하는데 CPU가 자주 쓰인다. GPU는 computer graphics를 Rendering하기 위해 쓰이는 녀석이다. 더 많은 core로 일을 병렬적으로 수행하고 싶을 때 GPU가 자주 쓰인다. GPU는 내부적으로 자체적인 RAM을 가지고 있다. 아래 표를 보면 차이점을 알 수 있다. GPU에도 여러 종류가 있는데 딥러닝을 하는데 특화된 녀석은 N..

이번 시간에는 optimization에 대해서 더 배우고 regularization에 대해서 더 배웁니다. 우리가 앞서 배웠던 regularization은 기껏해야 L2, L1에 대해서 배웠죠. 그리고 batch normalization을 통해서 regularization 효과를 얻을 수 있다고 배웠고 잠깐 dropout에 대해서 배웠습니다. 이번 시간에는 이 dropout 등의 규제에 대해서 더 배웁니다. 마지막으로는 transfer learning인 전이 학습에 대해서도 배우게 됩니다. 일반적으로 우리는 vanilla gradient descent를 하게 되면 위 식처럼 weights를 초기화 해줍니다. 여기서 batch 단위로 끊어서 한게 SGD 였죠? 근데 SGD 방식은 문제가 조금 있습니다. 이..

F = Wx 는 기본적인 식입니다. 그리고 뉴럴 네트워크에서는 이제 hidden layer가 쌓이게 되죠. 그래서 f = wx의 기본적인 식에서 층이 생기게 됩니다. F = w2max(0, w1x) 이런식으로 층을 쌓는 것이죠. 이제 우리는 CNN에 배웠습니다. CNN은 큰 input에서 점차 세부적으로 들어가면서 보는 것입니다. 지난 시간까지 CNN에서 사용되는 필터, activation map과 optimization 등을 배웠습니다. 그리고 SGD도 배웠구요. 이제 우리는 Training Neural Networks에 대해서 더 자세히 배워볼 것입니다. 이번장에서는 활성화 함수(activation functions)들에 대해서 배우고 그리고 data preprocessing(데이터 전처리)에 대해서..

이번 포스팅은 cs231n의 5강을 정리한 글입니다. 이번 장에서는 컨볼루션 뉴런 네트워크( convolutional neural networkds)를 배우게 됩니다. 그럼 바로 시작해볼까요! 이거는 뭐 cs231n에서 진행하는 과제(assignment)와 관련된 장입니다. 우리는 지난 시간에는 단순한 linear score를 배웠습니다. f = wx이죠 그리고 만약 2-layer가 된다면 W2max(0, W1x) 이런식으로 된다고 했고 이렇게 하면 hidden layer가 추가된다고 했습니다.

복습: 1) computational graph => f = Wx + regularization 2) CNN 사용 필터: activation map, optimization 3) SGD 이번 장 학습내용 1. 활성화 함수(activation functions) 2. 데이터 전처리(data preprocessing) 3. weight initialization 4. 배치 정규화(Batch Normalization, BN) ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ 1. 활성화 함수(activation functions) A. 개념: Activation Function은 f = Wx에 대해서 앞에서 input값이 들어오면 이 값을 다음 노드로 보낼 때 값을 어떻게 보낼지를 정해줍니다. 보통 활성화 함수는 non-linear한..

I. Loss function 1. Support Vector Machine (SVM) 2. Softmax II. Optimization 1. Gradient Descent 2. 이미지 추출방식 ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ I. Loss function 1. Support Vector Machine (SVM) A. Data Loss 1) 고차원인 초평면(hyperplane)에서 결정경계를 기준(Decision boundary)으로 데이터를 분류 2) 결정 경계와 인접한 데이터 포인트를 Support Vectors, 이 서포트 벡터와 Decision boundary간의 거리를 Margin으로 지칭 3) 결과값 자체는 중요하지 않고, 그 상대적 차이(Margin)만 중요. 4) loss 값의 범위: ..

CNN으로 가는 기초이론으로 이미지 분류를 학습. 주요내용은 2가지이며, 둘다 과제1로 부여되는 과제들임. A. 문제제기: 고양이 이미지 분류 샘플과제 B. K-NN 알고리즘 C. Linear Classification ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ A. 이미지 분류 샘플과제로써, CIFAR-10 데이터셋 중 고양이 레이블 인식하기 1) 난관 i) Background Clutter(배경의 방해) ii) Illumation(빛, 조명의 방해) iii) Occlusion(고양이 형체의 일부만 보이는 경우) iv) Deformation(고양이 자세의 변화) v) Intraclass Variation(고양이 종과 색깔의 다양성) 2) 해결방법 i) 1강에서 언급된 Edges를 활용한 방법 등이 있으나 한계 많..