CS231n 5강 Convolutional Neural Networks

 

 

 Convolutional Neural Networks

 

기존의 FC layer에서는 32 x32 x 3의 이미지를 하나의 벡터로 펼친다음에 가중치를 곱하였다.

하지만 CNN에서는 기존의 이미지 구조를 그대로 유지할 수 있다.

 

CNN에서는 작은 필터가 가중치가 되는데,

위의 예시에서는 5x5x3의 shape를 가지는 필터가 우리의 가중치인 것이다.

이 필터를 가지고 이미지를 슬라이딩하면서 가중치와 입력을 곱(내적)하는 것이다.

 

이미지는 channel 을 가지는데, 필터도 이미지와 동일한 깊이의 channel을 가진다.

가령 32 x 32 x 3 의 이미지에 5x5x3의 필터를 사용하면 이미지의 가로 세로의 관점에서는 일부를 보지만 깊이는 전체를 보는 것이다. 

 

 

 

 

필터는 이미지를 sliding 하면서 필터의 각 w와 필터의 크기에 해당하는 이미지 구역의 픽셀값을 곱하게 된다.

*bias term 도 같이 계산

 

* T : Transpose => 내적을 수학적으로 표현하기 위해 나타낸 것

 W를 어떻게 표현하냐의 차이일 뿐. 행벡터를 만들어 주려고 Transpose하는 것임.

 

 

 

Convolution은 이미지의 좌상단부터 시작해서 내적을 수행하고 이로써 하나의 값을 얻게 된다.

이후 이미지 전체를 훑으며 내적을 한다.

Conv 연산을 수행하는 값들을 다시 Output activation map의 해당하는 위치에 저장한다.

 

보통 Conv layer에서는 필터마다 다른 특징을 추출하기 위해 여러개의 필터를 사용한다,

위에서는 파란색, 초록색 두개의 필터를 가지고 내적을하고 그 결과로 같은 크기의 map이 두개 생성된 것이다.

 

 

우리는 하나의 layer에서 원하는 개수의 필터를 사용할 수 있다.

위에서는 5x5 필터 6개를 가지고 6개의 activation map을 만든 것이다.

 

 

 

Conv layer는 하나만 사용하는 것이 아니라 여러개를 쌓는 형태로 사용한다.

각 layer 사이에 activation function을 넣기고하고 pooling layer를 넣기도 한다.

 

Q. 필터의 depth를 늘리는 것이 무엇을 의미할까?

A. 3개 또는 6개 등의 필터를 사용할 수 있는데 실제로 어떤 것이 더 좋을지는 직접 찾아내야 한다.

 

Q. 이미지의 가장자리는 필터가 덜 적용되는 것이 아닌가?

A. 그렇다.  향후 zero-padding에서 자세히 배울 예정

 

 

 

각 그리드의 요소 = 하나의 필터가 시각화된 것

각 layer마다 필터들이 있기에 필터들은 계층적으로 학습이 된다.

앞쪽 필터들은 edge와 같이 low-level features들을 학습하게 되고 

mid-level에서는 코너나 blobs 같이 좀 더 복잡한 특징을 학습한다.

high-level에서는 객체와 닮은 모습들이 출력된다.

 

=> layer의 계층에 따라 단순하거나 복잡한 특징을 학습하게 된다.

     각 특징이 어떻게 생겼는지 이해하기

 

 

 

 

Activation map은 각 필터가 이미지와 내적되어서 만들어진 출력값이다.

위의 이미지는 5 x 5 필터들을 시각화한 결과이다.

 

여기서는 자동차의 한 부분이 입력으로 들어왔다.

빨간 네모박스를 친 필터를 보면 해당 필터가 edge를 찾고 있는 것을 볼 수 있다.

 

CNN여러 Conv, ReLU + Pooling layer(optional) 으로 구성되며

최종 layer에는 FC-layer가 있어서 최종 스코어가 계산된다.

*pooling layer : activation maps의 사이즈를 줄이는 역할

 

 

 

Spatial dimension

 

이미지와 필터가 어떻게 activation map을 생성하는지 알아보자!

 

7x7 이미지와 3x3 필터가 있다고 해보자.

필터는 좌측 상단에서 시작해서 내적을 수행한다.

가장 좌측 상단에 대한 내적값은 map에서도 가장 좌측 상단 값이 되는 것이다.

 

이제 우측과 하단 방향으로 모두 훑으면 5x5의 activation map이 만들어진다.

 

 

Activation map을 만들 때도 여러 방법이 있다.

Stride : 움직이는 칸의 개수

앞의 예제에서 우리는 한칸씩 옆으로 갔지만 해당 그림처럼 두칸씩 이동할 수 도 있다. => stride = 2

 

이때는 3x3의 activation map이 만들어진다.

 

stride가 3일 때는 모든 이미지를 커버할 수 없기에 이런 방법은 사용할 수 없다.

 

그렇다면 stride는 왜 사용하는 걸까?

• stride를 크게 가져갈수록 출력은 점점 작아진다.
• Pooling 처럼 다운 샘플링하는 동일한 효과를 얻으면서도 더 좋은 성능을 낼 수도 있다.
• activation map의 사이즈를 줄음으로써 파라미터 수를 줄일 수 있다.

입력의 차원 N, 필터 사이즈 F, Stride S가 주어질 때 출력의 크기는

(N-F) / Stride + 1 이다.

 

이를 이용해서 어떤 필터 크기를 사용해야 하는지, 어떤 stride을 써야 이미지에 딱 맞는지 등을 알 수 있다.

 

 

(N - F) / stride + 1

 

CNN에서는 코너(가장 자리)는 참조가 덜 되기에 이러한 문제를 해결하고자 이미지의 가장 자리에 0을 채워주는 zero-pad (패딩)을 사용한다.

 

zero-padding을 사용하는 또 다른 이유는 입력 사이즈와 출력 사이즈를 같도록 하기 위해서이다.

 

zero-padding을 할 때 아래와 같은 수식을 사용한다.

$$output = \frac{N-F+2P}{Stride}+1$$

 

N=9, F=3, Stride = 1의 출력 사이즈

=> 7 x 7 x 필터의 개수

*필터가 입력의 모든 depth에 내적을 수행한다 

 

만약 이미지가 정사각 행렬이 아니라도 보통은 같은 stride를 적용한다.

 

일반적으로 filter는 3 x 3, 5 x 5, 7 x 7 크기를 사용하며 각각의 경우 stride를 1, 2, 3을 준다.

 

 

보통 레이어를 여러개 쌓기에 zero-padding을 하지 않는다면 출력 크기가 급격하게 줄어들어 버리는 문제가 생긴다.

=> 엄청 deep한 네트워크에서 activation map이 점점 작아지게 되고 일부 정보를 잃으며 원본 이미지를 표현하기 힘들어진다.

 

 

 

 

입력 사이즈가 32 x 32 x 3,

5 x 5 사이즈의 필터 10개,

stride가 1,

padding이 2 일 때

 

output의 size는

$$output = \frac{32-5+2*2}{1}+1 = 32$$

따라서 32 x 32 x 10(필터의 개수)

 

동일 input size 조건에서 layer에 있는 파라미터의 개수는?

필터와 편향을 학습하는 것이기에

하나의 필터당 파라미터 개수는 필터의 사이즈 5 x 5 x 3(depth) + 1(bias) = 76 params

전체 10개의 필터에 대한 파라미터의 개수는 76 * 10 = 760

 

 

 

필터 사이즈는 3x3, 5x5,

Stride는 보통 1이나 2가 가장 흔하며

필터의 개수는 2의 제곱수로 설정하는 것이 흔하다.

 

 

 

 

1 x 1 convolution은 공간적 정보를 이용하지는 않지만 다른 convolution과 마찬가지로 depth만큼 연산을 수행한다

=> 입력의 전체 Depth에 대한 내적을 수행하는 것과 동일

 

 

 

 

 

 

Conv Layer에서는, 전체 이미지의 특정 위치에서 필터와의 내적을 수행하여 하나의 값을 얻는다.

이는 우측 상단의 이미지 동작과 유사한데, 입력이 들어오면 W(필터)와 곱하고 하나의 값을 출력하는 것이다.

 

하지만 우리의 뉴련은 필터를 슬라이딩 하는 것이 아니라 특정 부분에만 연결이 존재한다.

=> 하나의 뉴런은 한 부분만 처리하고 이 뉴런들이 모여서 전체 이미지를 보는 것

 

5 x 5 필터 => 한 뉴런의  "Receptive field" 가 5 x 5

*Receptive field : 한 뉴런이 한 번에 수용할 수 있는 영역

 

convolution 연산 결과에 의한 출력은 28 x 28 x 5 로 3차원을 가진다.

출력 차원에서 어떤 한 점을 찍어서 depth방향으로 바라보면 이 5개의 점은 정확하게 같은 지역에서 추출된 특징임을 뜻한다.

하지만 각 필터는 서로 다른 특징을 추출하므로 이미지에서 같은 지역을 의미하더라도 서로 다른 특징을 가지고있다.

 

 

 

fc layer에서는 32 x 32 x 3을 하나의 벡터로 편다음 전체를 연결해서 계산했다.

 

 

 

CNN에는 Conv Layer와 Pooling Layer, 비선형 연산(Activation fucntion)이 있다.

 

 

 

 

Pooling은 feature representation들을 더 작고 관리하게 쉽게 만든다.

Representation을 작게 만드는 이유는 파라미터의 수가 줄어들며 일종의 공간적인 불변성(invaiance)
을 얻을 수 있기 때문이다.

 

Pooling layer는 Downsample의 역할로 크기를 줄이는 역할을 한다.

ex) 224 x 224 x 64 -> 112 x 112 x 64

*Depth는 변하지 않는다

 

 

Pooling에도 여러 종류가 있는데 일반적으로 Max Pooling을 사용한다.

 

Pooling 시에도 필터 크기를 정할 수 있는데, 얼마만큼의 영역을 한 번에 묶을지를 정하는 것이다.

ex) 2 x 2 필터, stride = 2 => conv 연산처럼 슬라이딩하는데, 내적 대신 필터 내 가장 큰 값을 고른다.

 

*Pooling 할 때는 겹치지 않는 것이 일반적이다.

 

*Max pooling이 average pooling보다 더 좋은 이유 : 우리가 다루는 값들은, 얼마나 이 뉴런이 활성되었는 지를 나타내는 값으로 이 필터가 각 위치에서 얼마나 활성되었는지를 의미. Max pooling은 그 지역이 어디든,  어떤 신호에 대해 "얼마나" 그 필터가 활성화 되었는지를 알려준다고 할 수 있다. 그 값이 어디에 있었다는 것 보다는
그 값이 얼마나 큰지가 중요한 것

 

*Pooling = Conv Layer의 Stride?? = 최근에는 Downsample할때 pooling을 하기보단 stride를 많이 사용하고 있는 추세이며 stride가 더 좋은 성능을 보임.

 

*pooling을 얼마나 해야할까? => 직접 시도해 봐야 한다. Pool을 너무 많이하면 값이 너무 작아질 것이고
전체 이미지를 잘 표현하지 못한다. 다양한 pooling 사이즈, 필터 크기, 레이어 수 등을 시도해 보는
등의 Crossvalidation을 해야

 

W(width), H(Height), D(Depth)로 Filter Size를 정하게 되는데,

Stride까지 정해주면, 앞의 Conv Layer에서 사용했던 output크기를 구하는 수식이 동일하게 적용된다.

 

pooling layer에서는 보통 padding을 하지 않는다.

why? => downsampling이 목적이며 Conv 때처럼 코너의 값을 계산하지 못하는 경우도 없기 때문

 

일반적으로 필터사이즈는 2 x 2, 3 x 3 을 사용하고 보통 stride는 2로 설정한다.

 

 

 

 

마지막 FC Layer를 살펴보자.

 

마지막 Conv Layer의 출력은 3차원의 크기를 갖는다. 

이 값들을 전부 펴서(stretch) 1차원 벡터로 만들어서 FC Layer의 입력으로 사용하면 된다.

=> Conv Net의 모든 출력을 서로 연결

마지막 Layer부터는 공간적 구조(spatial structure)를 신경쓰지 않아도 된다.

 

*위의 그림에서 각 layer = 출력 Activation map

 

 

[ConvNetJS demo: training on CIFAR-10]

https://cs.stanford.edu/people/karpathy/convnetjs/demo/cifar10.html

ConvNetJS CIFAR-10 demo

 

 

 

 

 

 

CNN는 일반적으로  Conv 와 Pool 를 쌓아 올리다가 마지막에 FC Layer로 끝난다.

네트워크의 필터는 점점 더 작아지고, 아키텍쳐는 점점 깊어진다.

Pooling 이나 FC Layer는 점점 더 없애고 Conv layer만 깊게 쌓는 것이 추세

전형적인 CNN 아키텍쳐는 Conv와 ReLU를 몇 번(n번) 반복 + FC Layer + softmax로 Class score를 구함