CS231n 2강 Image Classification Pipeline

 

Image Classification Problem

 

A core task in Computer Vision

고양이나 강아지 트럭과 같은 이미지를 올바르게 분류하는 문제는 사람에게는 쉽지만 컴퓨터에게는 어려운 문제이다.

 

우리가 이미지를 바라보는 방식과 컴퓨터가 바라보는 방식에는 차이가 있다. 컴퓨터는 이미지를 픽셀이라는 단위로 읽게 된다. 우리의 이미지가 800 x 600 의 x 3 (3 : channels RGB) 크기를 가진다고 하면 컴퓨터는 800 x 600 x 3 개의 숫자 정보로 이미지를 읽는 것이다. 

 

Semantic Gap

고양이 사진을 예로 들자면, 고양이는 우리가 이미지에 부여한 semantic label 이다. 고양이라는 semantic idea와 pixel 값 (이미지 배열) 사이에는 큰 gap이 있다.

 

Challenges

• Viewpoint variation
  같은 고양이를 보더라도 카메라의 각도가 조금만 달라지면 컴퓨터에게는 완전히 다른 숫자 배열로 읽히는 것이다.
• Illumination
  조명 차이에 따라 고양이가 매우 밝게 보이거나 어둡게 보일 수 있다.
• Deformation
  고양이 액체설... 고양이는 매우 다양한 형태로 변화할 수 있지만 다 같은 고양이이다.
• Occlusion
  고양이가 가려져서 안보여도 사람은 고양이라고 바로 인식 가능하지만 컴퓨터가 가려진 고양이를 알아보는 것은 어렵다.
• Background Clutter
  배경과 고양이가 비슷하면 알아보기 힘들 수 있다.
• Intraclass variation
  같은 고양이(class)라도 나이, 크기, 색상 등이 달라서 다양한 모습이 존재할 수 있다.

 

An image classifier

고양이를 완벽하게 분류하기 위한 코드를 작성하는 것이 불가능할 뿐만 아니라 세상에 있는 모든 객체를 분류할 수 있는 코드를 작성하는 것 또한 불가능하다. 그렇기에 우리는 무언가 다른 접근방법이 필요하다.

 

Data-Driven Approach

우리는 객체를 분류하기 위해 craft code 하는 것이 아니라 아래의 방법을 이용해서 객체를 분류할 것이다.

1. Collect a dataset of images and labels
   온라인 상에서 다양한 카테고리의 가능한 많은 이미지를 수집한다.
2. Use Machine Learning to train a classifier
   수집한 데이터를 가지고 머신러닝을 학습시킨다.
3. Evaluate the classifier on new images
   학습시킨 모델을 통해서 새로운 이미지를 분류하고 평가한다.

 

 

앞으로는 이미지를 input으로 받아서 classification result를 반환하는 하나의 함수가 아니라,

train과 predict 두 개의 함수를 사용할 거다.

 

train 함수는 이미지와 레이블을 입력 받아서 model 이라는 결과를 출력해내고

predict 함수는 model에 입력 값을 줘서 이미지의 classification 결과를 예측한다.

 

 

 

 

 

Classifier

 

Nearest Neighbor

Nearest Neighbor(최근접 이웃) algorithm은 조금은 바보같은 방법이지만, 가장 간단한 classifier 이다. 

 

def train(images, labels) :
	# Machine learning
    # Memorize all data and labels
	return model
    
def predict(model, test_images) :
	# Use model to predict labels
    # Predict the label of the most similar training image
    return test_labels

 

train 과정에서 모든 training data를 외우고, prediction 에서는 새로운 이미지를 입력 받아 학습 데이터셋에서 가장 유사한 이미지를 찾는 것이다. 

 

Distance Metric

그런데 Nearest Neighbor algorithm에서는 이미지를 어떻게 비교할까?

우리는 L1 distance (Manhattan) 라는 간단한 방법을 이용하여 이미지를 비교한다.

L1 Distance에서는 이미지의 각 pixels을 비교하는데, 위의 사진에서 보면 test image에서 training image의 각 pixel 값을 단순하게 뺄셈한다. 이후 뺄셈으로 만들어진 모든 값을 더해서 비교한다.

 

import numpy as np

class NearestNeighbor:
    def __init__(self):
        pass

    def train(self, X, y):
        """ 
        X is N x D where each row is an example.
        Y is 1-dimension of size N """

        # the nearest neight classifier simply remembers all the training data
        self.Xtr = X
        self.ytr = y

    def predict(self, X):
        """ 
        X is N x D where each row is an example we wish to predict label for 
        """
        num_test = X.shape[0]

        #lets make sure that the output type mathces the input type
        Ypred = np.zeros(num_test, dtype=self.ytr.dtype)

        #loop over all test rows
        for i in range(num_test):
            #find the nearest training image to the i'th test image
            #using the L1 distance (sum of absolute value differences)
            distances = np.sum(np.abs(self.Xtr - X[i, :]), axis=1)
            min_index = np.argmin(distances) # get the index with smallest distance
            Ypred[i] = self.ytr[min_index]

        return Ypred

 

 

Q: With N examples, how fast are training and prediction?

A: Train O(1), predict O(N)

 

 

K-Nearest Neighbors

Nearest Neighbors에서는 가장 근접한 하나의 이웃만을 보기에 몇 가지 문제점이 존재한다. 이러한 문제를 보완하기 위해 우리는 단순히 하나의 근접한 이웃만 보는 것이 아니라 K개의 가까운 이웃을 찾아서 다수결 투표로 label을 예측한다.

 

**

위의 이미지에서 흰색 부분은 뭘 의미할까?

The white regions are where there was no majority among the k-nearest neighbors

 

Distance Metric

 

points 사이의 거리를 비교하기 위한 방법에는 L1외에도 L2 방법이 있다. L2 distance는 각 point간의 차의 제곱의 합에 제곱근을 씌운형태이다. 

 

어떠한 거리 metric을 쓰느냐에 따라 공간상에서 다른 geometry나 topology를 가지게 된다. L1 distance의 경우 사실 원인데, 사각형 모양을 형성한다. 사각형에서 각 points는 원점으로부터 L1 거리까지 모두 등거리이다. L1 distance는 좌표계 선택에 따라 달려있다.  만약 좌표를 회전시킨다면 L1 distance도 변하게 된다. 반면에 L2 distance에서는 좌표를 바꿔도 distance가 동일하다. 

 

vector로서 input features가 유의미한 의미를 가진다면 L1 distance를 사용하는 것이 좋고, 만약 공간상의 vector가 그저 generic하고 각 elements에 대해 잘 알지 못한다면 L2 distance를 사용하는 것이 좋다. 

 

예를들어서 직장인을 분류하는 task에서 우리가 가진 vector features 가 연봉이나 근무 기간등과 같이 의미를 가진 상황이라면 L1이 더 적합할 수 있는 것!

 

 

L1 distance는 coordinate axis를 따르는 경향이 있는데 이는 L1 ditsance는 우리가 선택한 좌표계에 따라 다르기 때문이다. 

 

Setting Hyperparameters

K-nearest neighbors에서 다른 k를 고르거나 points 사이에서 다른 distance metrics를 고르는 것처럼 우리는 선택을 하게 되는데, 이러한 선택지들을 hyperparameters 라고 부른다.

 

Hyperparameter 는 데이터로부터 모델이 배우는 것이 아니라 우리가 선택하는 것이다.

 

그렇다면 어떤 하이퍼파라미터가 좋은 하이퍼파라미터일까?

=> problem이나 data마다 다르다!! 가장 좋은 성능을 내는 하이퍼파라미터를 직접 보고 찾아야 한다.

 

 

하이퍼파라미터가 가장 성능이 좋다고 할때 이 성능은 어디에서 착안된 것일까?

 

우리의 데이터셋을 train, validation, test와 같이 세 그룹으로 나눈다.

training data를 여러 하이퍼파라미터로 학습 시켜보고 validation set으로 평가한다.

validation set에서 가장 성능이 우수했던 하이퍼파라미터를 선택한다.

모든 작업이 끝난 뒤 validation set에서 가장 성능이 좋은 classifier를 가지고 test set에서 성능 평가를 한다.

test dataset 에서 평가한 결과가 보통 논문이나 report에 적게 되는 우리 모델의 최종 score다.

 

Cross Validation

 

좋은 hyperparameters를 설정하기 위한 또 다른 방법은 Cross validation이다. 다만 이 방법은 deep learning에서는 거의 사용되지 않고 작은 dataset을 가지는 경우에 사용된다. 

 

Cross Validation에서는 test dataset을 제외한 나머지 데이터셋을 단순히 하나의 train, validation dataset으로 나누는 것이 아니라 우리의 데이터셋을 여러개의 folds로 나누는 것이다. 그리고 validation dataset으로 사용할 dataset을 rotation하는 것이다. 

 

 

그래프를 보면 하나의 x값에 5개의 y값이 있는데, 이는 five fold cross validation의 결과이다. 이를 통해서 그저 하나의 결과가 아니라 각기 다른 validaiton set에서의 결과들을 종합한 분포를 확인할 수 있어서 더 좋은 hyperparameter를 선택할 수 있게 된다. 

 

 

k-Nearest Neighbor on images never used.

K-Nearest Neighbor은 이미지에서는 쓰이지 않는다! 위의 사진은 모두 다른 이미지인데 변형된 세개의 이미지 모두 원본 이미지와 비교했을 때 동일한 L2 distance를 가졌다.

 

여기서 궁금했던 점이 생겼다.

1. 이미지가 조금 변형되긴 했지만 여전히 같은 인물이기에 동일한 L2 Distance를 가지면 좋은게 아닌가?

2. 이미지가 어찌됐든 바뀌었는데 어떻게 같은 L2 Distance를 가지지?...

 

다행히 수업 중 학생들이 동일한 질문을 해줘서 궁금증이 풀렸다.

 

우선 1번에 대한 답변은 해당 예시에서는 그럴 수도 있지만 반례가 있을 수도 있다는 것. 예를 들어 우리가 서로 다른 두 개의 원본 이미지가 있고 어떤 적절한 위치에 box 처리하거나 색을 더하거나 하게 되면 결국 두 이미지의 Distance가 가까워지게 만들 수 있다는 것이다. 반대로 위의 예시에서 똑같은 하나의 이미지에 임의로 shit나 tinting을 하게 되면 Distnace는 맘대로 변하게 되는 것 -> 다양한 서로 다른 이미지들이 같은 Distance를 가지는 경우라면 잘 못 될 수도 있다는 것

우리가 두 개의 원본 이미지를 가지고 있을 때 

 

2번 질문에 대한 답변은 조교가 세 개의 이미지들이 원본과 모두 동일한 L2 distance를 갖도록 이미지를 만들어서 그랬던 것..!

 

 

 

 

Linear Classification

 

Neural Networks는 레고 블럭과도 같다고 얘기한다. 여러 종류의 components를 쌓아서 큰 network를 만들어 낼 수 있다. 여기서 가장 기본적인 component(block)이 Linear classifier로, Linear networks는 parametric model의 가장 basic한 모델이다. 

 

 

Parametric Approach

 

 

우리의 Parametric model은 크게 두 개의 components를 가진다.

1. X: input data

2. W: set of parameters or weights 

 

K-nearest neighbors 에는 parameter가 없이 train data를 test때 통으로 사용했다.

하지만 parametric approch에서는 train data의 정보를 요약하고 요약한 정보를 파라미터 W에 모아준다. 이렇게 되면 test에서 더 이상 train data가 필요 없어진다. -> model이 efficient하며 light 해진다.

 

요약하면 딥러닝은 적절한 함수 F의 구조를 설계하는 일인 것이다.

 

그렇다면 어떠 방식으로 W와 X를 조합해야 할까?

가장 쉬운 방식이 가중치 W와 데이터 X를 곱하는 것인데 이 방법이 Linear classification이다.

 

f(x, W) = Wx + b

여기서 b는 bias인데 bias는 특정 클래스에 우선권을 부여하는 것으로 고양이 클래스가 강아지 클래수보다 많은 상황이라면 고양이 클래스에 상응하는 바이어스가 더 커지게 되는 것이다.

 

Example with an image with 4 pixels, and 3 classes (cat/dog/ship)

 

Linear classification은 탬플릿 매칭이라고 생각할 수 있다.

 

위에서 W의 각 행은 각 이미지에 대한 템플릿으로 볼 수 있다.

이 행 벡터(1 x 4)와 이미지의 (4 x 1) 열벡터 간의 내적을 계산하게 되는데 여기서 내적은 결국 클래스 간 탬플릿의 유사도를 측정하는 행위라고 볼 수 있다.

 

bias는 데이터 독립적으로 각 클래스에 scaling offsets을 더해주는 것이다.

 

Interpreting a Linear Classifier

 

가중지 W의 각 행을 시각화 해보면 linear classifier가 이미지를 인식하기 위해 어떤 템플릿을 사용하는지 짐작해 볼 수 있다. 여기서 문제점은 Linear classifier는 각 클래스에 대해 단 하나의 템플릿만을 학습한다는 것이다. 한 클래스라도 다양한 특징들이 존재할 수 있는데 이를 평균화 시키기에 다양한 특징을 템플릿 하나로만 요약해야 한다.

 

Hard cases for a linear classifier

 

첫 번째 예시는 홀/짝을 분류하는 parity problem(반전성 문제)인데 이는 linear classificationd으로는 풀기 힘든 문제이다.

 

세 번째 예시를 보면 파란색 세 개의 점들이 있는데 이 점 외의 영역은 모두 빨간 영역이다. 이런 경우 Multimodal problem이라고 부르는데 한 클래스가 다양한 공간에 분포할 수 있는 문제로 이 문제 역시 linear classification이 풀기 힘든 문제이다.