CS231n 3강 Loss Functions and Optimization

 

 

Linear classifier을 정의했다면 이제는 뭘 해야할까?

 

우선 좋은 가중치(W)를 설정하는 것이 필요하다. 

그렇다면 우리의 가중치가 좋은지 나쁘지를 어떻게 알 수 있을까?

=> W를 입력으로 받아서 스코어를 확인하고 우리의 W가 얼마나 좋고 나쁜지를 정량화 해주기 위한 손실함수가 필요

=> 손실함수를 이용해서  Loss를 최소화 하는 최적의 W를 찾아야 함(최적화) 

 

1. Define a loss function that quantifies our unhappiness with the scores across the training data.
   학습 데이터 전체 scores에 대해 가중치(모델)의 성능을 수치화하기 위한 loss function을 정의 
2. Come up with a way of efficiently finding the parameters that minimize the loss function. (optimization)
   loss function을 minimize하기 위한 parameters를 찾기 위한 효과적인 접근 방법 (optimization)

결국 우리 모델이 예측한 값과 실제 정답 데이터간의 차이를 나타내기 위한 loss fuction을 정의하고

이 loss function 최소화 시키기 위한 최적화 방법이 필요하다.

 

 

 

 

Loss function

 

 

Loss function

loss function은 실제 정답 데이터와 모델이 정답이라고 예측한 데이터 사이의 차이로, 우리의 classifier의 성능을 나타내준다.

 

x_i 를 이미지, y_i를 label이라고 할 때 아래와 같은 데이터셋이 있다고 하자.

$${(x_i, y_i)}^{N}_{i=1}$$

이때 dataset에 대한 Loss는 아래와 같다.

$$L = \frac{1}{N}\sum_{i}(f(x_i, W), y_i)$$

 

이는 N개의 모든 데이터에 대하여 모델의 예측값인 f(x, W)와 실제 정답값인 y 사이의 Loss를 구하여 합한 값이다. 즉 전반적인 dataset에 대한 Loss를 구한 것이다. 

 

Multiclass SVM loss

 

multi-class SVM loss는 여러 클래스를 다루기 위한 SVM의 일반화된 버전이다.

 

이때 SVM loss 아래와 같이 정리된다.

$$L_i = \sum_{j \neq  y_i}max(0, s_j - s_{y_i} + 1)$$

 

SVM loss에서는 정답 label의 score 값과 나머지 카테고리의 값들간의 차를 구하게 된다. 

만약 정답 label에 해당하는 score의 값이 다른 카테고리 score 값보다 높고 (= 잘 예측함)

두 score 간의 차이가 safety margin(예시에서는 1) 이상이라면 

정답 label의 score 값이 이상적인 것으로 Loss 값은 0이 된다.

 

이와 같이 0과 다른 값의 최대값 Max(0, value)와 같은 형식의 손실 함수를 hinge loss 라고도 부른다. 

우측 상단의 그래프를 보면 x축이 s_{y_i}이고 y축이 loss를 의미한다.

정답 카테고리의 점수가 증가할 수록 loss는 선형적으로 줄어들며 safety margin을 넘어서면 loss는 0이 된다.

 

수식으로 살펴보면 s_j 는 정답이 아닌 label의 값이고, s_{y_i}는 정답 label의 score 값이다.

고양이 사진을 예로 들면 고양이를 car와 frog라고 한 값들(5.1, -1.7)이 s_j인 것이고 3.2가 s_y_i 이다.

 

고양이 이미지에서 cat이라고 분류한 score인 3.2와 car라고 분류한 score 5.1로 보면 car라고 예측한 score 의 값이 크니 loss 값이 커야한다고 예측할 수 있다. loss 값을 구해보면 max(0, 5.1-3.2+1) = max(0, 2.9) = 2.9

 

다음으로 cat이라고 분류한 score 3.2와 frog라고 분류한 score -1.7 을 보면 cat 의 score가 더 크니 loss는 0이될 것이라고 생각해 볼 수 있다. loss값을 구해보면 max(0, -1.7-3.2+1) = max(0, -3.9) = 0

 

즉 잘못 예측한 score 값이 실제 정답이어야 할 score 값보다 크다면 우리의 loss 값은 0보다 크게 된다.

 

그렇다면 margin saftey는 왜 넣는 것일까?

 

만약 s_j와 s_{y_i} 값의 차이가 margin saftey보다 작다면, loss가 생긴다. 즉 적어도 margin safety 만큼의 간격이 존재해야 올바른 클래스를 선택했다는 척도인 것이다.

 

예를 들어 고양이 데이터에서 cat이라고 예측한 score가 3이고 car라고 예측한 score도 3이라고 해보자. 이때 safety margin 없이 loss 값을 구하면 max(0, 3-3) = 0이 된다. 하지만 cat과 car의 score값이 동일하다면 분명 문제가 있는 것이니 우리는 정답 score가 다른 score과 적어도 1의 값은 차이가 나야 한다고 safety margin을 준것이다. margin을 포함한 loss 값을 다시 구해보면 max(0, 3-3+1) = max(0,1) = 1 이 된다. 결국 safety margin을 추가하여서 loss 값이 0에서 1이 된 것이다.

 

다시 정리하면 safety margin은 모델이 올바른 클래스와 다른 클래스 간의 간격을 충분히 넓히려고 노력한다는 것을 의미한다.

 

그러면 margin safety의 값은 어떻게 정할까? 사실 우리는 스코어가 정확히 몇인지를 보는 것이 아니라 스코어 간의 상대적인 차이를 본다. 다시 말하면 정답 스코어가 다른 label 스코어보다 얼마나 더 큰지를 보고 싶은 것이다. 추후 행렬 W를 스케일링하게 되면 1이라는 값을 크게 상관이 없어지고 W 스케일에 의해 상쇄되므로 여기서는 loss와 safety margin에 대해 이해만 하고 넘어가면 된다.

 

각 데이터에 대한 loss 값을 구했다면 이를 모두 더한다음 평균을 내준게 우리 데이터셋에 대한 L 값이 된다.

 

 

Q: What happens to loss if car scores change a bit?

A: car score가 약간 바뀌더라도 이미 car score가 다른 scroe보다 높기에 Loss는 변하지 않을 것이다.

 

Q2: what is the min/max possible loss?

A2: min은 0일 것이고 max는 무한대이다.

 

Q3: At initialization W is small so all s ≈ 0. What is the loss?

A3: 클래수의 수 -1 이다. 우리는 loss를 계산할 때 정답이 아닌 클래스를 순화하게 되는데 margin으로 인해 각 iteration마다 1을 얻게 될 것이고 결론적으로 C-1번 순회하므로 우리의 socre가 0에 가깝다면 loss는 클래수의 수 -1 의 값을 가지데 된다. 이는 디버깅에서 유용하게 쓸 수 있는데 만약 위와 같은 조건에서 학습을 시켰는데 loss가 C-1이 아니라면 버그가 있다고 짐작해 볼 수 있다.

 

Q4: What if the sum was over all classes? (including j = y_i)

A4: 우리가 SVM loss를 구할 때는 정답 score는 제외하고 ( 정답이 아닌 score - 정답 score ) 의 차를 보았는데 만약 정답 score도 고려를 해서 더한다면 Loss에 1이 증가하게 된다. 정답 클래스를 제외하는 이유는 Loss가 0이 되는 것이 좋은 해석으로 간주되기 때문이다.

 

Q5: What if we used mean instead of sum?

A5: 크게 영향을 미치지 않는다. 왜냐하면 평균을 취하는건 그냥 손실함수를 resacling 하는 것이기 때문이다.

 

Q6: What if we used 

$$L_i = \sum_{j \neq  y_i}max(0, s_j - s_{y_i} + 1)^2$$

A6: 결과가 달라진다. 0은 그대로 지만 만약 잘못 분류한 score가 더 크다면 이러한 loss에 제곱을 해서 패널티를 크게 부여하게 되는 것이다. 그냥 hinge loss가 조금 잘못된 것과 많이 잘못된 것을 크게 신경쓰지 않는다면 squared hinge loss는 매우 심하게 잘못 분류하는 것을 원하지 않는 것이다.

 

Multiclass SVM Loss: Example code

def L_i_vectorized(x, y, W):
    scores = W.dot(x)
    margins = np.maximum(0, scores - scores[y] + 1)
    margins[y] = 0
    loss_i = np.sum(margins)
    return loss_i

 

 

 

 

지금까지 Loss 함수를 통해 우리가 어떤 W를 신경쓰는지 수치화했는데, 단순히 Loss가 0인 W를 선택하는 것은 모순이다. 왜냐하면 우리의 loss는 train 데이터만 신경쓰고 test 데이터에서의 성능은 신경쓰고 있지 않기 때문이다.

 

파란색 원 데이터가 학습 데이터, 초록색 네모가 test 데이터라고 할 때, 우리가 원하는 분류기는 초록 선이 된다. train 데이터에만 fit 되는 문제를 해결하기 위한 방법 중 하나가 Regularization이다.

 

우리가 앞에서 정의한 손실함수에 Regularization 이라는 항을 하나 추가해준다. loss fucntion이 trainindg dataset에 fit한 모델을 만들기 위한 목적이었다면, Regularization은 모델이 simple W를 선택할 수 있도록 돕는다. 

 

사실 Regulatization이라는 단어를 보고 정규화가 바로 떠올랐고 그러다보니 normalization과 헷갈렸는데 아래 블로그를 참고해보면 좋을 것 같다.

https://hichoe95.tistory.com/55

 

L2 Regularization (Weight Decay)

Regularization에도 여러 종류가 있는데, L2 Regularization(Weight Decay)가 가장 보편적이다.

 

L2 정규화 기법은 가중치 행렬 W에 대한 Euclidean Norm로, W의 euclidean norm에 패널티를 주는 것이다.

L1 정규화 기법은 W에 패널티를 부과하는 것으로, 행렬 W가 희소행렬이 되도록 한다.

Elastic net regularization은 L1과 L2를 혼합한 형태이다.

 

결론적으로 Regularization은 모델이 training dataset에 완전히 fit하지 않게끔 모델의 복잡도에 패널티를 부여하는 것이다.

 

 

 

그러면 Regularization이 모델의 복잡도를 어떻게 알 수있을까?

 

위의 예시에서 x는 train data이고 w는 가중치이다.

x와 w를 가지고 dot product(내적)을 해보자. xw1, xw2모두 내적 결과 값은 1이 나온다.

하지만 L2 Regularization은 w2의 norm이 더 작으므로 w2를 선호한다. L2 Regularization은 x의 모든 요소가 W에 영향을 주길 바라며 변동이 심한 특정 입력보다는 모든 x의 요소가 골고루 영향을 미치길 원할 때 사용

 

반면 L1은 L2와는 다르게 복잡도를 정의해서 가중치 W에 있는 0의 개수에 따라 모델의 복잡도를 다루고, 일반적으로 sparse한 solutions을 선호한다.

 

결론적으로는 주어진 문제와 데이터에 따라 어떤 것을 사용할지 선택해야 한다.

 

추가로 공부해볼 것

Bayes theorem(베이즈정리)와 MLE/MAP, regularization term이 실질적으로 어떤식으로 영향을 미치는지..

 

 

 

Softmax Classifier (Multinomial Logistic Regression)

SVM Loss에서 우리는 그저 정답 클래스가 다른 클래스보다 높은 스코어를 내기만 원했을 뿐 스코어 숫자 자체에 대한 해석은 하지 않았다. 

 

Softmax(Multinominal Logistic Regression)은 스코어 자체에 의미를 부여한다. softma는 score를 확률로 변하시켜서 우리가 원하는 정답 클래스에 해당하는 확률이 1에 가깝게 되도록 만들기를 원한다. 

 

이때 Loss는 -log(정답 클래스의 확률)이다. Log는 단조 증가 함수로 log를 최대화 시키는 것이 확률 값을 최대화 시키는 것보다 쉽다. 다만 log P 를 최대화 시킨다는 것은 log P 를 높이고 싶다는 것인데 Loss 함수는 이름에서 보이듯이 "얼마나 성능이 나쁜지"를 측정하는 것이므로 log에 마이너스를 붙히는 것이다, 

 

* Softmax 함수는 활성화 함수이고 Loss를 구하기 위해서는 Cross Entropy를 사용하는 것

 

확률 계산시 예측 값이 음수가 나오거나 분모가 0이 되는 경우를 방지하기 위해 exp 처리를 해준다. 이때 자연상수 e를 밑으로 사용하는 이유는 1. 미분 시 계산 용이 2. 큰 값은 더 크게보고 작읍 값은 작게 봐서 구분을 쉽게 하기 위해서이다.

 

 

SVM와 다르게 score를 그대로 쓰지 않고, 스코어를 지수화 시킨다음 합이 1이 되도록 정규화 시켜주고

정답 스코어에만 -log를 씌여준다.

 

Q: What is the min/max possible loss L_i?

A: 최소는 0, 최대는 무한대. 만약 정답을 잘 맞췄다면 정답 클래스의 확률이 1일 것이고 너~무 못맞췄다면 확률은 0이 될 것이다. 확률이 1이라면 loss는 0이 되고 확률이 0이라면 -log(0)은 양의 무한대로 이때의 스코어는 무한대에 가깝게 극단적으로 높아진다.

 

Q2: Usually at initialization W is small so all s ≈ 0. What is the loss?

A2: -log(1/C) = log(C)가 된다. 

 

 

Softmax vs SVM

 

SVM은 정답 스코어와 정답이 아닌 스코어 간의 margins을 신경쓰고 일정 margins을 넘기만 하면 더 이상 성능 개선을 신경쓰지 않음

softmax는 확률을 구해서 -log P 처리함. 이미 정답 클래스의 확률이 다른 클래스보다 높아도 성능을 더 높이려고 

 

 

 

 

 

Optimization

 

 

 

우리의 최종 목표는 앞에서 정의한 loss fucntion이 최소가 되게 하는 가중치 W를 찾는 것이다.

그렇다면 실제 Loss를 줄이는 W를 어떻게 찾을 수 있을까?

 

우리가 어디인지 모를 산 골짜기에 놓여졌다고 하자. 우리는 어떻게든 골짜기의 밑바닥을 찾아야 한다.

여기서 나의 위치(높이)를 loss, 주변 산과 골짜기가 w인 것이다. w에 따라 loss가 변하는데 우리의 목표는 가장 낮은 loss를 찾는 것. 

 

이 상황에서 가장 먼저 시도해 볼 수 있는 단순하고도 비효율적인 방법은 random search이다.

 

Strategy #1: A first very bad idea solution: Random search

 

임의로 샘플링한 W를 엄청 많이 모은다음 loss를 계산해서 어떤 W가 좋은지를 살펴보는 것이다.

 

import numpy as np
#assume X_train is the data where each column is an example(e.g, 3073 x 50,000)
#assume Y_train are the labels (e.g. 1D array of 50,000)
#assume the function L evaluates the loss funtion

bestloss = float("inf") # Python assigns the highest possible float value
for num in range(1000):
    W = np.random.randn(10, 3073) * 0.0001 # generate random parameters
    loss = L(X_train, Y_train, W) # get the loss over the entire training set
    if loss < bestloss :
        bestloss = loss
        bestW = W
    print ('in attempt %d the loss was %f, best %f' % (num, loss, bestloss))

 

약 15%의 정확도 나옴 

 

Strategy #2: Follow the slope

단순히 random search하지 말고 local geometry의 특성을 이용하여 경사를 느끼며 찾아 내려가보자.

여기서 slope는 어떤 함수에 대한 미분값이다. 

 

 

특정 방향에서 얼마나 가파른지 알기위해 그 방향의 유닛벡터와 gradient 벡터를 내적.

gradient는 함수의 어떤 점에서 선형 1차 근사 함수를 알려준다.

 

1. gradient를 나타내는 식 찾고

2. 한번에 gradient dW를 계산

 

In summary:

- Numerical gradient: approximate, slow, easy to write

- Analytic gradient: exact, fast, error-prone

=> In practice: Always use analytic gradient, but check implementation with numerical gradient.

      This is called a gradient check.

 

 

 

Gradient Descent

#Vanilla Gradient Descent
while True:
    weights_grad = evaluate_gradient(loss_fun, data, weights)
    weights += - step_size * weights_grad # perform parameter update

 

단 세줄의 이 코드는 아무리 크고 복잡한 신경망이더라도 그 신경망을 어떻게 학습시킬지에 대한 핵심 아이디어를 담고있다.

 

Gradient descent에서 우선 W를 임의의 값으로 초기화한다.

이후 Loss와 Gradient를 계산하고

가중치를 gradient의 반대 방향으로 업데이트 한다. (gradient가 함수에서 증가하는 방향이므로 -gradient를 해야 내려가게 된다.)

 

*step size는 learning rate라고도 하며 학습에서 정해줘야 하는 가장 중요한 하이퍼파라미터 중 하나이다. 

 

 

빨간색 : loss가 낮은 영역

파란색 : loss가 높은 영역

 

우리는 임이의 점 W에서 출발하여 -gradient를 계산하면서 이 값으로 가중치를 업데이트 해가면서

cost가 가장 낮은 지점에 도달하게 된다.

 

Gradient Descent 외에도 momentum이나 Adam optimizer를 이용하여 W를 업데이트해 나가는 방법들도 있다.

 

 

 

Stochastic Gradient Descent (SGD)

 

 

우리는 손실함수 L을 정의했고, training dataset의 전체 Loss를 구하기 위해서 Loss 들의 평균을 사용했다.

하지만 실제로는 N이 엄청나게 커질 수 있고 이는 계산적으로 비효율적이다.

 

Gradient는 선형 연산자인데 실제 gradient를 계산하는 과정을 살펴보면 

각 데이터 Loss의 Gradient의 합이라는 것을 알 수 있다.

 

그러니 Gradient를 한번 더 계산하려면 N개의 전체 트레이닝 셋을 한번 더 돌면서 계산해야되고 W가 업데이트 되려면 굉장히 많은 시간이 소요된다.

=> 실제로는 SGD(Stochastic Gradient Descent)라는 방법을 많이 쓴다.

 

전체 데이터 셋의 gradient와 loss를 계산하기 보다는 Minibatch라는 작은 트레이닝 샘플 집합으로 나눠서 학습을 시키는 것이다. (Minibatch는 보통 2의 승수로 정하며 32, 64, 128을 주로 쓴다)

 

Minibatch를 이용해서 loss의 전체 합의 "추정치"와 실제 gradient의 "추정치"를 계산하는 것이다.

 

 

#Valina Minibatch Gradient Descent

while True:
    data_batch = sample_training_data(data, 256) #sample 256 examples
    weights_grad = evaluate_gradient(loss_fun, data_batch, weights)
    weights += - step_size * weights_grad # perform parameter update

 

임의의 minibatch를 만들고, minibatch 내에서 loss와 gradient를 계산하고 W를 업데이트한다.

(Loss의 추정치와 Gradient의 추정치를 사용하는 것)

 

 

웹 데모

http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/