딥러닝 모델의 학습 방법

 

 

딥러닝 모델이란

다수의 히든층이 있는 모델을 딥러닝 모델이라고 한다.

히든층이 많아지면 깊은 신경망이라는 의미로 Deep Learning이라는 단어를 사용한다.

 

 

 

동그라미를 Node(Unit)이라고 부른다.

여기서 층은 모델을 구성하는 층을 의미한다.

가중치는 노드간의 연결강도를 뜻한다.

가중치에는 특정 숫자가 배정되어 있다.

 

 

 

딥러닝 모델의 학습 방법

 

예측값과 실제값 간의 오차값을 최소화하기 위해 오차값을 최소화하는 모델의 인자를 찾는 알고리즘을 적용한다.

Loss function을 최소화하는 가중치를 찾기 위해 최적화 알고리즘을 적용한다.

 

 

 

딥러닝 모델이 예측값을 구하는 방식 - 순전파

순전파(Forward propagation)는 입력 값을 바탕으로 출력 값을 계산하는 과정을 의미한다.

 

 

순전파 예시

 

이때의 활성화 함수는 비선형 함수이다.

활성화 함수의 예시

1. Sigmoid

2. Relu

 

 

최적화 방식 살펴보기

순전파를 사용하면 예측값과 실제값 간의 오차값을 구하여 Loss function을 구할 수 있다.

그렇다면 어떻게 최적화를 해야할까?

=> 경사 하강법(Gradient descent)을 사용

 

 

 

경사 하강법(Gradient descent)

가중치를 Loss function 값이 작아지게 업데이트 하는 방법으로,

가중치는 Gradient(미분)값을 사용하여 업데이트를 수행한다.

Gradient 값은 각 가중치마다 정해지며, 역전파(Backpropogation)를 통하여 구할 수 있다.

 

 

t=i의 gradient를 노란색 화살표로 표현.

그렇다면 저 노란색 화살표를 어떻게 구할까? => 역전파를 이용

 

 

 

역전파(Backpropogation)

 

역전파는 순전파(Forward propagation)의 반대 방향으로 이루어지는 과정이다.

 

 

딥러닝 모델의 학습 순서

1. 학습용 feature 데이터를 입력하여 예측값 구하기(순전파)

2. 예측값과 실제값 사이의 오차 구하기(Loss 계산)

3. Loss를 줄일 수 있는 가중치 업데이트 하기(역전파)

4. 1~3번 반복으로 Loss를 최소로 하는 가중치 얻기