회귀 - 단순 선형 회귀

 

* 좀 더 이론적인 내용

[머신러닝] 회귀 - 단순 선형 회귀분석

 

 

회귀 그게 뭔데?

회귀의 개념을 살펴보기 전에 아래의 우리가 아래의 상황에 처해있다고 가정합시다!

 

우리가 아이스크림 가게를 운영하는 주인입니다.

아이스크림을 판매량보다 많이 주문하여 버려지는 상황을 방지하고자,

우리는 판매용 아이스크림을 주문 할 때, 예상되는 실제 판매량만큼 주문하고 싶습니다.

이때 평균 기온을 활용하여 미래 판매량을 예측 할 수 있을까요?

 

 

문제 정의와 해결 방안

 

문제 정의

- 데이터 : 과거 평균 기온(X)와 그에 따른 아이스크림 판매량(Y)

- 가정 : 평균 기온과 판매량은 선형적인 관계를 가지고 있음 (기온이 올라갈수록 판매량도 증가한다.)

- 목표 : 평균 기온에 따른 아이스크림 판매량 예측하기

 

 

해결방안

위의 문제를 해결 하기 위한 최적의 알고리즘이 바로 회귀 분석 알고리즘입니다.

 

 

회귀 분석이란?

회귀 분석은 입력값과 출력값 사이의 관계를 추정하는 분석법입니다.

즉 데이터를 가장 잘 설명하는 모델을 찾아, 입력값에 따른 미래 결과값을 예측하는 알고리즘 입니다.

 

주어진 데이터

X : 평균 기온

y : 아이스크림 판매량

 

가정

우리는 데이터 X와 y를 통해서 베타0과 베타1을 찾아야 합니다.

 

 

 

하지만 완벽한 예측은 불가능합니다.

그렇기에 최대한 근사한 식을 찾는것이 저희의 목표입니다.

 

각 데이터의 실제 값과 모델이 예측하는 값의 차이를 최소한으로 하는 선을 찾아 봅시다.

 

 

단순 선형 회귀란?

데이터를 가장 잘 설명하는 식을 찾아내는 것.

이때 베타0은 절편에 해당하고, 베타1은 기울기를 의미합니다.

 

그렇다면 데이터를 잘 설명한다는 것을 무엇을 의미할까요?

 

실제 정답과 내가 예측한 값과의 차이가 작을수록 좋습니다.

 

실제 값과 예측 값의 차이를 구해봅시다.

임의로 베타0 = 0, 베타1 = 1인 직선을 그리고, 해당 식에 맞게 값을 예측해봅니다.

그리고 예측값과 실제값의 차이를 봅시다.

 

실제값 - 예측값은 부호를 가지고 있기에, 단순히 합계를 구하는 것이 의미가 없습니다.

그렇기에 (실제값-예측값)을 제곱한 값을 줄이는 것이 우리의 목표입니다.

 

 

 

Loss 함수

실제 값과 예측 값 차이의 제곱의 합을 Loss 함수로 정의합니다.

=> Loss 함수가 작을 수록 좋은 모델이다.

 

모든 데이터에 대해 (실제 값 - 예측값)^2의 합의 평균을 Loss 함수로 이용합니다.

 

Loss 함수 줄이기

Loss 함수에서 주어진 값은 입력 값과 실제 값입니다.

베타0(절편), 베타1(기울기)값을 조절하여 Loss 함수의 크기를 작게 만들어야 하는데요,

그렇다면 어떻게 이 베타 값을 조율할까요?

 

 

Loss 함수의 크기를 작게하는 베타0(절편), 베타1(기울기)를 찾는 방법에는 여러 방법이 있습니다.

 

대표적으로는 아래의 방법들이 있습니다.

1) Gradient descent (경사 하강법)

2) Normal equation (least squeares)

3) Brute force search

 

 

Gradient descent (경사 하강법)

 

경사 하강법은 

처음에 베타0과 베타1에 랜덤한 값을 준 다음, Loss 값을 계산하고

경사(Loss)를 계산하여서 경사가 낮은 방향으로 베타0과 베타1을 업데이트 해 나가는 방법입니다.

이 방법을 계속 반복해나가면 Loss가 낮은 베타0과 베타1을 찾을 수 있게 됩니다.

 

 

단순 선형 회귀 과정

 

단순 선형 회귀의 과정을 다시 한 번 정리해보면 아래와 같습니다.

 

단순 선형 회귀 특징

 

- 가장 기초적이나 여전히 많이 사용된다.

- 입력값이 1개인 경우에만 적용이 가능하다.

- 입력값과 결과값의 관계를 알아보는데 용이하다.

- 입력값이 결과값에 얼마나 영향을 미치는지 알 수 있다.

- 두 변수 간의 관계를 직관적으로 해석하고자 하는 경우 활용한다.