[머신러닝] 회귀 - 단순 선형 회귀분석

 

회귀분석이란

회귀분석은 독립변수와 종속변수의 관계를  추정하는 통계분석이다.

예를 들어서,  각 집마다 아버지와 아들의 키를 조사해서 아버지의 키가 아들의 키에 얼만큼의 영향을 미쳤는지 조사를 한다고 하자.

이 때, 아버지의 키를 x라고 하고 아들의 키를 y라고 할 수 있다. 그리고 x와 y의 관계를 추정 시, 어느정도의 오차가 발생한다.
이 오차를 반영해서 x와 y가 얼마만큼 관련이 있는지를 찾는 것을 회귀분석이라고 한다

즉, x와 y사이의 관계를 함수식으로 나타내고 이러한 식을 통해서 y를 예측하는 것이다.

 

 

 

단순 선형 회귀분석

 

회귀에도 다양한 방법이 있으며 그 중 선형회귀분석이 제일 간단하다. 

단순 선형 회귀분석은 입력변수 X와 출력변수 Y가 선형적인 관계에 있을 때 사용가능한 분석 방법이다.

이때 x와 y사이는 선형 1차 함수로 표현 할 수 있다.

 

회귀식은 아래와 같이 나타낼 수 있다.

여기서 베타0는 절편, 베타1은 기울기이며 각 베타들을 회귀계수(coefficients)라고 부른다

 

회귀분석은 입력 데이터 X와 출력변수 Y의 관계를 추정하여 우리가 알지 못하는 x(새로운 입력 데이터)에 대한  출력 값인 Y를 예측하기 위함이다. 그렇기에 X와 Y를 통해 회귀 식을 추정해야 한다.

회귀 식을 추정하는 방법은 회귀계수에 x와 y의 값을 넣으면서 학습을 시키는데, 잔차(실제 값 - 추정한 값)가 최소가 되게 만들면 된다.
즉 우리에게 주어진 X데이터와 Y데이터가 있을 때 X데이터를 통해서 임의로 Y값인 Y햇을 추정해보고 이를 실제 Y값과 비교하면서 그 오차를 줄여나가면 되는 것이다.
이때 잔차는 단순히 각 X들의 잔차의 합을 0으로 만드는 것이 아니라, 잔차의 값을 제곱하여 그 값이 최소가 되게 만든다.
그리고 이런 잔차의 제곱합을 SSE(Error Sum of Squares)라고 하며 아래와 같은 식으로 표현할 수 있다.

*ei = 실제 값 - 추정한 값

 

 

 

 

 

회귀분석의 정확도 평가

 

SSE 즉 실제값과 우리가 추정한 값의 차이인 잔차가 작을수록 정확도가 높다.

회귀분석의 정확도를 평가하기 위한 검정 방법 중 하나로는 R-Squared가 있다.

R2는 0~1 사이의 값을 가지며, 1에 가까울 수록 선형회귀 모형의 설명력이 높다는 것을 의미한다.

설명력이 높다는 것은, Y의 총 변동을 X로 얼마나 잘 설명하냐는 것이다.

 

R2는 아래와 같은 식으로 설명가능하다.

SST : 실제값 - y평균

SSE : 실제값 - 예측값

SSR : 예측값 - y평균

 

단순 선형 회귀분석 실습

sklearn의 datasets중 Boston데이터를 이용하여 CRIM 변수로 PRICE 값을 예측하는 선형 회귀분석 모델 만들기

 

-데이터 준비

#필요한 모듈 불러오기
import pandas as pd
import numpy as np
from sklearn import datasets

#데이터 불러오기
boston = datasets.load_boston()

#데이터 확인
print(boston.DESCR)

#dataframe으로
boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)
boston_df.head()

boston_df["PRICE"] = pd.DataFrame(boston.target)
boston_df.info()

-회귀분석

import statsmodels.api as sm

price = boston_df[["PRICE"]]
crim = boston_df[["CRIM"]]

#상수항 추가하기
crim1 = sm.add_constant(crim, has_constant='add')
crim1

#회귀
reg = sm.OLS(price, crim1)
fitted_model = reg.fit()
fitted_model.summary()

-회귀식 계산

print(fitted_model.params) 

#행렬로 예측한 값 
np.dot(crim1, fitted_model.params)

#함수로 예측한 값 
pred=fitted_model.predict(crim1) 
pred

#함수로 예측한 값과 행렬로 예측한 값의 차이 
pred-np.dot(crim1, fitted_model.params)

-시각화

import matplotlib.pyplot as plt

#데이터와 회귀식을 통한 에측값 비교
plt.scatter(crim, price, label = "data")
plt.plot(crim, pred, label = "result")
plt.legend()
plt.show()

#잔차확인
fitted_model.resid.plot()
plt.xlabel("residual_number")
plt.show()