[머신러닝] 회귀 - 다중 선형 회귀분석

다중 선형 회귀분석

 

- 다중선형 회귀 분석은 단순 선형회귀분석과 비교했을 때 변수가 여러개이고 개념적으로는 차이가 없다.
- 변수가 여러 개 이기에 단순 선형 회귀분석과 검정 방법이나 모델링 방법에 약간의 차이가 있지만 기본적인 개념은 거의 같다.

 

 

다중 선형 회귀분석 해석

- 위와 같은 표가 있을 때 CRIM을 제외한 나머지 변수인 RM, LSTAT가 고정되어있다고 하자. 이 경우 CRIM이 1단위 올라갈경우 가격이 -0.1029배가 된다

- 회귀계수는 단순회귀계수와 마찬가지로 p-value값이 낮을 수록 설명력이 있다는 것을 말한다.
- 표준오차인 Std.error값은 작을 수록 좋다.

- 만약 회귀계수가 0에 가깝거나 표준오차가 커진다면 T 통계량이 작아지고 P-value가 커지면서 변수의 유의성이 떨어진다

 

다중 선형 회귀 모델 검정

 

- 단순 선형 회귀모델은 변수가 하나이기에 선형 회귀계수만 검정하면 됐지만, 다중 선형 회귀모델은 변수 검정과 별개로 모델 자체의 유의성도 검정해주어야 한다.
- F 검정을 통해서 검정을 한다

 

 

회귀모델의 성능지표

 

- R2 : R2는 회귀분석에서 사용하는 성능지표 중 하나로, y의 총 변동성에 대해서 x가 변동을 얼마냐 잘 설명하느냐의 비율이다. 

- Adjusted R2 :  변수의 개수가 증가하면 R2도 같이 증가하기에(SSR이 제곱합의 형태이기에) 이를 보완해줄 성능지표가 필요하다. 이렇게 기존의 R2를 보완하여 변수의 개수만큼 패널티를 준것이 Adjusted R2이다. 

*p : 변수의 개수, n : 표본

 p가 1이라면 R2와 같고, p가 증가한다면 전체 값이 줄어든다.

 

- AIC : 회귀모델에서 모델을 선택할 떄 가장 많이 쓰는 성능지표이지만 표본(n)이 커질 떄 잘 맞지 않는다. MSE에 변수 수 만큼 패널티를 주는 지표이다.

- BIC : n(표본)이 커지면 AIC보다 BIC를 쓰는 것이 적합하다.  

- AIC와 BIC 모두 그 값이 작을 수록 좋다

다중 선형 회귀분석 실습

- sklearn의 datasets 중 boston 데이터 사용
- boston 데이터 중 crim, rm, lstat를 입력변수로, price를 출력변수로 둔 후 이들의 관계를 확인해보고 예측 모델 생성


-데이터 준비

import pandas as pd
import numpy as np
from sklearn import datasets
import statsmodels.api as sm

#데이터 준비하기
boston = datasets.load_boston()
print(boston.DESCR)

boston_df = pd.DataFrame(boston.data, columns = boston.feature_names)
boston_df

boston_df["PRICE"] = pd.DataFrame(boston.target)
boston_df.head()

#선형회귀와 다른 점!
x_data = boston_df[["CRIM", "RM", "LSTAT"]]
x_data.head()

price = boston_df[["PRICE"]]

 

-회귀모델 생성

x_data1 = sm.constant(x_data, has_constant = 'add')

multi_reg = sm.OLS(price, x_data1)
fitted_multi_model = multi_reg.fit()
fitted_ulti_model.summary()

 

-시각화

import matplotlib.pyplot as plt
fitted_multi_model.resid.plot()
plt.xlabel("residual_number")
plt.show()


#단순선형회귀와 비교
fitted_model.resid.plot(label="crim")
fitted_multi_model.resid.plot(label="full")
plt.legend()