회귀 - 다중공선성

다중공선성이란?

독립변수(X변수)가 여러개 있을 때, 변수들이 강한 선형관계를 가진다면 다중공선성이 있다고 한다. 이때, 강한 선형관계에 있다는 것은 변수간의 상관정도가 높다는 것을 의미한다.
각 독립변수가 설명변수에 어떠한 영향을 끼쳐야 하는지 파악하는 것이 회귀인데, 각 변수가 선형관계에 있다면 이러한 관계를 파악하기가 어려워진다. 그렇기에 다중공선성이 있을 경우 변수를 해석하기가 어려워지고 예측 정확도가 하락할 수 있다.

@crissyjarvis

다중공선성을 진단방법과 해결 방법

-진단방법
다중공선성은 데이터 분석 시 예측도를 하락시키기에 이를 진단하고 적절한 변수를 선택할 필요가 있으며, 진단하기 위한 대표적인 방법으로는 VIF와 Correlation이 있다.

-해결방법
다중공선성이 있다고 진단되면 이를 해결해야 한다. 해결 방법으로는, 필요한(중요한) 변수만 선택하여 남기는 Feature Selection과 변수를 제거하지 않고 활용하는 방법이 있다.Feature Selection은 중요하지 않은 변수를 제거하는 방법이다. 제거 시 아무 변수나 제거하는 것이 아니라, VIF, correlation 등을 참고하여 중요한 변수만 남기고 제거할 수 있다. 하지만 제거가 늘 옳은 방법은 아니다.Feature Selection의 방법으로는 Lasso, Stepwise 등이 있다.변수를 버리지 않고 모든 변수를 이용할 때는 PCA와 같은 차원축소나 Ridge 처럼 모든 회귀계수를 사용하되 이를 축소시켜서 사용하는 방법이 있다.

현재의 다중공선성을 해결방법은 다중공선성을 해결하기 위한 최선의 방법이긴하나, 아직 이를 해결하기 위한 근본적인 방법은 없다.

Photo by Markus Winkler on Unsplash