회귀 평가 지표

 

회귀 알고리즘 평가

데이터와 머신러닝을 통해서 모델을 만든 후, 어떤 모델이 좋은 모델인지를 어떻게 평가할 수 있을까요?

우리는 목표를 얼마나 잘 달성햇는지 정도를 평가해야 합니다.

즉, 실제 값과 모델이 예측하는 값의 차이에 기반한 평가 방법을 사용합니다.

 

모델의 평가지표로는

RSS, MSE, MAE, MAPE, R^2가 있습니다.

 

 

 RSS - 단순 오차

Loss의 값이 작을수록 모델의 성능이 좋다고 판단

 

1. 실제 값과 에측 값의 단순 오차 제곱의 합

2. 값이 작을수록 모델의 성능이 높음

3. 전체 데이터에 대한 실제 값과 예측하는 값의 오차 제곱의 총합

 

 

RSS의 특징

- 가장 간단한 평가 방법으로 직관적인 해석이 가능함

- 오차를 그대로 이용하기 때문에 입력 값의 크기에 의존적이다.

 (예를들어 데이터가 10개일때와, 100개가 있다고 생각하자. RSS는 오차를 합치는 것이기에 데이터가 많아질 수록 RSS 값도 커진다. 그렇기에 데이터가 100개일때 RSS가 커지게 된다.)

- 절대적인 값과 비교가 불가능하다. (데이터가 10개일때와 100개일때를 비교하는 것이 불가능하다.)

 

 

MSE, MAE - 절대적인 크기에 의존한 지표

 

MSE(Mean Squared Error)

 

평균 제곱 오차, RSS에서 데이터 수 만큼 나눈 값으로, 

MSE 값이 작을수록 모델의 성능이 높다고 평가할 수 있다.

 

 

MAE(Mean Absolute Error)

 

평균 절대값 오차, 실제 값과 예측 값의 오차의 절대값의 평균으로,

MAE값이 작을수록 모델의 성능이 높다고 평가할 수 있다.

 

 

MSE, MAE의 특징

 

- MSE : 이상치(Outlier) 즉, 데이터들 중 크게 떨어진 값에 민감하다.

- MAE : 변동성이 큰 지표와 낮은 지표를 같이 예측할 때 유용하다. 

- 가장 간단한 평가 방법들로 직관적인 해석이 가능하다.

- 그러나 평균을 그대로 이용하기 때문에 입력 값의 크기에 의존적이다.

- 절대적인 값과 비교가 불가능하다. (모델 A는 키에 대해 예측하고, 모델 B는 몸무게에 대해 예측한다고 하자. 키가 몸무게보다 스케일이 크기 때문에 MSE와 MAE모두 키 모델에서 높아질 가능성이 높다. 그렇기에 모델 A와 B를 MSE와 MAE로 비교하는 것에 한계가 있다.)