머신러닝의 과정과 데이터 전처리

 

머신러닝 과정

 

1. 데이터 수집

2. 데이터 분석 및 전처리

3. 머신러닝 학습 

4. 머신러닝 평가

 

 

1>>2>>3>>4 항상 순서대로 가는 것이 아니라, 그때그떄 결과에 맞게 1>>2>>3>>4>>3 이런식으로 가기도!

 

 

데이터 전처리의 역할

 

1. 머신러닝의 입력 형태로 데이터 변환(특성 엔지니어링)

2. 결측값 및 이상치를 처리하여 데이터 정제

3. 학습용 및 평가용 데이터 분리

 

 

 

1. 머신러닝의 입력 형태로 데이터 변환(특성 엔지니어링)

 

대부분의 머신러닝 모델은 숫자 데이터를 입력 받는다

범주형 데이터도 수치형으로 변환할 필요가 있다.

전처리를 통해서 아래와 같은 행렬 형태로 바꿔주는 과정 필요!

 

실제 데이터는 다양한 형태로 존재한다.

하지만 이런 데이터는 머신러닝 모델이 이해할 수 없는 형태로 되어있다.

그렇기에 전처리를 통하여 머신러닝 모델이 이해할 수 있는 수치형 자료로 변환해줄 필요가 있다.

 

2. 결측값 및 이상치를 처리하여 데이터 정제

 

결측값과 이상치가 있는 데이터로는 좋은 머신러닝 모델을 만들 수 없다. (아예 입력값으로 사용 못하는 경우도 있음)

그렇기에 전처리를 통해 데이터의 결측값 및 이상치를 처리해줘야한다.

 

 

 

3. 학습용 및 평가용 데이터 분리

 

전처리를 통해 학습용과 평가용 데이터를 분리한다.

 

학습 데이터로 모든 원본 데이터를 사용하면, 객관성이 떨어진다.

머신러닝이 학습 데이터에만 몰두해서, 학습 데이터와 다른 데이터가 들어오면 결과값이 좋지 않은 경우가 발생할 수 있음!(과적합)