데이터 정제 및 분리

 

결측값 처리하기

일반적인 머신러닝 모델의 입력 값으로 결측값을 사용할 수 없습니다.

따라서 Null, None, NuN등의 결측값을 처리해야 합니다.

 

대표적인 결측 값 처리 방식에는 세 가지가 있습니다.

1. 결측값이 존재하는 샘플 삭제(행)

2. 결측값이 많이 존재하는 변수 삭제(열)

3. 결측값을 다른 값으로 대체

 

 

 

 

1. 결측값이 존재하는 샘플 삭제(행)

결측값이 있는 샘플을 제거하기 위해서는 'dropna'를 사용합니다.

DataFram.dropna()

 

 

2. 결측값이 많이 존재하는 변수 삭제(열)

pandas의 DataFrame에서 특정 변수(Columns)를 삭제하기 위해서는 'drop'을 사용합니다.

DataFrame.drop(columns=['Cabin'])

 

 

import pandas as pd

# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')

# 변수 별 데이터 수를 확인하여 결측 값이 어디에 많은지 확인합니다.
print(titanic.info(),'\n')


#1. Cabin 변수를 제거합니다.
titanic_1 = titanic.drop(columns=['Cabin'])

# Cabin 변수를 제거 후 결측값이 어디에 남아 있는지 확인합니다.
print('Cabin 변수 제거')
print(titanic_1.info(),'\n')


#2. 결측값이 존재하는 샘플을 제거합니다.
titanic_2 = titanic_1.dropna()

# 결측값이 존재하는지 확인합니다.
print('결측값이 존재하는 샘플 제거')
print(titanic_2.info())

 

---

 

 

이상치(Outlier) 처리하기

이상치가 있으면, 모델의 성능을 저하할 수 있습니다.

이상치는 일반적으로 전처리 과정에서 제거하며,

어떤 값이 이상치 인지 판단하는 기준이 중요합니다.

 

 

이상치 판단 기준 방법

1. 통계 지표(카이제곱 검정, IQR 지표 등)를 사용하여 판단

2. 데이터 분포를 보고 직접 판단

  (데이터를 보고 직접 판단할 수도 있고, 도수분포표를 이용하거나 그래프 등을 통해 확인 가능)

3. 머신러닝 기법을 사용하여 이상치 분류

 

 

실습

Titanic 데이터 Age 변수 중 소수점 갖는 데이터 제거하기

import pandas as pd
import numpy as np

#데이터 읽어오기
titanic = pd.read_csv('./data/titanic.csv')

#Cabin 변수 제거
titanic_1 = titanic.drop(columns=['Cabin'])

#결측값이 존재하는 행 제거
titanic_2 = titanic1.dropna()

#Age 값 - Age 내림 값이 0보다 크다면 소수점을 갖는 데이터로 분류
#floor : 내림 함수
outlier = titanic_2[titanic_2['Age']-np.floor(titanic_2['Age'])>0]['Age']

print('소수점을 갖는 Age 변수 이상치')
print(outlier)

print('이상치 처리 전 샘플 개수 : %d' %(len(titanic_2)))

print('이상치 개수 : %d' %(len(outlier)))

#이상치 처리하기
#titanic_2['Age']에서 np.floor(titanic_2['Age'])를 뺸 값이 0이면 정수이고, 0보다 크다면 소수점.
#0인 값만 titanic_3에 저장
titanic_3 = titanic_2[titanic_2['Age']-np.floor(titanic_2['Age']==0)]
print('이상치 처리 후 샘플 개수 : %d' %len(titanic_3))

 

 

---

 

데이터 분리는 왜 필요할까?

머신러닝 모델을 평가하기 위해서는 학습에 사용하지 않은 평가용 데이터가 필요합니다.

데이터 분리 시 약 7:3 ~ 8:2 비율로 학습과 평가 데이터를 분리합니다.

 

 

지도학습 데이터 분리

지도학습의 경우 featrue 데이터와 label 데이터를 분리하여 저장합니다.

Feature 데이터 : label을 예측하기 위한 입력 값

Label 데이터 : 예측해야 할 대상이 되는 데이터

 

예시

feature : 과일 이미지

label : 과일 이름

 

feature : 공부시간

label : 시험점수 

 

feature : 아버지의 키

label : 아들의 키

 

 

실습

타이타닉 데이터를 바탕으로 생존자를 예측한다고 해봅시다.

이 경우 Survived 데이터가 Label 데이터가 되고, 

나머지 변수가 Feature 데이터가 됩니다.

 

즉, Feature데이터(train 데이터)들을 통해서 생존여부(test 데이터)를 판단하는 것입니다.

 

 

그러면 데이터를 분리해보겠습니다.

데이터 분리에서는 skleran라이브러리의 train_test_split를 사용합니다.

#앞에서 정제한 titanic_3데이터를 사용합니다.


#feature 데이터와 label 데이터를 분리합니다.
X = titanic_3.drop(columns=['Survived'])
y = titanic_3['Survived']

#데이터 개수 확인
print('X 데이터 개수: %d' %(len(X)))
print('y 데이터 개수: %d' %(len(y)))

#X, y 데이터를 학습용, 평가용 데이터로 분류합니다.
#test : train = 3 : 7로 분류합니다.
#random state를 이용하면 향후 동일한 데이터로 분류할 수 있습니다.
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 분리한 데이터의 개수를 출력합니다.
print('학습용 데이터 개수: %d' %(len(X_train)))
print('평가용 데이터 개수: %d' %(len(X_test)))