머신러닝 범주형 자료 전처리

범주형 자료를 머신러닝으로 처리하기 위해서는 자료를 변환해주어야 합니다.

본격적으로 자료 변환법을 다루기 전, 사용할 데이터에 대해 먼저 알아보겠습니다 :)

 

범주형 자료를 변환하기 위해서 아래의 타이타닉 생존자 데이터를 사용할 것입니다.

아래 표는 데이터에 대한 설명입니다.

 

범주형 데이터는 몇 개의 범주로 나누어진 자료입니다.

그렇다면 타이타닉 생존자 데이터에서는 어떤 항목이 범주형 자료일까요?

 

PassengerId를 보면 각 승객의 고유 번호에 맞게 데이터를 나누고,

Survived는 생존했냐 안했냐를 숫자로 옮겼고,

Pclass는 등급에 따라 데이터가 나뉩니다.

Name은 양이 많은 범주형 데이터라고 생각할 수 있습니다!

 

이외에 Sex, Ticket, Cabin, Embarked도 범주형 자료에 해당합니다.

(나이, 자식의 수, 배우자의 수, 요금은 수치형 자료입니다.)

 

 

범주형 자료의 종류

범주의 크기가 의미 없다면 명목형 자료

크기가 의미 있다면 순서형 자료로 생각할 수 있습니다.

 

 

대표적인 범주형 자료 변환 방식

명목형 자료 

- 수치 매핑 방식

- 더미(Dummy) 기법

 

명목형 자료 

- 수치 매핑 방식

 

 

명목형 자료 변환 - 수치 매핑 변환

일반적으로 범주를 0, 1로 매핑한다.

(-1, 1), (0, 100) 등 다양한 케이스가 있지만 모델에 따라 성능이 달라질 수 있다.

 

 

 

예를 들어서 male은 0으로, female은 1로 변환할 수 있습니다.

이때 항상 0이나 1로 변환할 필요는 없다. (-1, 1), (0, 100)과 같이 변환해도 되지만, 이는 모델에 따라 성능이 달라질 수도 있다.

 

 

명목형 자료의 범주가 세 개 이상인 경우, 수치의 크기 간격을 같게 하여서 수치를 매핑해준다. 

ex) 0, 1, 2, 3...

 

 

명목형 자료 - 더미(Dummy) 기법

더미 기법을 사용하여 각 범주를 0 또는 1로 변환한다.

 

 

Sex에 있던 female과 male두 가지의 범주가 새로운 열로 생성이 되고,

새롭게 생성된 열은 각 행에 대해 해당이 되면1, 해당이 되지 않으면 0으로 변환된다.

 

수치 매핑은 한가지 변수에 대해 해당 열 안에서 숫자로 매핑한 것이고,

더미는 한 가지 변수에 대해 범주들을 새로운 열로 만들어서 0과 1로 매핑한 것이다.

 

 

순서형 자료 - 수치 매핑 변환

수치에 매핑하여 변환하지만, 수치 간 크기 차이는 커스텀이 가능하다.

크기 차이가 머신러닝 결과에 영향을 끼칠 수 있다.

 

 

실습

1) 명목형 자료 수치매핑으로 변환하기

titanic의 데이터 중 범주형 자료인 Sex데이터의 male과 female을 0과 1로 매핑.

 

*pandas 라이브러리의 replace 함수 사용

A를 0으로, B를 1로 바꾸기 위해서는 아래와 같은 코드 사용

DataFrame.replace({A:0, B:1})

import pandas as pd
import seaborn as sns

#데이터 불러오기
titanic = sns.load_dataset('titanic')


print('변환 전 : \n', titanic.head())

titanic['Sex'].replace({'female':1, 'male':0}, inplace=True)


# 변환한 성별 데이터를 출력
print('변환 후 : \n', titanic.head())
print('\n변환 후: \n',titanic['Sex'].head())

 

 

1) 명목형 자료 더미 방식으로 매핑하기

titanic Embarked데이터의 S, Q, C 범주를 더미 방식을 이용해 변환해 봅시다.

* pandas 라이브러리의 get_dummies를 사용합니다.

get_dummies함수는 DataFrame에 바로 사용하지 않고, pd. 을 통해 파라미터로 DataFrame을 전달해줍니다!

pd.get_dummies(DataFrame[[변수명]])

# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')
print('변환 전: \n',titanic['Embarked'].head())

# 1. get_dummies를 사용하여 변환합니다.
dummies = pd.get_dummies(titanic[['Embarked']])
dummies1 = pd.get_dummies(titanic['Embarked'])


# 변환한 Embarked 데이터를 출력합니다.
print('\n변환 후: \n',dummies.head())
print('\n변환 후 1: \n',dummies1.head())