제 17장 📒데이터 전처리_타이타닉 데이터셋 활용-2📒

전처리 과정

1) .isnull( ) 함수를 이용하면 결측치를 나타내 준다. sum( )을 이용하여 결측치 개수를 확인

2) 전체 데이터 대비 결측치의 비중을 구하려면 =  결측치 / 전체 데이터 개수 x 100

 

 

필요없는 ticket 컬럼을 누락시켜보자

✅ data.drop('ticket', axis=1, inplace=True)     or      ✅ del data['ticket'] 이용하기

 

3)

ticket 컬럼을 누락시킨 csv파일을 외부로 빼내기

to_csv를 할 경우는 자동으로 csv에 로우명을 매겨주기 때문에
추후 다시 import할때 Unnamed :0 컬럼이 들어옵니다.
이를 방지하기 위해 index=False를 줄 수 있습니다.

 

📌 Cabin 데이터를 활용하여 유도변수 생성

• 개별 객실 번호는 의미가 없음(123, 456 ...)
• cabin 데이터의 첫 글자가 deck(구역)을 의미
• 유도변수 : deck컬럼 추가
• deck 컬럼에 추가될 자료 : A, B, C, D, E, F, G, T, unknown

• cabin 컬럼의 각 값에 적용할 처리
  • 1)
    • 값의 첫 번째 문자가 deck list에 있으면 해당 deck을 반환
    • 없으면(NaN) deck list의 unknown 반환
  • 2)
    • 첫 번째 문자 반환
    • 없으면 다른 것 반환

deck_list = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'T', 'unknown']
sample = ['C123', np.nan, 'D201', np.nan, 'F999']
- 이렇게 나오게 = ['C', 'unknown', 'D', 'unknown', 'F']

 

📌 aplly나 map을 통해 유도 변수로 교체해주기

 

def cabin_to_deck(value):
    deck_list = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'T', 'unknown']
    - NaN인지 검사
    if type(value)==type(np.nan):
        return 'unknown'
    - NaN가 아니면 덱 종류만 리턴
    elif value[0] in deck_list:
    - 덱 리스트에 분류된 덱이 맞는지 체크
        return value[0]
    else:
        return 'unknown'

 

📌 컬럼명은 'deck'으로 넣어줬습니다

✅ data['deck'] = data['cabin'].map(cabin_to_deck)

 

 

 

📌 Name 데이터를 활용하여 유도 변수 생성

• 개별 이름은 모델 예측에 유의미한 변수가 아니다.
• 대표 특성을 찾을 수 있는 범주 데이터를 추출할 수 있다.
• Mr, Ms, Miss, Master ...
• 추출 하여 title 컬럼으로 추가
• 정규식을 사용하지 않고 .split() 두 번 사용하여 처리

새로운 컬럼인 splited_name 컬럼에 저장해주기

✅ def name_split(value):
        return value.split(", ")[1].split(".")[0]

 

✅ data['splited_name'] = data['name'].apply(name_split)

 

✅ data['splited_name'].unique()

array(['Mr', 'Mrs', 'Miss', 'Master', 'Don', 'Rev', 'Dr', 'Mme', 'Ms',
       'Major', 'Lady', 'Sir', 'Mlle', 'Col', 'Capt', 'the Countess',
       'Jonkheer'], dtype=object)

 

📌 결측치 처리 - Age

• 미성년(Master, Miss)
• title 별 평균으로 age 결측치 대체
• transform
• (참고)사용자정의함수 : 매개변수 3개(타이틀별평균, 데이터, 타이틀리스트)

- age 컬럼 중 null이 들어온 컬럼 개수를 구하기
✅ data.age.isnull().sum()

- groupby 다음 사용하는 transform은 기존 값을 무시하고, 집계함수값으로 대체합니다.

- 원래 'age'에 있던 결측치를 대신하기 위해 .fillna( )  를 써서 채워주기 

 

 

📌 Age 데이터를 범주형 데이터로 변경

• 나이 숫자 값 자체로는 의미가 적다.
• 연령대로 구분하는 것이 더 의미가 있는 구분 값
• 구간
  • ~ 20
  • 20 ~ 40
  • 40 ~ 60
  • 60 ~

- 사용자 정의함수
✅ def age_class(value):
         if value < 20:
            return 'under20'
        elif value < 40:
            return '20-40'
        elif value < 60:
            return '40-60'
        else:
            return 'over60'

 

📌 data['age_class'] 를 만들어 저장해주세요.
- 내부의 값 하나하나를 함수 age_class를 이용해서 나이대별로 분류해주세요.
✅ data['age_class'] = data['age'].map(age_class)

0        20-40
1        20-40
2        20-40
3        20-40
4        20-40
        ...   
886      20-40
887    under20
888      20-40
889      20-40
890      20-40
Name: age_class, Length: 891, dtype: object

 

- 연령대별로 데이터가 몇 개가 있는지

✅ data['age_class'].value_counts()

20-40      560
under20    168
40-60      137
over60      26
Name: age_class, dtype: int64

📌 그룹바이를 이용해, 연령대별 생존/사망자별 인원수를 출력해보기.
✅ data.groupby(['title', 'survived', 'sex'])[['survived']].count()

이처럼 4개의 연령대의 성별 생존 인원수를 확인해보면 상관관계가 영향을 많이 주는 것으로 보인다.

회기 분석을 통해 확실한 결론(원인)을 내리면 좀 더 정확한 집계가 가능합니다. 

 

 

 

 

시각화

- barplot 그리기, stacked 형태로 그리기
데이터프레임에 바로 plot(), hist() 등을 사용하면 실제로 그려줍니다.
survived를 x축에(row로), 나이정보를 y축에(column)으로 두기 위해 unstack()실행
✅ barplot_data = age_classed_data.unstack(0)

 

 

- 멀티인덱스로 인해 범례가 보기 좋지 않으므로 소거
✅ barplot_data.columns.names = ["", ""]

✅ barplot_data.plot(kind='bar', stacked=True)