제 16장 📒데이터 전처리_타이타닉 데이터셋 활용-1📒

캐글은 데이터 과학 및 머신러닝 경진대회를 주최하는 온라인 커뮤니티입니다.  

https://www.kaggle.com/

Kaggle: Your Machine Learning and Data Science Community

미래의 데이터 엔지니어, 데이터 사이언티스트가 되기 위해 머신러닝 입문하기에 좋은

캐글의 타이타닉 데이터셋을 활용해보자.

띵작

데이터 전처리 목록 : 

1. map 메서드를 이용해 컬럼 목록을 대문자로

✅ data.columns.map(str.upper) or ✅ data.rename(columns=str.upper)

 

2. 남자를 0, 여자를 1로 가지는 sex_num 컬럼 추가

# 컬럼추가

✅ data['sex_num'] = -1

 # map을 활용해 변환

✅ data['sex_num'] = data["Sex"].map({'male':0, 'female': 1})

 

3. 이름 길이 값을 저장하는 name_lenth 컬럼 추가

# 위와 같이 name_length 컬럼 추가 후 map메서드 활용해서 변환

✅ data['name_length'] = data["Name"].map(len)

 

 

데이터 전처리 후 상관계수를 구하여 관계를 유추할 수 있습니다.

생존과의 관계

- 성별이 영향을 줬는지 여부 확인하기

성별은 어느 정도 영향을 줬다고 유추할 수 있습니다.

✅data[['Survived', 'sex_num']].corr()

🎯 상관 분석에 관한 공부 내용 참조

https://kmbeach.tistory.com/23

🤓 깨(우치자!)알(고하자!)공부 : 상관 분석

 

- 이름 길이가 영향을 줬는지 여부 확인하기
0.3 이므로 거의 약간의 영향만을 주었다고 볼 수 있습니다.
✅ data[['Survived', 'name_length']].corr()

 상관계수로만 보면 나이는 생존 여부에 영향을 미치지 않습니다. 하지만 나이를 구간별로 세분화하여 다시 비교했을 때는

나이대 별로 생존율과의 관계가 크게 나타납니다. 결과를 함부로 판단하면 안 되는 중요한 예시
✅ data[['Survived','Age' ]].corr()

어린아이 ~ 중년 직전까지 끊어서보고  조건 색인으로 0세 ~ 40세, 40세~최대로 두 가지의 경우로 나누어 비교한

결과에도 상관계수를 보면 영향을 미치지 않습니다.

하지만 : ~20, 20~40, 40~60, 최대 4개~5개의 구간으로 세분화하여 보면 생존에 영향을 주는 것으로 나타난다.
✅ data[data["Age"] <=40][['Survived', 'Age']].corr()

영향을 주지않는다.

✅ data[data["Age"] >40][['Survived', 'Age']].corr()

마찬가지이다.