제 15장 📒데이터 전처리_표준화 등..📒

데이터 전처리

• 데이터 형식에 대한 처리
  • 공백 문자
    • str.strip() : 양쪽 공백 제거
    • str.lstrip() : 왼쪽 공백 제거
    • str.rstip() : 오른쪽 공백 제거
  • 데이터 타입
  • 불규칙한 대소문자
  • 불규칙한 구분 기호
  • 유효하지 않은 문자
  • 불규칙한 날짜 및 시간 표기

1. 라벨 형식 통일

• 데이터의 인코딩 작업에 포함

1-1) dictionary 타입으로 encoding map을 생성해서 적용

✅df = pd.DataFrame({  })
           _map = {  }

 

1-2)  df 변수의 '  ' 컬럼의 값을 map 함수를 이용해  변환

✅  df['  '].map(  )

 

1-3)  찾아 바꾸기인 replace()를 써도 됩니다.

✅  df['  '] = df['  '].replace([ 기존값  ], [ 바꿀값  ])

 

2. 문자 형식(대소문자, 기호 등) 통일

2-1) 원하는 값의 데이터 프레임 생성

df1 = pd.DataFrame(data)
df1

 

2-2) 컬럼명을 소문자로 바꾸는 첫 번째 방법
     빈 리스트에 소문자로 변경한 컬럼을 모두 적재한 뒤 대입
✅new_cols = list()#[]
    for col in df1.columns:
        print(col.lower())
        new_cols.append(col.lower())

 

※ 소문자로 변경 적용

✅  df1.columns = new_cols

 

2-3) df.columns에 바로 upper() 등을 걸 수 있음

위 코드를 이용해 대문자로 교체
✅ df1.columns.str.upper()⤵

      df1.columns = new_cols⤵

      df1.columns= df1.columns.str.upper()

2-4) 내부 요소의 모든 자료를 소문자로 통일(정수 자료는 배제)

.apply(def로 지정한 함수명) = 해당 함수의 리턴 값으로 컬럼 내부 값을 일괄적으로 교체

✅ def 함수명( x ):

        return x.lower()

 

🔑 매우 중요 함수. apply()

✅ df1[' 적용할 컬럼 '].apply( x_lower)

                                     map으로도 대체 가능.

 

📌 ex)   AGE 컬럼의 값을 20 이상이면 "성인", 19 이하면 "미성년자"를 리턴하도록 is_adult() 함수를

정의 후. apply()로 활용해 일괄적으로 변경

✅  def is_adult(value):
            if value >= 20:
                return "성인"
           else :
                return "미성년자"

 

✅ df1['AGE']=df1['AGE'].apply(is_adult)

      df1

 

 

3. 데이터 값에 대한 처리

• 결측값
• 이상치
• 단순 중복 데이터
• 동일한 의미, 다른 명칭의 중복 데이터
• 중복속성(다중공선성) = 독립변수들 간에 상관관계가 너무 강하게(근접하게) 작용하면 안 된다는 것
• 불규칙한 데이터 수집(간격, 단위)

3-1) 결측치 처리 - 삭제

• 결측치가 하나라도 있는 레코드 삭제
• 모든 값이 결측인 레코드 삭제
• 결측치가 하나라도 있는 데이터만 선택

- 결측치가 하나 이상인 레코드(row) 삭제 : df.dropna( )

- 모든 값이 결측치인 레코드만 삭제 : df.dropna(how='all')

- .isnull()은 모든 셀을 구분해서 NaN가 있는 셀은 True, 아닌 셀은 False를 출력합니다.
- 컬럼별 결측치 개수를 세는 법 df.isnull().sum()

 

 

3-2) 결측치 처리 - 대체 값

• 연속형(숫자) : 임의 값(0 등 ...), mean, median, 예측값, 도메인 지식 활용
• 명목형(문자) : mode(최빈값), 예측값, 도메인지식 활용

http://rfriend.tistory.com

-연속형 임의의 값으로 대체 : df.fillna( 임의의 값 )

- 컬럼별로 평균값 NaN를 없는 값으로 가정하고 구한 평균 : df.mean() 

- 전체 데이터에 대한 중위값을 구함 : df.median()

 

- df = pd.DataFrame({'label': ['A','B','B','C','C','C','D']})

위 데이터에 대한 통계 분석 함수 .describe()

 

4. 데이터 단위 통일(정규분포, 평균/분산/표준편차 이해 필요)

🔑매우 중요 : 표준화(Standardization)

• 평균을 기준으로 얼마나 떨어져 있는지를 파악
• sklearn에서 제공하는 전처리 클래스
  • preprocessing 클래스
    • scaler() : 전체 자료의 분포를 평균 0, 표준편차 1이 되도록 스케일링
    • minmax_scale() : 최대/최소값이 각각 1, 0이 되도록 스케일링
    • StandardScaler() : scaler() 함수와 동일한 동작

• 표준화 : (요소값(하나의 데이터) - 평균) / 표준편차
• ex)  몸무게 vs 키
  • 표준화 결과 : 몸무게 음수, 키 양수
  • 해석 : 몸무게는 평균 이하, 키는 평균 이상(=>마른몸)

- 전처리 기능을 제공하는 scikitlearn 라이브러리 및 모듈 가져오기
✅ from sklearn.preprocessing import scale, minmax_scale

 

- 생성한 아래 3개의 컬럼을 붙이는 처리과정

x, scale(x), minmax_scale(x) 

✅ df = pd.DataFrame(np.hstack([x, scale(x), minmax_scale(x)]),
                                columns=['x', 'scale(x)', 'minmax_scale(x)'])

-  붙여준 컬럼별로 수행한 연상을 컬럼명으로 정의

np.hstack = 가로방향으로 붙여줌 따라서 3개의 컬럼이니 9 x 3 형태로 만듦

np.vstack = 세로 방향으로 붙여줌  따라서 27 x 1 형태로 만듦