제 20장📕ML_결정 트리(Decision Tree)📕

결정 트리(Decision Tree)❓❓❓

 

•  관측값과 목푯값을 연결시켜주는 예측 모델, 나무 모양으로 데이터를 분류함

 

• 수많은 트리 기반 모델의 기본 모델(based model)이 되는 중요 모델

 

• VS 선형 모델 : 선형 모델이 각 변수에 대한 기울기 값들을 최적화하여 모델을

  만들어 나갔다면, 트리 모델에서는 각 변수의 특정 지점을 기준으로 데이터를 

  분류 해가며 예측 모델을 만듦

 

결정트리의 예시인 타이타닉호의 탑승객 생존여부

- 종속변수가 연속형 데이터와 범주형 데이터 모두에 사용할 수 있음

- 모델링 결과를 시각화할 목적으로 가장 유용

- 아웃라이어가 문제 될 정도로 많을 때 선형 모델보다 좋은 대안이 될 수 있다.

 

- 데이터를 무수하게 쪼개어 나가고, 각 그룹에 대한 예측치를 만들어내는 방식

ex) 남자/여자로 나눠서 각 목푯값, 평균치를 나눔

=>   나이를 30세 이상/미만인 두 부류로 나눠서 평균치를 계산

 

 - 예측력과 성능은 떨어지지만 시각화가 매우 뛰어남

- 다른 트리모델을 이해하기 위해 필요하다.

---

📌 예측력 & 설명력

🔎 예측력 : 모델 학습을 통해 얼마나 좋은 예측치를 보여주는가

 

🔎 설명력 : 학습된 모델을 얼마나 쉽게 해석할 수 있는지 알고리즘의 복잡도가 증가할수록

예측력은 좋아지나 설명력은 다소 떨어지는 반비례 관계

 

즉, 단순한 알고리즘일수록 예측력이 상대적으로 떨어질 수 있으나 해석에 용이하며,

복잡한 알고리즘은 예측력이 뛰어난 만큼 해석은 어려움

 

💬 결정트리와 회귀 분석은 상대적으로 해석이 쉬워 설명력이 높다고 할 수 있으며, 

이후 배울 알고리즘들은 복잡도가 증가하여 예측력이 높지만 해석이 어렵다

딥러닝 또한 매우 복잡한 알고리즘으로 해석이 어려워서 이를 블랙박스에 비유하기도 한다,

 

💬 의학계열에서 특징 질병의 발병률에 대한 예측 모델을 만들 때는, 발병률을

높이거나 억제하는 중요한 요인을 밝히는 데는 설명력이 좋은 알고리즘이 적합할 수 있고,

사기거래를 예측하는 모델에서는 요인보다는 더 적확하게 사기거래를 잡아낼 수 있어야 하므로

예측력이 높은 알고리즘이 더 적합하다... 따라서 상황에 따라 우선시할 것이 다르다고 볼 수 있다.

 

 

 

 

💪장점

• 데이터에 대한 가정이 없는모델( Nonparametric Model)

(VS 선형회귀) 

•  아웃라이어에 영향을 거의 받지 않음

•  트리 그래프를 통해서 직관적으로 이해 & 설명 가능

 => 시각화에 매우 좋음

 

🩸 단점

•   트리가 무한정 깊어지면 오퍼 피팅 문제를 야기

🔎 오버 피팅??? : 샘플 데이터에 너무 정확하게 학습이 되었기 때문에, 샘플데이터를 가지고 판단을 하면 100%에 가까운 정확도를 보이지만 다른 데이타를 넣게 되면, 정확도가 급격하게 떨어지는 문제이다.

 

•   발전된 트리 기반 모델들에 비해 예측력이 매우 떨어짐

 

 

🌲 결정 트리 과정 

위의 설명들을 참고하여 

데이터를 분석 => 데이터 전처리 => 모델링 => 평가(깊이를 적당히 설정하여 오버 피팅 방지)

 

📊 시각화 결과 도출 

라이브러리 : from sklearn.tree import plot_tree

                     plt.figure(figsize=( ?  ,  ?  ) <= 그래프 크기 설정

                     plot_tree(model,  max_depth= 깊이값 설정 , fontsize= 글자크기)

                     plt.show( )

연봉 관련 데이터를 이용해 나라별 고연봉자 데이터 분석