제 23장📕ML_로지스틱 회귀(Logistic Regression)📕

😊로지스틱 회귀란??

로지스틱 회귀(Logistic Regression)는 데이터가 어떤 범주에 속할 확률을 0~1 사이의 값으로 예측하고 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류해주는 지도 학습 알고리즘이다.

 

선형 회귀를 이해했다면 가장 이해하기 쉬운 개념이다

선형회귀 - 로지스틱회귀 순으로 학습을 하는게 효율적이다

2개의 그룹,범주중에 하나에 속한다고 결정짓는것을 2진분류 라고한다.

대표적인 예시로 성별, 성공 여부, 합격/불합격, 양성/음성 등이 있다.

https://kmbeach.tistory.com/36

제 22장📕ML_선형회귀(Linear Regression)📕

또한 선형회귀와 로지스틱 회귀의 차이점을 블로깅 했었지만 다시 강조한다. 매우 중요하다.

 

선형/로지스틱 회귀의 차이점

선형 회귀	확률값이 -∞ ~ ∞로 뻗어나가는 일직선이다, 정규분포, 연속값을 예측시 사용
로지스틱 회귀	확률값이 0~1 사이의 커브형태를 그린다, 이항분포, 실질적으로 분류에 가깝다, 불연속값을 예측하는데 사용

선형회귀는 선으로 뻗어나가기 때문에 그대로 무한으로 이어져 정확한 예측은 어렵다.

그래서 커브형태의 로지스틱 회귀를 사용하는 것이다.

---

💯핵심

통계예측종류

1) 수치예측 : 평가방법 : MSE, MAE, RMSE

2) 분류예측 : 평가방법 : Accuracy(정확도), Precision(정밀도), Recall(재현율, 민감도)

• 로지스틱 회귀는 분류예측에 해당한다.

만약에 종속변수가 두 가지 값만 갖는 경우 선형회귀모델을 적용하면 문제 발생

1) 잘 적합하지 않는 선형회귀의 추정식이 도출된다.

2) Y 추정값이 0보다 작거나 1보다 큰 값을 가질 수 있는 문제가 생긴다.

예측확률이 설명변수의 값의 증감에 따라 증감하고, 0과 1사이의 값을 갖는 확률값으로 전환해야 한다.

 

종속변수의 값은 0 또는 1 : 이분법적인 상황을 모델링

종속변수의 값은 조건부확률를 통해 계산하여 예측

---

🔎라이브러리

from sklearn.linear_model import LogisticRegression
model = LogisticRegression()

훈련셋,테스트셋 분리
from sklearn.model_selection import train_test_split

독립변수 지정
X, y = (df_train2.drop(columns=['독립변수']), df_train2.독립변수)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 100)
model.fit(X_train, y_train)

모델 평가 (로지스틱 회귀 -> 분류문제)
from sklearn.metrics import accuracy_score
accuracy_score(y_test, pred)

회귀계수
model.coef_

회귀계수 시리즈별 시각화
pd.options.display.float_format = '{:.4f}'.format
pd.Series(model.coef_[0], index = X.columns)

 

---

👁‍🗨 시각화

선형회귀의 한계로인하여 로지스틱을 적용하는 대표적 예시인

공부시간과 합격률에 관한 회귀분석

시각화는plot = 1차적으로 먼저 확인

sns.heatmap(df_train.corr(), cmap='coolwarm', vmin=-1, vmax=1, annot=True)

↪ 히트맵으로 보면 보기 편하게 다른 상관계수를 볼수있다

출처 :https://hleecaster.com/