본문 바로가기

데이터

(10)

제 24장📕ML_LightGBM📕 lightGBM(Gradient Boosting Model)은 무엇이냐? 머신러닝의 앙상블 기법에는 배깅(bagging)과 부스팅(boosting)이 있습니다 부스팅 기법에 해당하는 것이 XGBoost인데 높은 성능을 가지지만 그리드 서치를 이용하여 하이퍼 파라미터 튜닝을 하는데 많은 시간과 메모리를 소모하게 됩니다. 그 점을 보완한 것이 lightGBM이라고 생각하면 됩니다 빠른 시간과 적은 메모리를 소모하게 됩니다. 원리는 밑의 사진을 통해 설명드릴게요 lightGBM은 기존의 boosting 알고리즘과는 다르게 작동합니다 기존 boosting 모델들은 Level-wise 하게 늘어나는 방법을 사용하는 방면에 lightGBM 같은 경우에는 Leaf-wise형태로 늘어납니다. level wise = 트..

제 21장📕ML_RandomForest📕 🌲 정의 (RandomForest) 결정 트리의 단점을(오버피팅) 보완시켜준 상위 모델 랜덤으로 생성한 많은 나무로 이루어져 예측을 하기 때문에 마치 숲처럼 보이기 때문에 이름이 Random Forest라고 불린다. 🎯 핵심 ※ 앙상블 기법 강력한 하나의 모델을 사용하는 대신 보다 약한 모델 여러 개를 조합하여 더 정확한 예측에 도움을 주는 방식 랜덤 포레스트는 앙상블 기법을 사용한 트리 모델 중 하나이며 가장 많은 비중을 차지한다 부스팅 모델보다는 속도, 예측력 면에서는 못 미치지만 시각화가 매우 뛰어나 먼저 이해도를 키워야 한다. 종속변수가 연속형/범주형 데이터인 경우에도 모두 사용 가능하다. 아웃라이어(이상치)가 문제 될 시 좋은 대안이 되는 모델이다. 결정 트리로 오버 피팅이 일어 날씨 사용하면 ..

제 14장 📒데이터 시각화_matplotlib📒 🧷 Matplotlib 파이썬 기반 데이터 분석 환경에서 가장 일반적으로 사용되는 시각화 라이브러리 하위 라이브러리인 'pyplot'을 통해 주요 기능을 사용 plotly, seaborn 등과 같은 라이브러리가 최근 경쟁력을 갖추고 있음 pandas 객체의 기본적인 시각화 도구 plot() 메서드를 통해 데이터를 시각화 종류 라인 플롯(line plot) 바 차트(bar chart) 히스토그램(histogram) 박스 플롯(box plot) 스캐터 플롯(scatter plot) - 라이브러리 가져오기 ✅ import matplotlib.pyplot as plt ✅ cmd: pip install matplotlib plt.plot(y) 기본 : 라인 플롯(line plot) 데이터가 시간, 순서 등에 따라..

제 13장 📒데이터 분석_pandas(Data_Frame)📒 DataFrame 생성 2차원 배열과 유사한 자료형 다차원 리스트, 딕셔너리 자료형으로 데이터 구성 가능 관계형 데이터베이스의 테이블 구조, excel/csv 데이터 구조와 유사 하나의 컬럼은 하나의 Series로서 하나의 Dataframe은 여러 개의 Series 묶음으로 구성됨 index 특징 row index(행 인덱스) : 기본 숫자형 인덱스가 아닌 새롭게 지정한 로우명(라벨) 인덱스를 사용해도 기본 숫자형 인덱스를 함께 사용할 수 있음 column index(열 인덱스) : 새롭게 컬럼명(라벨) 인덱스를 사용하면 기본 숫자형 인덱스는 사용할 수 없음 - 인덱스를 지정하여 객체 생성 : DataFrame 함수에서 파라미터로 지정 - columns 파라미터 : 컬럼명(열 개수와 동일한 길이를 가진 ..

제 12장 📒데이터 분석_pandas(Series 자료형)📒 Numpy를 배운것은 Pandas 를 쓰기 위해 너무 중요하기 때문이라고도 말할 수 있습니다😲 드디어 데이터 시각화에 실무에도 많이 쓰이는 pandas🐼에 대해 배우는 시간입니다. Pandas 데이터 처리 및 분석을 위한 라이브러리 대용량 데이터를 안정적이면서도 간편하게 처리 서로 다른 데이터타입으로 열을 구성할 수 있음 (참고) Numpy : 전체 배열 원소를 동일한 타입으로 제한 주요 기능 데이터 입출력 : csv, excel, RDB, JSON 등 다양한 포맷의 데이터를 효율적으로 처리할 수 있는 형식을 사용 데이터 가공 : 분리, 결합, 계층, 피봇 등 통계 분석 처리 자료형 Series 1차원 배열과 유사한 자료형 색인(index) : 행 번호 각각의 데이터에 부여하는 속성으로 기본값은 0부터 ..

제 10장 📒데이터 분석_Numpy-1📒 Numpy Numeriacal Python 파이썬 머신러닝 패키지인 scikit-learn에서 기본 데이터 구조로 사용되어 Numpy 배열 형태의 데이터를 사용 파이썬 기반 데이터 분석 환경에서 행렬 및 벡터 연산에 필요한 다양한 함수를 제공 메모리 소모가 많은 반복문 없이 전체 데이터 배열에 빠른 연산을 처리할 수 있는 표준 수학 함수 배열 : 동일한 특성(데이터 타입) 및 일정한 규칙을 가지는 여러 개의 요소가 나열되어 있는 데이터 집합 파이썬 list 객체를 사용할 때 보다 Numpy의 ndarray 객체를 사용하면 연산 속도가 개선되어 더 많은 데이터를 더 빠르게 처리 📌 라이브러리 가져오기 : numpy as 별칭 선언 이후에는 별칭으로 해당 라이브러리의 기능을 호출할 수 있다. import 라..

제 8장 📒크롤링(crawling) 과 네트워크의 기본 원리📒 1. 내가 브라우저로 특정 서버 주소를 쳐서 접속시도를 합니다. 2. 서버에 내가 접속한다는 요청이 들어갑니다. 3. 서버가 요청에 응답 하면서 response데이터를 함께 전송합니다. 4. 브라우저가 받은 데이터를 해석해서 내 PC에 반영합니다. 4-1 -> 웹사이트 접속이었으면 소스코드를 받아와서 사람이 볼 수 있도록 자동으로 그려줍니다.(렌더링 해줍니다.) 4-2 -> 게임이면 해당 명령어가 들어가서 게임 상황에 반영됩니다. 🔨크롤링(crawling)에 주로 사용되는 라이브러리🔨 • Requests 파이썬에서 동작하는 작고 빠른 브라우저 웹서버로부터 초기 HTML만 받을 뿐, 추가 CSS/JavaScript 처리 하지 못한다. 거의 모든 플랫폼에서 구동 가능 request는 브라우저 없이 파이썬에서..

제 7장 📒크롤링_크롤링기초, 실행방법📒 데이터 분석의 꽃🌻 크롤링(crawling)⭐ 웹에서 원하는 자료를 컴퓨터에게 수집해오도록 하는 기술 requests 라이브러리를 활용한 브라우저 없는 크롤링 selenium 라이브러리를 활용한 물리 드라이버 크롤링 urllib 라이브러리를 활용한 api 크롤링 등이 있다. 크롤러의 역할은 원하는 정보를 포함한 자료를 수집해오는 것까지이며 실제로 원하는 데이터를 용도에 맞게 처리하는 것은 beautifulsoup가 담당한다. 먼저 실행하기 위해서 몇 가지 단계를 진행해주어야 한다. 킴바다도 곧 새로운 노트북을 장만하기 때문에 chapter1. selenium 설치👨‍💻 anaconda navigator에서 좌측 envionments를 선택합니다. 중간에 base(root) 우측에 붙어있는 재생 버튼 클릭..

이전 1 2 다음

티스토리툴바