본문 바로가기

Crawling

(2)

제 8장 📒크롤링(crawling) 과 네트워크의 기본 원리📒 1. 내가 브라우저로 특정 서버 주소를 쳐서 접속시도를 합니다. 2. 서버에 내가 접속한다는 요청이 들어갑니다. 3. 서버가 요청에 응답 하면서 response데이터를 함께 전송합니다. 4. 브라우저가 받은 데이터를 해석해서 내 PC에 반영합니다. 4-1 -> 웹사이트 접속이었으면 소스코드를 받아와서 사람이 볼 수 있도록 자동으로 그려줍니다.(렌더링 해줍니다.) 4-2 -> 게임이면 해당 명령어가 들어가서 게임 상황에 반영됩니다. 🔨크롤링(crawling)에 주로 사용되는 라이브러리🔨 • Requests 파이썬에서 동작하는 작고 빠른 브라우저 웹서버로부터 초기 HTML만 받을 뿐, 추가 CSS/JavaScript 처리 하지 못한다. 거의 모든 플랫폼에서 구동 가능 request는 브라우저 없이 파이썬에서..

제 7장 📒크롤링_크롤링기초, 실행방법📒 데이터 분석의 꽃🌻 크롤링(crawling)⭐ 웹에서 원하는 자료를 컴퓨터에게 수집해오도록 하는 기술 requests 라이브러리를 활용한 브라우저 없는 크롤링 selenium 라이브러리를 활용한 물리 드라이버 크롤링 urllib 라이브러리를 활용한 api 크롤링 등이 있다. 크롤러의 역할은 원하는 정보를 포함한 자료를 수집해오는 것까지이며 실제로 원하는 데이터를 용도에 맞게 처리하는 것은 beautifulsoup가 담당한다. 먼저 실행하기 위해서 몇 가지 단계를 진행해주어야 한다. 킴바다도 곧 새로운 노트북을 장만하기 때문에 chapter1. selenium 설치👨‍💻 anaconda navigator에서 좌측 envionments를 선택합니다. 중간에 base(root) 우측에 붙어있는 재생 버튼 클릭..

이전 1 다음

티스토리툴바