제 7장 📒크롤링_크롤링기초, 실행방법📒

데이터 분석의 꽃🌻 크롤링(crawling)⭐

• 웹에서 원하는 자료를 컴퓨터에게 수집해오도록 하는 기술
• requests 라이브러리를 활용한 브라우저 없는 크롤링
• selenium 라이브러리를 활용한 물리 드라이버 크롤링
• urllib 라이브러리를 활용한 api 크롤링 등이 있다.
• 크롤러의 역할은 원하는 정보를 포함한 자료를 수집해오는 것까지이며
• 실제로 원하는 데이터를 용도에 맞게 처리하는 것은 beautifulsoup가 담당한다.

먼저 실행하기 위해서 몇 가지 단계를 진행해주어야 한다.

킴바다도 곧 새로운 노트북을 장만하기 때문에 

chapter1. selenium 설치👨‍💻

1. anaconda navigator에서 좌측 envionments를 선택합니다.
2. 중간에 base(root) 우측에 붙어있는 재생 버튼 클릭 -> open terminal을 선택합니다.
3. 열리는 cmd창에서 pip install selenium을 입력합니다.
4.  크롤링 작업을 위한 라이브러리 임포트
   from bs4 import BeautifulSoup
   from selenium import webdriver
   import requests
   - 코드 진행 지연을 위한 time 임포트
   import time
   - 2022년도 7월 이후 selenium 업데이트로 인한 xpath 추적 시 임포트
   from selenium.webdriver.common.by import By

chapter 2. 크롬 드라이버 다운로드하기👨‍💻

1. 크롬 창 우측 상단 메뉴 클릭
2. 밑에서 두 번째에 있는 "도움말" 항목에 마우스 갖다 대기
3. Chrome정보 클릭하기
4. Chrome정보에 나온 버전(강사 컴퓨터는 현재 크롬 101 버전 사용 중) 확인하기
5. https://chromedriver.chromium.org/downloads 위 주소로 접속해서 버전에 맞는 다운로드 링크로 가기
6. chromedriver zip 파일 받아서 내부 chromedriver.exe파일에 대한 압축을 주피터 노트북 코드가 있는 쪽에 풀기 (window -> win32, 리눅스 맥 등은 맞는 버전으로)
7.  driver라는 변수를 이용해 물리 브라우저를 제어합니다.
   driver = webdriver.Chrome('chromedriver')   입력 후
8. driver.get("https://"들어가고싶은 사이트 주소") 코드를 입력해보자 잘 실행된다면 성공❗❗😀

chapter 3. 본격적인 실행👨‍💻

- 📌time.sleep(지연시간(초)) 입력 시 해당 시간만큼 코드 실행이 지연됩니다. 딜레이 넣기

- 📌.get(접속주소)를 입력하면 브라우저가 해당 주소로 접속합니다.

- 📌xpath와 다양한 코드 조합을 실행시키면 많은 동작 처리가 가능합니다! 

    ✅driver.find_element(By.XPATH, 'xpath카피 값').click()을 실행하면 클릭동작

- 📌키 입력은 .send_keys('전송문자열') 을 입력해줍니다.

- 📌브라우저를 다 쓰면 닫아줘야 메모리 절약이 됩니다.
    ✅driver.close()

 

특정 url로 접근했을때 바로 원하는 정보를 얻을 수 있는 경우

• 그냥 바로 접근하면 됨(굳이 복잡하게 검색하고 나온 결과를 어쩌고... 할 필요 없음)
• 그러나 페이스북 같이 특정 조건을 만족해야 추가적인 자료를 보여주는 사이트도 있고
• 로그인해야만 자료에 접근할 수 있는 사이트도 있기 때문에
• 어떻게 접근해야 원하는 자료를 얻어올 수 있는지는 신중하게 고려해야함

 

 

• - 브라우저가 특정 페이지에 접근했을때, 해당 페이지 소스코드 전체 긁어오기
•  여기까지가 셀레니움의 역할임. 가져온 소스코드는 뷰티플수프로 정제함
• driver.page_source는 source 변수에 전체 페이지 소스를 문자로 저장함
  source = driver.page_source
  print(type(source))
  print(source)

파싱 활용

•  BeautifulSoup(소스코드, "html.parser") 로 입력시 해당 코드를 html 형식으로 인식함.
•  해당 str(문자열) 자료를 html형식으로 인식시키는것을 "파싱" 이라고 합니다.
•  책을 소유하고 있다고 그 책에 대해 반드시 이해하고 있는건 아니듯 책 내용을 읽어서 이해하고
•  지식을 구조화해야 비로소 책을 이해하고 있다고 할 수 있는데
•  뷰티플수프도 소스코드가 단순 문자로 존재할때는 기능을 쓸 수 없지만
•  파싱을 통해 소스코드 구조를 이해하면 정제를 매우 빠르고 쉽게 처리해줍니다.
  parsed_source = BeautifulSoup(source, "html.parser")
  print(type(parsed_source))
  print(type(source))
•  특정한 값만 가져오기
•  파싱된코드.find_all("태그명", class_="클래스명", id="아이디명")
• 입력시 해당 태그나 클래스에 대한 데이터만 가져올 수 있음
  • span_title_list = parsed_source.find_all("엘리값", class_="엘리값")
  • span_title_list
•  기본적으로 .find_all()로 얻어온 태그 요소들은 0개가 잡히든
   1개가 잡히든, 2개 이상이 잡히든 무조건 리스트 형식으로 리턴됩니다.
   내부 자료들을 핸들링하고싶다면, 하나하나 인덱싱 등으로 끄집어내야 합니다.
   태그 요소 "하나" 에 대해서 .text 를 붙이면 태그가 제거된 문장이 나옵니다.
  엘리값_엘리값_list[]

 

반복문 예시

반복문을 이용해서 span_title_list 내부의 태그 요소들을
 전부 태그를 제거하고 print()로 찍어주세요.

"책 제목만 가져오기" 태그제거 = .text

title_list = []

# span_title_list가 "리스트"이고
# 리스트 내부 요소를 하나하나 반복해서 span_title에 대입해주기 때문에
for span_title in span_title_list:
    # 내부 요소 하나하나가 개별적으로 작동하는 span_title에 .text를 걸어야 합니다.
    print(span_title.text)
    title_list.append(span_title.text)

 

🔍codecs 라이브러리

• 파이썬 3.5버전 들어서 내장 라이브러리로 바뀜(예전에는 pip로 설치해야 했었음)
• 파이썬으로 텍스트파일을 제어할 수 있도록(읽어오기, 쓰기) 도와줌
• 🔍콘솔창에 출력된 내용을 txt파일로 옮겨서 출력할때 사용🔍
  
  
• 특이사항
  • ❌개행은 \r\n으로 처리함❌
  • mode => w(기존에 있던 자료 없애고 새 파일 입력)
  • mode => a(기존에 있던 자료에 이어서 계속 입력)
  • mode => r(텍스트파일에 있던 내용 읽어오기)
• ✅ 라이브러리 임포트
  import codecs
• ✅ f 변수가 텍스트파일 그 자체처럼 사용함
   .open(파일경로(파일이 존재하지 않으면 새 텍스트 파일 생성), 
         encoding="인코딩방식", mode="모드")
  f = codecs.open("C:/Users/Playdata/crawler/test.txt", mode="a")
• ✅.write("적을내용") 을 실행하면 텍스트파일 내부에 작성이 됩니다.
   "Hello world"를 10번 작성해주세요
  for i in range(10):
      f.write("Hello world\n")
  
  ✅ 반드시 종료를 해주셔야 합니다.
  f.close()

저장된 result.txt의 내용을 셀에서 읽어오기

⏩ f = codecs.open("c:/users/playdata/crawler/result.txt", mode="r")
         print(f.readlines())
종료  f.close()

 

🤢오늘의 고난(difficulty)🤢

순회 크롤러

- 같은 양식의 페이지를 순회화면서 자료를 수집해오는 크롤러
- 원 페이지 크롤러를 제작한 다음, 완성된 크롤러를 반복문에 넣어서 만든다.
- 반복을 어디부터 돌릴지에 대한 파악이 제일 중요하다.

순회의 우선 순위 결정방법

순회의 우선 순위 결정방법에는 주로 다음과 같은 방법을 들수 있습니다. 어떤 방법도 단독으로 이용되지는 않고, 검색엔진마다 각각 다양한 방법으로 고도로 조합된 방법을 사용하고 있습니다.

페이지 이동 횟수

기점으로 하는 웹페이지로부터의 이동 횟수(페이지를 이동하는 횟수)를 정해두고, 지정된 횟수만큼 링크를 따라간 시점에서 크롤링을 종료하는 방식입니다. 같은 웹 페이지를 여러 번 반복해서 따라갈 수 있어도, 수차례의 반복으로 크롤링을 마칠 수 있어서 무한 루프에 빠질 가능성이 없어집니다.

빈리스트 만들어서 값 전달해주기

 

1. n페이지 접근
    driver.find_element(By.XPATH," ~~주소~~")

2. 소스코드 긁어오기
    source = driver.page_source
3. 파싱
    parsed_source = BeautifulSoup(source, "html.parser")
4. 원하는 데이터 추출

 

5. 빈리스트 만들어서 값 전달해주기

 

6. 전달이 끝난 리스트들을 for in 을 활용하여 표출

💣오늘의 한줄평(comment)💣

안녕하세요 킴바다입니다🤗 새로운 과정인 크롤링을 처음 시작했습니다 본격적인

데이터 추출 관련 과정을 입문한거같아서 그런지 너무 재미있었습니다. 하지만 

그 전 단계인 파이썬 기초를 익히지 않았다면 크롤링에 접근조차 할 수 없었겠죠❓

항상 이용하던 사이트에서 값을 추출해내는것은

늘 새롭고(정말 사이트마다 코드가 다릅니다)  짜릿합니다  여러가지 동작들을

컴퓨터에게 명령하여 실행 시키는 것을 실현시켜보니 이제야 프로그램들이 어떤식으로

동작을 하는지 이해가 조금은 갑니다. 값을 정말 추출하기 어려운 난관에 마주칠때는

머리가🤯 👈 이렇게 되지만 나중에 어차피 모두 처리해야할 과제이기 때문에 

미리 미리 익혀두려고 합니다. 크롤링은 정말 흥미로웠어서 오늘 크롤링 관련 서적도

대여했습니다. 만능 크롤링을 할 수 있을때까지 화이팅 하겠습니다~ 이상입니다.