정적크롤링: 웹 페이지 상에서 변하지 않는 데이이터인 정적 데이터를 크롤링하는 방식이다. 정적 크롤링은 한 페이지 상에서 모든 작업이 이루어 지기 때문에 속도가 빠르다
동적크롤링: 동적 크롤링은 입력, 클릭, 로그인 같이 페이지 이동이 있어야 보이는 데이터를 크롤링 하는 방식이다. 속도가 느리다는 단점이 있지만 더 많은 데이터를 수집할 수 있다.
Selenium
selenium은 동적인 크롤링을 도와주는 라이브러리이다. 크롤링을 수행한 후 결과의 특정 html엘리먼트에 마우스 클릭을 발생시키거나, input 엘리먼트에 텍스트를 채워넣기 등이 가능하다.
ChromeDrive 설치
https://sites.google.com/chromium.org/driver/
ChromeDriver - WebDriver for Chrome
WebDriver is an open source tool for automated testing of webapps across many browsers. It provides capabilities for navigating to web pages, user input, JavaScript execution, and more. ChromeDriver is a standalone server that implements the W3C WebDriver
sites.google.com
Selenium을 사용하기 위해서는 먼저 크롬 드라이브를 설치해준다.
우측 상단 위에 세로로 줄 서 있는 점 모양을 클릭한 다음 설정을 클릭한다.
다음으로 Chrome 정보에 들어가 버전을 확인해준다.
사용 예시 코드
from selenium import webdriver
import time
# 구글 페이지 가져오기
driver = webdriver.Chrome('설치한 크롬 드라이버 위치')
driver.get('https://google.co.kr')
#5초 후 종료
time.sleep(5)
'멋쟁이 사자처럼 (백엔드)' 카테고리의 다른 글
| python 기초 (0) | 2022.05.21 |
|---|