정적 크롤링과 동적 크롤링의 차이

1. 정적 크롤링과 동적 크롤링의 차이
- 셀레니움을 이용할 경우 정적 페이지와 동적 페이지를 모두 크롤링 할 수 있다는 장점이 있지만, 상대적으로 속도가 느림

구분	정적 크롤링	동적 크롤링
사용 패키지	requests	selenium
수집 커버리지	정적 페이지	정적 / 동적 페이지
수집 속도	빠름	상대적으로 느림
파싱 패키지	beautifulsoup	beautifulsoup / selenium

 

2. 셀레니움이란?

- 다양한 브라우저 및 플랫폼에서 웹 응용 프로그램을 테스트할 수 있게 해주는 라이브러리

- 웹 자동화 테스트 용도로 개발이 되었기에 실제 브라우저를 사용

- 페이지가 변화하는 것도 관찰이 가능하기에 동적 크롤링에 사용할 수 있음