파이썬 썸네일형 리스트형 [python] 국민청원 크롤링 ( Selenium, BeautifulSoup ) 1. 모듈 불러오기 import selenium from selenium import webdriver as wd import time import pandas as pd from bs4 import BeautifulSoup import requests 2. 크롬드라이버가 url 접속하도록 하기 # 크롬드라이버 열기 driver = wd.Chrome('/Users/arehoow/Desktop/chromedriver') # 크롬드라이버 경로 driver.maximize_window() # 크롬창 크기 최대 # 드라이버가 해당 url 접속 url = 'https://www1.president.go.kr/search' # 멜론차트 페이지 driver.get(url) 3. 검색 페이지 필터 설정하기 # 검색어 .. 더보기 [python] 멜론차트 크롤링 ( Selenium, BeautifulSoup ) 오늘은 저번 포스팅에 이어 크롤링을 해볼것이다! 이번에는 BeautifulSoup뿐만 아니라 Selenium을 같이 활용할 것이다 Selenium을 사용해야 하는 이유? 셀레니움은 웹을 자동으로 동작시키는 역할을 한다. 즉, 우리가 마우스로 하는 일들(검색창 누르기, 필터 설정하기, 스크롤 내리기 등등)을 코딩을 통해 자동으로 해준다는 뜻이다. 그렇다면 마우스로 직접 설정하면 되는 것을 왜 굳이 셀레니움을 이용해서 자동으로 해야할까? 우리 눈에 보이는 url이 변하지 않기 때문이다!! 저번 BeautifulSoup만을 사용해 크롤링해왔던 네이버 뉴스의 url을 살펴보겠다. search.naver.com/search.naver where=news&query=%EC%95%84%EB%8F%99%ED%95%99.. 더보기 이전 1 다음
