목록크롤링 (4)

+ Hello +

[스마트인재개발원] [웹 크롤링] Gmarket Top 100 가져오기

1. import 작업해주기 from selenium import webdriver as wb import pandas as pd import time 2. 크롬창 불러와서 Gmarket bestseller 창 가져오기 driver = wb.Chrome() driver.get('http://corners.gmarket.co.kr/Bestsellers') 2-1) 크롬창 들어가는거 보고싶지 않을 때 options = wb.ChromeOptions() options.add_argument('headless') options.add_argument('window-size=1920x1080') options.add_argument("disable-gpu") 3. BEST 1 제품창 찾아 클릭하기 - 선택자 통해..
+ 스마트인재개발원 + 2021. 6. 20. 18:14
[스마트인재개발원] [웹 크롤링] 유튜브 영상의 제목, 조회수 크롤링하기

1. import 작업하기 from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup as bs import pandas as pd import time 2. 크롬 드라이버를 실행해서 유투브 화면 불러오기 driver = wb.Chrome() url = ('https://www.youtube.com/results?search_query=%EB%94%A9%EA%B3%A0%EB%AE%A4%EC%A7%81') driver.get(url) 3. 키보드의 PAGE_DOWN을 통해서 스크롤 내리기 - 페이지 정보가 담겨있는 body태그 찾기 - 키보드의 page_down..
+ 스마트인재개발원 + 2021. 6. 9. 11:31
[스마트인재개발원][웹 크롤링] Selenium 모듈 | 한솥 도시락 메뉴, 가격 데이터 프레임만들기

Selenium모듈 - 웹 페이지를 제어하기 위한 모듈 # 셀레니움 설치하기 !pip install selenium 1. import 작업 먼저 해주기 - webdriver : 웹 페이지를 제어하기 위한 모듈 - Keys : 컴퓨터의 키보드와 같은 역할 - time : 쉬는 시간 부여 from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys import time 2. 크롬 드라이버 실행 (크롬버전에 맞게 설치) 3. 크롬 드라이버를 통해 네이버 화면창 켜기 - Chrome(경로) 더보기 더보기 driver = wb.Chrome() url = "https://www.naver.com/" driver.get(url..
+ 스마트인재개발원 + 2021. 6. 8. 09:08
[스마트인재개발원] [웹크롤링] Request, BeautifulSoup 사용하기, 네이버 기사 제목 크롤링하기

Request - 페이지 정보를 요청할 때 사용하는 라이브러리 :: Request :: # Import 작업 해주기 : import requets as req # 요청을 도와주는 라이브러리 : req.get # 요청한 페이지의 정보 보기 : req.text 먼저 import 작업해주기 - 네이버 페이지 요청하기 : req.get('ulr') (http:// 꼭 작성해주기, https://는 보안) - response[200] : 페이지를 잘 불러왔다는 표시 - 다시 res 변수에 담아주기 - 요청한 페이지의 정보 확인 : .text Melon 홈페이지에서 정보 가지고 오기 1. 멜론 페이지 요청하기 - 네이버처럼 https://멜론 을 입력하면 Response [406] 이 뜬다 - Response[40..
+ 스마트인재개발원 + 2021. 6. 4. 13:30
Prev 1 Next