목록파이썬 (2)

+ Hello +

[스마트인재개발원] [웹 크롤링] 멜론 TOP 100 수집하기

멜론 TOP 100 수집하기 1. request, bs4 import 작업하기 2. req 통해서 멜론 사이트 TOP 100 페이지 정보 가져오기 : req.get() - Response[406] : 사용자가 접근하는 것처럼 작성해주어야 함 1) F12 > Network > type이 document인 name 클릭 > 맨 아래 user-agent 복사하기 2) 딕셔너리 구조{ 'key' : 'values' }로 만들어주기 > 변수 h에 담기 3) req.get('url', headers = h) - headers는 고정값 3. 내가 요청한 정보를 기반으로 필요한 정보 꺼내오기 > BeautifulSoup 사용(어떤 페이지, 어떤 방법) 4. TOP100 가수 데이터 가져오기 > soup.select 가..
+ 스마트인재개발원 + 2021. 6. 5. 12:23
[스마트인재개발원] [웹크롤링] Request, BeautifulSoup 사용하기, 네이버 기사 제목 크롤링하기

Request - 페이지 정보를 요청할 때 사용하는 라이브러리 :: Request :: # Import 작업 해주기 : import requets as req # 요청을 도와주는 라이브러리 : req.get # 요청한 페이지의 정보 보기 : req.text 먼저 import 작업해주기 - 네이버 페이지 요청하기 : req.get('ulr') (http:// 꼭 작성해주기, https://는 보안) - response[200] : 페이지를 잘 불러왔다는 표시 - 다시 res 변수에 담아주기 - 요청한 페이지의 정보 확인 : .text Melon 홈페이지에서 정보 가지고 오기 1. 멜론 페이지 요청하기 - 네이버처럼 https://멜론 을 입력하면 Response [406] 이 뜬다 - Response[40..
+ 스마트인재개발원 + 2021. 6. 4. 13:30
Prev 1 Next