웹스크래핑 검색 결과

해당 글 8건

[3주차 총정리] 웹스크래핑, Open API (부동산 매매 신고 자료)

1) API Key 발급받기 2) API 사용해 데이터 끌어와 분석 import requests from bs4 import BeautifulSoup # 발급받은 API 키 입력하기 service_key = 'API key 입력' # base_url은 사이트에서 가져올 수 있음 base_url = 'http://openapi.molit.go.kr/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcNrgTrade' locate_code = '11110' # 종로구 contract_date = '202112' # 2020년 12월에 거래된 내역 조회 request_url = base_url + '?' + "serviceKey=" + servi..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 30. 11:05

[3주차 총정리] Post Request 기반의 웹사이트 크롤링 (서울상권분석서비스)

HTML 요청을 보낼 때 방법은 총 7가지가 있습니다. 그 중 가장 많이 쓰이는 것은 아래 4가지 방법입니다. 1) get : 서버에서 데이터를 가져와라 2) post : 게시물 올리고 데이터를 제출하면서 조치를 해달라고 할 때 - 대표적인 예시; 회원가입, 로그인, ... 3) put : 수정 4) delete : 삭제 이번 시간에는 이 중에서 Post Request 기반 크롤링을 하는 방법을 배워보았습니다. Post 요청의 대표적인 예시엔 회원가입, 로그인이 있습니다. 다음과 같은 상황이라면 Post 요청을 의심해볼 수 있습니다. 1. 특정 버튼을 클릭해서 화면이 넘어갔는데도 URL이 안변한다 ? -> Post 요청 의심 2. 개발자 도구 -> Network -> Request Method가 Post..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 29. 19:27

[3주차 총정리] Wadis 마감 상품 재고 체크 & 메일 발송 크롤링

이를 하기 위해서는 구글 내 계정에서 앱 비밀번호를 설정해주어야 합니다. - Windows 컴퓨터용 앱 비밀번호 생성 : 2단계 인증 사용 > 앱 비밀번호 > 메일, Windows 컴퓨터 > 생성 1) 크롤링을 위한 라이브러리 설치 import time from urllib.request import urlopen from bs4 import BeautifulSoup 2) 메일 발송을 위한 라이브러리 설치 및 함수 생성 # SMTP + Lib
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 29. 16:43

[3주차 총정리] Selenium으로 브라우저 제어 자동화하기(2) _ 인터파크 투어 크롤링

이번 시간에는 번역 자동화에 이어 인터파크 투어 크롤링을 배워보았다. 형식은 이전과 비슷하다. https://lafgh.tistory.com/31 [3주차 총정리] Selenium으로 브라우저 제어 자동화하기 Selenium이란? - 웹개발자들이 원래 사용하는 용도로, 주로 웹브라우저 호환성 문제 점검할 때 사용된다. - 스크래핑(크롤링) 용도로는 브라우저 제어를 자동화하는 용도로 사용 - HTML코드와 request.g lafgh.tistory.com 다만, 이번 시간에는 추가로 배운 코드들을 소개하겠다. 1. find_element_by_ driver.find_element_by_id('SearchGNBText').send_keys('괌') driver.find_element_by_class_name..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 29. 10:57