웹스크래핑 검색 결과

해당 글 8건

[3주차 총정리] Selenium으로 브라우저 제어 자동화하기

Selenium이란? - 웹개발자들이 원래 사용하는 용도로, 주로 웹브라우저 호환성 문제 점검할 때 사용된다. - 스크래핑(크롤링) 용도로는 브라우저 제어를 자동화하는 용도로 사용 - HTML코드와 request.get으로 받아온 코드가 다를 때 1) 대부분 post 요청을 해야할 때 이런 일 발생한다. 하지만, post 요청에 맞게 코드를 고쳐도 안될 때 있다. 그럴 경우 Selenium을 사용한다. 2) 타고타고 들어가서 주소창을 복사하고 다시 붙여넣기 했을 때 그 창이 안열리는 경우가 있다. 이 경우에도 Selenium을 사용한다. - 자동화라서 편리하지만, 그만큼 메모리를 많이 차지하고 컴퓨터가 느려지기에 최후수단으로 사용해야 한다. Selenium에서 작업할 때는 창이 총 3개 띄워져 있어야 한..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 29. 01:29

[3주차 총정리] Web Scrapping (네이버 여러 뉴스 기사)

1. 특정 뉴스 웹페이지 크롤링 중 에러 발생 시 회피 : 종종 naver.news로 들어갔는데도 이상한 페이지로 넘어가서 HTML 태그가 바뀌는 경우가 있다 (특히, 연예 섹션 뉴스) -> try, except 함수 사용 DataFrame을 만드는 과정에서 각 list의 길이가 완전히 일치해야한다. 이를 위해 본문이나 언론사, 등등 어느 하나라도 ERROR가 나는 경우에 전체가 각 list에 append되지 않도록 해야한다. 따라서, Error가 날 경우 append가 되지 않도록 1) append 함수는 제목/날짜/본문/언론사 정보가 모두 추출되었을 때 제일 마지막에 몰아서 코드를 작성하도록 한다. 또한, 2) 한 곳이라도 에러가 나는 경우에도 전체 코드가 except로 넘어가도록 하는 코드를 작성해..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 28. 23:58

[2주차 총정리] Web Scrapping (네이버 단일 뉴스 기사)

작성자 주저리주저리 지난주 1주차 동영상 강의를 듣고 복습 차원에서 구글링하면서 네이버 뉴스 기사 크롤링을 해보았다. 하지만, 웹스크래핑과 HTML 구조와 태그를 잘 이해하지 못하고 진행하여서인지 왠지 모를 찜찜함이 남아있었는데 오늘 강의 들으면서 완전히 해결되었다 ㅎㅎ 사실 당장 반년 전에 학교 팀프로젝트로 네이버 뉴스, 블로그 크롤링하고, Okt로 분석하고, 연결망 분석까지 진행했는데 이제야 알게 된다는 게 참 부끄러우면서도 한편으로는 다행이다. 멋사 AI SCHOOL 수업 벌써 2주차가 끝났다. 이번주부터 시작된 7시간 실시간 수업은 물론 고되다,, 그치만 강사님이 너무 좋으셔서 강의도 너무 재밌고 더 일찍이 신청할걸 생각이 들게 해주신다. 항상 코드를 짜면서도 코드 이해를 제대로 하지 못한 채 짠..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 26. 02:12

[2주차 총정리] Web Scrapping 원리 이해하기 (HTML 구조)

Front-end - HTML : 웹페이지의 뼈대를 구축 - CSS : 웹페이지에 디자인을 적용 - Javascript : 웹페이지의 동작을 구현 Back-end - Server-side script - DataBase Web Scrapping을 이해하기 위해서는 HTML에 대해서 알아야 한다. HTML은 웹페이지의 뼈대라고 말한다. 단순화해서 구조를 살펴보면 이렇게 되어있다. # body 구성요소 : h, p, span, div, ol, ul, a, li 제목 # headline 마크다운과 같은 기능 단락 # paragraph, 주된 설명이 들어간다. 이 부분은 주된 설명이 들어가는 문단입니다. # 일부에 스타일 지정하는 기능 ... # box, 박스 안에 박스 안에 박스 구성을 많이 한다. # 여러 ..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 3. 25. 00:44