Patrick's 데이터 세상

crawling 크롤링이란 웹 페이지를 의 텍스트를 그대로 가져와 그 안에서 데이터를 추출하는 행위입니다. 웹 스크래핑 또한 같은 의미입니다. 인터넷 페이지에서 'HTML'은 페이지의 뼈대 구조는 잡는 역할을 하고, 'css'는 그 뼈대 위에 꾸미는 역할, 'JavaScript'는 동적으로 움직이게 하는 역할을 합니다. 'HTML'에서 'Xpath'는 element의 경로를 의미합니다. 👉🏻 크롤링 프레임워크 종류 종류 Requests Selenium 특징 웹 페이지(html) 읽어오기 웹 페이지 자동화 속도 빠르다 느리다 동적 여부 동적 웹 페이지 X 동적 웹 페이지 O 목적 주어진 url을 통해 받아온 html에 원하는 정보가 있을 때 로그인, 어떤 결과에 대한 필터링 등 어떤 동작이 필요한 경우 (..

회사에서 진행한 업무로 뉴스 기사 카테고리 분류 모델 및 뉴스 크롤링을 진행했으며, Selenium 기반에 BeatifulSoup을 일부 활용한 크롤링을 작성하였습니다. 저작권을 침범하지 않는 내에서 작업했음을 밝힙니다. 해당하는 .py file 들을 docker에 supervisor로 띄워 Infinite loof 프로세스 내에서 반복적으로 크롤링하도록 구현하였습니다. https://github.com/hipster4020/selenium_crawling GitHub - hipster4020/selenium_crawling Contribute to hipster4020/selenium_crawling development by creating an account on GitHub. github.com ..