Crawling Program

 

crawling

크롤링이란 웹 페이지를 의 텍스트를 그대로 가져와 그 안에서 데이터를 추출하는 행위입니다.

웹 스크래핑 또한 같은 의미입니다.

 

 

 

인터넷 페이지에서 'HTML'은 페이지의 뼈대 구조는 잡는 역할을 하고, 'css'는 그 뼈대 위에 꾸미는 역할, 'JavaScript'는 동적으로 움직이게 하는 역할을 합니다.

'HTML'에서 'Xpath'는 element의 경로를 의미합니다.

 

 

 

 

👉🏻 크롤링 프레임워크 종류

 

종류	Requests	Selenium
특징	웹 페이지(html) 읽어오기	웹 페이지 자동화
속도	빠르다	느리다
동적 여부	동적 웹 페이지 X	동적 웹 페이지 O
목적	주어진 url을 통해 받아온 html에 원하는 정보가 있을 때	로그인, 어떤 결과에 대한 필터링 등 어떤 동작이 필요한 경우 (wait, scrol 내리기 등 소스로 동작 구현이 가능함)
비고		크롬 버전에 맞는 chromedriver.exe가 반드시 있어야 함

 

위 Framework으로 가져온 데이터를 BeautifulSoup 으로 원하는 데이터를 추출합니다.

 

 

 

 

Selenium

 

method	explain
find_element(s 두개 이상)_by_id	id로 찾기
find_element(s)_by_class_name	class name으로 찾기
find_element(s)_by_link_text	link text로 찾기
find_element(s)_by_xpath	xpath로 찾기
click()	클릭
send_keys()	글자 입력
clear()	입력된 글자 삭제
WebDriverWait({)	Wait Event

 

 

 

 

BeautifulSoup

 

method	explain
find	조건에 맞는 첫 번째 element
find_all	조건에 맞는 모든 element 리스트
find_next_sibling(s)	다음 형제 찾기
find_previous_sibling(s)	이전 형제 찾기
soup["href"]	속성
soup.get_text()	텍스트