[selenium실습] 구글맵에서 미국 음식점 이름 크롤링 1

셀레니움

셀레니움을 사용해서 실제로 데이터를 가져오는 실습을 진행해보자 

내용이 많을 수 있기 때문에 내용을 나눠서 포스팅한다

 

혹시 셀레니움이 처음이라면 먼저 셀레니움의 기본셋팅을 해야하는데 아래 포스팅을 참고하자

https://zeuskwon-ds.tistory.com/60?category=1022463

[Selenium]셀레니움 크롤링 기본 사용법 최신버전 - python

1. 실습 과제 파악하기

구글맵에서 미국 특정 주(CA)의 음식점의 정보를 크롤링하려고 한다. (미국 전체로 하면 너무 데이터가 많다.)

현재 클라이언트로부터 캘리포니아의 po_name(도시이름), zip(지역코드), state(주 이름)을 받은 상태이다. (약 300개)

이 정보를 가지고 구글 검색을 해서 해당 지역의 음식점을 크롤링 하려고 한다.

= po_name + zip + 'restaurant' -> 검색

ex Los Banos 93635 restaurant

- 구글맵 : https://www.google.com/maps

Google Maps

구글맵 검색어 입력 부분에서 Los Banos 93635 restaurant을 검색해본다.

검색하면 이렇게 해당 지역의 음식점의 간단한 정보가 목록 형식으로 나온다.

우리는 여기서 매장이름, 별점, 리뷰수, 리뷰 오른쪽 달러($), 주소를 가져오려고 한다.

그리고 검색하면 기본 목록개수로 약 10개 정도만 표시된다 

이 목록에서 스크롤을 내리면 20개까지 표시가 된다 

그래서 우리는 스크롤을 아래까지 내려서 목록을 20개까지 스크롤하고

20개의 음식점에 대해서 반복 크롤링 작업을 실시 해야한다.

그 다음 아래 보이는 화살표를 클릭하면 20-40으로 넘어갈수 있다. 

이 작업을 끝날때 까지 진행해야 하는데

음식점의 개수가 몇개인지 모르니까 마지막 페이지가 될 때까지 진행해야 한다.

해당 포스트 내용으로 다음 포스팅부터 본격적인 코드작업을 해보겠다. 

https://zeuskwon-ds.tistory.com/65?category=1022463

[selenium실습] 구글맵에서 미국 음식점 이름 크롤링 2