크롤링

    [selenium] 크롤링 no such element 오류 해결
    Python/DataCrawling

    [selenium] 크롤링 no such element 오류 해결

    셀레니움 에러 크롤링을 하면서 element에 접근하는 코드 실행시 가장 많이 만나는 에러는 no such element일 것이다. 내가 지정한 element(css_selector = rogA2c)의 값을 못찾을 경우 발행하는 에러이다. 내가 크롤링하면서 이 오류를 해결했던 방법을 공유한다. selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".rogA2c"} (Session info: chrome=101.0.4951.64) 1. class_name으로 접근시 공백 오류 class_name으로 element..

    [selenium실습] 구글맵에서 미국 음식점 이름 크롤링 2
    Python/DataCrawling

    [selenium실습] 구글맵에서 미국 음식점 이름 크롤링 2

    셀레니움 이번에는 이전에 포스팅한 "구글맵에서 미국 음식점 이름 크롤링 1"에서 설명한 내용을 코딩해본다. 혹시 코드에 대한 내용을 파악하시려면 아래 링크를 참고해주세요 https://zeuskwon-ds.tistory.com/64?category=1022463 [selenium실습] 구글맵에서 미국 음식점 이름 크롤링 1 셀레니움 셀레니움을 사용해서 실제로 데이터를 가져오는 실습을 진행해보자 내용이 많을 수 있기 때문에 내용을 나눠서 포스팅한다 혹시 셀레니움이 처음이라면 먼저 셀레니움의 기본셋팅을 zeuskwon-ds.tistory.com 코드는 조각조각 나눠서 코드 설명하고 전체코드를 올리는 순서로 진행한다. 그리고 전체 코드는 기능별로 함수화 해서 __name__ == "__main__" 로 실행한..

    [selenium실습] 구글맵에서 미국 음식점 이름 크롤링 1
    Python/DataCrawling

    [selenium실습] 구글맵에서 미국 음식점 이름 크롤링 1

    셀레니움 셀레니움을 사용해서 실제로 데이터를 가져오는 실습을 진행해보자 내용이 많을 수 있기 때문에 내용을 나눠서 포스팅한다 혹시 셀레니움이 처음이라면 먼저 셀레니움의 기본셋팅을 해야하는데 아래 포스팅을 참고하자 https://zeuskwon-ds.tistory.com/60?category=1022463 [Selenium]셀레니움 크롤링 기본 사용법 최신버전 - python 셀레니움 셀레니움은 python의 크롤링 패키지로써 동적 웹 크롤링을 하기 위한 훌륭한 라이브러리이다. 셀레니움은 파이어폭스, 인터넷 익스플로어, 크롬등과 같은 브라우저를 컨트롤 할 수 있게 zeuskwon-ds.tistory.com 1. 실습 과제 파악하기 구글맵에서 미국 특정 주(CA)의 음식점의 정보를 크롤링하려고 한다. (미국..

    [selenium]셀레니움 크롤링 데이터 가져오는 방법 정리
    Python/DataCrawling

    [selenium]셀레니움 크롤링 데이터 가져오는 방법 정리

    셀레니움 셀레니움의 사용해서 해당 웹페이지의 데이터를 가져오는 법을 알아보자 셀레니움의 기본셋팅&코드는 아래 포스팅을 참고하세요. https://zeuskwon-ds.tistory.com/60?category=1022463 [Selenium]셀레니움 크롤링 기본 사용법 최신버전 - python 셀레니움 셀레니움은 python의 크롤링 패키지로써 동적 웹 크롤링을 하기 위한 훌륭한 라이브러리이다. 셀레니움은 파이어폭스, 인터넷 익스플로어, 크롬등과 같은 브라우저를 컨트롤 할 수 있게 zeuskwon-ds.tistory.com element에 접근해서 데이터 가져오기 - find_element_by, find_elements_by 차이점 find_element_by와 find_elements_by는 동일한 ..

    [selenium]셀레니움 크롤링 옵션 및 기능 - python
    Python/DataCrawling

    [selenium]셀레니움 크롤링 옵션 및 기능 - python

    셀레니움 오늘은 셀레니움 사용시 브라우저 설정을 위한 옵션 설정에 대해서 알아보자 셀레니움의 기본셋팅&코드는 아래 포스팅을 참고 하세요. https://zeuskwon-ds.tistory.com/60?category=1022463 [Selenium]셀레니움 크롤링 기본 사용법 최신버전 - python 셀레니움 셀레니움은 python의 크롤링 패키지로써 동적 웹 크롤링을 하기 위한 훌륭한 라이브러리이다. 셀레니움은 파이어폭스, 인터넷 익스플로어, 크롬등과 같은 브라우저를 컨트롤 할 수 있게 zeuskwon-ds.tistory.com 크롬 팝업창 옵션 종류 윈도우 사이즈 from selenium import webdriver options = webdriver.ChromeOptions() options.ad..

    [Selenium]셀레니움 크롤링 기본 사용법 최신버전 - python
    Python/DataCrawling

    [Selenium]셀레니움 크롤링 기본 사용법 최신버전 - python

    셀레니움 셀레니움은 python의 크롤링 패키지로써 동적 웹 크롤링을 하기 위한 훌륭한 라이브러리이다. 셀레니움은 파이어폭스, 인터넷 익스플로어, 크롬등과 같은 브라우저를 컨트롤 할 수 있게 해준다. 현재 파이썬 3.5 이상부터 지원되며 3.6 이상 버전부터 pip 표준 라이브러리로 사용 할 수 있다. 셀레니움 공식문서 https://www.selenium.dev/selenium/docs/api/py/webdriver_remote/selenium.webdriver.remote.webelement.html 라이브러리 설치 pip install selenium 드라이버 버전확인 및 설치- driver 셀레니움으로 웹페이지를 open하려면 해당 웹 드라이버 설치가 필요하다. 먼저 본인의 크롬 버전을 확인하고 ..

티스토리툴바