웹크롤링
-
구글 크롤링정보 2023. 11. 24. 21:26
"크롤링"은 웹사이트에서 정보를 수집하는 과정을 가리키는 용어입니다. 크롤링은 일반적으로 웹 크롤러 또는 웹 스크래퍼라 불리는 프로그램을 사용하여 웹페이지를 순회하고 원하는 정보를 추출하는 작업을 의미합니다. 크롤링의 주요 단계는 다음과 같습니다: URL 수집 (Crawling): 크롤러가 시작하는 웹페이지 주소(또는 여러 웹페이지 주소)를 수집합니다. 이를 통해 크롤러는 웹페이지를 방문하고 내용을 가져올 대상을 결정합니다. 웹페이지 다운로드: 수집한 URL에 대해 웹 크롤러가 해당 웹페이지의 HTML 코드를 다운로드합니다. 정보 추출 (Parsing): 다운로드한 HTML 코드에서 필요한 정보를 추출합니다. 이는 일반적으로 웹페이지의 구조를 이해하고, 필요한 데이터가 어디에 위치해 있는지를 파악하여 수..