다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

【스마트 모드】【순서도 모드】URL 생성기 사용 방법 | 웹 스크래핑 툴 | ScrapeStorm

2024-01-05 10:03:54
20144 차

개요:이 글에서는 URL생성기 사용 방법을 소개합니다. 프로그래밍이 필요없는 포인트-앤-클릭 시각화 작업 방식. ScrapeStorm무료 다운로드

ScrapeStorm은 특정 규칙을 설정하여 필요한 URL 생성을 자동으로 일괄 처리하는 URL 생성기를 지원합니다.

스마트 모드와 순서도 모드의 설정은 아래 튜토리얼에서 볼 수 있듯이 동일합니다.

此图片的alt属性为空;文件名为urls-generator-3-1500x812.png

URL 생성기는 일반적으로 여러 URL을 스크래핑할때 사용됩니다. URL 생성기가 필요한 케이스는 총 두 가지입니다.

1. 페이지에 페이지 넘김 버튼이 없을때

일부 웹사이트는 페이지 넘김 버튼을 클릭하여 스크래핑할 수 없습니다. 이런 경우 웹사이트의 각 URL에는 페이지 번호 등 다른 파라미터만 있습니다. 따라서 URL 생성기를 사용하여 모든 페이지의 URL을 한 번에 생성한 후 여러 URL을 스크래핑할 수 있습니다.

2. 특정 규칙에 의거한 여러 URL을 스크래핑해야 할 경우 URL 생성기를 사용하여 URL을 생성할 수 있습니다.수동으로 입력하지 않아도 됩니다.

일반적으로 URL의 기본 구조는 다음과 같습니다.

고정 URL + 파라미터 변경 + 고정 URL

여기에서는 나무위키를 예로 들겠습니다. 예시는 다음과 같습니다.

https://en.wikipedia.org/wiki/100_(number)

https://en.wikipedia.org/wiki/101_(number)

https://en.wikipedia.org/wiki/102_(number)

……

https://en.wikipedia.org/wiki/110_(number)

빨간색 숫자 외에는 URL이 동일한 것을 알 수 있습니다.

……

이제 URL 생성기의 사용 방법을 소개하겠습니다.

Step 1: 고정 URL의 첫 부분을 입력합니다.

https://en.wikipedia.org/wiki/

此图片的alt属性为空;文件名为urls-generator1-1500x812.png

Step 2: “파라미터 추가”를 클릭합니다.

此图片的alt属性为空;文件名为urls-generator2-1500x812.png

Step 3: 첫 번째 파라미터를 설정하고 파라미터 유형을 숫자로 설정합니다. 다음으로 시작페이지, 끝 페이지, Step 등의 파라미터를 설정합니다.

此图片的alt属性为空;文件名为urls-generator3-1500x812.png

Step 4: “파라미터 추가”를 클릭하여 두 번째 파라미터를 추가합니다. 사용자 지정 선택 후고정 URL의 나머지 부분 ”_(number)” 을 입력합니다.

URL 미리보기에서 결과를 볼 수 있습니다.

此图片的alt属性为空;文件名为urls-generator4-1500x812.png

P.S. 이 문서에서는 숫자 유형의 파라미터를 예로 들었습니다. ScrapeStorm에서 지원하는 파라미터에는 문자와 시간도 포함됩니다. 자세한 설정에 대해서는 위의 튜토리얼을 참고해 주세요.

사진 대량 다운로드 파이썬 다운로드 파일 파이썬 크롤러 정기적으로 일치하는 이메일 주소 php크롤러 파이썬 스크래핑 URL 대량 생성 동영상 대량 다운로드 페이지의 키워드를 추출하기 페이지를 word로 다운로드
关闭