【스마트 모드】【순서도 모드】URL 생성기 사용 방법 | 웹 스크래핑 툴 | ScrapeStorm

ScrapeStorm은 특정 규칙을 설정하여 필요한 URL 생성을 자동으로 일괄 처리하는 URL 생성기를 지원합니다.

스마트 모드와 순서도 모드의 설정은 아래 튜토리얼에서 볼 수 있듯이 동일합니다.

URL 생성기는 일반적으로 여러 URL을 스크래핑할때 사용됩니다. URL 생성기가 필요한 케이스는 총 두 가지입니다.

1. 페이지에 페이지 넘김 버튼이 없을때

일부 웹사이트는 페이지 넘김 버튼을 클릭하여 스크래핑할 수 없습니다. 이런 경우 웹사이트의 각 URL에는 페이지 번호 등 다른 파라미터만 있습니다. 따라서 URL 생성기를 사용하여 모든 페이지의 URL을 한 번에 생성한 후 여러 URL을 스크래핑할 수 있습니다.

2. 특정 규칙에 의거한 여러 URL을 스크래핑해야 할 경우 URL 생성기를 사용하여 URL을 생성할 수 있습니다.수동으로 입력하지 않아도 됩니다.

일반적으로 URL의 기본 구조는 다음과 같습니다.

고정 URL + 파라미터 변경 + 고정 URL

여기에서는 나무위키를 예로 들겠습니다. 예시는 다음과 같습니다.

https://en.wikipedia.org/wiki/100_(number)

https://en.wikipedia.org/wiki/101_(number)

https://en.wikipedia.org/wiki/102_(number)

……

https://en.wikipedia.org/wiki/110_(number)

빨간색 숫자 외에는 URL이 동일한 것을 알 수 있습니다.

……

이제 URL 생성기의 사용 방법을 소개하겠습니다.

Step 1: 고정 URL의 첫 부분을 입력합니다.

https://en.wikipedia.org/wiki/

Step 2: “파라미터 추가”를 클릭합니다.

Step 3: 첫 번째 파라미터를 설정하고 파라미터 유형을 숫자로 설정합니다. 다음으로 시작페이지, 끝 페이지, Step 등의 파라미터를 설정합니다.

Step 4: “파라미터 추가”를 클릭하여 두 번째 파라미터를 추가합니다. 사용자 지정 선택 후고정 URL의 나머지 부분 ”_(number)” 을 입력합니다.

URL 미리보기에서 결과를 볼 수 있습니다.

P.S. 이 문서에서는 숫자 유형의 파라미터를 예로 들었습니다. ScrapeStorm에서 지원하는 파라미터에는 문자와 시간도 포함됩니다. 자세한 설정에 대해서는 위의 튜토리얼을 참고해 주세요.