【스마트 모드】페이지 넘김 버튼 설정 방법 | 웹 스크래핑 툴 | ScrapeStorm

스마트 모드에서는 ScrapeStorm이 페이지 넘김 버튼을 자동으로 감지합니다. 일반적인 페이징은 다음과 같습니다.

(1) 페이지 넘김 버튼

(2) 스크롤로 로딩

(3) 스크롤로 로딩 + 페이지 넘김 버튼

(4) 없음

하지만 가끔 인식 결과가 올바르지 않을 수 있습니다. 그 원인에는 다음과 같은 것이 있습니다.

(1) 페이지 로딩 속도가 너무 느려 자동 감지 후에 페이지 넘김 버튼이 나타납니다.

(2) 페이지에 여러 개의 다음 페이지 버튼이 있으면 소프트웨어는 그 중 하나만 선택합니다.

(3) “스크롤로 로딩”과 “페이지 넘김 버튼”이 모두 존재하는 경우 소프트웨어가 자동으로 여러 번 스크롤한 후에도 페이지 넘김 버튼이 나타나지 않습니다.

(4) 현재 페이지의 페이지 넘김 버튼이 일시적으로 호환되지 않습니다.

“페이징” 버튼 위치:

(1) 페이지 넘김 버튼

Ⅰ: 자동 감지

“자동 감지” 버튼 클릭

소프트웨어는 페이지 넘김 버튼을 자동으로 감지합니다. 성공하면 페이지가 페이지 넘김 버튼이 있는 위치로 스크롤됩니다.

Ⅱ: 버튼 선택

소프트웨어가 페이지 넘김 버튼을 자동으로 감지하지 못할 경우 수동으로 “버튼 선택“을 클릭해야 합니다.

Step 1: [Select](선택) 옵션을 클릭

Step 2: 페이지 넘김 버튼을 클릭

Ⅲ: XPath 편집

위의 2가지 방법으로도 정확하게 감지가 안된다면 직접 XPath를 편집해야 합니다.

(2) 스크롤로 로딩

페이지 넘김 버튼이 없고 페이지를 로딩하기 위해 스크롤해야 하는 웹 페이지에 적합합니다.

3. 스크롤로로딩 + 페이지 넘김 버튼

처음 페이지에 페이지 넘김 버튼이 없고 여러번 스크롤해야 나타나는 경우

또는 페이지 넘김 버튼이 표시되었지만 현재 웹 페이지에 일부 내용이 나타나지 않으며 전체 내용을 다 보려면 페이지를 여러번 스크롤해야 하는 경우

두 가지 경우라면 식별해 내기가 어렵습니다. ScrapeStorm이 감지하면서 자동으로 스크롤을 시도한다 해도 한번 스크롤 할 때의 길이가 웹 페이지에 필요한 길이와 일치하지 않을 수 있습니다. 따라서 이런 유형의 페이지는 수동 작업이 필요합니다.

다음과 같은 몇 가지 상황이 있습니다.

Ⅰ: “스크롤로 로딩”은 감지되었지만 페이지 넘김 버튼이 감지되지 않을때

Step 1: 페이지 넘김 버튼이 표시될 때까지 수동으로 페이지를 스크롤

Step 2: “자동 감지” 버튼 클릭

자동 감지에 실패하면 “버튼 선택”을 클릭하고 페이지 넘김 버튼을 클릭합니다.

Ⅱ: 페이지 넘김 버튼은 감지되었지만 “스크롤로 로딩”이 감지되지 않을때

이 경우에는 “스크롤로 로딩”만 클릭합니다.

P.S. 현재 웹 페이지를 스크래핑할 필요가 없는 경우 ScrapeStorm이 “스크롤로 로딩“을 감지하면 수집 결과에 영향 주지는 않지만 “스크롤로 로딩” 옵션을 취소하면 스크랩 속도가 향상될 수 있습니다.

(4) 없음

페이징할 필요가 없는 경우 “없음”을 선택합니다.

P.S. 페이징 설정 여부는 현재 페이지에 페이지 넘김 버튼이 있는지의 여부와 무관합니다. 다만 고객님의 스크래핑 요구와 관련이 있을 뿐입니다. 페이징을 설정하지 않으면 스크래핑 범위가 적어져 스크래핑 속도가 향상됩니다.