【순서도 모드】페이지 설정 방법 | 웹 스크래핑 툴 | ScrapeStorm

스크래핑 태스크를 설정하는 과정에서 사용자는 일반적으로 페이지 넘김 버튼이 있는 웹 페이지, 스크롤 로딩하는 웹 페이지, 스크롤 로딩 + 페이지 넘김 버튼이 있는 웹 페이지의 세 가지 유형으로 나눌 수 있는 다양한 웹 페이지를 접하게 됩니다.

1. 페이지 넘김 버튼

이런 종류의 웹 페이지는 가장 일반적인 페이지 지정 유형입니다. 모든 리스트의 요소를 추출한 후 페이지 넘김 버튼으로 모든 웹 페이지에서 데이터를 추출한지 여부를 묻는 메시지가 나타납니다. 현재 페이지 데이터만 스크랩하려면 페이징 루프를 설정할 필요가 없습니다.

페이지 넘김 버튼으로 모든 웹 페이지에서 데이터를 추출하는 것을 선택한 후 소프트웨어는 식별된 페이지 넘김 버튼이 올바른지 여부를 묻는 메시지를 표시합니다. “예”를 클릭하면 소프트웨어가 루프 구성요소를 구성합니다.

상세한 절차는 다음과 같습니다:

소프트웨어에서 감지한 페이지 넘김 버튼이 올바르지 않으면 “정확하지 않습니다.”를 클릭하고 페이징 유형을 다시 선택한 다음 페이지에서 페이지 넘김 버튼을 수동으로 클릭할 수 있습니다.

수동으로 페이지 넘김 버튼을 선택했는데 여전히 올바른 xpath를 인식할 수 없는 경우, 페이징 루프에서 수동으로 xpath를 수정할 수 있습니다.

2. 스크롤 로딩

리스트 데이터를 추출한 후 페이지에 페이지 넘김 버튼이 없으므로 작동 팁에서 페이징이 감지되지 않음을 알려줍니다.

이 때, “에이징 설정”을 클릭하고 “스크롤 로딩”를 선택하면 소프트웨어가 자동으로 페이징 루프를 설정합니다.

3. 페이지 넘김 버튼 + 스크롤 로딩

(1) 표시하려면 스크롤해야 하는 페이지 넘김 버튼

일부 웹 페이지의 페이지 넘김 버튼이 첫 번째 화면의 인터페이스에 나타나지 않습니다. 표시하려면 페이지를 스크롤해야 합니다. 모든 리스트 요소를 추출하고 페이징 루프를 설정해야 한다고 결정한 후에는 작동 팁에 페이징이 감지되지 않는다는 메시지가 표시됩니다.

이때 “에이징 설정”을 클릭하고 “스크롤 로딩 + 페이지 넘김 버튼”을 선택하면 소프트웨어가 자동으로 페이징 루프를 설정합니다.

수동으로 페이지 넘김 버튼을 선택했는데 여전히 올바른 xpath를 인식할 수 없는 경우, 페이징 루프에서 수동으로 xpath를 수정할 수 있습니다.

(2) 페이지 넘김 버튼이 감지될 수 있지만 스크롤을 추가해야 하는 경우

일부 웹 페이지는 페이지 넘김 버튼을 직접 인식할 수 있지만 데이터를 스크랩하려면 스크롤을 추가해야 합니다. 모든 리스트 요소를 추출하고 페이지 지정을 탐지한 후 “아니오, 페이징 재설정”을 설정합니다.

이때 “에이징 설정”을 클릭하고 “스크롤 로딩 + 페이지 넘김 버튼”을 선택하면 소프트웨어가 자동으로 페이징 루프를 설정합니다.

작동 팁에서 “스크롤 로딩 + 페이지 넘김 버튼”을 선택하면 소프트웨어가 새 작동 팁으로 이동합니다.

수동으로 페이지 넘김 버튼을 선택했는데 여전히 올바른 xpath를 인식할 수 없는 경우, 페이징 루프에서 수동으로 xpath를 수정할 수 있습니다.