【순서도 모드】페이지 설정 방법 | 웹 스크래핑 툴 | ScrapeStorm

스크래핑 태스크를 설정하는 과정에서 사용자는 일반적으로 다음 페이지 버튼이 있는 웹 페이지, 스크롤하여 로드하는 웹 페이지, 다음 페이지 버튼 + 스크롤하여 로드하는 웹 페이지의 세 가지 유형으로 나눌 수 있는 다양한 웹 페이지를 접하게 됩니다.

1. 다음 페이지 버튼

이런 종류의 웹 페이지는 가장 일반적인 페이지 지정 유형입니다. 모든 리스트의 요소를 추출한 후 자동 페이지 넘김 버튼으로 모든 웹 페이지에서 데이터를 추출한지 여부를 묻는 메시지가 나타납니다. 현재 페이지 데이터만 스크랩하려면 페이징 루프를 설정할 필요가 없습니다.

자동 페이지 넘김 버튼으로 모든 웹 페이지에서 데이터를 추출하는 것을 선택한 후 소프트웨어는 식별된 페이지 넘김 버튼이 올바른지 여부를 묻는 메시지를 표시합니다. “예”를 클릭하면 소프트웨어가 루프 구성요소를 구성합니다.

상세한 절차는 다음과 같습니다:

소프트웨어에서 감지한 페이지 넙김 버튼이 올바르지 않으면 “정확하지 않습니다.”를 클릭하고 페이징 유형을 다시 선택한 다음 페이지에서 다음 페이지 단추를 수동으로 클릭할 수 있습니다.

수동으로 다음 페이지 버튼을 선택하여 여전히 올바른 xpath를 인식할 수 없는 경우 페이징 루프에서 수동으로 xpath를 수정할 수 있습니다.

2. 스크롤하여 로드하기

리스트 데이터를 추출한 후 페이지에 다음 페이지 버튼이 없으므로 작동 팁에서 페이징이 감지되지 않음을 알려줍니다.

이 때, “에이징 설정”을 클릭하고 “스크롤하여 로드하기”를 선택하면 소프트웨어가 자동으로 페이징 루프를 설정합니다.

3. 다음 페이지 버튼 + 스크롤하여 로드하기

(1) 표시하려면 스크롤해야 하는 “다음 페이지” 단추

일부 웹 페이지의 다음 페이지 단추가 첫 번째 화면의 인터페이스에 나타나지 않습니다. 표시하려면 페이지를 스크롤해야 합니다. 모든 리스트 요소를 추출하고 페이징 루프를 설정해야 한다고 결정한 후에는 작동 팁에 페이징이 감지되지 않는다는 메시지가 표시됩니다.

이 때 “에이징 설정”을 클릭하고 “스크롤하여 로드하기 + 다음 페이지 버튼”을 선택하면 소프트웨어가 자동으로 페이징 루프를 설정합니다.

수동으로 다음 페이지 버튼을 선택하여 여전히 올바른 xpath를 인식할 수 없는 경우 페이징 루프에서 수동으로 xpath를 수정할 수 있습니다.

(2) 다음 페이지 버튼이 감지될 수 있지만 스크롤을 추가해야 하는 경우

일부 웹 페이지는 다음 페이지 단추를 직접 인식할 수 있지만 데이터를 스크랩하려면 스크롤을 추가해야 합니다. 모든 리스트 요소를 추출하고 페이지 지정을 탐지한 후 “아니오, 페이징 재설정”을 설정합니다.

이 때 “에이징 설정”을 클릭하고 “스크롤하여 로드하기 + 다음 페이지 버튼”을 선택하면 소프트웨어가 자동으로 페이징 루프를 설정합니다.

작동 팁에서 “스크롤하여 로드하기 + 다음 페이지 버튼”을 선택하면 소프트웨어가 새 작동 팁으로 이동합니다.

수동으로 다음 페이지 버튼을 선택하여 여전히 올바른 xpath를 인식할 수 없는 경우 페이징 루프에서 수동으로 xpath를 수정할 수 있습니다.