다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

【스마트 모드】페이지 넘김 버튼 설정 방법 | 웹 스크래핑 툴 | ScrapeStorm

2024-01-05 13:33:05
14552 차

개요:이 글에서는 페이지 넘김 버튼을 설정하는 방법을 보여줍니다. ScrapeStorm무료 다운로드

스마트 모드에서는 ScrapeStorm이 페이지 넘김 버튼을 자동으로 감지합니다. 일반적인 페이징은 다음과 같습니다.

(1) 페이지 넘김 버튼

(2) 크롤 로딩

(3) 크롤 로딩 + 페이지 넘김 버튼

(4) 없음

하지만 가끔 인식 결과가 올바르지 않을 수 있습니다. 그 원인에는 다음과 같은 것이 있습니다.

(1) 페이지 로딩 속도가 너무 느려 자동 감지 후에 페이지 넘김 버튼이 나타납니다.

(2) 페이지에 여러 개의 다음 페이지 버튼이 있으면 소프트웨어는 그 중 하나만 선택합니다.

(3) “스크롤로 로딩”“페이지 넘김 버튼”이 모두 존재하는 경우 소프트웨어가 자동으로 여러 번 스크롤한 후에도 페이지 넘김 버튼이 나타나지 않습니다.

(4) 현재 페이지의 페이지 넘김 버튼이 일시적으로 호환되지 않습니다.

“페이징” 버튼 위치:

此图片的alt属性为空;文件名为paging-type-1500x812.png

(1) 페이지 넘김 버튼

: 자동 감지

“자동 감지” 버튼 클릭

소프트웨어는 페이지 넘김 버튼을 자동으로 감지합니다. 성공하면 페이지가 페이지 넘김 버튼이 있는 위치로 스크롤됩니다.

: 버튼 선택

소프트웨어가 페이지 넘김 버튼을 자동으로 감지하지 못할 경우 수동으로 “버튼 선택“을 클릭해야 합니다.

Step 1: [Select](선택) 옵션을 클릭

Step 2: 페이지 넘김 버튼을 클릭

: XPath 편집

위의 2가지 방법으로도 정확하게 감지가 안된다면 직접 XPath를 편집해야 합니다.

(2) 스크롤로 로딩

페이지 넘김 버튼이 없고 페이지를 로딩하기 위해 스크롤해야 하는 웹 페이지에 적합합니다.

此图片的alt属性为空;文件名为sroll-1500x810.png

3. 스크롤로 + 페이지 넘김 버튼

처음 페이지에 페이지 넘김 버튼이 없고 여러번 스크롤해야 나타나는 경우

또는 페이지 넘김 버튼이 표시되었지만 현재 웹 페이지에 일부 내용이 나타나지 않으며 전체 내용을 다 보려면 페이지를 여러번 스크롤해야 하는 경우

두 가지 경우라면 식별해 내기가 어렵습니다. ScrapeStorm이 감지하면서 자동으로 스크롤을 시도한다 해도 한번 스크롤 할 때의 길이가 웹 페이지에 필요한 길이와 일치하지 않을 수 있습니다. 따라서 이런 유형의 페이지는 수동 작업이 필요합니다.

다음과 같은 몇 가지 상황이 있습니다.

: “스크롤로 로딩”은 감지되었지만 페이지 넘김 버튼이 감지되지 않을때

Step 1: 페이지 넘김 버튼이 표시될 때까지 수동으로 페이지를 스크롤

Step 2: “자동 감지” 버튼 클릭

此图片的alt属性为空;文件名为auto1-1500x811.png

자동 감지에 실패하면 “버튼 선택”을 클릭하고 페이지 넘김 버튼을 클릭합니다.

此图片的alt属性为空;文件名为button1-1500x810.png

: 페이지 넘김 버튼은 감지되었지만 “스크롤로 로딩”이 감지되지 않을때

이 경우에는 “스크롤로 로딩”만 클릭합니다.

此图片的alt属性为空;文件名为option2-1500x808.png

P.S. 현재 웹 페이지 스크래핑할 필요가 없는 경우 ScrapeStorm이 스크롤로 로딩 감지하면 수집 결과에 영향 주지 않지만 “스크롤로 로딩” 옵션을 취소하면 스크랩 속도가 향상될 수 있습니다.

(4) 없음

페이징할 필요가 없는 경우 “없음”을 선택합니다.

此图片的alt属性为空;文件名为none-1500x810.png

P.S. 페이징 설정 여부는 현재 페이지에 페이지 넘김 버튼이 있는지 여부와 무관합니다. 다만 고객님의 스크래핑 요구와 관련이 있을 뿐입니다. 페이징을 설정하지 않으면 스크래핑 범위가 적어져 스크래핑 속도가 향상됩니다.

php크롤러 동영상 대량 다운로드 페이지를 word로 다운로드 파이썬 스크래핑 사진 대량 다운로드 파이썬 크롤러 데이터를 자동으로 excel로 내보내기 정기적으로 일치하는 이메일 주소 페이지의 키워드를 추출하기 파이썬 다운로드 파일
关闭