스크랩된 데이터가 중복되면 어떻게 해야 합니까? | 웹 스크래핑 툴 | ScrapeStorm

질문:

스크랩된 데이터가 중복되면 어떻게 해야 합니까?

답변:

1. 동영상 튜토리얼을 시청하시고 태스크에 페이지 유형이 올바르게 설정되었는지, 즉 “상세 페이지”를 “목록 페이지”로 설정하지 않았거나 루프 스크래핑 사용에 대한 오해가 있는지 확인하십시오.

2.소프트웨어에 데이터 중복 제거 기능을 가지고 있습니다. 이 기능을 작동시킨 후 결과가 밎는지 확인할 수 있습니다.

데이터 중복 제거 설정에 대해서는 다음 튜토리얼을 참조하십시오:

자원 – 순서도 모드 – 데이터 중복 제거 설정 방법 – ScrapeStorm

3. 여러 번 스크랩 데이터를 반복했는지, 한 번의 스크랩으로 중복 데이터가 있는지 확인해 주시기 바랍니다.

작업이 수정되지 않으면 실행 중인 각 작업이 처음부터 스크랩되므로 매번 데이터가 반복됩니다.

한 번의 스크래핑으로 중복 데이터가 발생하는 경우 다음 조건이 충족되는지 확인하십시오:

첫 번째 유형: 중복된 데이터가 마지막 페이지의 데이터일 경우, 마지막 페이지를 넘기는 것을 멈출 수 없는 것일 수 있습니다. 스크래핑 범위를 수정하고 중복 데이터가 있는지 확인하십시오.

두 번째 유형: 중복된 데이터가 중간 페이지의 데이터일 경우 직접적으로 결론을 내릴 수 없습니다.