【순서도 모드】기본 절차 | 웹 스크래핑 툴 | ScrapeStorm

1. 정확한 URL 입력

순서도 모드는 스마트 모드만큼 엄격하지 않지만 필요에 따라 정확한 URL 형식을 입력해야 합니다.

ScrapeStorm은 단일 및 대량 URL 스크래핑을 지원하며 수동 입력, 파일 가져오기 및 URL 생성기를 지원합니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

순서도 모드 태스크를 작성하는 방법

2. 로그인

로그인이 필요한 웹 페이지가 나타나면 “로그인” 버튼을 클릭해서 이기능을 사용할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

로그인해야 하는 웹 페이지를 스크랩하는 방법

3. 캡차 해결

태스크를 편집하는 동안 캡차가 발생하면 이 버튼을 클릭하여 캡차 해결 기능을 사용할 수 있습니다.

4. 프록시 열기

홈페이지에서 캡차나 기타 안티클라이밍을 접했을 때 캡차 해결 기능 외에 프록시 전환 기능을 사용할 수 있습니다.

프록시 열기에 대해 자세히 알아보려면 여기를 클릭하십시오.

5. 웹 보안 옵션

웹 페이지에 문제가 발생한 경우 이 기능을 사용해 볼 수 있지만, 이 옵션을 활성화하면 페이지의 일부 내용이 스크랩되지 않을 수 있으니 유의하십시오. (예: iframe 내의 내용)

6. 고급 설정

고급 설정에서 pushState 및 차단된 URL을 볼 수 있습니다.

7. 브라우저 전환

일부 웹 페이지는 컴퓨터와 모바일 기기에서 다른 콘텐츠를 표시합니다. 소프트웨어는 기본적으로 컴퓨터 버전의 웹 페이지를 스크랩합니다. 사용자가 모바일 버전의 웹 페이지를 스크랩하려면 브라우저 모드를 전환하여 스크랩할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

브라우저 모드 전환의 역할

8. 컴포넌트 사용방법

순서도 모드는 시각적 웹 페이지 클릭 작업을 지원합니다. 소프트웨어에서 제공하는 안내에 따라 요소를 클릭할 수 있습니다. 소프트웨어는 일반적으로 페이지 구분을 자동으로 감지하고 소프트웨어 안내에 따라 규칙을 생성합니다.

자세한 내용은 아래의 튜토리얼를 참조하십시오:

순서도 모드 컨포넌트 소개

페이지 설정 방법

구체적인 조작은 다음과 같습니다.

9. 추출 컴포넌트 설정

순서도 모드에서 추출 컴포넌트 설정을 통해 필드를 설정합니다. 안내 팁을 클릭하여 구성 요소를 자동으로 생성하거나 컴포넌트 창에서 컴포넌트를 끌어와서 사용할 수 있습니다.

자세한 내용은 아래의 튜토리얼를 참고하십시오:

필드 설정 방법

10. 심층 스크래핑

상세페이지의 데이터를 스크랩 해야 하는 경우 “심층 스크래핑” 기능을 사용할 수 있습니다.

자세한 내용은 아래의 튜토리얼를 참고하십시오:

심층 스크래핑 방법

11. 실행 설정

태스크를 시작하기 전에 스케줄러, IP 전환 및 딜레이, 자동 추출, 파일 다운로드, 가속 엔진, 중복 제거 및 개발자 설정을 포함한 기능을 사용할 수 있습니다.

자세한 내용은 아래의 튜토리얼를 참고하십시오:

태스크 설정하는 법

12. 인터페이스 실행

태스크가 시작되면 소프트웨어는 자동으로 데이터 실행 인터페이스로 이동합니다. 인터페이스에서 사용자는 데이터의 스크래핑 과정을 볼 수 있습니다.

13. 스크래핑 결과 보기 및 데이터 추출

태스크가 완료되면 사용자는 스크래핑 결과를 볼 수도 있고 데이터를 내보낼 수도 있습니다.

자세한 내용은 아래의 튜토리얼를 참고하십시오:

데이터를 추출하는 방법