【스마트 모드】기본 절차 | 웹 스크래핑 툴 | ScrapeStorm
개요：이 튜토리얼은 스마트 모드의 기본 작동 절차를 보여 줍니다. ScrapeStorm무료 다운로드
1.올바른 URL을 입력합니다.
ScrapeStorm은 하나 및 여러개 URL 스크래핑을 지원하며 수동 입력, 파일 가져오기 및 URL 생성기 사용이 가능합니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
2.페이지 유형 및 페이지 넘김 버튼 설정
추출할 URL을 선택한 후 페이지 유형을 설정합니다.
페이지 유형은 상세 페이지, 목록형 페이지 이렇게 2가지 카테고리로 나눌 수 있으며, 스마트 모드는 상세 페이지, 목록형 페이지, 상세 페이지+목록형 페이지의 내용을 추출하는데 적합합니다.
페이지 타입이 결정되면, 페이징을 설정할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
3.로그인
로그인이 필요한 웹 페이지가 있으면 이 버튼을 클릭하여 로그인 기능을 사용할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
보기 위해 로그인해야 하는 웹 페이지를 스크랩하는 방법
4.태스크 사전 실행
태스크를 편집하는 과정에서 클릭 작업을 수행해야 하는 경우 태스크 사전 실행 기능을 사용할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
태스크 사전 실행 설정하는 방법
5.캡차 해결
작업 편집 중 캡차 인증이 필요하면 이 버튼을 클릭하여 캡차를 해결할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
6.프록시 열기
홈페이지에서 캡차나 기타 방어 기능을 만났을 때, 캡차 해결 기능과 함께 프록시 열기 기능을 사용할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
7.웹 보안 옵션
웹 페이지에 문제가 발생한 경우 이 기능을 사용해 볼 수 있지만, 이 옵션을 활성화하면 페이지의 일부 내용이 스크랩되지 않을 수 있으니 유의하십시오. (예: iframe 내의 내용)
8.고급 설정
고급 설정에서 pushState 및 차단된 URL을 볼 수 있습니다.
9.브라우저 전환
일부 웹 페이지는 컴퓨터와 모바일 기기에서 다른 콘텐츠를 표시합니다. 소프트웨어는 기본적으로 컴퓨터 버전의 웹 페이지를 스크랩합니다. 사용자가 모바일 버전의 웹 페이지를 스크랩하려면 브라우저 모드를 전환하여 스크랩할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
브라우저 모드 전환이란?
10.스크래핑 필드 설정
스마트 모드에서는 소프트웨어가 자동으로 감지한 페이지 내용이 디스플레이 창에 표시되며 사용자는 필요에 따라 필드를 설정할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
11.심층 스크래핑
상세 페이지의 데이터를 스크래핑해야 할 경우 “심층 스크래핑”버튼을 클릭하거나 링크를 직접 클릭하여 상세 페이지로 이동할 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
12.필터/스크래핑 범위 설정
13.태스크 설정
스크래핑 작업을 시작하기 전에 설정을 해야 합니다. 이 설정에는 스케줄러, IP 전환 & 딜레이, 자동 내보내기, 파일 다운로드, 스피드 엔진, 데이터 중복 제거 및 개발자 설정이 포함됩니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
14.작업 실행창
작업을 시작하면 실행 중인 데이터 실행창으로 이동합니다. 사용자는 실행창에서 데이터가 스크래핑되는 과정을 볼 수 있습니다.
15.스크래핑 결과 보기 & 데이터 내보내기
작업이 완료되면 사용자는 스크래핑 결과를 보고 데이터를 내보낼 수 있습니다.
자세한 내용은 아래의 튜토리얼을 참고해주세요:
