【스마트 모드】기본 절차 | 웹 스크래핑 툴 | ScrapeStorm
개요：이 튜토리얼은 스마트 모드의 기본 작동 절차를 보여 줍니다. ScrapeStorm무료 다운로드
1.올바른 URL을 입력합니다.
ScrapeStorm은 하나 및 여러개 URL 스크래핑을 지원하며 수동 입력, 파일 가져오기 및 URL 생성기 사용이 가능합니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
2.페이지 유형 및 페이지 넘김 버튼 설정
추출할 URL을 선택한 후 페이지 유형을 설정합니다.
페이지 유형은 상세 페이지, 목록형 페이지 이렇게 2가지 카테고리로 나눌 수 있으며, 스마트 모드는 상세 페이지, 목록형 페이지, 상세 페이지+목록형 페이지의 내용을 추출하는데 적합합니다.
페이지 타입이 결정되면, 페이징을 설정할 수 있습니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
3.로그인
로그인이 필요한 웹 페이지가 있으면 이 버튼을 클릭하여 로그인 기능을 사용할 수 있습니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
보기 위해 로그인해야 하는 웹 페이지를 스크랩하는 방법
4.태스크 사전 실행
태스크를 편집하는 과정에서 클릭 작업을 수행해야 하는 경우 태스크 사전 실행 기능을 사용할 수 있습니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
태스크 사전 실행 설정하는 방법
5.Captcha 해결
작업 편집 중 captcha 인증이 필요하면 이 버튼을 클릭하여 captcha를 해결할 수 있습니다.
6.Proxy 열기
홈페이지에서 captcha 등의 anti-climbing이 발생했을 경우 captcha 해결 기능과 더불어 프록시 전환 기능을 사용할 수 있습니다.
Open Proxy에 대한 자세한 내용을 보려면 여기를 클릭하세요.
7.웹 보안 옵션
웹 페이지 예외가 발생했을 때 이 기능을 사용해 볼 수 있지만, 이 옵션을 열면 페이지의 일부 내용(iframe 등)이 스크래핑되지 않을 수 있습니다.
8.고급 설정
고급 설정에서 pushState 및 차단된 URL을 볼 수 있습니다.
9.브라우저 전환
일부 웹 페이지는 컴퓨터와 휴대 전화에 다른 내용을 표시합니다. 일반적으로 소프트웨어는 컴퓨터 버전의 웹 페이지를 기본적으로 삭제합니다. 사용자가 모바일 버전의 웹 페이지를 스크랩하려면 브라우저 모드를 전환하여 스크랩할 수 있습니다.
브라우저 모드 전환에 대한 자세한 내용을 보려면 여기를 클릭하세요.
브라우저 모드 전환이란?
10.스크래핑 필드 설정
스마트 모드에서는 소프트웨어가 자동으로 감지한 페이지 내용이 디스플레이 창에 표시되며 사용자는 필요에 따라 필드를 설정할 수 있습니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
11.심층 스크래핑
상세 페이지의 데이터를 스크래핑해야 할 경우 “심층 스크래핑” 버튼을 클릭하거나 링크를 직접 클릭하여 상세 페이지로 이동할 수 있습니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
12.필터/스크래핑 범위 설정
13.태스크 설정
작업을 시작하기 전에 스케쥴러, IP 전환 & 딜레이, 자동 내보내기, 파일 다운로드, 스피드 엔진, 데이터 중복 제거 및 개발자 설정 등의 작업을 진행해야 합니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
14.작업 실행창
작업을 시작하면 실행 중인 데이터 실행창으로 이동합니다. 사용자는 실행창에서 데이터가 스크래핑되는 과정을 볼 수 있습니다.
15.스크래핑 결과 보기 & 데이터 내보내기
작업이 완료되면 사용자는 스크래핑 결과를 보고 데이터를 내보낼 수 있습니다.
자세한 것은 아래 튜토리얼을 참조해 주세요.
