다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

【스마트 모드】기본 절차 | 웹 스크래핑 툴 | ScrapeStorm

2023-05-18 15:34:52
11678 차

개요:이 튜토리얼은 스마트 모드의 기본 작동 절차를 보여 줍니다. ScrapeStorm무료 다운로드

1.올바른 URL을 입력합니다.

ScrapeStorm은 하나 및 여러개 URL 스크래핑을 지원하며 수동 입력, 파일 가져오기 및 URL 생성기 사용이 가능합니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

스마트 모드 새 태스크 만드는 방법

此图片的alt属性为空;文件名为create-task.gif

2.페이지 유형 및 페이지 넘김 버튼 설정

추출할 URL을 선택한 후 페이지 유형을 설정합니다.

페이지 유형은 상세 페이지, 목록형 페이지 이렇게 2가지 카테고리로 나눌 수 있으며, 스마트 모드는 상세 페이지, 목록형 페이지, 상세 페이지+목록형 페이지의 내용을 추출하는데 적합합니다.

페이지 타입이 결정되면, 페이징을 설정할 수 있습니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

상세 페이지 스크래핑하는 방법

목록형 페이지 스크래핑하는 방법

목록형 페이지+상세 페이지 스크래핑하는 방법

此图片的alt属性为空;文件名为page-1500x805.png

3.로그인

로그인이 필요한 웹 페이지가 있으면 이 버튼을 클릭하여 로그인 기능을 사용할 수 있습니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

보기 위해 로그인해야 하는 웹 페이지를 스크랩하는 방법

此图片的alt属性为空;文件名为pre-login-1500x812.png

4.태스크 사전 실행

스크를 편집하는 과정에서 클릭 작업을 수행해야 하는 경우 태스크 사전 실행 기능을 사용할 수 있습니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

태스크 사전 실행 설정하는 방법

此图片的alt属性为空;文件名为Pre-executed-operation-1500x804.png

5.Captcha 해결

작업 편집 중 captcha 인증이 필요하면 이 버튼을 클릭하여 captcha를 해결할 수 있습니다.

此图片的alt属性为空;文件名为Solve-Captcha-1500x805.png

6.Proxy 열기

홈페이지에서 captcha 등의  anti-climbing이 발생했을 경우 captcha 해결 기능과 더불어 프록시 전환 기능을 사용할 수 있습니다.

Open Proxy에 대한 자세한 내용을 보려면 여기를 클릭하세요.

此图片的alt属性为空;文件名为proxy-1500x809.png

7.웹 보안 옵션

웹 페이지 예외가 발생했을 때 이 기능을 사용해 볼 수 있지만, 이 옵션을 열면 페이지의 일부 내용(iframe 등)이 스크래핑되지 않을 수 있습니다.

此图片的alt属性为空;文件名为Web-Security-Option-1500x809.png

8.고급 설정

고급 설정에서 pushState 및 차단된 URL을 볼 수 있습니다.

此图片的alt属性为空;文件名为Advanced-Settings-1500x807.png

9.브라우저 전환

일부 웹 페이지는 컴퓨터와 휴대 전화에 다른 내용을 표시합니다. 일반적으로 소프트웨어는 컴퓨터 버전의 웹 페이지를 기본적으로 삭제합니다. 사용자가 모바일 버전의 웹 페이지를 스크랩하려면 브라우저 모드를 전환하여 스크랩할 수 있습니다.

브라우저 모드 전환에 대한 자세한 내용을 보려면 여기를 클릭하세요.

브라우저 모드 전환이란?

此图片的alt属性为空;文件名为Switch-Browser-1500x807.png

10.스크래핑 필드 설정

스마트 모드에서는 소프트웨어가 자동으로 감지한 페이지 내용이 디스플레이 창에 표시되며 사용자는 필요에 따라 필드를 설정할 수 있습니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

필드 설정 방법

此图片的alt属性为空;文件名为Set-the-scraping-field-1500x805.png

11.심층 스크래핑

상세 페이지의 데이터를 스크래핑해야 할 경우 “심층 스크래핑” 버튼을 클릭하거나 링크를 직접 클릭하여 상세 페이지로 이동할 수 있습니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

심층 스크래핑하는 법

此图片的alt属性为空;文件名为Scrape-In-1500x805.png

12.필터/스크래핑 범위 설정

此图片的alt属性为空;文件名为Set-the-filter-1500x809.png

13.태스크 설정

작업을 시작하기 전에 스케쥴러, IP 전환 & 딜레이, 자동 내보내기, 파일 다운로드, 스피드 엔진, 데이터 중복 제거 및 개발자 설정 등의 작업을 진행해야 합니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

스크래핑 태스크 설정 방법

此图片的alt属性为空;文件名为Run-settings-1500x812.png

14.작업 실행

작업을 시작하면 실행 중인 데이터 실행창으로 이동합니다. 사용자는 실행창에서 데이터가 스크래핑되는 과정을 볼 수 있습니다.

此图片的alt属性为空;文件名为Run-interface-1-1500x812.png

15.스크래핑 결과 보기 & 데이터 내보내기

작업이 완료되면 사용자는 스크래핑 결과를 보고 데이터를 내보낼 수 있습니다.

자세한 것은 아래 튜토리얼을 참조해 주세요.

스크래핑 결과를 내보내는 방법

php크롤러 동영상 대량 다운로드 파이썬 스크래핑 정기적으로 일치하는 이메일 주소 페이지의 키워드를 추출하기 파이썬 다운로드 파일 페이지를 word로 다운로드 파이썬 크롤러 URL 대량 생성 데이터를 자동으로 excel로 내보내기
关闭