다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

【스마트 모드】기본 절차 | 웹 스크래핑 툴 | ScrapeStorm

2024-01-05 18:27:19
12438 차

개요:이 튜토리얼은 스마트 모드의 기본 작동 절차를 보여 줍니다. ScrapeStorm무료 다운로드

1.올바른 URL을 입력합니다.

ScrapeStorm은 하나 및 여러개 URL 스크래핑을 지원하며 수동 입력, 파일 가져오기 및 URL 생성기 사용이 가능합니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

스마트 모드 새 태스크 만드는 방법

此图片的alt属性为空;文件名为create-task.gif

2.페이지 유형 및 페이지 넘김 버튼 설정

추출할 URL을 선택한 후 페이지 유형을 설정합니다.

페이지 유형은 상세 페이지, 목록형 페이지 이렇게 2가지 카테고리로 나눌 수 있으며, 스마트 모드는 상세 페이지, 목록형 페이지, 상세 페이지+목록형 페이지의 내용을 추출하는데 적합합니다.

페이지 타입이 결정되면, 페이징을 설정할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

상세 페이지 스크래핑하는 방법

목록형 페이지 스크래핑하는 방법

목록형 페이지+상세 페이지 스크래핑하는 방법

此图片的alt属性为空;文件名为page-1500x805.png

3.로그인

로그인이 필요한 웹 페이지가 있으면 이 버튼을 클릭하여 로그인 기능을 사용할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

보기 위해 로그인해야 하는 웹 페이지를 스크랩하는 방법

此图片的alt属性为空;文件名为pre-login-1500x812.png

4.태스크 사전 실행

스크를 편집하는 과정에서 클릭 작업을 수행해야 하는 경우 태스크 사전 실행 기능을 사용할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

태스크 사전 실행 설정하는 방법

此图片的alt属性为空;文件名为Pre-executed-operation-1500x804.png

5.캡차 해결

작업 편집 중 캡차 인증이 필요하면 이 버튼을 클릭하여 캡차를 해결할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

Captcha 해결 방법

此图片的alt属性为空;文件名为Solve-Captcha-1500x805.png

6.프록시 열기

홈페이지에서 캡차나 기타 방어 기능을 만났을 때, 캡차 해결 기능과 함께 프록시 열기 기능을 사용할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

프록시를 전환하는 방법

此图片的alt属性为空;文件名为proxy-1500x809.png

7.웹 보안 옵션

웹 페이지에 문제가 발생한 경우 이 기능을 사용해 볼 수 있지만, 이 옵션을 활성화하면 페이지의 일부 내용이 스크랩되지 않을 수 있으니 유의하십시오. (예: iframe 내의 내용)

此图片的alt属性为空;文件名为Web-Security-Option-1500x809.png

8.고급 설정

고급 설정에서 pushState 및 차단된 URL을 볼 수 있습니다.

此图片的alt属性为空;文件名为Advanced-Settings-1500x807.png

9.브라우저 전환

일부 웹 페이지는 컴퓨터와 모바일 기기에서 다른 콘텐츠를 표시합니다. 소프트웨어는 기본적으로 컴퓨터 버전의 웹 페이지를 스크랩합니다. 사용자가 모바일 버전의 웹 페이지를 스크랩하려면 브라우저 모드를 전환하여 스크랩할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

브라우저 모드 전환이란?

此图片的alt属性为空;文件名为Switch-Browser-1500x807.png

10.스크래핑 필드 설정

스마트 모드에서는 소프트웨어가 자동으로 감지한 페이지 내용이 디스플레이 창에 표시되며 사용자는 필요에 따라 필드를 설정할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

필드 설정 방법

此图片的alt属性为空;文件名为Set-the-scraping-field-1500x805.png

11.심층 스크래핑

상세 페이지의 데이터를 스크래핑해야 할 경우 “심층 스크래핑”버튼을 클릭하거나 링크를 직접 클릭하여 상세 페이지로 이동할 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

심층 스크래핑하는 법

此图片的alt属性为空;文件名为Scrape-In-1500x805.png

12.필터/스크래핑 범위 설정

此图片的alt属性为空;文件名为Set-the-filter-1500x809.png

13.태스크 설정

스크래핑 작업을 시작하기 전에 설정을 해야 합니다. 이 설정에는 스케줄러, IP 전환 & 딜레이, 자동 내보내기, 파일 다운로드, 스피드 엔진, 데이터 중복 제거 및 개발자 설정이 포함됩니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

스크래핑 태스크 설정 방법

此图片的alt属性为空;文件名为Run-settings-1500x812.png

14.작업 실행

작업을 시작하면 실행 중인 데이터 실행창으로 이동합니다. 사용자는 실행창에서 데이터가 스크래핑되는 과정을 볼 수 있습니다.

此图片的alt属性为空;文件名为Run-interface-1-1500x812.png

15.스크래핑 결과 보기 & 데이터 내보내기

작업이 완료되면 사용자는 스크래핑 결과를 보고 데이터를 내보낼 수 있습니다.

자세한 내용은 아래의 튜토리얼을 참고해주세요:

스크래핑 결과를 내보내는 방법

URL 대량 생성 페이지를 word로 다운로드 파이썬 다운로드 파일 정기적으로 일치하는 이메일 주소 php크롤러 동영상 대량 다운로드 페이지의 키워드를 추출하기 파이썬 스크래핑 데이터를 자동으로 excel로 내보내기 파이썬 크롤러
关闭