【스마트 모드】【순서도 모드】파일 다운로드 방법 | 웹 스크래핑 툴 | ScrapeStorm

1.파일 다운로드 기능 소개

ScrapeStorm은 데이터를 스크래핑하는 동안 웹 페이지 파일 다운로드가 가능합니다. 지원되는 파일 형식에는 이미지, 오디오, 비디오, 파일 및 기타 파일이 포함됩니다.이 기능은 다음과 같이 시작 설정에서 설정할 수 있습니다.

여기서의 설정은, 파일 다운로드 기능을 활성화하기 위한 것입니다. 모든 파일을 다운로드하려면 스크래핑 필드에 해당하는 다운로드 링크 또는 다운로드 버튼을 설정해야 합니다.

파일을 다운로드할 때 소프트웨어에서 파일 다운로드 경로를 수정할 수 있습니다. 아래 절차에 따라 파일을 설정할 수 있습니다.

파일을 다운로드할 때 소프트웨어에서 특정 필드에 따라 파일을 저장할 수 있습니다. 규칙에는 다음 그림과 같이 파일 유형, 날짜, 태스크 이름 또는 필드 값에 따라 폴더 이름을 지정합니다.

파일을 다운로드할 때 소프트웨어에서 특정 규칙에 따라 다운로드한 파일의 이름을 변경할 수 있습니다. 원래 파일 이름, 파일 md5, 태스크 이름_인덱스, 날짜_인덱스, 인덱스, 사용자 지정, 필드 값에 따라 파일 이름을 지정합니다. 

사용자 정의 선택 시 여러 규칙을 조합하여 필요한 규칙을 설정할 수 있습니다.

같은 이름의 파일이 발견되면 다음 세 가지 방법 중 하나를 선택할 수 있습니다.

 

2.파일 다운로드 설정 방법

파일 다운로드는 다운로드 링크를 직접 클릭하는 것, 다운로드 버튼을 클릭하여 다운로드하는 것, 데이터를 처리하여 다운로드 링크를 생성하는 것 등 세 가지 유형으로 나눌 수 있습니다.

유형 1: 다운로드 링크를 클릭하여 다운로드

1. 이미지

지원되는 이미지 유형에는 jpg, png, gif, jpeg, bmp, eps, psd 및 기타 메인스트림 이미지 형식이 있습니다. 이미지를 다운로드해야 할 경우 아래 그림과 같이 이미지 옵션을 선택하세요.

이미지 다운로드 튜토리얼:

[스마트 모드] 이미지 다운로드 방법

[순서도 모드] 이미지 다운로드 방법

P.S. 이미지 다운로드하는 데 있어 스마트 모드와 순서도 모드 사이에는 본질적인 차이가 없습니다. 인터페이스가 달라서 2개 기능을 따로 설명하는것 뿐입니다.

 

2. 오디오

지원되는 오디오 형식에는 mp3, amr, wav, m4a 및 기타 메인스트림 오디오 형식이 있습니다. 오디오를 다운로드해야 할 경우 아래 그림과 같이 오디오 옵션을 선택하세요.

클릭하여 오디오 다운로드 링크를 생성할 수 있는 경우 다음 절차를 따르세요.

Step 1: 필드를 추가하고 오디오 다운로드 링크를 클릭합니다.

Step 2: 오른쪽 버튼을 클릭하여 필드를 설정하고 추출 유형을 “이미지/비디오/오디오 URL”로 설정합니다.

위의 방법으로 해결할 수 없는 경우는, 다음의 순서에 따라 주세요.

Step 1: 필드를 추가하고 오른쪽을 클릭하여 [Xpath 편집]을 누릅니다. 그리고 수동으로 Xpath를 편집하여 오디오 다운로드 링크를 선택합니다.

Step 2: 오른쪽 버튼을 클릭하여 필드를 설정하고 추출 유형을 “이미지/비디오/오디오 URL”로 설정합니다.

 

3. 비디오

지원되는 비디오 형식에는 mp4, avi, mov, 3gp, flv 및 기타 메인스트림 비디오 형식이 있습니다. 비디오를 다운로드 할 필요가 있는 경우 아래의 방법과 같이 비디오 옵션을 체크해 주세요.

Step 1: 필드를 추가하고 비디오 다운로드 링크를 클릭합니다.

Step 2: 오른쪽 버튼을 클릭하여 필드를 설정하고 추출 유형을 “이미지/비디오/오디오 URL”로 설정합니다.

위의 방법으로 해결할 수 없는 경우 다음의 순서에 따라 주세요.

Step 1: 필드를 추가하고 오른쪽을 클릭하여 [Xpath 편집]을 누릅니다. 그리고 수동으로 Xpath를 편집하여 비비디오 다운로드 링크를 선택합니다.

Step 2: 오른쪽 버튼을 클릭하여 필드를 설정하고 추출 유형을 “이미지/비디오/오디오 URL”로 설정합니다.

 

4.파일

지원되는 파일 유형에는 doc(x), ppt(x), xls(x), pdf, snb, txt 및 기타 주요 유형이 있습니다. 파일을 다운로드해야 할 경우 아래 방법과 같이 파일 옵션을 선택하세요.

 

5. 기타 파일

지원되는 기타 파일 형식에는 apk, exe, rar, zip, gzip, dmg, torrent, epub 및 기타 주요 파일 형식이 있습니다. 이러한 파일을 다운로드할 필요가 있는 경우 기타 파일 옵션을 선택해 주세요. (아래 그림 참고)

 

유형 2: 다운로드 버튼

두 번째 유형의 경우 모든 파일 형식이 동일한 방식으로 설정됩니다. 구체적인 순서는 다음과 같습니다.

순서 1: 필드를 추가하고 다운로드 버튼을 클릭합니다.

순서 2: 필드를 오른쪽 클릭하여 추출 유형을 “다운로드 버튼”으로 설정합니다.

다운로드 파일의 설정 섹션에서 해당 파일 옵션을 선택합니다. 구체적인 방법은 위의 첫 번째 유형의 다운로드 설정을 참고하세요.

 

유형 3: 데이터 처리창을 통해 다운로드 링크를 생성

세 번째 유형의 경우 다운로드 링크의 데이터를 처리한 후 데이터 처리 과정을 하나 더 추가해야 합니다.