【스마트 모드】【순서도 모드】IP 전환 및 딜레이 | 웹 스크래핑 툴 | ScrapeStorm

프록시 열기, 자동 전환 및 수동 전환을 포함합니다. 이 기능은 웹 사이트 차단 문제를 방지하기 위해 사용됩니다.

태스크 메인창에서 “스크래핑 시작” 버튼을 클릭하여 실행창을 열고 “IP 전환 & 딜레이”를 클릭합니다.

 

1. 프록시열기

(1) IP 유형 Ⅱ Ⅲ Ⅳ Ⅴ

Ⅰ. Bright Data Zone

Bright Data Zone은 외부 프록시이므로 공식 웹사이트에서 ip를 구매해야 합니다.

Bright Data Zone 설정 방법

Ⅱ. 커스텀 IP

독자적인 IP가 필요할 경우 “설정”을 클릭해 필요에 따라 입력해 주세요. (주의: 커스텀 IP는 순서대로 전환됩니다)

(2) 다음조건이 만족될떄 IP 전환:

Ⅰ. 간격

시간에 따른 IP 전환. 예를 들어 전환 간격을 “간격: 3분”으로 설정하면 IP는 3분마다 전환되는 동시에 1개의 IP가 소비됩니다.

Ⅱ. 텍스트 발견

텍스트에 따라 전환. 예를 들어 전환 조건을 “텍스트 발견: 오류”로 입력하면 웹 페이지에 해당 텍스트가 나타날 시 IP가 한 번 전환되는 동시에 1개의 IP가 소비됩니다.

 

2. 자동전환

일반적인 스크래핑 태스크일 경우 디폴트 자동 설정에 따라 작업하세요.

 

3. 수동전환

특수 웹 페이지일 경우 자동 전환이 실패할 수 있습니다. 이때는 수동으로 설정 해야 합니다.

Ⅰ. 딜레이(초)

일부 웹 페이지는 로딩 시간이 길어 스크래핑에 영향을 미칠 수 있습니다. 딜레이를 설정하여 스크래핑을 효과적으로 향상시킬 수 있습니다. 시스템의 디폴트 딜레이은 1초이며 필요에 따라 변경할 수 있습니다.

Ⅱ. 스크랩 중에 캡차 감지

일반적으로 소프트웨어가 자동으로 캡차를 감지합니다.특별한 경우, 특정 텍스트를 만날 때 수동으로 캡차를 감지하도록 설정할 수 있습니다.

Ⅲ. 스크래핑 중 로그인 프롬프트 감지

데이터를 스크래핑하기 위해 로그인해야 하는 웹 사이트는 작업 중에 로그아웃되어 데이터를 스크래핑할 수 없게 되거나 일정량의 데이터를 스크래핑한 후 로그인을 요구하는 웹 사이트가 있습니다. 이 기능을 선택하면 로그아웃 되거나 또는 로그인이 필요할 때 로그인하라는 메시지가 나타납니다.

Ⅳ. 보이는 요소만 스크래핑

일부 웹사이트에서는 유효한 데이터와 유효하지 않은 데이터를 섞어서 제공합니다. 데이터를 스크래핑할 때, 많은 유효하지 않은 문자들이 나타나며 이러한 문자들은 보이지 않게 설정되어 있습니다. 이 경우, 이 설정을 선택하여 보이는 요소들만 스크래핑할 수 있습니다.

참고: 웹사이트에 유효하지 않은 문자를 숨기는 설정이 없는 경우, 이 옵션을 선택하면 데이터가 불완전하거나 스크래핑할 수 없을 수 있습니다.

Ⅴ. 페이지 정보를 하나씩 로딩

일부 웹 사이트는 특정 위치로 스크롤해야 내용이 나타납니다. 그럴 때 이 기능을 선택할 수 있습니다. 단, 스크래핑 속도에 영향을 줄 수 있습니다.

Ⅵ. 정기적으로 브라우저 전환

브라우저를 정기적으로 전환하면 일부 웹사이트의 차단 문제를 해결하고 차단 방지 효과를 얻을 수 있습니다.

브라우저 버전을 전환 간격을 설정할 수 있습니다. 선택할 시간 간격을 30초에서 10분으로 설정합니다. 소프트웨어는 간격에 따라 다양한 브라우저 버전을 자동으로 전환합니다.

Ⅶ. 정기적으로 쿠키 지우기

쿠키를 정기적으로 지우면 일부 웹 사이트의 차단 문제를 해결하고 차단 방지 효과를 얻을 수 있습니다.

쿠키를 지우는 간격을 설정할 수 있습니다. 선택할 시간 간격을 30초에서 10분으로 설정합니다. 소프트웨어는 간격에 따라 쿠키를 자동으로 지웁니다.