다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

【스마트 모드】【순서도 모드】IP 전환 및 딜레이 | 웹 스크래핑 툴 | ScrapeStorm

2024-01-05 14:28:08
4709 차

개요:이 튜토리얼에서는 IP 전환 및 딜레이 기능에 대해 소개합니다. ScrapeStorm무료 다운로드

프록시 열기, 자동 전환 및 수동 전환을 포함합니다. 이 기능은 웹 사이트 차단 문제를 방지하기 위해 사용됩니다.

태스크 메인창에서 “스크래핑 시작” 버튼을 클릭하여 실행창을 열고 “IP 전환 & 딜레이”를 클릭합니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay1-1500x812.png

 

1. 프록시열기

(1) IP 유형 Ⅱ Ⅲ Ⅳ Ⅴ

Ⅰ. Bright Data Zone

Bright Data Zone은 외부 프록시이므로 공식 웹사이트에서 ip를 구매해야 합니다.

Bright Data Zone 설정 방법

此图片的alt属性为空;文件名为ip-rotation2-1.png

Ⅱ. 커스텀 IP

독자적인 IP가 필요할 경우 “설정”을 클릭해 필요에 따라 입력해 주세요. (주의: 커스텀 IP는 순서대로 전환됩니다)

此图片的alt属性为空;文件名为ip-rotation3-1.png

此图片的alt属性为空;文件名为ip-rotation4-1.png

(2) 다음조건이 만족될떄 IP 전환:

Ⅰ. 간격

시간에 따른 IP 전환. 예를 들어 전환 간격을 “간격: 3분”으로 설정하면 IP는 3분마다 전환되는 동시에 1개의 IP가 소비됩니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay2.png

Ⅱ. 텍스트 발견

텍스트에 따라 전환. 예를 들어 전환 조건을 “텍스트 발견: 오류”로 입력하면 웹 페이지에 해당 텍스트가 나타날 시 IP가 한 번 전환되는 동시에 1개의 IP가 소비됩니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay3.png

 

2. 자동전환

일반적인 스크래핑 태스크일 경우 디폴트 자동 설정에 따라 작업하세요.

此图片的alt属性为空;文件名为IP-Rotation-Delay4.png

 

3. 수동전환

특수 웹 페이지일 경우 자동 전환이 실패할 수 있습니다. 이때는 수동으로 설정 해야 합니다.

Ⅰ. 딜레이(초)

일부 웹 페이지는 로딩 시간이 길어 스크래핑에 영향을 미칠 수 있습니다. 딜레이를 설정하여 스크래핑을 효과적으로 향상시킬 수 있습니다. 시스템의 디폴트 딜레이은 1초이며 필요에 따라 변경할 수 있습니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay5.png

Ⅱ. 스크랩 중에 캡차 감지

일반적으로 소프트웨어가 자동으로 캡차를 감지합니다.특별한 경우, 특정 텍스트를 만날 때 수동으로 캡차를 감지하도록 설정할 수 있습니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay6.png

Ⅲ. 스크래핑 중 로그인 프롬프트 감지

데이터를 스크래핑하기 위해 로그인해야 하는 웹 사이트는 작업 중에 로그아웃되어 데이터를 스크래핑할 수 없게 되거나 일정량의 데이터를 스크래핑한 후 로그인을 요구하는 웹 사이트가 있습니다. 이 기능을 선택하면 로그아웃 되거나 또는 로그인이 필요할 때 로그인하라는 메시지가 나타납니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay7.png

Ⅳ. 보이는 요소만 스크래핑

일부 웹사이트에서는 유효한 데이터와 유효하지 않은 데이터를 섞어서 제공합니다. 데이터를 스크래핑할 때, 많은 유효하지 않은 문자들이 나타나며 이러한 문자들은 보이지 않게 설정되어 있습니다. 이 경우, 이 설정을 선택하여 보이는 요소들만 스크래핑할 수 있습니다.

참고: 웹사이트에 유효하지 않은 문자를 숨기는 설정이 없는 경우, 이 옵션을 선택하면 데이터가 불완전하거나 스크래핑할 수 없을 수 있습니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay8.png

Ⅴ. 페이지 정보를 하나씩 로딩

일부 웹 사이트는 특정 위치로 스크롤해야 내용이 나타납니다. 그럴 때 이 기능을 선택할 수 있습니다. 단, 스크래핑 속도에 영향을 줄 수 있습니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay9.png

Ⅵ. 정기적으로 브라우저 전환

브라우저를 정기적으로 전환하면 일부 웹사이트의 차단 문제를 해결하고 차단 방지 효과를 얻을 수 있습니다.

브라우저 버전을 전환 간격을 설정할 수 있습니다. 선택할 시간 간격을 30초에서 10분으로 설정합니다. 소프트웨어는 간격에 따라 다양한 브라우저 버전을 자동으로 전환합니다.

此图片的alt属性为空;文件名为IP-Rotation-Delay10.png

Ⅶ. 정기적으로 쿠키 지우기

쿠키를 정기적으로 지우면 일부 웹 사이트의 차단 문제를 해결하고 차단 방지 효과를 얻을 수 있습니다.

쿠키를 지우는 간격을 설정할 수 있습니다. 선택할 시간 간격을 30초에서 10분으로 설정합니다. 소프트웨어는 간격에 따라 쿠키를 자동으로 지웁니다.

파이썬 크롤러 php크롤러 동영상 대량 다운로드 파이썬 스크래핑 데이터를 자동으로 excel로 내보내기 URL 대량 생성 페이지의 키워드를 추출하기 페이지를 word로 다운로드 정기적으로 일치하는 이메일 주소 파이썬 다운로드 파일
关闭