【스마트 모드】【순서도 모드】IP 전환 설정 | 웹 스크래핑 툴 | ScrapeStorm
개요：이 튜토리얼에서는 IP 전환 설정 방법에 대해 보여줍니다. ScrapeStorm무료 다운로드
웹 페이지 데이터를 스크래핑하는 과정에서 웹 사이트에 의해 IP가 차단될 수 있습니다. 이 때 “IP 전환”으로 IP를 전환하면 됩니다.
아래와 같이 설정:
ScrapeStorm 지원 가능한 IP 유형: Bright Data Zone과 사용자 지정 프록시
다음 튜토리얼을 참조하여 Bright Data Zone 을 설정하세요.
사용자 지정 프록시를 선택하면 “설정”를 클릭할 수 있습니다.
설정한 조건에 따라 IP가 자동으로 전환됩니다. 두 가지 전환 조건이 있습니다.
(1) 간격: 프록시는 1분, 3분, 5분 또는 10분마다 전환하도록 설정할 수 있습니다.
주의: 웹 페이지 조작 (웹 페이지 열기, 버튼 클릭 등)은 로딩 과정이 필요하기 때문에 시간이 되면 IP가 바로 전환되는 것은 아닙니다. 이전 페이지 작업 후 다음 작업 전에 웹 페이지를 로딩하고 내용을 표시해야 합니다. 설정된 시간 간격에 도달한 경우 프록시 IP를 전환할 수 없습니다. 이는 프록시 IP를 스위트하면 현재 페이지의 내용이 변경되므로 설정된 전환 시간이 경과했더라도 다음 페이지 작업까지 기다린 후 프록시 IP전환해야 합니다.
(2) 텍스트 발견: 전환 조건으로 텍스트를 입력할 수 있습니다.
아래 튜토리얼과 같이 전환 조건을 “이 이미지에 표시되는 문자를 입력”으로 설정할 시 해당 텍스트가 페이지에 나타나면 프록시가 전환됩니다.
텍스트 전환에 여러 조건이 있는 경우 ”||”를 사용하여 분할하세요. 예를 들어 A||B||C는 A, B, C가 나타날때 프록시 전환이 실행됩니다.
주의: 전환 조건을 이 옵션으로 설정할 경우 텍스트가 완전히 일치해야 IP가 전환됩니다. 텍스트가 변경되면 작동하지 않습니다. 때때로 페이지에 있는 안티 스파이더 힌트는 텍스트가 아니라 그림일 수 있습니다. 이 경우 이 옵션은 적절하지 않습니다.
두 가지 옵션 사이에는 장점과 단점이 없습니다. 웹 사이트의 특성에 맞게 디버그를 해야 더 높은 효과를 볼 수 있습니다.
일반적인 문제:
- 프록시 IP를 사용할 수 없는 이유는?
IP 전환은 고급 기능으로 professional 회원권 이상의 사용자만 사용할 수 있습니다.
- 구입한 프록시 IP를 언제까지 사용가능하나요?
사용자마다 설정 조건과 사용 속도가 다 다르기 때문에 설정 조건에 따라 결정됩니다.
- 프록시 IP를 월정액구독으로 구매 가능하나요?
현재는 불가능합니다.
- 프록시 IP는 현재 태스크 아니면 모든 태스크에 작동하나요?
각 작업은 독립적이며 현재 작업에 의해 설정된 프록시 IP는 현재 작업에서만 작동합니다.
- 프록시를 전환할 때 소프트웨어가 자동으로 인증코드를 감지하고 팝업창이 뜨나요?
IP 전환의 목적 중 하나는 캡차 인증을 필요로 하지 않는 것입니다.
스크래핑 중에 캡차가 표시되는 경우 전환 조건으로 캡차 페이지의 텍스트를 사용할 것이 좋습니다.
프록시 전환 후에 캡차가 다시 표시될 경우 소프트웨어는 캡차가 표시되지 않을 때까지 프록시를 자동으로 전환합니다.
따라서 처음 사용할 때 테스트 결과를 관찰하고 제때 피드백을 주는 것이 좋습니다.
캡차 페이지가 그림이고 사용할 수 있는 텍스트 조건이 없는 경우 전환 조건으로 시간을 사용해야 합니다.
2개의 프록시 전환 사이에 캡차가 표시되었을 경우 소프트웨어는 자동으로 작업을 일시 중지하고 팝업창이 뜹니다.
다음 전환 시간이 됐을 때 사용자가 조작하지 않은 경우 소프트웨어는 프록시를 전환하고 스크래핑 작업을 계속 수행합니다.