다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

【스마트 모드】【순서도 모드】API서비스 사용방법 | 웹 스크래핑 툴 | ScrapeStorm

2024-01-05 16:04:31
9079 차

개요:이 글에서는 API의 사용에 대해서 설명합니다. ScrapeStorm무료 다운로드

ScrapeStorm의 API서비스를 사용하여 HTTP 요청을 전송하여 스크래핑 태스크를 제어할 수 있습니다.

지원이 가능한 기능은 다음과 같습니다:

태스크 목록 가져오기, 태스크 시작, 태스크 중지, 태스크 상태 가져오기, 태스크 삭제 등.

이 기능은 아래와 같이 설정 센터에서 설정할 수 있습니다.

此图片的alt属性为空;文件名为api1-1500x812.png

此图片的alt属性为空;文件名为api2-1500x812.png

기본 모니터 포트는 80이며 설정에서 변경할 수 있습니다. API 서버는 ScrapeStorm이 실행되는 단말기의 모든 IP를 바인딩합니다.

예:

시스템의 IP가 10.0.0.1이고 포트가 80인 경우 RESTful API의 기본 URL은 http://10.0.0.1:80/

ScrapeStorm의 API는 다음과 같이 get 요청과 post 요청을 모두 지원합니다:

1. 태스크 목록 가져오기

경로:

GET /rest/v1/task/list

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Request list success",
    "list": [
        {
            "name": "test-task",
            "time_create": 1555911862,
            "task_id": 5090076,
            "type": "smart"       //smart or flowchart
        } 
    ]
}

2.태스크 상태 가져오기

경로:

GET /rest/v1/task/<task id>/status

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Request list success",
    "status": "SLEEPING",
    "status_change_time": "1644492503" // the timestamp when the task was last stopped or slept
}

3.태스크 삭제

경로:

GET /rest/v1/task/<task id>/delete

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Delete success"
}

4. 태스크 시작

경로:

GET /rest/v1/task/<task id>/start

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Start success"
}

5. 태스크 정지

경로:

GET /rest/v1/task/<task id>/stop

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Stop success"
}

6. 태스크 복사

경로:

GET /rest/v1/task/<task id>/copy

매개 변수:

매개 변수 매개 변수 설명
name 복사된 수집 태스크 이름, 기본 원본 파일 이름 + “-copy”, 선택할 수 있음
translate_chart 복제된 수집 태스크를 순서도 모드로 전환할지 여부, 기본 false, 선택할 수 있음

반환 예:

{
    "code": 0,
    "msg": "Copy success"
}

7. 데이터 비우기

경로:

GET /rest/v1/task/<task id>/data/clear

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Clear data success"
}
파이썬 크롤러 파이썬 다운로드 파일 사진 대량 다운로드 php크롤러 데이터를 자동으로 excel로 내보내기 파이썬 스크래핑 페이지의 키워드를 추출하기 페이지를 word로 다운로드 정기적으로 일치하는 이메일 주소 URL 대량 생성
关闭