다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

【스마트 모드】【순서도 모드】API서비스 사용방법 | 웹 스크래핑 툴 | ScrapeStorm

2024-01-05 16:04:31
9046 차

개요:이 글에서는 API의 사용에 대해서 설명합니다. ScrapeStorm무료 다운로드

ScrapeStorm의 API서비스를 사용하여 HTTP 요청을 전송하여 스크래핑 태스크를 제어할 수 있습니다.

지원이 가능한 기능은 다음과 같습니다:

태스크 목록 가져오기, 태스크 시작, 태스크 중지, 태스크 상태 가져오기, 태스크 삭제 등.

이 기능은 아래와 같이 설정 센터에서 설정할 수 있습니다.

此图片的alt属性为空;文件名为api1-1500x812.png

此图片的alt属性为空;文件名为api2-1500x812.png

기본 모니터 포트는 80이며 설정에서 변경할 수 있습니다. API 서버는 ScrapeStorm이 실행되는 단말기의 모든 IP를 바인딩합니다.

예:

시스템의 IP가 10.0.0.1이고 포트가 80인 경우 RESTful API의 기본 URL은 http://10.0.0.1:80/

ScrapeStorm의 API는 다음과 같이 get 요청과 post 요청을 모두 지원합니다:

1. 태스크 목록 가져오기

경로:

GET /rest/v1/task/list

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Request list success",
    "list": [
        {
            "name": "test-task",
            "time_create": 1555911862,
            "task_id": 5090076,
            "type": "smart"       //smart or flowchart
        } 
    ]
}

2.태스크 상태 가져오기

경로:

GET /rest/v1/task/<task id>/status

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Request list success",
    "status": "SLEEPING",
    "status_change_time": "1644492503" // the timestamp when the task was last stopped or slept
}

3.태스크 삭제

경로:

GET /rest/v1/task/<task id>/delete

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Delete success"
}

4. 태스크 시작

경로:

GET /rest/v1/task/<task id>/start

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Start success"
}

5. 태스크 정지

경로:

GET /rest/v1/task/<task id>/stop

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Stop success"
}

6. 태스크 복사

경로:

GET /rest/v1/task/<task id>/copy

매개 변수:

매개 변수 매개 변수 설명
name 복사된 수집 태스크 이름, 기본 원본 파일 이름 + “-copy”, 선택할 수 있음
translate_chart 복제된 수집 태스크를 순서도 모드로 전환할지 여부, 기본 false, 선택할 수 있음

반환 예:

{
    "code": 0,
    "msg": "Copy success"
}

7. 데이터 비우기

경로:

GET /rest/v1/task/<task id>/data/clear

매개 변수:

아니요

반환 예:

{
    "code": 0,
    "msg": "Clear data success"
}
동영상 대량 다운로드 페이지를 word로 다운로드 사진 대량 다운로드 페이지의 키워드를 추출하기 파이썬 스크래핑 파이썬 다운로드 파일 URL 대량 생성 정기적으로 일치하는 이메일 주소 데이터를 자동으로 excel로 내보내기 파이썬 크롤러
关闭