【데이터 배포】PostgreSQL로 데이터를 내보내는 방법 | 웹 스크래핑 툴 | ScrapeStorm

ScrapeStorm은 다양한 내보내기 방법을 제공합니다. 스크랩된 데이터를 PostgreSQL에 게시해야 하는 경우 다음과 같이 내보낼 수 있습니다.

1단계:

데이터를 스크랩한 후 내보내기 인터페이스에서 PostgreSQL 옵션을 선택합니다.

2단계:

새 구성을 만들거나 이전에 구성된 데이터베이스를 사용하려면 데이터베이스를 선택하세요.

새 구성을 작성할 때 먼저 데이터베이스 유형을 선택한 후 호스트, 포트, 로그인 이름 및 비밀번호를 입력합니다.

입력이 잘못되면 오류가 나타납니다. 이때 호스트, 포트, 로그인 이름 및 비밀번호가 올바르게 입력되었는지 확인합니다.

입력이 정확하면 DB 이름이 바로 나타날 것입니다. DB 이름을 선택한 후 DB 테이블이 나타날 것입니다.

그런 다음 사용자는 DB 문자를 선택할 수 있습니다. utf8과 gbk의 두 가지 선택이 있습니다.

3단계:

모든 설정이 완료되면 “다음”버튼을 클릭하여 필드 매핑을 설정할 수 있습니다.

ⅰ.데이터베이스에 업로드되는 단일 데이터의 크기가 과도하면 업로드 프로세스가 실패할 수 있습니다. 이러한 상황을 방지하기 위해, 데이터베이스 버퍼의 크기 및 연결 유지 시간과 같은 매개변수의 조정이 필요합니다.

ⅱ.데이터가 효과적으로 저장되기 위해서는, 데이터베이스 필드 유형이 해당 필드에 할당된 데이터의 저장을 지원하는지 여부를 검증해야 합니다.(필드 유형 기본값은 “텍스트”입니다.)

ⅲ.데이터베이스 내의 타겟 필드는 유일성을 가져야 하며, 중복된 구성을 가진 필드는 데이터 저장을 정상적으로 수행할 수 없습니다.

4단계:

필드 매핑 설정이 완료되면 내보내기 설정을 하도록 “다음”버튼을 클릭합니다.

내보내기 화면에서는 수동 내보내기와 자동 내보내기 두 가지 방법을 선택할 수 있습니다.

수동 내보내기를 선택할 경우, 모든 데이터를 내보내거나, 선택된 데이터만 내보내는 것이 가능하며, 특정 범위의 데이터를 선택하여 내보낼 수도 있습니다.

자동 내보내기를 사용하는 경우 소프트웨어는 실시간으로 스크랩된 새 데이터를 포함하여 모든 데이터를 내보내기 위한 별도의 내보내기 작업을 시작합니다.

참고: 자동 내보내기는 Premium 회원권 이상의 사용자만 사용할 수 있습니다. 스케줄러 기능과 결합하면 사용자 시간을 크게 절약하고 효율성을 향상시킬 수 있습니다.

5단계:

내보내기 형식을 선택했으면 “내보내기”버튼을 클릭하여 데이터를 내보냅니다.

내보내기가 정상적으로 진행됐다면 내보낸 항목 수에 대한 실행 로그가 나타납니다.

데이터 내보내기가 비정상적으로 수행된 경우, 실행 로그에서 내보내기 실패 메시지가 표시됩니다 아래와 같은 메시지가 나타나면, 필드 설정이 올바르게 되었는지 또는 내보내기 방법 설정이 정확한지 확인해보시기 바랍니다.

내보내기가 성공하면 사용자의 필요에 따라 표시할지 표시하지 않을지를 선택할 수 있는 창이 나타납니다.

이전에 정상적인 내보내기가 가능했다면, 데이터는 정상적으로 마킹될 수 있으며, 관련 마커의 수가 표시됩니다.

이전의 내보내기가 실패했다면, 이번에는 데이터가 정상적으로 마크되지 않으며, 마커의 수는 0으로 표시됩니다.

6단계:

데이터베이스로 내보내기의 결과는 다음과 같습니다.