ScrapeStorm으로 연합뉴스 기사를 쉽게 스크랩하는 방법은? | 웹 스크래핑 툴 | ScrapeStorm

오늘은 지난 시간에 이야기했던 웹 스크랩 사용법에 대해 알아보겠습니다.이번글에 사용된 웹 스크랩는 ScrapeStorm이며 ScrapeStorm을 사용해서 연합뉴스의 최신뉴스를 스크랩하는 방법을 함께 살펴보겠습니다. 이번 콘텐츠는 ScrapeStorm의 스마트 모드를 사용해서 연합뉴스의 최신뉴스를 스크랩하며 전체과정은 5단계로 이루어지며 기본적인 절차를 자세히 알아보도록 하겠습니다.

1. 소프트웨어 다운로드

먼저 ScrapeStorm 홈페이지에서 소프트웨어를 다운로드합니다.( 운영시스템에 따라 자동 다운로드 )

2. 태스크 만들기

ScrapeStorm 소프트웨어를 열면 홈 페이지에 순서도 모드와 스마트 모드 옵션이있습니다.ScrapeStorm의 스마트 모드는 웹 주소를 입력하기만 하면 자동으로 내용을 인식해서 웹 스크랩 규칙을 구성하지 않고도 데이터 수집을 완료하고 원터치 스크랩을 실현할 수 있습니다.

홈페이지 상단의 입력란에 연합뉴스 최신기사의 인터넷주소를 입력하고 “스마트 모드” 버튼을 클릭하여 새 태스크를 만듭니다.

주의: 스마트 모드는 주로 단일 페이지 유형이나 목록 유형 웹 페이지 및 목록 + 세부 정보 페이지 유형의 웹 페이지를 대상으로 하며 여러 웹 주소를 대량으로 스크랩할 때는 동일한 유형의 웹 페이지만 입력하는 것이 좋습니다. 예를 들어 전부 목록 유형 또는 전부 세부 정보 페이지 유형입니다.서로 다른 유형의 웹 페이지는 스크랩하려면 새로운 태스크를 생성할 것을 권장합니다.

3.필드 설정

웹 페이지가 열리면 소프트웨어 아래에 자동으로 인식된 데이터가 표시되는 것을 볼 수 있습니다.

필드명을 마우스 우클릭하여 필드명을 수정하거나 데이커를 설정하거나 필드를 삭제할 수 있습니다.

사이트에 페이지넘기기버튼이 여러 개 있을 경우 페이지넘기기버튼 인식 오류가 발생할 수 있으므로 상황에 따라 수동으로 페이지넘기기버튼을 선택해야합니다.

기사 본문 내용이 필요한 경우 소프트웨어 오른쪽에 있는 “심층 스크래핑”버튼을 클릭합니다.

“심층 스크래핑”버튼을 클릭하면 자동으로 상세 페이지로 들어가고 소프트웨어는 자동으로 웹 페이지를 인식해 해당 필드를 자동으로 생성합니다. 필드를 수정할 수 있으며 수집해야 하는 필드를 수동으로 추가할 수 있습니다.

4.스크래핑 시작

필드 설정을 완료한 후 “스크래핑 시작”버튼을 클릭하여 스케줄러, 자동 추출, 파일 다운로드 및 기타 기능 설정을 포함한 특정 스크래핑 조건을 설정할 수 있습니다.설정이 완료되면 “시작”버튼을 클릭해서 스크래핑작업을 시작할 수 있습니다.

스크래핑 작업을 하는 동안 스크랩된 데이터는 실시간으로 볼 수 있습니다.

5.스크랩 결과 내보내기

모든 데이터가 스크랩되면 소프트웨어는 자동으로 “내보내기” 또는 “나중에 내보내기”를 선택할 수 있는 창이 뜹니다.

내보내기 파일 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB 및 GoogleSheet가 포함되있으며 파일 유형을 선택한 후 “내보내기”를 클릭합니다.

아래의 사진은 내보내기한 데이터입니다.

오늘 이렇게 ScrapeStorm를 사용해서 연합뉴스의 최신뉴스에 대한 데이터를 받아봤는데요. ScrapeStorm는 조작방식이 워낙 간단하고 저처럼 관련 지식이 거의 없는 초보자분들도 편리하게 사용할 수 있습니다.여러분들도 한번 사용해보세요. 오늘은 여기까지, 다음에도 알찬 정보 가지고 돌아오겠습니다. 많은 구독과 댓글 부탁드립니다.다음글에서 만나요~