AI도구를 활용한 매일신문를 스크랩하는 방법 | 웹 스크래핑 툴 | ScrapeStorm

우리가 일상적으로 공부하는 과정에서 많은 양의 뉴스 정보를 수집하여 분석해야 하는 상황에 종종 직면하게 됩니다. 그렇다면 어떻게 많은 시간을 들이지 않고 뉴스 채취를 마칠 수 있을까요? 우리는 웹 페이지 정보 수집 도구를 통해 당신이 이 시간이 많이 걸리는 작업을 완성하는 것을 도울 수 있습니다. 여기에서는 ScrapeStorm（https://kr.scrapestorm.com/）이라는 인공지능을 기반으로 개발한 신세대 웹 스크래핑 툴를 사용하여 매일신문（https://news.imaeil.com/） 사이트를 예로 들어 뉴스 정보를 빠르게 수집할 수 있도록 AI를 활용하는 방법을 알려드립니다.

​1.ScrapeStorm를 다운로드하여 설치하기

먼저 ScrapeStorm 공식 홈페이지에 들어가서 ScrapeStorm을 컴퓨터에 다운로드하여 설치해야 합니다. 설치가 완료되면 작업을 시작할 수 있습니다.

2.스크래핑 태스크 만들기

소프트웨어를 연 후, 우리는 ＇스마트 모드＇ (ScrapeStorm팀이 인공지능 기술을 기반으로 개발한 신세대 스크래핑 모드입니다.) 를 선택하여 뉴스 정보를 수집할 수 있습니다. ＇시작＇버튼 를 클릭한 후 매일신문에 수집해야 할 기사 유형의 페이지 링크를 입력하면 됩니다. 매일신문에 있는 사회신문을 예로 들어 새로운 태스크을 만듭니다.

3.스크래핑 태스크 설정하기

새로운 태스크 생성 후 ＇스마트 모드＇는 웹 페이지의 페이지 데이터를자동으로 식별하고 필요에 따라 필드를 조정할 수 있습니다. 아래 사진은 소프트웨어가 자동으로 인식한 상태입니다.

필드 이름 수정이 필요한 경우에는 먼저 필드 이름 수정이 필요한 필드를 선택합니다. 다음 오른쪽 버튼을 클릭하고 ＇필드 이름 수정…＇를 선택합니다. 팝업창에서 기존 이름을 원하시는 이름으로 변경해주시면 됩니다.

4.스크래핑 태스크 시작하기

필드 설정에 문제가 없으면 ＇스크래핑 시작＇ 버튼을 클릭하면 구체적인 스크래핑 조건을 설정할 수 있습니다. 스케쥴러, IP전환 딜레이, 자동 추출, 파일 다운로드 등 다양한 기능 설정을 포함합니다. 설정이 완료되면 ＇시작 ＇버튼을 클릭하여 수집 작업을 시작할 수 있습니다.

스크래핑 태스크가 실행되는 동안 실행 페이지에서 상세한 스크래핑 상활을 볼 수 있습니다.

5.스크래핑 데이터 내보내기

모든 데이터가 수집되면 소프트웨어가 자동으로 힌트를 보내므로 데이터를 바로 내보내거나 나중에 내보내도록 선택할 수 있습니다. 내보내기 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 Google Sheet가 포함되며 필요에 따라 적절한 데이터 내보내기 유형을 선택하시면 됩니다.

아래의 사진은 Excel로 내보낸 데이터 스크래핑 결과입니다.

이상은 ScrapeStorm에 있는 ＇스마트 모드＇ 를 활용하여 뉴스 정보를 빠르게 수집하는 방법인데, 수동으로 정보를 수집하는 것보다 훨씬 편리하지 않을까요? 빨리 소프트웨어를 다운로드하여 실천해 보세요.