ScrapeStorm 사용법：한국일보 경제뉴스 무료 크롤링 튜토리얼 | 웹 스크래핑 툴 | ScrapeStorm

오늘 튜토리얼은 한국일보 경제뉴스 페이지의 정보를 크롤링하는 방법을 알려드리겠습니다. ScrapeStorm을 통해 제목, 링크, 게시 시간 등의 정보를 쉽게 크롤링할 수 있습니다. 그럼 어떻게 작동하는지 살펴보도록 하겠습니다.

1. 태스크 만들기

우선 우리는  스크래핑 태스크를 만들어야 합니다. ScrapeStorm의 스마트 모드는 URL만 입력하면 목록 데이터를 스마트하게 인식하여 원클릭으로 크롤링할 수 있습니다. 여기서 우리는 한국일보 경제뉴스 크롤링을 위해 스마트 모드를 선택합니다. 소프트웨어 홈페이지 상단에 있는 텍스트 상자에 한국일보 경제신문 인터넷 주소（https://www.hankookilbo.com/News/Economy）를 입력하고 ‘스마트 모드’ 버튼을 클릭하면 한 번의 클릭으로 스크래핑 태스크가 생성됩니다.

2. 태스크 설정하기

 태스크를 만든 후 소프트웨어는 현재 리스트 페이지의 데이터를 자동으로 식별하고 필요에 따라 필드를 조정할 수 있습니다.여기 인식완료된 페이지인데요,‘제목‘, ‘제목_링크‘ , ‘text‘ 등의 정보가 자동으로 인식되어 해당 필드가 생성되었음을 알 수 있습니다.

소프트웨어를 사용할 때 페이지 넘기 버튼 인식에 실패할 수 있으며, 이때 상황에 따라 수동으로 페이지 넘기 버튼을 선택할 수 있습니다.

여기서 만약 우리가 더 많은 관련 정보를 스크래핑해야 한다면,  ‘심층 스크래핑‘ 버튼을 클릭하면 기본적으로 링크 필드의 첫 번째 링크를 클릭한 다음 해당 웹 페이지를 엽니다.

여기 소프트웨어는 이미 페이지에 있는 ‘동영상 링크‘, ‘상세 제목‘ , ‘날짜 시간‘ 등의 데이터를 자동으로 인식했습니다. 스크래핑의 필요에 따라 수동으로 필드를 추가할 수도 있습니다. ‘필드 추가‘ 버튼을 클릭하여 뉴스 본문의 내용을 선택하면 해당 필드를 생성할 수 있습니다.

3. 태스크 시작하기

필드 설정을 완료한 후 ‘ 스크래핑 시작 ‘ 버튼을 클릭하면 구체적인 스크래핑 조건을 설정할 수 있습니다.스케쥴러, IP전환 딜레이, 자동 추출, 파일 다운로드 등 다양한 기능 설정을 포함합니다.설정이 완료되면 ‘시작‘ 버튼을 클릭하여스크래핑 태스크를 시작할 수 있습니다. 

스크래핑 태스크를 실행하는 동안 ‘데이터‘ 를 클릭하면 실시간으로 수집된 데이터를 볼 수 있습니다.

4. 데이터 내보내기

스크래핑 태스크가 완료되면 소프트웨어는 자동으로 수집 작업이 완료되었음을 표시하고 ‘데이터 보기‘ 또는  ‘보내기‘ 를 선택할 수 있습니다.

내보내기 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 Google Sheet가 포함되며 필요에 따라 적절한 데이터 내보내기 유형을 선택하시면 됩니다.

아래의 사진은 Excel로 내보낸 데이터 스크래핑 결과입니다.

ScrapeStorm을 사용하여 한국일보의 경제 뉴스를 데이터 크롤링하는 방법입니다. 코드를 작성하는 데 많은 시간을 할애할 필요가 없으며 스마트 모드를 사용하면 웹 사이트 정보의 원클릭 크롤링을 완료할 수 있습니다.시간과 노력이 절약되니, 이 튜토리얼이 여러분에게 도움이 되기를 바랍니다.