MBC 뉴스 보도 중 인공지능에 관한 기사를 수집하는 방법은? | 웹 스크래핑 툴 | ScrapeStorm

정보화 시대에 들어서며 정확하고 시의적인 뉴스 정보를 얻는 것이 더욱 중요해졌습니다. 연구원, 시장 분석가 또는 일반 뉴스 애호가들에게 효율적으로 관련 정보를 선별하고 수집하는 방법이 필요합니다. 오늘은 프로그래밍 없이 Scrapestorm을 사용해서 MBC 뉴스를 효과적이고 빠르게 수집하는 방법을 소개해 드리겠습니다.

MBC 뉴스 소개:

MBC 뉴스는 광범위한 보도 범위와 심층 보도로 유명합니다. 국내 뉴스뿐만 아니라 국제 이슈, 경제, 문화 등 다양한 분야를 다룹니다. MBC 뉴스는 전문가에게 심도 있는 분석을, 대중에게는 시의적인 뉴스를 제공하는 풍부하고 다양한 콘텐츠를 보유하고 있습니다.

Scrapestorm 소개:

ScrapeStorm은 AI 기반의 강력한 자동 웹 페이지 데이터 수집 소프트웨어입니다. 이 소프트웨어는 웹 페이지에서 중요한 정보를 지능적으로 식별하고 추출할 수 있어, 프로그래밍 경험이 없는 사용자도 쉽게 데이터 수집 작업을 수행할 수 있습니다.

자세한 단계:

1. 소프트웨어 다운로드

우선 ScrapeStorm 공식 웹사이트에서 소프트웨어를 다운로드하고 설치하세요. (운영 체제에 맞게 자동 다운로드됩니다.)

링크: https://kr.scrapestorm.com/

​

2. 새 태스크 생성

소프트웨어를 열고, 메인 페이지의 입력창에 MBC 뉴스에서 인공지능 검색 결과 URL을 입력한 후, 오른쪽의 “스마트 모드” 를 클릭하세요.

수집할 링크: https://imnews.imbc.com/more/search/?mainSearch=%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5#page=0

열린 페이지는 다음과 같습니다:

TIP: ScrapeStorm 스마트 모드를 사용할 때, 단일 페이지, 목록, 목록+상세 페이지 등 다양한 유형의 웹 페이지에 적용됩니다. 여러 개의 URL을 일괄 수집할 때는 같은 유형의 웹 페이지를 함께 수집하는 것이 좋습니다. 다른 유형의 웹 페이지의 경우, 별도의 수집 작업을 생성하는 것이 좋습니다.

3. 필드 수정:

웹 페이지를 연 후에, 소프트웨어 하단에서 이미 자동으로 인식된 데이터 필드를 볼 수 있습니다.

마우스 오른쪽 버튼으로 필드를 클릭하면 필드 이름 변경, 데이터 처리, 필드 삭제 등의 작업을 할 수 있습니다. 개인의 필요에 맞게 필드를 수정하세요.

수정 후 필드는 다음과 같습니다:

이제 각 뉴스의 상세 기사 내용을 수집할 필요가 있으므로, 오른쪽의 “심층 스크래핑” 을 클릭하여 상세 페이지로 들어갑니다.

상세 페이지에서도 마찬가지로 필드 수정, 필드 추가, 수집 범위 설정 등의 작업을 할 수 있습니다.

설정한 필드는 다음과 같습니다:

4. 스크래핑 작업 시작

오른쪽 하단의“스크래핑 시작”을 클릭합니다.

여기선 다양한 수집 작업을 설정할 수 있습니다, 예를 들어 스케줄러, IP 변경, 자동 내보내기, 파일 다운로드 등이 있습니다. 설정을 마친 후 “시작”을 클릭하면 스크래핑 작업이 시작됩니다.

이렇게 실시간으로 수집되는 데이터를 볼 수 있습니다.

5. 수집 결과 내보내기

모든 데이터 수집이 완료되면, 소프트웨어가 자동으로 알림을 띄우며 “내보내기”와 “나중에 내보내기” 중 선택할 수 있습니다. 저는 “내보내기”를 선택했습니다.

이번 글에서는 데이터를 CSV 파일로 내보냈습니다.

TIP: ScrapeStorm은 Excel, CSV, TXT, HTML, 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, GoogleSheet 등 다양한 파일 형식을 지원합니다.

​

내보낸 결과의 이미지는 다음과 같습니다:

오늘은 Scrapestorm을 사용하여 MBC 뉴스 기사를 수집하는 구체적인 방법을 알아보았습니다. 이 빠르게 변화하는 세상에서 올바른 소프트웨어를 마스터하는 것은 원하는 지식을 얻는 데 있어 큰 이점을 제공합니다. 오늘의 내용이 데이터 분석가, 시장 조사원, 또는 단지 뉴스에 관심이 많은 독자 등, MBC 뉴스에 관심이 있는 분들에게 도움이 되었기를 바랍니다.

이 글에서 보여준 스크래핑 작업은 댓글에 올려두었으며,필요하시면 직접 연락주셔도 됩니다.

오늘의 내용은 여기까지입니다. 스크래핑에 대해 궁금한 점이 있거나 더 많은 정보가 필요하다면 언제든지 댓글로 남겨주세요.

다음 시간에는 더 풍부한 정보를 가지고 찾아오겠습니다. 구독, 좋아요, 댓글 부탁드립니다. 다음에 또 만나요!