다운로드 및 회원가입
무료$5무료 쿠폰
시작하기 주요기술

인공지능 웹 스크래핑 툴을 사용하여 Coupang에서 상품 데이터를 수집하는 방법 | 웹 스크래핑 툴 | ScrapeStorm

2023-05-19 11:24:33
1339 차

개요:이 글은 ScrapeStorm을 사용하여 Coupang에서 상품 데이터를 수집하는 방법을 소개합니다. ScrapeStorm무료 다운로드

오늘은 Coupang 의 과일 상품 페이지를 예로 들어 ScrapeStormhttps://kr.scrapestorm.com/) 이라는 인공지능을 기반으로 개발한 신세대 웹 스크래핑 툴을 사용하여 과일 상품명, 가격, 유통시간, 평가 등 정보와 상세페이지의 상품사진 등 데이터를 일괄적으로 수집하는 방법을 보여줍니다.

1.ScrapeStorm를 다운로드하기

먼저 ScrapeStorm 공식 홈페이지에 들어가서 ScrapeStorm을 컴퓨터에 다운로드하여 설치해야 합니다. 설치가 완료되면 작업을 시작할 수 있습니다.

2.태스크 만들기

ScrapeStorm을 열면 ‘순서도 모드’ ‘스마트 모드’ 가 있습니다. 우리는 ‘스마트 모드’‘스마트 모드’ 는 ScrapeStorm팀이 인공지능 기술을 기반으로 개발한 신세대 스크래핑 모드입니다. 이 모드는 사용방식이 매우 간단합니다. 추출하려는 URL만 입력하면 데이터를 수집할 수 있습니다.)를 선택하여 태스크을 만듭니다. ‘시작’ 버튼을 클릭합니다.

쿠팡의 과일 상품 페이지 URL(https://www.coupang.com/np/categories/194282)을 입력하여 새로운 태스크을 만듭니다.

3.태스크 설정하기

새로운 태스크 생성 후 ‘스마트 모드’ 는 웹 페이지의 페이지 데이터를자동으로 식별하고 필요에 따라 필드를 조정할 수 있습니다. 아래 사진은 소프트웨어가 자동으로 인식한 상태입니다.

필드 이름 수정이 필요한 경우에는 먼저 필드 이름 수정이 필요한 필드를 선택합니다. 다음 오른쪽 버튼을 클릭하고 ‘필드 이름 수정…’ 를 선택합니다.

팝업창에서 기존 이름을 원하는 이름으로 변경한 후 ‘OK’ 를 클릭하면 수정이 완료됩니다.

필드의 내용을 처리해야 하는 경우에는 ‘데이터 처리’ 를 클릭하여 필드를 처리할 수 있습니다.

이 태스크에서 우리는 필요 없는 텍스트를 제거하고 ‘추가’ 를 클릭하여 ‘교체’ 를 찾습니다.

교체할 텍스트를 텍스트 상자에 입력하여 교체합니다. 데이터 처리 전과 처리 후의 필드 내용을 텍스트 상자에서 볼 수 있으며 ‘OK’ 를 클릭하면 작업을 완료할 수 있습니다.

상세페이지 수집도 가능하며 ‘심층 스크래핑’ 을 클릭하여 상품 상세페이지 수집을 진행할 수 있습니다.

시스템은 웹 페이지의 페이지 데이터를 자동으로 식별하고 필요에 따라 필드를 생성합니다.

시스템이 원하는 정보를 자동으로 인식하지 못하는 경우에는 ‘필드 추가’ 를 클릭하여 수집할 정보 필드를 수동으로 선택할 수도 있습니다.

4.사진을 다운로드하기

필드 설정을 완료한 후 ‘스크래핑 시작’ 버튼을 클릭하면 구체적인 스크래핑 조건을 설정할 수 있습니다. 스케쥴러, IP전환 딜레이, 자동 추출, 파일 다운로드 등 다양한 기능 설정을 포함합니다. ScrapeStorm은 수집 과정에서 파일 다운로드를 지원합니다. 다운로드한 제품의 상세도를 예로 들어 사진을 다운로드하도록 선택할 수 있습니다.

여기에서 다운로드한 사진의 이름도 설정할 수 있습니다.여기에는 제목 필드의 텍스트로 설정합니다.

설정이 완료되면 ‘시작’ 버튼을 클릭하여스크래핑 태스크를 시작할 수 있습니다.

스크래핑 태스크가 실행되는 동안 실행 페이지에서 상세한 스크래핑 상활을 볼 수 있습니다.

아래 사진는 스크래핑 태스크가 실행되는 동안 다운로드한 상품 사진입니다.

5. 데이터 내보내기

모든 데이터가 수집되면 소프트웨어가 자동으로 힌트를 보내므로 ‘데이터 보기’거나 ‘내보기’ 도록 선택할 수 있습니다.

내보내기 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 Google Sheet가 포함되며 필요에 따라 적절한 데이터 내보내기 유형을 선택하시면 됩니다.

아래의 사진은 Excel로 내보낸 데이터 스크래핑 결과입니다.

위의 내용은 ScrapeStorm ‘스마트 모드’ 를 이용하여 쿠팡의 과일 상품 페이지 정보를 수집하는 과정입니다. 도움이 됐으면 좋겠네요~

면책 성명: 이 글은 우리 사용자에 의해 기여되었습니다. 침해가 발생한 경우 즉시 제거하도록 조언해 주세요.

페이지의 키워드를 추출하기 데이터를 자동으로 excel로 내보내기 정기적으로 일치하는 이메일 주소 파이썬 다운로드 파일 사진 대량 다운로드 파이썬 스크래핑 php크롤러 페이지를 word로 다운로드 파이썬 크롤러 URL 대량 생성
关闭