인공지능 웹 스크래핑 툴을 사용하여 Coupang에서 상품 데이터를 수집하는 방법 | 웹 스크래핑 툴 | ScrapeStorm

오늘은 Coupang 의 과일 상품 페이지를 예로 들어 ScrapeStorm（https://kr.scrapestorm.com/） 이라는 인공지능을 기반으로 개발한 신세대 웹 스크래핑 툴을 사용하여 과일 상품명, 가격, 유통시간, 평가 등 정보와 상세페이지의 상품사진 등 데이터를 일괄적으로 수집하는 방법을 보여줍니다.

1.ScrapeStorm를 다운로드하기

먼저 ScrapeStorm 공식 홈페이지에 들어가서 ScrapeStorm을 컴퓨터에 다운로드하여 설치해야 합니다. 설치가 완료되면 작업을 시작할 수 있습니다.

2.태스크 만들기

ScrapeStorm을 열면 ‘순서도 모드’ 와 ‘스마트 모드’ 가 있습니다. 우리는 ‘스마트 모드’ （‘스마트 모드’ 는 ScrapeStorm팀이 인공지능 기술을 기반으로 개발한 신세대 스크래핑 모드입니다. 이 모드는 사용방식이 매우 간단합니다. 추출하려는 URL만 입력하면 데이터를 수집할 수 있습니다.）를 선택하여 태스크을 만듭니다. ‘시작’ 버튼을 클릭합니다.

쿠팡의 과일 상품 페이지 URL（https://www.coupang.com/np/categories/194282）을 입력하여 새로운 태스크을 만듭니다.

3.태스크 설정하기

새로운 태스크 생성 후 ‘스마트 모드’ 는 웹 페이지의 페이지 데이터를자동으로 식별하고 필요에 따라 필드를 조정할 수 있습니다. 아래 사진은 소프트웨어가 자동으로 인식한 상태입니다.

필드 이름 수정이 필요한 경우에는 먼저 필드 이름 수정이 필요한 필드를 선택합니다. 다음 오른쪽 버튼을 클릭하고 ‘필드 이름 수정…’ 를 선택합니다.

팝업창에서 기존 이름을 원하는 이름으로 변경한 후 ‘OK’ 를 클릭하면 수정이 완료됩니다.

필드의 내용을 처리해야 하는 경우에는 ‘데이터 처리’ 를 클릭하여 필드를 처리할 수 있습니다.

이 태스크에서 우리는 필요 없는 텍스트를 제거하고 ‘추가’ 를 클릭하여 ‘교체’ 를 찾습니다.

교체할 텍스트를 텍스트 상자에 입력하여 교체합니다. 데이터 처리 전과 처리 후의 필드 내용을 텍스트 상자에서 볼 수 있으며 ‘OK’ 를 클릭하면 작업을 완료할 수 있습니다.

상세페이지 수집도 가능하며 ‘심층 스크래핑’ 을 클릭하여 상품 상세페이지 수집을 진행할 수 있습니다.

시스템은 웹 페이지의 페이지 데이터를 자동으로 식별하고 필요에 따라 필드를 생성합니다.

시스템이 원하는 정보를 자동으로 인식하지 못하는 경우에는 ‘필드 추가’ 를 클릭하여 수집할 정보 필드를 수동으로 선택할 수도 있습니다.

4.사진을 다운로드하기

필드 설정을 완료한 후 ‘스크래핑 시작’ 버튼을 클릭하면 구체적인 스크래핑 조건을 설정할 수 있습니다. 스케쥴러, IP전환 딜레이, 자동 추출, 파일 다운로드 등 다양한 기능 설정을 포함합니다. ScrapeStorm은 수집 과정에서 파일 다운로드를 지원합니다. 다운로드한 제품의 상세도를 예로 들어 사진을 다운로드하도록 선택할 수 있습니다.

여기에서 다운로드한 사진의 이름도 설정할 수 있습니다.여기에는 제목 필드의 텍스트로 설정합니다.

설정이 완료되면 ‘시작’ 버튼을 클릭하여스크래핑 태스크를 시작할 수 있습니다.

스크래핑 태스크가 실행되는 동안 실행 페이지에서 상세한 스크래핑 상활을 볼 수 있습니다.

아래 사진는 스크래핑 태스크가 실행되는 동안 다운로드한 상품 사진입니다.

5. 데이터 내보내기

모든 데이터가 수집되면 소프트웨어가 자동으로 힌트를 보내므로 ‘데이터 보기’거나 ‘내보기’ 도록 선택할 수 있습니다.

내보내기 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 Google Sheet가 포함되며 필요에 따라 적절한 데이터 내보내기 유형을 선택하시면 됩니다.

아래의 사진은 Excel로 내보낸 데이터 스크래핑 결과입니다.

위의 내용은 ScrapeStorm의 ‘스마트 모드’ 를 이용하여 쿠팡의 과일 상품 페이지 정보를 수집하는 과정입니다. 도움이 됐으면 좋겠네요~