No Coding! AUCTION best 상품 순위 정보 무료 스크래핑 | 웹 스크래핑 툴 | ScrapeStorm

오늘은 ScrapeStorm이라는 인공지능을 기반으로 개발한 신세대 웹 스크래핑 툴을 사용하여 AUCTION best 상품 순위에 있는 상품 정보를 스크래핑하는 방법을 알려드리겠습니다.그럼 어떻게 작동하는지 살펴보도록 하겠습니다.

1. 태스크 만들기

  우선 우리는  스크래핑 태스크를 만들어야 합니다. ScrapeStorm을 열면 ‘순서도 모드’ 와 ‘스마트 모드’ 가 있습니다. 우리는 ‘스마트 모드’ （’스마트 모드’ 는 ScrapeStorm팀이 인공지능 기술을 기반으로 개발한 신세대 스크래핑 모드입니다. 이 모드는 사용방식이 매우 간단합니다. 추출하려는 URL만 입력하면 데이터를 수집할 수 있습니다.）를 선택하여 태스크을 만듭니다. ‘시작’ 버튼을 클릭합니다.

 AUCTION best 상품 순위 페이지 URL을 입력하여 새로운 태스크을 만듭니다.

2. 태스크 설정하기

태스크를 만든 후 소프트웨어는 현재 리스트 페이지의 데이터를 자동으로 식별하고 필요에 따라 필드를 조정할 수 있습니다.여기 인식완료된 페이지인데요,‘제목‘, ‘제목_링크‘ , ‘rank’ 등의 정보가 자동으로 인식되어 해당 필드가 생성되었음을 알 수 있습니다.

 ‘심층 스크래핑‘ 을 클릭하면 기본적으로 링크 필드의 첫 번째 링크가 열립니다.상품 상세페이지에 들어가시면 더 자세한 정보를 스크래핑할 수 있습니다.

필드를 오른쪽 버튼으로 클릭하고 메뉴에서 ‘필드 삭제‘ 를 선택하면 수집하지 않아도 되는 필드를 삭제할 수 있습니다.

스크래핑의 필요에 따라 수동으로 필드를 추가할 수도 있습니다. ‘필드 추가‘ 버튼을 클릭하여  판매량을 선택하면 해당 필드를 생성할 수 있습니다.

3. 태스크 시작하기

  필드 설정을 완료한 후  ‘스크래핑 시작‘ 버튼을 클릭하면 구체적인 스크래핑 조건을 설정할 수 있습니다.스케쥴러, IP전환 딜레이, 자동 추출, 파일 다운로드 등 다양한 기능 설정을 포함합니다. ScrapeStorm은 스크래핑 과정에서 파일 다운로드를 지원합니다. 다운로드한 제품의 섬네일을 예로 들어 사진을 다운로드하도록 선택할 수 있습니다. ‘시작‘ 버튼을 클릭하여스크래핑 태스크를 시작할 수 있습니다. 

스크래핑 태스크를 실행하는 동안 ‘데이터‘ 를 클릭하면 실시간으로 수집된 데이터를 볼 수 있습니다.

아래 사진는 스크래핑 태스크가 실행되는 동안 다운로드한 상품 섬네일입니다.

4. 데이터 내보내기

스크래핑 태스크가 완료되면 소프트웨어는 자동으로 수집 작업이 완료되었음을 표시하고 ‘데이터 보기‘ 또는  ‘보내기‘ 를 선택할 수 있습니다.

내보내기 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 Google Sheet가 포함되며 필요에 따라 적절한 데이터 내보내기 유형을 선택하시면 됩니다. ‘내보내기‘ 버튼을 클릭하면 데이터 내보내기가 완료됩니다.

아래의 사진은 Excel로 내보낸 데이터 스크래핑 결과입니다.

위의 내용은 ScrapeStorm의 ‘스마트 모드’ 를 이용하여 AUCTION best 상품 순위에 있는 상품 정보를 수집하는 과정입니다. 도움이 됐으면 좋겠네요~