YouTube 영상 상세페이지 정보와 댓글을 무료로 수집하는 방법 | 웹 스크래핑 툴 | ScrapeStorm

오늘은 ScrapeStorm이라는 인공지능을 기반으로 개발한 신세대 웹 스크래핑 툴의 스마트 모드를 어떻게 활용하는지, YouTube에서 영상 상세 정보와 댓글을 어떻게 수집하는지, 구체적으로 어떻게 작동하는지 알아보겠습니다~

1.태스크 만들기
수집할 웹 페이지 링크（’맛집’ 이라는 키워드를 예로 들어 보겠습니다: https://www.youtube.com/results?search_query=맛집）를 입력 상자에 복사하고 오른쪽에 있는 ‘스마트 모드’ 버튼을 클릭하면 ScrapeStorm이 스마트 모드 태스크를 자동으로 설정하고 웹 페이지의 정보를 수집할 수 있습니다.

2.태스크 설정하기
태스크를 만든 후 소프트웨어는 현재 리스트 페이지의 데이터를 자동으로 식별하고 필요에 따라 필드를 조정할 수 있습니다. 여기 소프트웨어는 이미 페이지에 있는 제목, 제목 링크, 비디오 재생량등의 데이터를 자동으로 인식했습니다.

‘심층 스크래핑’ 기능을 사용하여 상세 페이지의 데이터를 수집할 수 있습니다. 관련 영상에 대한 댓글 정보를 수집하려면 심층 스크래핑이 필요합니다.

‘심층 스크래핑’ 버튼을 클릭하면 상세 페이지 인터페이스에 자동으로 들어가고 소프트웨어가 웹 페이지를 자동으로 인식하여 해당 필드를 자동으로 생성합니다. 수집해야 할 필드를 남겨두고 수집 요구 사항이 없는 필드의 경우 필드를 선택하고 마우스 오른쪽 단추를 클릭하여 삭제할 수 있습니다.

필요에 따라 상세 페이지에서 필드를 수동으로 추가할 수 있습니다. ‘필드 추가’를 클릭하고 정보 필드를 수동으로 선택할 수 있습니다.

3.태스크 시작하기
필드 설정을 완료한 후 ‘ 스크래핑 시작 ‘ 버튼을 클릭하면 구체적인 스크래핑 조건을 설정할 수 있습니다. 스케쥴러, IP전환 딜레이, 자동 추출, 파일 다운로드 등 다양한 기능 설정을 포함합니다. 설정이 완료되면 ‘시작’ 버튼을 클릭하여스크래핑 태스크를 시작할 수 있습니다.

스크래핑 태스크가 실행되는 동안 실시간 실행 로그도 볼 수 있습니다.

4.데이터 내보내기
모든 데이터가 수집되면 소프트웨어가 자동으로 힌트를 보내므로 ‘내보내기’ 거나 ‘나중에 내보내기’ 버튼을 선택할 수 있습니다.

내보내기 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 Google Sheet가 포함되며 필요에 따라 적절한 데이터 내보내기 유형을 선택하시면 됩니다.

아래의 사진은 Excel로 내보낸 데이터 스크래핑 결과입니다.

ScrapeStorm을 사용하면 몇 단계만 영상 상세페이지 정보와 댓글을 수집할 수 있고, ScrapeStorm은 기능을 강력하고 무료로 사용할 수 있습니다. 이 튜토리얼에 따라 직접 해보십시오~