코드 작성 없이 inflearn AI 관련 질의응답 결과 스크래핑 | 웹 스크래핑 툴 | ScrapeStorm

오늘의 튜토리얼에서는 ScrapeStorm이라는 인공지능 기술을 기반으로 웹 주소 입력만으로 스크래핑 내용을 자동으로 인식하는 무료 웹 데이터 스크래핑 소프트웨어를 사용하여 Inflearn에서 AI에 대한 질의응답 결과를 스크래핑하는 방법을 알려드리겠습니다. 구체적으로 어떻게 작동하는지 살펴보십시오.

1. 태스크 만들기

ScrapeStorm에서는 순서도 모드와 스마트 모드를 선택할 수 있습니다. 스마트 모드는 스크래핑 규칙을 구성할 필요가 없으며 웹 주소를 입력하기만 하면 스크래핑 내용을 자동으로 식별하고 원클릭 스크래핑을 실현할 수 있습니다.

조작을 편리하게 위해 스마트 모드를 선택하여  스크래핑 작업을 만듭니다. 소프트웨어 홈 페이지 상단의 입력란에 inflearn에서 AI에 대한 질의응답 결과의 URL（https://www.inflearn.com/community/questions?s=AI&order=score）을 입력하고 ‘새로  만들기’ 버튼을 클릭하여 새 태스크을 만듭니다.

2. 태스크 설정하기

태스크를 만든 후 소프트웨어는 현재 리스트 페이지의 데이터를 자동으로 식별하고 필요에 따라 필드를 조정할 수 있습니다. 여기 소프트웨어는 이미 페이지에 있는  ‘제목‘ ,  ‘링크‘ , ‘질문자‘ 등의 데이터를 자동으로 인식했습니다.

수집해야 할 필드를 남겨두고 수집 요구 사항이 없는 필드의 경우 필드를 선택하여 ‘필드 삭제‘ 를 마우스 오른쪽 단추로 클릭합니다.

소프트웨어를 사용할 때 페이지 넘기 버튼 인식에 실패할 수 있으며, 이때 상황에 따라 수동으로 페이지 넘기 버튼을 선택할 수 있습니다.

스크래핑 관련 질문에 대한 답변은 상세 페이지에서 스크래핑해야 하며 여기에서 ‘심층 스크래핑‘ 버튼을 클릭합니다.

 ‘심층 스크래핑‘  버튼을 클릭하면 상세 페이지 인터페이스에 자동으로 들어가고 소프트웨어가 웹 페이지를 자동으로 인식하여 해당 필드를 자동으로 생성합니다. 아래 사진은 인식 완료된 상태입니다.

수집의 필요에 따라 필드를 수동으로 추가할 수도 있습니다.  ‘필드 추가’ 버튼을 클릭하고 질문의 본문을 선택하면 해당 필드를 생성할 수 있습니다. 여기에 우리가 응답할 첫 번째 내용 필드도 추가합니다.

필드 이름 수정이 필요한 경우에는 먼저 필드 이름 수정이 필요한 필드를 선택합니다. 다음 오른쪽 버튼을 클릭하고 ‘필드 이름 수정… ‘ 를 선택합니다. 팝업창에서 기존 이름을 원하시는 이름으로 변경해주시면 됩니다.

필드를 마우스 오른쪽 버튼으로 클릭하면 필드에 대한 데이터 처리도 수행할 수 있습니다. ‘데이터 처리‘를 선택하고 여기서 질문자 필드에 접두사를 추가합니다.

3. 태스크 시작하기

필드 설정을 완료한 후 ‘ 스크래핑 시작 ‘ 버튼을 클릭하면 구체적인 스크래핑 조건을 설정할 수 있습니다.스케쥴러, IP전환 딜레이, 자동 추출, 파일 다운로드 등 다양한 기능 설정을 포함합니다.설정이 완료되면 ‘시작‘ 버튼을 클릭하여스크래핑 태스크를 시작할 수 있습니다. 

스크래핑 태스크가 실행되는 동안 수집된 데이터를 실시간으로 볼 수 있습니다.

4. 데이터 내보내기

모든 데이터가 수집되면 소프트웨어가 자동으로 힌트를 보내므로 ‘내보내기‘ 거나 ‘나중에 내보내기‘ 버튼을 선택할 수 있습니다.

내보내기 유형에는 Excel, CSV, TXT, HTML 및 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 Google Sheet가 포함되며 필요에 따라 적절한 데이터 내보내기 유형을 선택하시면 됩니다.

아래의 사진은 Excel로 내보낸 데이터 스크래핑 결과입니다.

이상은 ScrapeStorm이라는 무료 웹 데이터 스크래핑 소프트웨어를 사용하여 Inflearn에서 AI에 대한 질의응답 결과를 스크래핑하는 튜토리얼입니다. 복잡한 조작 절차 없이 웹 데이터의 원클릭 스크래핑이 매우 편리합니다. 어서 튜토리얼에 따라 직접 해보세요.