ScrapeStorm을 사용하여 KCI 한국 학술지의 상세 정보를 스크래핑하기 | 웹 스크래핑 툴 | ScrapeStorm

안녕하세요, 졸업 시즌이 맞이해서 오늘은 여러분과 함께 ScrapeStorm을 사용하여 KCI 한국 학술지 인용 색인을 스크래핑하는 방법을 공유하려고 합니다. 이 글이 여러분의 학술 연구와 학습에 도움이 되길 바랍니다!

​

KCI 한국 학술지 인용 색인 소개:

KCI 한국 학술지 인용 색인은 한국에서 출판된 다양한 학술지 논문을 포함하는 데이터베이스입니다. 인문학에서 공학에 이르기까지 매우 다양한 학문 분야를 포함하고 있습니다.

ScrapeStorm 소개:

ScrapeStorm은 사용자 친화적인 웹 페이지 데이터 스크래핑 프로그램로, 프로그래밍 지식이 없어도 쉽게 웹 페이지 데이터를 스크래핑할 수 있습니다. AI 기반으로 작동하여 웹 페이지 구조가 변경되더라도 자동으로 적응하고 정확하게 데이터를 스크래핑할 수 있습니다.

​

자세한 설명:

1.ScrapeStorm 설치 및 실행

먼저 ScrapeStorm의 공식 웹사이트에서 프로그램을 다운로드하여 설치합니다. 설치가 완료되면 프로그램을 실행합니다.

공식 홈페이지 링크: https://kr.scrapestorm.com/

​

그다음으로, 작동 팁 입력란에 스크래핑할 검색 결과 웹사이트 주소를 입력합니다(주의

: KCI 공식 웹사이트 주소가 아닙니다!). 그리고 오른쪽에 있는 “스마트 모드” 를 클릭합니다. 이번 글에서는 비즈니스 관련 내용을 검색하겠습니다.

예시 링크:https://www.kci.go.kr/kciportal/po/search/poArtiSearList.kci

​

여기서 우리는 웹사이트가 다소 특별하여 검색 결과 페이지를 직접 열 수 없음을 알 수 있습니다. 하지만 걱정하지 마세요! ScrapeStorm은 사전 실행 기능을 제공하며, 우리는 오른쪽 상단의 녹색 버튼을 클릭하여 이 기능을 설정할 수 있습니다.

​

2.사전 실행 설정

사전 실행 기능은 스크래핑 과정 중에 페이지 내에서 클릭, 텍스트 입력, 페이지 스크롤 등의 작업을 수행하는 기능입니다. 이는 ScrapeStorm의 강력한 기능 중 하나로, 간단한 클릭 몇 번으로 복잡한 작업을 설정할 수 있습니다.

우리는 몇 번의 클릭으로 설정을 완료할 수 있습니다. 먼저 입력란를 클릭하세요.

​

작동 팁에 있는 입력란에 “비지니스” 를 입력하고 “OK” 를 클릭합니다.

​

브라우저 입력란에 문자와 아래의 위젯이 추가 된 것을 볼 수 있습니다.

​

문자가 입력 됐다면 검색버튼을 클릭합니다.

​

“요소를 클릭” 을 선택합니다.

​

이렇게 하면 웹 페이지가 우리가 스크래핑하고자 하는 검색 결과 페이지로 변경됩니다. 그 후 오른쪽 하단의 “저장 후 종료” 를 클릭하세요.

​

3.필드 수정

이렇게 우리는 사전 실행 기능을 설정을 마쳤고, 웹 페이지는 자동으로 사전 실행 후의 페이지로 새로고침됩니다. 소프트웨어 하단에는 이미 스마트하게 인식된 데이터가 표시됩니다. 이제 필드를 간단히 수정하겠습니다.

ScrapeStorm에서는 필드 이름 수정, 필드 병합, 필드 삭제 등의 설정을 할 수 있습니다.

​

설정을 마친 후, 좀 더 자세한 내용을 스크래핑하고 싶다면 심층 스크래핑을 진행합니다.

오른쪽에 있는 “심층 스크래핑” 을 클릭하세요.

심층 스크래핑도 앞선 것과 똑같이 프로그램이 웹 페이지 내용를 자동으로 스마트하게 인식하고 데이터를 정리합니다, 필드 또한 수정 가능합니다.

​

4.데이터 스크래핑

모든 필드를 수정한 후, 오른쪽 하단의 “스크래핑 시작” 을 클릭하세요.

​

ScrapeStorm에서는 다양한 스크래핑 작업을 설정할 수 있습니다. 예를 들어, 스케줄러, IP 전환, 자동 추출, 파일 다운로드 등이 가능합니다. 필요한 기능을 설정한 후, “시작” 을 클릭하세요.

​

5.스크래핑 결과 내보내기

이 인터페이스로 이동하면, 현재 스크래핑 중인 실시간 데이터를 볼 수 있습니다.

​

스크래핑이 끝난 후, 자동으로 팝업 알림이 나타나며, 여기서 “내보내기” 와 “나중에 내보내기” 중 선택할 수 있습니다. 저는 “내보내기” 를 선택했습니다.

​

ScrapeStorm은 다양한 파일 형식으로 내보내기를 지원합니다. Excel, CSV, TXT, HTML과 데이터베이스 MySQL, SQL Server, PostgreSQL, MongoDB, 그리고 GoogleSheet로 내보낼 수 있습니다.

이번 글에서는 데이터를 Excel 형식으로 내보내겠습니다.

​

아래의 사진은 내보내기한 결과물입니다.

​

6.마무리:

ScrapeStorm을 사용하면 KCI 한국 학술지 인용 색인의 방대한 데이터를 쉽게 스크래핑하고 분석할 수 있습니다. 연구 자료나 학습 자료로도 아주 적합합니다. 이 프로그램를 사용해 보시길 강력히 추천드립니다!

오늘날 정보가 폭발적으로 증가하는 시대에, 필요한 데이터를 신속하고 정확하게 얻는 것의 중요성은 두말할 필요도 없습니다. ScrapeStorm은 강력한 데이터 스크래핑 기능을 제공할 뿐만 아니라 사용하기 쉬워 프로그래밍에 익숙하지 않은 사람들도 쉽게 사용할 수 있습니다. 특히 학술 연구나 심도 있는 학습에 종사하는 사람들에게는 필수적인 프로그램입니다. 이를 통해 데이터 스크래핑 및 정리에 드는 많은 시간을 절약하고 분석 및 창의적 사고에 더 집중할 수 있습니다.

오늘의 내용은 여기까지입니다. 데이터 스크래핑에 대한 질문이 있거나 더 많은 정보가 필요하시면 언제든지 댓글로 질문해 주세요. 다음에도 더 흥미로운 정보로 돌아오겠습니다, 구독과 좋아요, 댓글 부탁드리며 다음에 또 만나요!