본문 바로가기

Programming/HTML&JAVASCRIPT&JQuery

[HTTrack] HTTrack 크롤러를 설치하고 사용해보자!

728x90
반응형


1. 웹 크롤링이란?


> 웹 크롤링의 정식 명칭은 'Web Scraping'입니다.


> 웹 크롤링이란 컴퓨터 소프트웨어 기술로 웹 사이트에서 원하는 정보를 추출하는 것입니다.


> 웹 크롤러는 인터넷의 웹페이지를 방문해 자료를 수집하는 일을 하는 프로그램을 말합니다.


> 링크 체크나, HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도

 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는데도 사용합니다.


2. 웹 크롤러중 하나인 HTTrack의 설치 및 사용방법


1 ) http://www.httrack.com/으로 접속합니다.

  그 후, download section을 클릭합니다.


2 ) 2번째줄의 httrack x64-3.49.2.exe를 다운받습니다.


3 ) 설치를 받은 파일을 실행한 뒤, 순서대로 진행합니다.


4 ) 설치한 HTTrack을 실행합니다. 그 후 다음을 누릅니다.


5 ) New project name 에 자신이 원하는 프로젝트 이름을 적습니다. 


6 ) Add URL...을 누르고, 크롤링할 웹페이지의 URL을 넣어줍니다.


7 ) Set options...를 누르고, Scan Rules에서 모두 체크를 해줍니다.


8 ) 확인을 하고, 다음을 누릅니다.


9 ) 그대로 마침을 눌러 진행합니다.


10 ) 크롤링중....


11 ) 크롤링이 완료되었습니다.


반응형