728x90
반응형
1. 웹 크롤링이란?
> 웹 크롤링의 정식 명칭은 'Web Scraping'입니다.
> 웹 크롤링이란 컴퓨터 소프트웨어 기술로 웹 사이트에서 원하는 정보를 추출하는 것입니다.
> 웹 크롤러는 인터넷의 웹페이지를 방문해 자료를 수집하는 일을 하는 프로그램을 말합니다.
> 링크 체크나, HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도
하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는데도 사용합니다.
2. 웹 크롤러중 하나인 HTTrack의 설치 및 사용방법
1 ) http://www.httrack.com/으로 접속합니다.
그 후, download section을 클릭합니다.
2 ) 2번째줄의 httrack x64-3.49.2.exe를 다운받습니다.
3 ) 설치를 받은 파일을 실행한 뒤, 순서대로 진행합니다.
4 ) 설치한 HTTrack을 실행합니다. 그 후 다음을 누릅니다.
5 ) New project name 에 자신이 원하는 프로젝트 이름을 적습니다.
6 ) Add URL...을 누르고, 크롤링할 웹페이지의 URL을 넣어줍니다.
7 ) Set options...를 누르고, Scan Rules에서 모두 체크를 해줍니다.
8 ) 확인을 하고, 다음을 누릅니다.
9 ) 그대로 마침을 눌러 진행합니다.
10 ) 크롤링중....
11 ) 크롤링이 완료되었습니다.
반응형
'Programming > HTML&JAVASCRIPT&JQuery' 카테고리의 다른 글
<html> input 태그가 하나만 있을 때 엔터를 치면 submit되는 현상 막기 (2) | 2018.10.11 |
---|---|
<HTML> textarea에 값을 넣어보자! (3) | 2018.10.11 |
<JSP> 한글이 자꾸 깨지네 왜이러지?? (2) | 2018.04.15 |
<JSP>기존 에러페이지가 보기 싫어? 나만의 에러 페이지를 새로 만들어보자! (0) | 2018.04.15 |
<JSP>아... 장바구니 페이지가 필요한데.. 어떻게 만들더라..? (0) | 2018.04.13 |