Black&White

Outwit Hub 와 구글을 이용하여 도메인정보를 수집하기 특정 도메인에 등록되어 있는 호스트 정보를 수집하기 위해 보통 DNS 서버의 zone transfer 를 이용해서 가능하지만, 요새는 거의 보안이 잘되어 있어 수집이 불가능하다. 다른 방법은 바로 구글을 이용하는 것인데, 웹브라우저를 통해 검색된 결과를 일일히 정리하는게 사실 불편하다. 이러한 불편(?) 및 정리를 위해 바로 Outwit Hub 를 이용하려 한다. - Firefox - Outwit Hub - Excel 1. 구글 검색설정하기 구글페이지에서 고급검색을 클릭한후, 검색결과를 최대값(100개)로 설정하자 2. 검색어 입력하기 예를 들어, 지마켓(gmarket.co.kr)의 호스트 정보를 수집하도록 해보자. www 는 제외하고, 검색어..

웹사이트 또는 웹페이지로부터 특정 데이터를 추출하기 위한 기술은 Web Scaping 또는 Web Harvesting 또는 Web Data Extraction 이라 불린다. 이러한 방법에 대해서는 위키에 상세히 기술되어 있다. Data Scraping http://en.wikipedia.org/wiki/Data_scraping Web Scraping http://en.wikipedia.org/wiki/Web_scraping 구글에서 검색된 페이지를 보면, 보여지는 정보가 복잡해졌다. 검색된 결과만을 보려한다면 그리 불편한점을 느끼지 못하지만, 검색된 결과에서 또는 웹페이지의 콘텐츠중에 특정 정보만을 추출하거나 필터링해서 보려 할 때 문제는 달라진다. 예를 들어, 구글 검색결과 페이지에서 URL 정보만 추..