IP로 검색엔진 진짜 봇인지 확인하기(구글,빙)

사이트에 과도한 트래픽 발생 시 웹서버의 access로그를 확인하게 되는데, 검색엔진(구글, 빙 ...)의 경우에 사이트 규모에 따라 하루에 수백페이지 부터 수십만 페이지를 봇을 통해 크롤링한다.


access 로그에 남긴 유저에이전트의 경우 얼마든지 조작이 가능하기 때문에 공식 아이피인지 확인 하는 방법이다.

빙(bing)의 경우 빙웹마스터 도구에 접속해서
진단 및 도구 > Bing bot 확인 에서 아이피를 검색해서 빙봇유무를 확인할 수 있다.

 

구글의 경우에는 다음과 같이 조회할 수 있다.

간단하게 

1. host 명령어로 ip주소에 대해서 DNS조회

2. 도메인 이름 확인(googlebot.com 또는 google.com)
3. 검색된 순DNS에 원래 IP주소 동일 한지 확인 하는 방법이다.

https://support.google.com/webmasters/answer/80553?hl=ko

윈도우 cmd창에서 실행하려면 host명령어 대신 nslookup 명령어를 사용한다. 비교하는 방법은 동일하다.

검색엔진 별 웹마스터도구(해외사이트 포함)

구글 웹마스터도구
https://www.google.com/webmasters/ 
※ 무조건 등록

네이버 웹마스터도구
http://webmastertool.naver.com/

※ 아직 베타버전이다. 사이트 등록방법이 변경되서 네이버에 등록하려면 써야한다.


빙(야후) 웹마스터도구
http://www.bing.com/toolbox/webmaster
※ 시간대별 크롤링 속도 조절 가능 하며 페이지 SEO관련 정보 제공

바이두 웹마스터도구
http://zhanzhang.baidu.com
※ 등록이 되더라도 콘텐츠가 중국어가 아니라면 색인 되지 않는다.

yandex 웹마스터도구
https://webmaster.yandex.com/
※ 러시아 최대 검색엔진

SOGOU 웹마스터도구
http://zhanzhang.sogou.com/
※ 중국 검색엔진

사용 방법은 구글 웹마스터도구를 사용해 보았다면 다 비슷하다.
사이트소유권 확인, rss등 sitemap파일 제공, 크롤링, 색인 등등..

중국어로 사이트 만들어서 네이버에만 등록하고 방문자 들어오길 기대하지 말자.