IP로 검색엔진 진짜 봇인지 확인하기(구글,빙)

사이트에 과도한 트래픽 발생 시 웹서버의 access로그를 확인하게 되는데, 검색엔진(구글, 빙 ...)의 경우에 사이트 규모에 따라 하루에 수백페이지 부터 수십만 페이지를 봇을 통해 크롤링한다.


access 로그에 남긴 유저에이전트의 경우 얼마든지 조작이 가능하기 때문에 공식 아이피인지 확인 하는 방법이다.

빙(bing)의 경우 빙웹마스터 도구에 접속해서
진단 및 도구 > Bing bot 확인 에서 아이피를 검색해서 빙봇유무를 확인할 수 있다.

 

구글의 경우에는 다음과 같이 조회할 수 있다.

간단하게 

1. host 명령어로 ip주소에 대해서 DNS조회

2. 도메인 이름 확인(googlebot.com 또는 google.com)
3. 검색된 순DNS에 원래 IP주소 동일 한지 확인 하는 방법이다.

https://support.google.com/webmasters/answer/80553?hl=ko

윈도우 cmd창에서 실행하려면 host명령어 대신 nslookup 명령어를 사용한다. 비교하는 방법은 동일하다.