티스토리에서 네이버크롤러가 정보수집 못하게 하는방법
Programming/Web 2008/07/14 14:01 기본적으로 크롤러가
국제표준규격 robots.txt 와 META 태그에 따라야한다는 전제이지만
예전 NaverBot 은
robot.txt 를 지키지도 않고 , 메타태그제어에 대한 처리도 지키지 않았지만
이제는 지킨다고 하니...
<head>~</head> 태그 사이에 다음을 추가한다.
<META NAME="Yetibot" CONTENT="NOFOLLOW">
위를 추가하면 아마 막아질거 같은데...좀 더 시간을 두고 확인해봐야겠다.
예전 네이버크롤러가 미친넘처럼 서버에 억세스해대는 통에 서버가 불안전해질정도로 문제가 생겨 많은 사이트에서 네이버봇의 유저에이전트를 억세스거부하게 했었다고 한다.
그러니까 네이버는 유저에이전트를 바꿔서 억세스했었다고...
알려진거만 다음과 같음.
NaverBot
NABOT/5.0
nhnbot
minibot(NaverRobot)
dloader(NaverBot)
nabot
Cowbot
NaverBot-1.0
그리고 나중에는 구글의 크롤러인 googlebot 와 비슷한 GoogleBot 를 사용한적도 있다고...
하는짓이 어째 저리 추접스러운지...
내용참고 : http://ja.wikipedia.org/wiki/NaverBot
국제표준규격 robots.txt 와 META 태그에 따라야한다는 전제이지만
예전 NaverBot 은
robot.txt 를 지키지도 않고 , 메타태그제어에 대한 처리도 지키지 않았지만
이제는 지킨다고 하니...
<head>~</head> 태그 사이에 다음을 추가한다.
<META NAME="Yetibot" CONTENT="NOFOLLOW">
위를 추가하면 아마 막아질거 같은데...좀 더 시간을 두고 확인해봐야겠다.
예전 네이버크롤러가 미친넘처럼 서버에 억세스해대는 통에 서버가 불안전해질정도로 문제가 생겨 많은 사이트에서 네이버봇의 유저에이전트를 억세스거부하게 했었다고 한다.
그러니까 네이버는 유저에이전트를 바꿔서 억세스했었다고...
알려진거만 다음과 같음.
NaverBot
NABOT/5.0
nhnbot
minibot(NaverRobot)
dloader(NaverBot)
nabot
Cowbot
NaverBot-1.0
그리고 나중에는 구글의 크롤러인 googlebot 와 비슷한 GoogleBot 를 사용한적도 있다고...
하는짓이 어째 저리 추접스러운지...
내용참고 : http://ja.wikipedia.org/wiki/NaverBot
'Programming > Web' 카테고리의 다른 글
| RatProxy - 구글에서 사용하는 보안 검사툴 (0) | 2008/07/18 |
|---|---|
| 티스토리에서 네이버크롤러가 정보수집 못하게 하는방법 (1) | 2008/07/14 |
