2月 17
gooのWebクローラの「ichiro」が、robots.txtに従ってくれずに、困ってしまいます。ichiroを”Disallow”に加えたのに、BookFindに、10秒おきに連続アクセスし続けるのです。
「Webクローラについて – goo ヘルプ」には、「robots.txt に従います」と書かれているんですが、約一ヶ月ほど様子を見ても、いっこうに改善が見られません。
「ichiroがウザいです。 – freefielder.jp」でも、同じようにgooのbotに困っている方がいるようです。
仕方がないので、ウェブサーバーのlighttpdでアクセス拒否をすることにしました。以下のサイトが参考になりました。
この三行をlighttpdの設定ファイルに追加しました。
$HTTP["useragent"] =~ "ichiro" {
url.access-deny = ( "" )
}
アクセスログに、リアルタイムで”ichiro”のアクセスに対して403を返しているのが記録されていくので、きちんと設定が反映されているようです。
検索サイトのbotが来ること自体はかまわないんですが、もう少し、サーバーに優しくアクセスして頂けると助かります。
Recent Comments