2ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

行儀の悪いサーチエンジン・ロボット

1 :Name_Not_Found:02/12/19 07:39 ID:w5TErOSf
DoS攻撃と見紛う怪しい動きをするロボットを報告し、対策していきたい。

とりあえず http://www.fast.no/ のロボットのアクセスで、なんでこのページが?というページ(しかもCGIだ)がアクセス数トップになってたので、robots.txtに
User-agent: fast
Disallow: /
でお帰り頂いています。
他にキツいロボット情報あればご報告下さい、まとめていきます。

2 :蕎麦通 ◆1pSOBA/.TU :02/12/19 07:56 ID:???
2getだそば!!


3 :Name_Not_Found:02/12/19 08:26 ID:???
Naverのnabot。なんかいろんなUAでやってくるが、中にはrobots.txtを無視するものもあり。
しかも、アクセス間隔は軽めのページで7ファイル/秒くらい。鬱陶しいので.htaccessで拒否
してやっても、前やってきたときに拾ったファイルは同じように参照する。

4 :Name_Not_Found:02/12/19 23:17 ID:???
robots.txt置いてれば安全かと思ってた。。。

ちゅーわけであげ!

5 :Name_Not_Found:02/12/19 23:22 ID:LkMh+FKY
こんなサイトがあるよ。
robotはぢきについて
http://c-moon.jp/robots.shtml

ちなみにnabotは
>相変わらずネタにこと欠かないところです(--;
>ちなみにrobots.txt読んでません。
>IPアドレスで蹴って下さい。


6 :1:02/12/23 05:25 ID:???
>>5
サンクス!かなり参考になりますね。

nabotがかなり悪い、という噂は耳にしていたんですが、
ウチで借りてるレンタル鯖にはnabot来ないんですよね。
鯖屋さんがIPで蹴ってくれてるのかな。

7 :Name_Not_Found:02/12/26 21:43 ID:???
今日リアルタイムでログを見ていたら、全然関係ないページを取りにきて
404ばっかり出しているロボットがいた。
UserAgent名はログとってなかったのでIPから調べてみたら、Korea telecomってとこ。
速攻で.htaccessでアクセス禁止したけど、絨毯爆撃はイヤン。
落ち着いたらUAログ取るようにします。

8 :Name_Not_Found:02/12/26 22:50 ID:???
もう知ってるかもしれんが、nabot(naver)が2ちゃんねるを……

【ネット】2ちゃんねるも横断する掲示板検索サービス
http://news2.2ch.net/test/read.cgi/newsplus/1040900873/l50

9 :1:02/12/27 08:34 ID:9aFruyEH
「サーチエンジン」で検索したらこのスレが一番に出たよゲラゲラ
http://bbssearch.naver.co.jp/search.naver?where=bbs&query=%A5%B5%A1%BC%A5%C1%A5%A8%A5%F3%A5%B8%A5%F3
便利だとは思うのですが…あんまり負荷かからないようなアクセスを工夫して欲しいですよね。

3 KB
■ このスレッドは過去ログ倉庫に格納されています

★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.02.02 2014/06/23 Mango Mangüé ★
FOX ★ DSO(Dynamic Shared Object)