2ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

[クローラー]ロボット対策スレ[robots.txt]

1 :DNS未登録さん:03/03/11 21:40 ID:PN8pCDZB
検索エンジンに登録されたくない、ロボット、巡回ソフトうざいという方まで
クローラー、スパイダー対策について語りましょう。

参考
http://c-moon.jp/robots.shtml
有名らしい
ttp://www.daj.co.jp/filter/index.htm

2 :DNS未登録さん:03/03/11 21:44 ID:???
既出でなければ良スレの予感

3 :DNS未登録さん:03/03/11 21:54 ID:???
やってる事は反対のスレだけど一応

[Google]■ロボット型検索エンジン10■
http://pc2.2ch.net/test/read.cgi/hp/1045657865/

4 :DNS未登録さん:03/03/11 21:55 ID:???
板違いの予感。

5 :DNS未登録さん:03/03/11 22:47 ID:???
Webサイトを公開しない。終了。

6 :新・世直し一揆(コピペ推奨):03/03/11 22:48 ID:HYAbP130
<血液型A型の一般的な特徴>(見せかけのもっともらしさ(偽善)に騙されるな!!)
●とにかく神経質で気が小さい、了見が狭い(臆病、二言目には「世間」(「世間」と言っても、一部のA型を中心とした一部の人間の動向に過ぎない))
●他人に異常に干渉して自分たちのシキタリを押し付け、それから少しでも外れる奴に対しては好戦的でファイト満々な態度をとり、かなりキモイ(自己中心、硬直的でデリカシーがない)
●妙に気位が高く、自分が馬鹿にされるとカッと怒るくせに平気で他人を馬鹿にしようとする(ただし、相手を表面的・形式的にしか判断できず(早合点・誤解の名人)、実際にはたいてい、内面的・実質的に負けていることが多い)
●権力、強者には平身低頭だが、弱者に対しては八つ当たり等していじめる(強い者にはへつらい、弱い者に対してはいじめる)
●あら探しだけは名人級でウザく、とにかく否定的(例え10の長所があっても褒めることをせず、たった1つの短所を見つけては貶す)
●基本的に悲観主義でマイナス思考に支配されているため性格が鬱陶しい(根暗)
●何でも「右へ習え」で、単独では何もできない(群れでしか行動できないヘタレ)
●少数派の異質・異文化を理解しようとせず、あるいは理解を示さず、排斥する(差別主義者、狭量、視野が狭い、多数派=正しい と信じて疑わない)
●集団によるいじめのリーダーとなり皆を先導する(陰湿かつ陰険で狡猾)
●他人の悪口・陰口を好むと同時に、自分は他人からどう見られているか、人の目を異常に気にする(自分がそうだから容易に他人を信用できない、ポーズだけで中身を伴っていないことが多い、世間体命)
●自分の感情をうまく表現できず、コミュニケーション能力に乏しい(同じことをレコードの再生のように何度も言って変)
●たとえ友達が多い奴でも、いずれも浅い付き合いでしかなく、心の友達はいない(心の感度が低く・包容力がなく・冷酷だから)
●頭が硬く融通が利かないためストレスを溜め込みやすく、また短気で、地雷持ちが多い(不合理な馬鹿)
●たとえ後で自分の誤りに気づいても、素直に謝れず強引に筋を通し、こじつけの言い訳ばかりする(もう腹を切るしかない!)
●男は、女々しいあるいは女の腐ったみたいな考えのやつが多い(例:「俺のほうが男前やのに、なんでや!(あの野郎の足を引っ張ってやる!!)」)

7 :DNS未登録さん:03/03/11 22:58 ID:???
>>5
どこがおもしろいのか教えてくれ。

8 :DNS未登録さん:03/03/11 23:01 ID:???
>>7
マジレスなんだがね。

norobotとか何とかは所詮「持ってかないで下さいお願いします」程度の実行力しかない訳で。
何個あるかわからないrobotエンジンすべてのUAやホスト名を弾くのも現実的ではない。

ほら、Webサイトを公開しない位しか選択肢はない。

google、Yahoo、goo程度なら>>3のスレで答えが出てるからそもそもこのスレの存在意義はない。


9 :DNS未登録さん:03/03/11 23:01 ID:???
>>7=>>1

10 :DNS未登録さん:03/03/11 23:03 ID:???
robots.txt を読まないバカ。@本日03/03/11分
deny にしてあげよう。
24.138.50.177 - - [11/Mar/2003:16:53:09 +0900] "GET / HTTP/1.1" 200 9881 "-" "Mozilla/4.0 (compatible; grub-client-1.0.7; Crawl your own stuff with http://grub.org)"
adsl-64-165-111-42.dsl.snfc21.pacbell.net - - [11/Mar/2003:17:58:18 +0900] "GET / HTTP/1.1" 302 279 "-" "Mozilla/4.0 (compatible; grub-client-1.0.7; Crawl your own stuff with http://grub.org)"


11 :DNS未登録さん:03/03/11 23:07 ID:???
>>10
FAQに
User-agent: grub-client
Disallow: /
で制限できるって書いてあるけど

12 :DNS未登録さん:03/03/11 23:09 ID:???
>>8
特に悪質なのだけUA、IPアドレスで弾けばいいのでは

13 :DNS未登録さん:03/03/11 23:22 ID:???
>>11
あー別にどーでもいーサイトなので放置しています。

14 :DNS未登録さん:03/03/11 23:23 ID:???
>>11
ちゅーか、そもそもrobots.txtを読まないので、(ry

15 :DNS未登録さん:03/03/11 23:34 ID:???
検索エンジンは別にいいんだが、厄介なのはarchive.orgだ。
いつまでも保存しておくんじゃねーよ(-_-;)

16 :DNS未登録さん:03/03/12 00:06 ID:???
Diskあぼーんしてもうて、バックアップしていなかったものを
archive.orgから再構築したことがあるのは秘密。
自分ですら忘れていたような3年前のデータを律儀にとっておいて
くれたことをありがたがったことも秘密。

17 :DNS未登録さん:03/03/12 00:15 ID:???
robots.txtに↓を入れると見えなくなって、英文でメールを出すと完全に削除してもらえるんだっけ?
User-agent: ia_archiver
Disallow: /

18 :DNS未登録さん:03/03/12 01:22 ID:???
>>11
User-Agentを指定しないとダメな仕様って好きじゃない
使う前に十分な宣伝をする訳じゃないんだから
一度喰らってからじゃないと制限できないもん

19 :損権厨房 ◆mVeUbtZCI. :03/03/12 06:34 ID:mAgVp5Wp
>>18
だからここで情報を交換しようと言うわけじゃ無いのか?

20 :DNS未登録さん:03/03/12 06:54 ID:???
良スレにしようよ

21 :DNS未登録さん:03/03/12 09:10 ID:???
>>19
無駄な抵抗なんだよ。公開しない。HTTPを使わない。認証システムの導入。これ。

22 :DNS未登録さん:03/03/12 10:45 ID:???
robots.txt は Disallow があっても Allow がない腐れ仕様。

つーか、板違い。Web制作板へ。
この板でやるなら、HTTPレベルではなく、ロボットがやってくるIPアドレスを
ファイアウォールでdenyするぐらいの話をしてください。


23 :DNS未登録さん:03/03/12 10:47 ID:???
って言うかそこまでして読まれたくない 公 開 サイトって何よ?

24 :アヒル ◆QxAhirugWI :03/03/12 11:02 ID:???
>>23
見られるかもしれないっていうどきどき感が良いんじゃない?

25 :DNS未登録さん:03/03/12 11:45 ID:???
robots.txtってルートに置かないとダメだから
自宅鯖向きの話題だと思うけどなぁ・・・

26 :DNS未登録さん:03/03/12 11:46 ID:???
>>25
注:エンジン次第です

27 :DNS未登録さん:03/03/12 12:15 ID:???
読まれたくないってんじゃなくて
CGIの出力とかクロールしてもしょうがないものをやめさせて
鯖の負担を軽くするもんじゃないの?


28 :DNS未登録さん:03/03/12 13:04 ID:???
>>27
そんな数時間に一回飛んでくるとかならまだしも。

29 :DNS未登録さん:03/03/12 13:15 ID:???
>>28
こんなのもあるぞ

確証はないが、おそらく デジタルアーツ の 企業情報収集代行 (Net iScope)用 のロボット、
もしくは フィルタリングソフト (「i-フィルター」)のデータベース構築用。
ドメイン名からすると後者っぽいですが、データを流用している 可能性もあり。
大義名分のためか、/robots.txt は読みません。UAもなし。 HEAD→GET したり、
"...#XXX" と "...#YYY" は別に取得するといった、 シロート製ロボットに非常にありがちな動作をします。
(HEAD→GET間は基本的にあかない。 2001/10以降のものはGETのみ)
ドブさらい系ではなく、めぼしい人の物だけを持っていく模様。
取得は割とアグレッシブで、非ブラウザではヒット数1位となる日も めずらしくありません。
単に有害サイト検出にしてはえらく頻度が高いので、 「企業情報収集」に使われているような気もします。

http://www.dais.is.tohoku.ac.jp/logs/agentgripes.html#netfilter

30 :DNS未登録さん:03/03/12 13:20 ID:???
>非ブラウザではヒット数1位となる日も

なぁ、この書き方だとその他1%のトップの場合もあり得るわけだ。


31 :DNS未登録さん:03/03/12 13:21 ID:???
ネイバーとmogimogiモナー

32 :DNS未登録さん:03/03/13 14:15 ID:???
ロボット対策で一ついい事を教えてやろう。
自分のサイト内コンテンツ閲覧の際、常にリファ必須とすればよろし。
リファなし或いは自サイトと関係ないまたは存在しないURLのリファだった場合、警視庁にでも
飛ばせばよろし。
以上。

33 :DNS未登録さん:03/03/13 14:57 ID:???
>>32
逝って良し。
古風に表現してみるテスト

34 :山崎渉:03/03/13 16:59 ID:???
(^^)

35 :DNS未登録さん:03/03/13 18:59 ID:???
>>33
ハァ?
まートップページは読まれてしまうが、それ以降は読まれないぞ?
少なくともグーグルボットはリファ吐かないから自サイト外へ飛ばせるが何か?

36 :DNS未登録さん:03/03/13 19:07 ID:???
>>35
最近のパーソナルファイヤーウォールソフトはブラウザにリファ吐かせないようにしたりするから
そのやり方だとユーザからクレームがバンバン入るぞ。

リファ吐かせないことで何を守ってるのかよくわからんけど。

37 :DNS未登録さん:03/03/13 20:39 ID:???
>>36
んなヤシは切り捨てればよろし。マジで。
というか、なんでリファ消すかなぁ?>そういうヤシら。
リファがあるのが普通なんだしね。無いほうが異常。そんな異常なヤシがアクセス
するから鯖の方も異常をきたす。
なんかのセキュリティ対策なのかな?もしそうならただのアホだよね。
というか、漏れからみればただのバカ。

38 :DNS未登録さん:03/03/13 20:40 ID:???
>鯖の方も異常をきたす
ワロタ

39 :DNS未登録さん:03/03/13 21:14 ID:???
RFC2616(HTTP1.1) では Referer を送るかどうかは MUST ではないし。
むしろ、Referer を送るか送らないかをユーザで選択できるインターフェースを
作りこむことをブラウザの作者に推奨してるし。

むしろ、前に見ていたページではない URL を Referer として送ってしまう
バグ(RFC では MUST NOT とされている)のあるブラウザが後を立たない現状では
パーソナルファイアウォールやローカルプロキシで消してしまうのが
いらん情報漏曳を防ぐためのもっとも合理的な解。

>>32
つーか、そもそも Referer をちゃんと送ってくるロボットなんて珍しくないし。
たとえば、>>29で挙げられているロボットはアクセス先 URL と同じ URL を
常に Referer として送ってくる。


40 :DNS未登録さん:03/03/13 21:37 ID:???
つまりそれらと同じ事を鯖側も選択自由ということですよ。
リファがあろうがなかろうが、鯖側がリファ見る仕様ならクライアントが対応すれば
いいこと。鯖側が対応する次元の話ではない。それが気に入らないクライアントは
コンテンツを見なければいいだけの事。そこで自我を通そうとする行為はまた別の
お話。

リファが情報漏洩の引き金になった話は聞いたことがないが?
それ以前にあんな糞ブラウザなんぞ使っているヤシの気が知れない。
というか、リファ認証なんかは通れなくなるのだが?
まーリファを消しているクライアントがリファをオンにすればいいだけの話だが。

>たとえば、>>29で挙げられているロボットはアクセス先 URL と同じ URL を
>常に Referer として送ってくる。
というか、それではリファとは言えないのだが。。。

41 :DNS未登録さん:03/03/13 21:43 ID:???
んでもリファラー見るってロボット対策の一つになるんじゃないの?

42 :DNS未登録さん:03/03/14 02:07 ID:???
>リファが情報漏洩の引き金になった話は聞いたことがないが?

勉強不足です。セッション ID を URL の一部に含めるような
Web アプリケーションでは、referer 漏れによって第三者に
セッションハイジャックを許す脆弱性を持ったものがあります。

>それ以前にあんな糞ブラウザなんぞ使っているヤシの気が知れない。

過去には IE も mozilla も referer 漏れするバグがありましたが。
au の携帯電話にも。


43 :DNS未登録さん:03/03/14 20:08 ID:???
というか、セッションジャックされるスクリプト言語とそれを走らせてる鯖が悪い。
リファラーは潔白。
つーかバイオレンスジャックはかなり好きだぞ。

44 :DNS未登録さん:03/03/14 23:25 ID:???
ロボットへの対策としてある程度は有効。
ここではそれだけ分かればいい。

45 :DNS未登録さん:03/03/15 14:14 ID:???
>>44
>ある程度は有効。
≒気休め。

46 :DNS未登録さん:03/03/15 18:46 ID:???
>>45
試してからカキコしろよ。

47 :DNS未登録さん:03/03/15 19:01 ID:???
>>46
じゃあ超無敵!とか書いとけ(藁


48 :DNS未登録さん:03/03/15 22:14 ID:???
>>47
何言ってんだよ、意味見えねーよ(w

49 :DNS未登録さん:03/03/16 15:55 ID:???
漏れ合体ロボットの方が好きだな

50 :DNS未登録さん:03/03/16 19:30 ID:???
六神合体ゴッドマーズか?

51 : ◆f2enGI/www :03/03/18 04:28 ID:???
何らかの認証かけときゃ済む話のような気がしなくもない。

52 :DNS未登録さん:03/03/18 21:16 ID:???
fastsearch.netウザい


53 :損権厨房 ◆mVeUbtZCI. :03/03/19 15:49 ID:???
とりあえずさ、真っ当な有名所ならrobots.txtやMETAで防げばいいわけだし
真っ当じゃ無い所はその情報をここで出せばいいじゃん?
セキュリティと一緒でこれだけをやっておけば安心と言うのは無いと思うが?

54 :損権厨房 ◆mVeUbtZCI. :03/03/19 15:50 ID:???
> とりあえずさ、真っ当な有名所ならrobots.txtやMETAで防げばいいわけだし
対策が掲載されている所ならの間違い

55 :DNS未登録さん:03/03/24 06:00 ID:???
ここで書かれたこと全部やれば対策になるんじゃない?
ロボット、リファ、ホスト制限。

特定の人にしか公開しないならポート番号変えるとか
各種認証入れればいい。

56 :DNS未登録さん:03/03/28 19:56 ID:???
>>55
賛成

57 :DNS未登録さん:03/04/16 09:55 ID:???
まさかこれで解決でこのスレ終了なのか?

58 :山崎渉:03/04/17 12:08 ID:???
(^^)

59 :山崎渉:03/04/20 05:57 ID:???
   ∧_∧
  (  ^^ )< ぬるぽ(^^)

60 :山崎渉:03/05/22 02:01 ID:???
━―━―━―━―━―━―━―━―━[JR山崎駅(^^)]━―━―━―━―━―━―━―━―━―

61 :山崎渉:03/05/28 17:06 ID:???
     ∧_∧
ピュ.ー (  ^^ ) <これからも僕を応援して下さいね(^^)。
  =〔~∪ ̄ ̄〕
  = ◎――◎                      山崎渉

62 :DNS未登録さん:03/06/03 17:23 ID:PU5IZDlX
すみません、質問なんですが

User-agent: ia_archiver
Disallow: /aaa
Allow: /aaa/bbb

User-agent: ia_archiver
Allow: /aaa/bbb
Disallow: /aaa

このとき順番はどっちが正しいんでしょうか…
aaaというディレクトリの中でbbbだけ許可したいんです。

63 :DNS未登録さん:03/06/03 17:27 ID:???
/aaa以外のディレクトリはどうしたいの?

64 :DNS未登録さん:03/06/03 17:43 ID:???
書き忘れてすみません。
/aaa以外は許可です。

65 :名無しさん@カラアゲうまうま:03/06/03 18:28 ID:???
robots.txt の仕様に Disallow はありますが、Allow はありません。
# Allow を解釈するロボットもあるかもしれんけど。

http://www.robotstxt.org/wc/norobots.html
http://www.robotstxt.org/wc/exclusion-admin.html

複雑な robots.txt を書いても、それをロボットが意図したとおりに
解釈してくれなきゃ意味がないので、「正しい書き方はどっち」と聞くよりも、
意図どおり解釈される書き方を試行錯誤して見つけだす方がいいのではないかと。
すんげー面倒だけど。

66 :DNS未登録さん:03/06/03 18:30 ID:???
なるほど。勘違いをしていたようです。
親切な説明有り難うございました!
まずはURLに行って勉強し直します。

67 :DNS未登録さん:03/06/04 23:41 ID:???
Allowあるよ。ほれ。
http://www.robotstxt.org/wc/norobots-rfc.html
まあ「ないよ」と言い切られてしまう程度の知名度では
ロボットが実装していない可能性も非常に高いわけだが。

68 :損権厨房 ◆mVeUbtZCI. :03/06/05 21:29 ID:???
naverは悪質

69 :(゚з゚):03/06/07 09:13 ID:???
何を今更。

70 :t-akiyama:03/06/12 13:27 ID:???
携帯ゲーム機"プレイステーションポータブル(PSP)

 このPSPは、新規格UMD(ユニバーサルメディアディスク)というディスクを利用しており、そのサイズは直径6cmととても小さい(CDの半分程度)。 容量は1.8GBとなっている。
画面は4.5インチのTFT液晶で、480px x 272px(16:9)。MPEG4の再生やポリゴンも表示可能。外部端子として、USB2.0とメモリースティックコネクタが用意されているという。

この際、スク・エニもGBAからPSPに乗り換えたらどうでしょう。スク・エニの場合、PSPの方が実力を出しやすいような気がするんですが。
任天堂が携帯ゲーム機で圧倒的なシェアをもってるなら、スク・エニがそれを崩してみるのもおもしろいですし。かつて、PS人気の引き金となったFF7のように。

71 :山崎 渉:03/07/15 11:13 ID:???

 __∧_∧_
 |(  ^^ )| <寝るぽ(^^)
 |\⌒⌒⌒\
 \ |⌒⌒⌒~|         山崎渉
   ~ ̄ ̄ ̄ ̄

72 :DNS未登録さん:03/07/30 04:18 ID:???
ロボットが拾っていくのは問題ないが、そのロボットの挙動が不信だったりすると
拒否したくなるんだよな。

挙動不審のロボットとは関係ないが、ia_archiverはどこかに適当に英語で消せやゴルァメールを送ると
直ちに注意することにするよ。
変わったのがわかるまで2〜3営業日かかる。
参加してくれなくて残念だ。
とかいうメールが返ってきて
しばらくするとブロックしたとかでて見ることが出来なくなる。


73 :ぼるじょあ ◆ySd1dMH5Gk :03/08/02 05:00 ID:???
     ∧_∧  ∧_∧
ピュ.ー (  ・3・) (  ^^ ) <これからも僕たちを応援して下さいね(^^)。
  =〔~∪ ̄ ̄ ̄∪ ̄ ̄〕
  = ◎――――――◎                      山崎渉&ぼるじょあ

74 :DNS未登録さん:03/08/09 16:08 ID:???
usen-(略).ap-US.usen.ad.jp
ってやつが、画像だけ持っていくようなアクセスをよくしてるんですが、
イメージ検索か何か動いてますか?



75 :DNS未登録さん:03/08/09 22:45 ID:???
>>74
(略)だしねぇ。
その画像とはそやつが(;´Д`)ハァハァしそうな画像でつか?
毎回同じ画像でつか?

そこらへんが分からんと(ry

76 :74:03/08/10 09:12 ID:???
プログラマの日記に載せてる写真とか、ぜんぜん(*´д`*)ハァハァできない画像です。
毎回違う画像ですが、何日かしたら前に取った画像もまた持っていきます。

過去ログのリンクを辿らないと出てこないような去年のものとかも、取得対象のようですが、
毎回全部持っていくわけではなくて、1ファイルとか3ファイルとか。

とにかく、なにが目的なのかサッパリ分からないので、そんなアクセスログを見たことがないでしょうか?
ってつもりでカキコしてみました。


77 :74:03/08/10 09:14 ID:???
ちなみに、そいつのUserAgentは
Mozilla/3.01 (compatible;)
になってます。


78 :75:03/08/11 00:05 ID:???
>>77
うーん、robotはぢきのページにも出てなかったしよく分からん……(w
どうしても気になるようだったらルーターとかでdenyしてみるとかどうよ?

明日あたり漏れの鯖のログも検索してみようかな。

79 :DNS未登録さん:03/08/11 00:52 ID:???
NetCache だか CacheFlow だかのプロキシ箱がそういう UA で
先読みキャッシュしたような記憶があったようなないような。

80 :山崎 渉:03/08/15 22:54 ID:???
    (⌒V⌒)
   │ ^ ^ │<これからも僕を応援して下さいね(^^)。
  ⊂|    |つ
   (_)(_)                      山崎パン

81 :DNS未登録さん:03/12/01 13:04 ID:???
sage

82 :DNS未登録さん:04/04/30 22:43 ID:???
neverbotのアクセスは連続攻撃でイクナイ。


83 :DNS未登録さん:04/07/11 20:25 ID:???
msnbotもすごいやってきます。

ほかのロボットは一週間に一回ぐらいやってくるのですが、msnbotは一日一回は必ず来ます。
リンクがあるところは、更新されていないページも含めて全部。
CGIとか呼び出しまくりです(;´д⊂)

84 :DNS未登録さん:04/07/11 20:45 ID:???
>>83
http://www.itmedia.co.jp/news/articles/0407/02/news037.html

85 :83:04/07/11 21:24 ID:???
>>84
おおっ、この記事は読み落としていました。

二回読んで更新がなかったページの取得頻度は下げて欲しいなぁ
あんなに激しく取りに来るわりには、技術プレビューの検索結果にも出てこないし (;´Д`)

86 :DNS未登録さん:04/09/04 01:14 ID:???
msnbotはp2みたいなの動かしていると凄い勢いでスレ
を舐めていくし…

アクセスログの半分以上がmsnbotなのは勘弁してくれよ。

ひとまずrobots.txtを置く、UAを見て無効なデータを返す、
ルータでフィルタする等の対策をとってみるかな?

87 :83:04/09/16 01:19:07 ID:???
SetEnvIf User-Agent "msnbot.*" nolog
CustomLog access_log.txt combined env=!nolog

わたしは、これで無視することにしました

88 :DNS未登録さん:04/10/09 12:47:01 ID:???
DDNSで今まで http://hoge.ddns.net/~ore/ としてたのを
バーチャルホスト http://hoge.ddns.net/ で見られるようにしたんだが、
相変わらずbotは /~ore でアクセスして来るんだけど、
これを拒否する方法ってある?

単純に
User-agent: *
Disallow: /~ore
でいいの?

89 :DNS未登録さん:04/10/10 21:35:30 ID:???
>>88
/~ore/でアクセスしてきた時に404を返してやれば、そのうち来なくなるんじゃないの?

90 :DNS未登録さん:04/10/25 23:37:13 ID:???
Yahoo! Slurp ってのがよく来るがヘ(゚д゚)ノ ナニコレ?

91 :DNS未登録さん:04/10/27 20:22:38 ID:???
>>90
その名の通りYahooのクローラ

92 :DNS未登録さん:04/10/27 20:26:49 ID:???
2ch型掲示板のcgiがあるディレクトリ(/test/)を禁止にしたら凄く減った。

93 :92:04/10/29 00:15:47 ID:???
大失敗

94 :DNS未登録さん:04/11/04 18:53:48 ID:KyJO56Ns
そうか

95 :DNS未登録さん:04/11/09 21:14:32 ID:???
てす

96 :DNS未登録さん:04/11/12 01:30:00 ID:Nh8fSwvV
ロボットは来ているのだが、Googleで検索して飛んでくる人が
最近とんと減ってしまった。なんでだろう?
YahooやMSNからの検索はそこそこ定常的にあるのに。
Googleからのもゼロって訳じゃないんだけどね。

うちのように小さなサイトは検索エンジンからのアクセスが
大切なアクセス源なのに。

原因がわかる人いる?

97 :DNS未登録さん:04/11/13 01:06:47 ID:???
スパム認定かも。
あんまり同じ単語繰り返しても無視される傾向にある様な気がする。

98 :96:04/11/13 16:16:27 ID:???
>>97
うーん、普通にいろんな日々の話題を扱ったブログを公開している程度で、
目を付けられるような動きじゃないはずなんですが…。
もしかしたら、IPアドレスの逆引きがISPのドメイン名になっている事が
まずいのかも知れないと思い、逆引き設定してくれるISPに引越し予定です。


99 :DNS未登録さん:04/11/16 02:38:13 ID:???
うち、逆引きはプロバのドメイン名だけど、普通に登録されてるよ。

自分で検索してみて出てくる?

100 :96:04/11/17 00:58:01 ID:???
自分で検索しても出てこんのです。(T_T)

そっか、逆引き不一致でも問題ないのかなぁ。とすると、原因は別のところか。
原因を探ってみます。
情報感謝です。

101 :DNS未登録さん:05/01/21 00:59:57 ID:???
http://www.juraihelm.com/NNR/
漏れはこれを参考にした

102 :DNS未登録さん:05/01/21 12:19:23 ID:???
>>101
基本的なことしか書いてない。

103 :DNS未登録さん:05/01/29 01:01:41 ID:???
>>89
レスさんくす。亀レススマソ。
ずっと、/~ore/を403かえすようにしてたら、
2,3ヶ月経った今、検索結果も更新されてた。

しかし、本当に最近はmsnとyahooのbotがすごい勢いでくる。
そのせいか、更新頻度はyahooとかのほうが高い気がする。

104 :定期age:05/02/03 12:39:25 ID:???
[Google,Yahoo!等]■ロボット型検索エンジン21■
http://pc5.2ch.net/test/read.cgi/hp/1106491459/
【Google】ページランクいくつよ6【PageRank】
http://pc5.2ch.net/test/read.cgi/hp/1092914063/
Googleから削除されました
http://pc5.2ch.net/test/read.cgi/hp/1081663521/
[Google,Yahoo!等]■ロボット型検索エンジン20■
http://pc5.2ch.net/test/read.cgi/hp/1106491335/
【Robots】Googleアーカイブが嫌い【NoArchive】
http://pc5.2ch.net/test/read.cgi/hp/1026114886/

105 :DNS未登録さん:2005/10/24(月) 12:48:08 ID:???
保守

106 :DNS未登録さん:2005/11/09(水) 07:26:23 ID:???
アニマル横町 第11話 第12話 「どき☆どき 占いパラダイス/どき☆どき 大げんか」 (WMV9 VGA 120f).avi rTS5D56UkW 225,006,346 ebae1fe40bdee39518a56c7109901839
ttp://www.imgup.org/file/iup115747.jpg

(=゚ω゚)ノ



107 :DNS未登録さん:2006/06/02(金) 00:20:19 ID:/2RXfUmf


108 :DNS未登録さん:2008/09/23(火) 10:11:39 ID:???


109 :DNS未登録さん:2008/10/02(木) 01:57:54 ID:nEirrkI6
dissalowされたサイトだけ検索するエンジン作ったらヒットしそうだね!
誰か作って!

110 :DNS未登録さん:2008/10/04(土) 08:03:45 ID:???
百度ひつこい

111 :DNS未登録さん:2008/10/05(日) 00:15:29 ID:???
大体RFC化もされていない「紳士協定」に対して
目くじら立てるやつっておかしいと思わないか?

フリーオを問題視してる団体と完全に構図が一緒だ

112 :DNS未登録さん:2008/11/08(土) 08:10:01 ID:oHYIhwg4
naver の Yeti というのは、naver しか使ってないのか ?
それなら、USER_AGENT で Yeti を丸ごと弾いてしまおうと思うが。

113 :DNS未登録さん:2008/12/20(土) 20:11:22 ID:91fDHPXk
htaccessでBaiduspiderはrobots.txtだけにアクセス出来るように設定したなら、
他のファイルに1秒20回アクセスするという暴挙に至っている。
それだけでエラーログが巨大化しているw
こうなるとルータで弾くしかないのか。

114 :DNS未登録さん:2008/12/23(火) 15:11:38 ID:aGiF1pXb
javascript使って、ブラウザアクセスでしか開けないようにしておけば良いんでない?
趣旨が違う?
俺、掲示板に広告書き込むスクリプトがウザくて使ったら、一切来なくなったよ。

こんな感じ↓
http://www.google.co.jp/ ←隠したいアドレス

-top.html-
<html><head>
<script type="text/javascript"><!--
function code(){add.innerHTML='<a href="http://www.goog'+'le.co.jp/">隠したいアドレス</a>';}
//--></script></head>
<body onLoad="code();">
<span id="add"><a href="noscript.html">隠したいアドレスへのジャンプページ</a></span>
</body></html>

-noscript.html-
<html><head></head><body>
以下のアドレスをコピーして移動してください。<br>
http://www<span>.google</span>.co.jp/<br>
</body></html>

アドレスをブツ切りにして記載してやれば、単純にテキストを検索して来た時は見えないし。
トップページは隠すの無理だけど。


115 :DNS未登録さん:2009/08/24(月) 14:55:42 ID:???
>>114
GJ

116 :DNS未登録さん:2009/08/24(月) 18:11:05 ID:???
とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^;

28 KB
■ このスレッドは過去ログ倉庫に格納されています

★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.02.02 2014/06/23 Mango Mangüé ★
FOX ★ DSO(Dynamic Shared Object)