私は最近クライアントのサイトを立ち上げましたが、ここ数日、ますます頻繁にアクセスログに奇妙なエントリが表示されています。

[28/Feb/2014:06:26:53 +0800] "GET //RS=^ADAA6U_G38x_VuWqDIVQJpBbDUsUW0- HTTP/1.1" 302 630 "http://www.domain.com.au/" "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"]

そして

[28/Feb/2014:06:26:54 +0800] "GET /RS=%5eADAA6U_G38x_VuWqDIVQJpBbDUsUW0- HTTP/1.1" 404 8291 "http://www.domain.com.au/" "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"

domain.com.au一部は、ウェブサイトの実際のアドレスです。この投稿のために変更しました。

これがアーカイブしようとしていることがわからないのは、別のget変数を設定しているためです。

1. 私たちはこれらの要求に関心を持つべきだと思いますか？
2. アーカイブしようとしているこれらの要求は何ですか？
3. それらを止めるために私たちにできることはありますか？

そのリクエストに関連するものは何も見つからなかったため、それが悪意のあるものである場合、まだ明らかにされていません。それがあなたのサイトに害を及ぼすためにどのように使用されるかもわかりません。

そうは言っても、悪者は私たちよりも一歩先を行っているように見えるので、このリクエストがあなたのサイトで役立つ目的を果たさない場合は、ブロックしようとします。ログが汚染されないようにするだけでも。

可能であればブロックするようにしてください。これらの要求の2つの一貫した部分は、それらをブロックするために焦点を当てているもので/RS=あり、ADAA6U_G38x_VuWqDIVQJpBbDUsUW0そのためです。

それらは、Yahoo！を誤って使用するWebスクレイパーから取得されます。検索結果。この発見は、XenForoフォーラムの@tenantsによって行われました。彼らは、これらのリクエストを受信することの意味と、それらの処理方法について詳しく説明します。

1.これらの要求に注意する必要があると思いますか？

これらのリクエストについて心配する必要はありません。これらは、単なるばかボットの特徴であり、ばかボットはインターネット上をさまよっています。これらのリクエストは、URLだけに基づいて悪意があると識別されることはなく、おそらく無害です。

2.これらの要求はアーカイブしようとしていますか？

彼らは彼らが要求しているページのコンテンツを取得しようとしています。これらは特別な効果はなく、Yahoo！の（望ましくない）製品です。スクレイピングを検索します。

3.それらを止めるために私たちにできることは何ですか？

実際には、誰でもネット上で好きなリクエストを自由に投稿できます。（少なくとも技術的に。社会的および法的側面は脇に置いておきます。）

1. ログからレポートを生成するときに、それらを破棄できます。これは私が選択したオプションです。

2. または、リクエストを修正してログエントリを生成しないようにすることもできます。これはおそらく、私がWebで見たものからほとんどのことを行っています。このアプローチには欠陥があるようです。訪問者のエクスペリエンスを向上させる一方で、訪問者が誰であるかを忘れてしまいます。ばかボット。私は自分のサイトにばかばかしいボットを入れたくないので、彼らの体験を改善する気になりません。

リクエストを修正したい場合は、 mod-rewrite、から呼び出される可能性があります .htaccess、例えば私が前述したXenForoフォーラム投稿のコードを使用する：

RewriteEngine On

# strange behaving bots, these are urls scraped from yahoo (botters scrapping for links, yahoo search link contain RK RS) tenants modification:
RewriteRule ^(.*)RK=0/RS= /$1 [L,NC,R=301]
RewriteRule ^(.*)RS=^ /$1 [L,NC,R=301]

正規表現を少しいじる必要があるかもしれません。たとえば(.*)、URLの最後にスラッシュがない場合は、スラッシュを追加してください。

 関連した

• 性質の元のレポートまたはリクエスト @ XenForoフォーラム
• .html / RK = 0 / RS = [random_string]のRewriteRule @スタックオーバーフロー
• .htaccess書き換えルールは、RK = 0 / RS = @スタックオーバーフローの後のすべてを削除します
• IT Q：” .. // RK = 0 / RS = foo-” in URI @ The Blackboard（Rankexploits.com）
• RS = ^を含むWebサーバーログ @ InfoSec Handlers Diary Blog（あまり面白くない）
• URI文字列RS = ^ ADA @ Graphiclineを追加（あまり興味深いものではありません）

賛辞スタックオーバーフロー上のdmanの答え@と@webaware XenForoフォーラムのポストを見つけるための、この質問の下のコメント。