会社は私のウェブサイトをクロールする権利を暗示していますか？

McAfee SiteAdvisorがWebサイトを「セキュリティの問題がある可能性がある」と報告していることがわかりました。

McAfeeが自分のWebサイトについてどう思うかはあまり気にしません（自分でセキュリティを確保できますが、そうでない場合、McAfeeは間違いなく私が助けを求めている会社ではありません、ありがとうございました）。しかし、私を悩ませているのは、彼らが私の許可なしに私のウェブサイトをクロールしたようです。

明確にするために：私のウェブサイトにはまだほとんどコンテンツがなく、私の個人的な使用のためのいくつかのプレースホルダーといくつかのファイルがあります。ToSはありません。

私の質問は次のとおりです。McAffeeは私のウェブサイトからコンテンツをダウンロード/クロールする権利を持っていますか？禁止することはできますか？ある種の「私の城、私のルール」の原則があるべきだと感じていますが、基本的にすべての法的事項については何も知りません。

更新：おそらく、サーバープロバイダーがSiteAdvisorの調査結果に関するメールを定期的に私に送信することを言及すべきでした。

これには法的先例があります。Field v。Google Inc.、412 F. Supp。2d 1106、（米国連邦裁判所ネバダ州2006）。Googleはいくつかの要因に基づいてサマリジャッジメントを勝ち取りました。最も顕著なのは、作成者がWebサイトのメタタグでrobots.txtファイルを使用しなかったことです。これにより、Webサイトの所有者がインデックスを作成したくないページをクロールおよびキャッシュできなくなりました。

裁定pdf

robots.txtファイルを具体的に扱う米国の法律はありません。ただし、別の裁判では、最終的にrobots.txtファイルがコンテンツを保護するために行われた意図的な電子的対策を回避するものと見なされる可能性があるという先例を設定しました。HEALTHCARE ADVOCATES、INC Vs HARDING、EARLEY、FOLLMER＆FRAILEY、et。al、Healthcare Advocatesは、hardingらがrobots.txtファイルの新しいバージョンを持つページのキャッシュされたファイルにアクセスするために、基本的にWayback Machineの機能をハッキングしたと主張しました。ヘルスケア支持者はこの訴訟を失いましたが、地裁は、問題はハーディングらが「ロックを選んだ」ことではなく、ファイルへのアクセスを許可したWayback Machineのサーバー負荷問題のためにファイルにアクセスしたことであると指摘しましたすべきではないときにキャッシュされたファイル

裁判所の判決pdf

誰かがこの裁定を取り、それを横に回すのは時間の問題です：裁判所は、robots.txt がクロールを防ぎ、それが ロックを選ぶことを回避するためのロックであることを示しました。

これらの訴訟の多くは、残念ながら「許可されていないことをクローラーに伝えようとしましたが、クローラーはこれらの設定/コマンドを無視しました」ほど単純ではありません。これらすべてのケースには、robots.txtファイルを米国DCMAの法律で電子的保護方法と見なすべきかどうかというコア問題よりも最終的に結果に影響を与える他の多くの問題があります。

そうは言っても、これは米国の法律であり、中国の誰かが望むことをすることができます-法的問題のためではなく、中国が米国の商標と著作権保護を強制しないので、幸運を祈ります。

短い答えではありませんが、あなたの質問に対する短い、簡単な答えは本当にありません！

はい、彼らはそうする権利を持っています-あなたは公開ウェブサイトを作成しました、あなたは彼らがそうではないと思うのはなぜですか？

もちろん、あなたにも彼らを止める権利があります。robots.txtを使用してWebサイトをクロールしないように依頼したり、fail2banなどの方法でWebサイトへのアクセスを積極的に防止したりできます。

あるいは、それについて心配せずに、あなたの人生を続けてください。それは何も傷つけず、間違いなくインターネット調査の良性側にあります。

この行動が倫理的かどうかは完全に明確ではありません。

公開サイトをクロールする行為自体は、非倫理的ではありません（robots.txtまたはその他の技術的手段を使用して明示的に禁止し、回避している場合を除く）。

彼らがしていることは、あなたに電話をかけるのとほぼ同じですが、あなたが安全でない可能性があることを世界に知らせます。それがあなたの評判を傷つけ、正当化されない場合、それは非倫理的です。それがそれであり、それに対する唯一の解決策があなたが彼らに支払うことを伴う場合、それは暴行です。しかし、私はこれが起こっているとは思わない。

これが非倫理的になるのは、誰かがあなたのサイトをクロールしてコンテンツやデータを適切なものにし、それを自分のものとして表現するときです。しかし、それもまた起こっていることではありません。

したがって、この場合の彼らの行動は倫理的であり、おそらくあなたはそれを無視することもできます。

あなたにスパムを送るという彼らの関連した行動は、あなたが彼らと関係がなく、電子メールをリクエストしなかった場合、非倫理的です。

特定の人々や企業があなたのウェブサイトにアクセスするのをブロックする技術的アプローチ：

特定のIPアドレスまたはアドレスの範囲がサイトのページにアクセスするのをブロックできます。これは.htaccessファイルにあります（サイトがApache Webサーバーで実行されている場合）。

http://www.htaccess-guide.com/deny-visitors-by-ip-address/

Webサーバーにアクセス元のIPアドレスを記録させ、それらのIPアドレスを検索して、McAfeeに関連付けられているものを見つけます。定期的な訪問者がいない場合は、おそらく簡単にわかります。

もちろん、将来IPアドレスを変更する可能性があります。それでも、見つけたIPアドレスを調べて、それらの所有者を確認すると、McAfeeが所有するアドレスのブロック全体について学習し、それらすべてをブロックできる場合があります。

そうするための法的根拠：

「ウェブサイトの所有者は一部のユーザーを法的にブロックできる、裁判所の規則」

http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules

（あなたのウェブサイトが個人的なものである場合、誰も一部のユーザーをブロックするあなたの権利に異議を唱えることはありません。しかし、それが企業のウェブサイトである場合、その議論の両側に法的および道徳的な議論があります。それは法的に保護されるべきです-そして、とにかく文句を言うのに十分な他の誰も気にしません。）

「リファラーによる訪問者の拒否」にも興味があるかもしれません。

「ログを見てトラフィックの驚くべき増加に気付いたが、実際のファイルリクエストが増えていないのは、おそらくコンテンツ（CSSファイルなど）をつまんでいる人か、Webサイトをハッキングしようとしている人（これは単に非公開コンテンツを見つけるため）。」

http://www.htaccess-guide.com/deny-visitors-by-referrer/