robots.txtでブロックするボットとスパイダーはどれですか？

のために：

1. ウェブサイトのセキュリティを強化する
2. 帯域幅の要件を減らす
3. メールアドレスの収集を防ぐ

電子メールを収集したり、サイトの脆弱性をテストしたりするボットは、robots.txtを尊重しません。実際、これらの悪意のあるボットはrobots.txtを見て、サイトをより適切にマッピングします。あなたが持っているポイントがある場合、Disallow:これはあなたのサイトをより良く攻撃するために使用されます。あなたのサイトを手動で見ているハッカーは、あなたが拒否しようとしているファイル/ディレクトリを調べるのに余分な時間を費やすべきです。

robots.txtはWebサイトのセキュリティを強化したり、電子メールアドレスの収集を防止したりしません。robots.txtは、検索エンジンがWebサイトのセクションをスキップするためのガイドです。これらはインデックスに登録されないため、パブリック検索エンジンに表示したくないセクションに使用する必要があります。

ただし、これにより、他のボットがサイト全体をダウンロードしてセキュリティを強化したり、電子メールの収集を防止したりすることは決してありません。セキュリティを強化するには、認証を追加し、保護されたセクションを超えて認証されたユーザーのみを許可する必要があります。電子メールアドレスの収集を防ぐには、Webサイトに電子メールをプレーンテキスト（または簡単に解読できるテキスト）で入れないでください。

robots.txtはセキュリティには役立ちません。怪しい何かをしたいボットは、とにかくそれを無視します。

robots.txtファイルは、ボットとスパイダーが特定のコンテンツをそのままにするというリクエストとしてのみ機能します。実際にアクセスを防ぐことはできません。「良い」ボットはそれを尊重しますが、「悪い」ボット（おそらくブロックしたいボット）はそれを無視し、とにかく処理します。

robots.txtの代わりに、CAPTCHAコードを使用する必要がある場合があります。