特別な動作を設定したくない場合、robots.txtファイルを持っていなくてもかまいませんか？

特別な動作を設定したくない場合、robots.txtファイルを持っていなくてもかまいませんか？

または、1つの欠如は有害ですか？

robots.txtファイルがなくても害はありません。robotstxt.orgのWebサイトから：

すべてのロボットに完全なアクセスを許可するには

ユーザーエージェント：*
許可しない：

（または、空の「/robots.txt」ファイルを作成するか、まったく使用しないでください）

ただし、robots.txtファイルに何も指定していない場合でも、XMLサイトマップの場所を検索エンジンに通知するのに適しています。これを行うには、robots.txtファイルの先頭に次のような行を追加します。

サイトマップ：http : //www.example.com/sitemap-host1.xml

また、これがないと、Webログに多くの404エントリが作成されることに注意する必要があります。

「robots.txt」がない場合、エラーログにはファイルに関する多くの404が記録されます。これは、ファビコンがない場合と同様に、一種の迷惑になる可能性があります。

私はそれがだと思う持っているそれ以外の場合はウェブの巨大な帯状部分は、Webスパイダーによって非割り出し可能となり、OKであることを。

いいえrobots.txt、「みんなでインデックス化できるように」と同じであるrobots.txt定義によってほとんど。

robots.txtファイルが存在しないため、クローラが処理できる内容と実行できない内容を決定します。あいまいさを避けるのに数秒しかかからないので、すべてのエージェントがすべてにアクセスできるようにするだけではどうでしょうか。

さて、サイトマップrobots.txtのアドレスが含まれているので、サイトマップがないと潜在的に有害です。

コンテンツによっては、サイトのすべてのページが検索エンジンによってインデックス化されることを望んでいる限り、robotsファイルがなくても問題はありません。