有効な最小のrobots.txtファイルとは何ですか？

Webサーバーのaccess.logに多くの404エラーが記録されるのが好きではありません。クローラーがrobots.txtファイルを開こうとしましたが、見つかりませんでした。そこで、ログファイルに404エラーが表示されないようにする単純なrobots.txtファイルを配置します。

サイト上のすべてをクロールできる最小の有効なrobots.txtファイルとは何ですか？

ここに示すように、Webサーバーの最上位ディレクトリにrobots.txtという名前のテキストファイルを作成します。空のままにするか、次を追加できます。

User-agent: *
Disallow:

ロボットにすべてをクロールさせる場合。そうでない場合は、上記のリンクをご覧ください。

最良の最小限robots.txtは、完全に空のファイルです。

空Disallowまたはその他の「null」ディレクティブAllow: *は、no-opであるため役に立たないだけでなく、不要な複雑さを追加します。

ファイルを完全に空にしたくない場合、または人間が読みやすいようにする場合は#、などの文字で始まるコメントを追加し# blank file allows allます。クローラーは、で始まる行を無視し#ます。

私はこれを言うでしょう。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Googleがすべてをクロールできるようにしますが、Googleがアドミンパネルをクロールすることを禁止します。これはあなたにとって理想的な状況です。