かなり大規模なWebクローラーを実行しています。私たちは、受け入れられたコミュニティ標準の範囲内でクローラーを操作するために一生懸命努力しています。クローラーに関する苦情はほとんどありませんが、多くの場合、robots.txtの処理についての苦情です。ほとんどの場合、ウェブマスターがrobots.txtに誤りを犯したため、その旨を指摘してください。しかし、Allowとの処理を含む灰色の領域に定期的に出くわしDisallowます。
robots.txtののページがカバーしていませんAllow。他のページを見たことがあります。その中には、クローラーが「最初に一致する」ルールを使用しているものと、指定していないものがあります。これは混乱を招きます。たとえば、robots.txtに関するGoogleのページには、この例がありました。
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html
明らかに、ここでの「最初に一致する」ルールは機能しません。クローラーがを表示してDisallow立ち去るため、特別に許可されたファイルをクロールすることがないためです。
すべてのAllow行を無視すれば明確ですが、クロールが許可されているものをクロールしない可能性があります。見逃してしまいます。
Allow最初に確認しDisallow、次に確認することで、私たちは大きな成功を収めました。アイデアは、Allowより具体的であるように意図されていましたDisallow。これは、デフォルトで（つまり、反対の指示がない場合）、すべてのアクセスが許可されるためです。しかし、次のようなものに出くわします。
User-agent: *
Disallow: /norobots/
Allow: /
ここでの意図は明白ですが、これAllow: /により、Allow最初にチェックするボットは、サイト上のあらゆるものをクロールできると考えます。
この場合でもそれは回避できます。マッチングをAllowと比較してDisallow、/ norobots /の何もクロールできないことを確認できます。しかし、これはワイルドカードに直面すると失敗します。
User-agent: *
Disallow: /norobots/
Allow: /*.html$
では、ボットはクロールを許可されてい/norobots/index.htmlますか？
「最初に一致」ルールでは、すべての曖昧さを排除し、私は多くの場合、より具体的に入れて、古いGoogleの例のようなものを示しサイトを参照してくださいAllow 後Disallow。この構文では、ボットによる処理がさらに必要であり、解決できないあいまいさが生じます。
それで私の質問は、物事を行うための正しい方法は何ですか？robots.txtの処理に関して、ウェブマスターは行儀の良いボットに何を期待していますか？