robots.txtでユーザーエージェントを組み合わせる


10

ユーザーエージェントを一緒にリストしてから、robots.txtにそのような一般的なルールを続けることはできますか?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

1
使用しない理由にuser-agent: *続いて禁止を使用する理由はありますか?「許可された」ユーザーエージェントのリストは、許可したくないリストよりも長いですか?
マイクハドソン

回答:


9

はい。エージェント名が正しく指定されていると仮定すると、これは機能するはずです。詳細については、こちらのリソースをご覧ください。https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


1
オリジナルのrobots.txtの仕様は同意する:「複数のUser-Agentフィールドが存在する場合、レコードが複数のロボットのための同一のアクセスポリシーを説明しています。」
Ilmari Karonen 14年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.