ユーザーエージェントを一緒にリストしてから、robots.txtにそのような一般的なルールを続けることはできますか?
User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/
SOも参照してください:複数のユーザーエージェントを1行でリストすることは可能ですか?
—
2014年
user-agent: *
続いて禁止を使用する理由はありますか?「許可された」ユーザーエージェントのリストは、許可したくないリストよりも長いですか?