通常のブラウザのユーザーエージェントに「ボット」または「クロール」が含まれていますか？

通常のブラウザのユーザーエージェントに「ボット」または「クロール」が含まれていますか？

私は自分のサイトのユーザーエージェントをチェックして、ボットから送信されたものかどうかを確認します。もしそうなら、彼らはログインしないので、私はいくつかの小さな最適化を行うことができます。（内容は一切変更しません）

30-40以上のボットのチェックを追加した後、それらを追加するのに飽きてきました。そのため、「ボット」または「クロール」のみが含まれているかどうかを確認しているのではないかと考えていました。すべてのボットを取得できるわけではありませんが、多くのボットが取得されます。しかし、それが誤検知を引き起こす可能性がある場合、カートに追加して注文し、ログインする機能が完全に台無しになります。

http://www.useragentstring.com/pages/useragentstring.php?typ=Browserのリストによると、さまざまなブラウザからの9000以上のユーザーエージェント文字列があります。

• ブラウザの0ユーザーエージェント文字列に「bot」という単語が含まれています
• ブラウザの2つのユーザーエージェント文字列に「クロール」という単語が含まれている
• ブラウザの0ユーザーエージェント文字列に「スパイダー」という単語が含まれている

（「クロール」を含む2つは次のとおりです：「Mozilla / 4.0（互換性; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler）」および「Mozilla / 4.0（互換性; MSIE 5.01; Windows NT 5.0; MSIECrawler ） "それらを考慮しない方が安全だと思います。）

http://www.useragentstring.com/pages/useragentstring.php?typ=Crawlerのリストによると、ボットとして442のユーザーエージェント文字列がリストされています。

• ボットの208個のユーザーエージェント文字列に「bot」という単語が含まれています
• ボットの63個のユーザーエージェント文字列に「クロール」という単語が含まれています
• ボットの37個のユーザーエージェント文字列に「スパイダー」という単語が含まれています
• ボットの282ユーザーエージェント文字列には、「bot」、「crawl」、または「spider」のいずれかが含まれます

私の結論：「bot」、「crawl」、「spider」という単語を使用して、ユーザーエージェント文字列でボットをフィルタリングしても安全です。防弾ではありませんが、何もないよりはましです。

注：キーワードの検索では、大文字と小文字を区別しない検索を使用しました。

IMOのより良い解決策は、ユーザーがログインしているかどうかを検出することです。ログインしていない場合は、標準ページを表示します（これはキャッシュされる可能性があります）。どのWebスパイダーもログインすることはありませんが、それらを最適化している場合は、サイトの新規ユーザー向けではないのはなぜですか。

Stack Overflowからのこの質問は役に立ちます：「オンラインのユーザーエージェントデータベースはありますか？」

dbをすばやくスキャンして、見つけ出す（またはインポートする）ことができます。