空のユーザーエージェントの解釈

空のユーザーエージェントをどのように解釈すればよいですか？カスタム分析コードがいくつかあり、そのコードは人のトラフィックのみを分析する必要があります。人間のトラフィックとボットのトラフィックを示すユーザーエージェントの作業リストがありますが、空のユーザーエージェントには問題があることがわかっています。そして、空のUser-agentで約10％のトラフィックを大量に取得しています。

さらに、現在のログを分析することで、人的トラフィ​​ックとボットトラフィックのユーザーエージェントリストを作成しました。そのため、そこに多くのエントリがありません。ボットのトラフィックを示すユーザーエージェントのよく管理されたリスト、または人のトラフィックを示すユーザーエージェントのリストがありますか？

「人間のトラフィック」のみを分析する場合、ユーザーエージェント文字列が空または欠落しているものはカウントしません。私の経験では、ほとんどすべてのブラウザーが常に1つを送信します。ほとんどのプライバシープラグインまたは拡張機能でさえ、UA文字列を偽造（他のOSまたはクライアント名を含む）または「正規化」（リリース番号なしなど）またはランダム化（例えばFF、時にはIE文字列）しますが、完全には削除しません（これによりたとえそれが良いアイデアでなくても、それに依存しているいくつかのサイトで問題を引き起こします。）

UAを使用しない単純なリクエストは、次のように実行できます。

wget --user-agent="" www.example.com

ご覧のとおり、必要なものを追加できます。「野生」で見つかったUAを保存および公開するサイトは、多くのがらくたを見つけるので、あまり役に立ちません。

誰かがあなたのコンテンツを再帰的に取得しただけかもしれません。または、SEOツールを使用してサイトを分析しました（ユーザーがヘッダーを手動で変更できるものもあれば、robots.txt行を無視する意図があるものもあります）。そういうもの。そのような状況では、UAヘッダーはしばしばクライアントと目的を隠すために偽造されます。

これらの要求が絶えず回避されている場合、ヘッダー（プロキシ？）またはIP（特定のブロック？プライバシーに関する会社/プロキシ？）をさらに分析すると役立つ場合があります。

私は警備会社で働いており、とりわけBad Botのトラフィックを監視しています。

私の経験に基づいて、空白のユーザーエージェントデータでの人間の訪問は、「ヘッドレスブラウザー」ボットによるスクレイピング/スパムの試み（通常はスクレイピング）を示しています。

これらの訪問者は時々JSを実行することができるため、GAに表示されます-それでも、これは彼らを人間にしません:)

「プラグ」についておpoび申し上げますが、必要に応じて、CDNアクセラレーションやその他の特典と組み合わせて、無料のBad Bot保護サービスを提供しています。

この特定のケースでは、システムはこの訪問を「疑わしい」と認識し、既知の攻撃ベクトルと照合して検証し、まだ不明な場合はさらにテストとチャレンジを実行しました。これらの課題は、セッションを遅延させることなくシームレスに実行されます。

インターネットにアクセスするすべてのソフトウェアにユーザーエージェントが魔法のように与えられるわけではありません。ソフトウェア開発者は、その機能をソフトウェアにプログラムする必要があります。空のユーザーエージェントは、ソフトウェア開発者がユーザーエージェントをソフトウェアに追加するのを忘れたことを意味します。

この質問への回答には、ユーザーエージェントとあなたの身元を隠すことまたは人間であることを比較したコメントがいくつかあります。これはばかげた比較です。User-Agentは、アイデンティティや人間であることとは関係ありません。

履物のように考えてください。あなたが彼らを入れる前にどんなタイプの履物を着ているか訪問者に尋ねています。これの最も一般的な用途は、どのタイプのカーペットを広げる必要があるか、きれいなドレスシューズ用の素敵な赤いカーペット、泥だらけのdoorい玄関マットを知ることですブーツ、アレルギーのカーペットである訪問者のためのカーペットはありません。

訪問者が自分が持っている履物（別名空のユーザーエージェント）を言いたくない場合は、無視します。

はい、User-Agentおよびその他のリクエストヘッダー情報に基づいてWebリクエストに関することを推測しようとする多くの優れたプラクティスがあります。それらは99％の時間でうまく機能しますが、他の多くの同様のプラクティスと同様に、偽陽性になりやすく、それによって通常の無知なユーザーを傷つけます。

自分で誤って空のUser-Agentを使用するという問題に遭遇したので、Webサービスがあなたの履物についてそれを伝えようと思わなかったという理由だけであなたを異なるように扱うとき、それは間違いなく楽しいと言えます。