タグ付けされた質問 「logging」

Apacheのアクセスログとエラーログについて、どのようなリアルタイムログアナライザーを提案できますか？ WikiPediaにはWeb分析ソフトウェアのリストがありますが、すべてを試さなくても経験のある人から意見を聞くのは素晴らしいことです。 Googleアナリティクスやその他のホスト/ JavaScriptアナリティクススイートを推奨しないでください。既にそれらを使用しています。GAはリアルタイムではなく、ログに表示されるデータが欠落しています。たとえば、404エラー、スクリプトエラー、紹介の完全なクエリ文字列、IPアドレス、Webサイトの訪問者パスなど...

55 apache  analytics  logging 

すべてのWebサイトに存在するはずのファイルのリストが必要です。アイデアは、ほとんどのブラウザとボットを満足させ、ログ内の404メッセージの数を把握することです。 これまでのところ、次のファイルがあります。 /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png 頻繁にリクエストされ、すべてのWebサイトに存在する必要がある他のファイルはありますか？

36 robots.txt  404  logging  favicon 

私が管理しているWebサイトのログには、Bingbotによる存在しないファイルの要求が示されています。リクエストの詳細は パス：/trafficbasedsspsitemap.xml ユーザーエージェント：「Mozilla / 5.0（互換性あり; bingbot / 2.0; + http://www.bing.com/bingbot.htm）」 IPアドレス：65.55.213.244（逆引き参照はmsnbot-65-55-213-244.search.msn.comに解決されます） Bingbotがこのファイルを検索する理由は何ですか？「トラフィックベースのSSPサイトマップ」とはどういう意味ですか？

28 bing  logging  web-crawlers 

空のユーザーエージェントをどのように解釈すればよいですか？カスタム分析コードがいくつかあり、そのコードは人のトラフィックのみを分析する必要があります。人間のトラフィックとボットのトラフィックを示すユーザーエージェントの作業リストがありますが、空のユーザーエージェントには問題があることがわかっています。そして、空のUser-agentで約10％のトラフィックを大量に取得しています。 さらに、現在のログを分析することで、人的トラフィ​​ックとボットトラフィックのユーザーエージェントリストを作成しました。そのため、そこに多くのエントリがありません。ボットのトラフィックを示すユーザーエージェントのよく管理されたリスト、または人のトラフィックを示すユーザーエージェントのリストがありますか？

12 apache  analytics  http  user-agent  logging 

壊れたURL書き換えコードのように見える奇妙な404に気づきました。画像ビューアは、次のようなURLを使用してタイルをリクエストします。 /media/204/service/dzi/1/1_files/7/0_0.jpg わずかに変更されたURLに対するリクエストが1％未満であることがわかります。 /media/204/s/rvice/d/i/1/1_files/7/0_0.jpg これらのリクエストは、世界中のIPアドレス（米国、カナダ、中国、ロシア、インド、イスラエルなど）、複数のユーザーエージェントを持つデスクトップユーザーおよびモバイルユーザー（Chrome、IE、Firefox、モバイルサファリなど）から送信されます。そして多くの場合、同じIPアドレスからの同じセッション内で通常のアクティビティが発生するため、これはマルウェアか、壊れたプロキシ/フィルタのいずれかであると想定しています。私はそれらを画像以外から見たことがありません。これは、これが何らかのコンテンツフィルターである可能性があることを示唆しています。 他の誰かがこれを見たことがありますか？私のCDNログには、6月8日の最初のリクエストが1日あたり数十から数百に増加していることが示されています。

11 404  logging 

最近、サイトを再設計し、多くのURLが変更されました。古いURLを新しいURLにリダイレクトするようにApacheで書き換えルールを既に設定しています。これですべてうまくいきました。 私の質問は、Apache が301リダイレクトをログに記録しないようにするにはどうすればよいですか？ リダイレクトが行われた後にのみ新しいURLを記録します。

9 redirects  apache  logging  apache-log-files 

StackOverflowのような大規模なサイトがアクセスログをどのように処理するのかと思います。リクエストごとのディスクへの書き込みは少し不経済に思えますが、Googleアナリティクスはそれを唯一の情報リソースとして使用するのに信頼性がありますか？

8 google-analytics  analytics  traffic  logging  apache-log-files 

リンクが壊れていると、404でログに記録されます。アンカーへのリンクがあり、アンカーが見つからない場合、ログにエントリがありません。特にトラフィックがリファラーから来ている場合、これらの壊れたアンカーリンクを見つけるにはどうすればよいですか？この情報を取得するようにログを構成する方法はありますか？ HTTPサーバー：Apache 2

8 html  apache  logging  anchor  404 

Apacheサーバーの1つでそれほど忙しくないサイトのログを見るだけで、ログに次のような大量のログが表示されます。 ::1 - - [15/Apr/2011:12:11:40 -0700] "OPTIONS * HTTP/1.0" 200 - ::1 - - [15/Apr/2011:12:11:41 -0700] "OPTIONS * HTTP/1.0" 200 - ::1 - - [15/Apr/2011:12:11:44 -0700] "OPTIONS * HTTP/1.0" 200 - それらは、Apacheがページとその関連画像を提供したGETリクエストのすぐ下に複数回表示されるようです。 彼らはどういう意味ですか？ 「::1」とは 彼らが良性であるならば、私は彼らを抑圧できますか？

7 apache  apache2  ip-address  http  logging