StackOverflowのような大規模なサイトは、アクセスログをどのように処理しますか?


8

StackOverflowのような大規模なサイトがアクセスログをどのように処理するのかと思います。リクエストごとのディスクへの書き込みは少し不経済に思えますが、Googleアナリティクスはそれを唯一の情報リソースとして使用するのに信頼性がありますか?


データベースにログを記録するようにApacheを設定できます。IISも同じだと思います。
Lèseはmajesté

回答:


2

* nixシステムでは、syslog-ngを使用して、負荷分散されたクラスターの専用ログサーバーにログメッセージを保存し、Splunkなどのログ分析ソリューションを使用して、StackExchangeサイトについての情報を把握できます。実際に実行されますが、StackOverflow Metaにとって良い質問かもしれません。


誰もがスタック交換が何を使うかまだ尋ねましたか?
theonlygusti 2017

2

ウェブサーバーのログには、Googleアナリティクスでは利用できない情報が多く含まれています。

  • 404などのエラー
  • 画像などのメディアファイルへのアクセス(画像にリンクしている外部Webサイトを含む)
  • IPアドレス。ただし、別の質問に対する回答では、ユーザー変数として設定できることが指摘されています。
  • 完全な参照URL。たとえば、Googleは製品検索、ウェブ検索などからリンクを送信します。各検索にはキーワードがありますが、Googleアナリティクスは&source=productsなどの他の変数を表示しません。

今は考えられないようなものに違いない。

また、エラーログもあります。私の意見では、ウェブサイトがスムーズに動作するために重要であるに違いありません。あなたが無視するものではありません。


そうですが、ログをどのように保存しますか?Lèsemajestéによって提案されたファイルまたはデータベースは、私には重いようです。

実際、このような繰り返しデータをgzipすると、圧縮率が非常に高くなります。したがって、圧縮されたテキストファイルとして保存し、しばらくしてから削除することができると思います。基本的なローテーションだけです。
Evgeny

0

私は実際にこれらのログを見て、毎月それらを削除することはありません。私はトラブルシューティングのためにそれらを見るだけです。監視アプリケーションに関しては、Google Analyticsを使用して、CrazyEggと他の人は素晴らしい仕事をしています。

そのようなサービスが存在する前は、これらのログは非常に貴重でした。現在、これらは優れた開発者ツールですが、これらのログを積極的にアーカイブしたり、データを解析したりしている同僚や友人は知りません。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.