ログファイル内の繰り返しパターンを検出およびレポートするツールを知っている人はいますか？[閉まっている]

Javaアプリケーション（log4j）から大きなノイズの多いログファイル（500m /日）を監視する必要があります。今、私は手動でファイルを見て、「ERROR」のgrepなどをしています。ただし、ツールがファイル内の繰り返しパターンを見つけてカウントし、個々のエントリの詳細をドリルダウンできるようにする必要があります。誰でもそのようなツールを知っていますか？テキストまたはWebベースのUIがいいでしょう。

ログファイルにベイジアンフィルタリングを適用して、定期的なログエントリと比較して興味深いものを見つける人々のことを耳にします。彼らはスパムフィルターを使用しました。そこでは、日常的な興味のないエントリは「良い」と見なされ、異常なエントリは「スパム」と見なされ、その色を使用して移行することができました。

機械学習のように聞こえますが、実際には動作していません。ビールでしか聞いていません。

Splunkは、この種のものに対して驚異的な働きをします。内部的に使用して、すべてのログを収集し、その優れたブラウザベースのインターフェースを介して迅速な検索を行います。

syslog-ngにはfeatureという名前のpatterndbがあります。パターンを作成し、ログエントリをリアルタイムで照合してから、それらのエントリを個別のログファイルに送信できます。

syslog-ngとpatterndb（上記の回答に対する+1）を調べていると、ELSAというWebベースのツールに遭遇しました：http : //code.google.com/p/enterprise-log-search-and-archive/。perlのF / OSSであり、Webインターフェースを備えており、非常に高速であるはずです。

まだ試していませんが、patterndbを使用したフィルタリングが完了したら、ELSAを試します。

プチを試してみてください。
log4j形式で機能するかどうかはわかりませんが、そのためのカスタムフィルターを作成できる場合があります。
PetitにはWebインターフェイスがなく、シェルにグラフが表示されます（ASCII art ftw！）。
繰り返されるメッセージをすばやく確認し、それらがいつ発生したか、またはより頻繁に発生し始めたかを把握することは非常に便利です。

サーバーでdebian / squeezeを使用している場合は、log2mailをご覧ください：http ://packages.debian.org/squeeze/log2mail

Gloggは非常に優れたログエクスプローラーです。文字列と色のラインに基づいてフィルターを作成したり、すべての出現を文字列に取得したりすることができます。

http://glogg.bonnefon.org/

通常、Splunkはこれに適したソリューションです。しかし、あなたはそれがあなたにとって高すぎると言いました。そのため、LogstashまたはGrayLogを確認することをお勧めします。

SEQRELのLogXtenderを試すことができます。これは、パターンを自動的に検出し、同様のログを集約します。その方法は、その場で正規表現を作成し、キャッシュされた正規表現を使用して他のログと一致させることです。分類法の検出を追加すると、さらに細かく追加できます。無料版はhttps://try.logxtender.netからダウンロードできます。