Splunkの代替品ですか？

Splunk、特にバージョン4 にはかなり感銘を受けました。きれいなグラフ、警告（エンタープライズのみ）、高速で正確な検索。それは素晴らしい製品です。

ただし、コストが非常に高いため、当社の完全な生産使用には考慮できません。本当に必要なのは、中央の場所でさまざまなログのインデックスを作成し、適切な検索を行えることです。保存された検索に基づいてアラートを送信することも非常に便利です。私たちはそれ以上のことはしません。

実際、私たちの最大の用途は、新しいアプリケーションの展開です。すべてはlog4netを介してWindowsのイベントログまたはLinuxのテキストファイルに記録されます。Splunkを使用すると、アプリ全体をすばやく検索して、アプリのすべての部分が正常に動作していることを確認するのが非常に簡単になります。

この市場にはどのような選択肢がありますか？Splunkの価格は非常に高いと思います。彼らは最高の製品を持っているからです。サーバーをWindowsで実行する必要があります。

一般的なログ用に1つの製品（syslog / Snare経由で収集）と、カスタムアプリ専用の製品（Log4Net Dashboardなど）を使用して、分割モデルを公開します。

Kiwiなどの単純なsyslogサーバーを使用して、SQL Serverに送信する（おそらくフルテキストを有効にする）と機能しますか？

私は、コストが5桁、USDをはるかに下回ることを願っています。（そして、はい、私たちは安いことを知っています。私たちはほとんどお金のないスタートアップであり、BizSparkはすべてのMSライセンスを管理します。）

編集：約10台の物理サーバー、20台のVM、およびいくつかのファイアウォールとスイッチがあります。90％はWindowsです。

注：これはすべてLinuxとフリーソフトウェアに関するもので、私が主に使用しているものですが、Linux syslogサーバーにログを送信するには、Windowsのsyslogクライアントで十分です。

SQLサーバーへのロギング： わずか30台のマシンで、ほぼすべての集中型syslogおよびSQLバックエンドで十分です。Linuxでsyslog-ngとMySQL を使用しています。

グラフ作成用のかなりのフロントエンドが主な問題です-ログからアイテムを取得し、ヒットやアラートなどの数を示すハッキングされたフロントエンドがたくさんあるようですが、統合されたクリーンなものは見つかりませんでした。確かにこれはあなたが探している主なものです...（何か良いものが見つかったら、このセクションを更新します！）

アラート：LinuxサーバーでSECを使用して、ログで発生している悪いことを見つけ、さまざまな方法でアラートを出します。それは信じられないほど柔軟で、Splunkほどクリック感がありません。ここには、多くの可能な機能をガイドする素晴らしいチュートリアルがあります。

また、さまざまな統計情報のグラフや、ログから取得できないアラート（サービスがダウンしているときなど）にもNagiosを使用しています。これは簡単にカスタマイズして、好きなもののグラフを追加できます。エージェントがcheck_logfilesプラグインを使用してログ内のヒット数をカウントするようにすることで、httpサーバーに対して行われたヒット数などの項目のグラフを追加しました（チェック期間ごとに取得した位置を保存します）。

全体的に、使用できるオプションは多数ありますが、Splunkほど統合されておらず、おそらくあなたがやりたいことをするためにより多くの努力を必要とするため、これをセットアップするのにどれくらいの時間がかかるかによって異なります。Nagiosのグラフは簡単に設定できますが、グラフを追加する前の履歴データは提供しませんが、Splunk（およびおそらく他のフロントエンド）を使用すると、過去のログを振り返り、今までにないことをグラフ化できますそれらから見ることを考えた。

また、SQLデータベース形式とインデックス作成はクエリの速度に大きな影響を与えるため、フルテキストインデックス作成のアイデアにより、検索速度が大幅に向上することに注意してください。MySQLまたはPostgreSQLが同様のことを行うかどうかはわかりません。

編集：MySQLはフルテキストインデックスを作成しますが、MySQL 5.6より前のMyISAMテーブルでのみです。 5.6では、InnoDBのサポートが追加されました。

編集：Postgresqlはもちろん全文検索を行うことができます：http : //www.postgresql.org/docs/9.0/static/textsearch.html

Windowsよりも* nixを対象としていますが、タコシーはWindowsをサポートしており、splunkと同じ種類のものを目指しているようです。

私は多くの監視ソリューションを試していますが、主にウィンドウを監視したいです。ほとんどのシステムは、エージェントなしで大量の情報を引き出すことができるSNMP監視を対象としています。

これらは私がこれまでに試したシステムの一部です：

Nagios-オープンソース。設定する豚ですが、高い評価を受けており、非常に柔軟に見えます。本質的にはカウンタレコーダのようで、リモートスクリプトの実行を許可していないため、MSシステムセンターまたはKaseyaの構成の問題を解決するために使用することはできません。エージェントレスですが、各クライアントにNSclientツールがインストールされていないと、本質的に役に立ちません。

Cacti-snmpの統計情報を取得することに基づいた、きれいでわかりやすいグラフ作成ツール。エージェントレス。

OpsView-Nagiosに基づいていますが、構成が簡単で、フロントエンドが優れています。

HypericHQ-Windowsで簡単に起動して実行できます。基本バージョンは無料で、たくさんあります。商用HypericHQエンタープライズがあります。エージェントは各クライアントにインストールする必要があります。

Zabbix-別の優れた監視ツール。nagiosよりも使いやすい。Windowsおよびクライアントマシンにインストールできるエージェントがあります。これについてはこれまで少しだけ調べてきました。

Zenoss-オープンソース。ゼノスのプロとしての素晴らしさに非常に感銘を受けました。SNMPベースのモニターであり、HP proliants、Windowsサービス、ms SQLサーバー、mysqlの監視を可能にする拡張機能があります。拡張機能はすべてSNMP経由で機能するため、クライアントマシンに何もインストールする必要はありません。私はまだすべてを調査していませんが、まだ活用していない機能がたくさんあるようです。Zopeをベースにしているので、Zopeのインストールに慣れていない限り、事前に準備したVMをダウンロードすることをお勧めします-箱から出してすぐに夢のように動作します。

商業面では、いくつかのツールを見ることができます。

Kaseya-私の記憶が正しければ250ノードで年間約6kかかりますが、すばらしいツールであり、非常に活発なユーザーコミュニティがあります。msp市場を対象としており、複数の会社のシステムを監視できます。内部で問題なく使用できます。

GFI Hounddog-Kaseyaよりシンプルですが、現時点では非常に安価です。間違いなく一見の価値があります。

MSPシステムとして販売されている多くのソリューションがありますが、基本的にはモニターとリモート管理を組み合わせたものです。

イアン

多くの優れた機能を備えた集中型syslogについては、rsyslogを十分に推奨するしかありません。そのオープンソースのsyslogサーバーは、あなたが知っていて愛している通常のsyslogdのドロップイン置換として喜んで動作することができます。現在、Ubuntuに最適なsyslogデーモンであり、Red HatとFedoraも同様の道を進んでいると思います。私はその多くを立ち上げて実行し、syslog-ngが望むものを簡単に実行できることに気付きました。

現在、当社のショップには、数百のサーバーのログを受信する2つの中央rsyslogサーバー（各サイトに1つ）があります。syslogの何かがアラート以上をトリガーするたびに自動電子メールアラートを受信します（もちろん、いくつかの調整を加えて、一部のアプリは少し警戒します）。nagiosなどにデータを送信するなど、もっと賢くすることもできますが、今のニーズには十分対応できます。

これはすべてmysqlデータベースにも適用されます（ロールの方法であれば、Oracleまたはpostgresqlのサポートもあります）。

また、イベントログをrsyslogサーバーに送信するためのWebフロントエンドとWindowsエージェントもあります。ウェブフロントエンドは明らかにslunkほど滑らかではありませんが、仕事は$ 0で完了します。

見てくださいhttp://www.codeplex.com/polymonを

そのオープンソース、バックエンドでSQL Serverを使用し、派手なUI

Splunkは素晴らしいことに同意します。ただし、小規模で支配的なLinux環境の場合は、epylogのようなものを見たいかもしれません。

私が働いていた場所の1つで使用しました。

Linux syslogコレクターに送信されるWindows syslogメッセージをどれだけうまく処理できるかはわかりませんが、一見の価値はあります。

私の答えにリンクするだけです：

Splunkは非常に高価です。代替手段は何ですか？

編集（新しいプロジェクト）：

LogStashとGraylog2プロジェクトは非常に面白そうに見えます

ここにいくつかのビデオがあります：1 つ2つ。

GFI EventsManagerのようなものが$ 4k程度のトリックを行うかもしれません。

• SNMPトラップ、Windowsイベントログ、W3Cログ、Syslogなどのイベントログの分析
• リアルタイムアラート、SNMPv2トラップアラートを含む
• 現在発生している主要なセキュリティ情報に関するレポートを表示する
• 集中イベントロギング
• すべてのセキュリティイベントの大きな割合を占める「ノイズ」または些細なイベントを削除する
• リアルタイムの24時間365日の監視とアラート
• 組み込みのステータスモニターを使用して、GFI EventsManagerとネットワークのステータスをグラフィカルに監視します
• 仮想環境のサポート

SysLogの代替品を探している場合は、LogLogic（http://loglogic.com）などの市販のsyslog / rsyslogの代替品を検討することもできます。私たち（私が働いている場所）には、すべての機能を備えたロギング、ストレージ、およびアプライアンスのレポートセットがあります。基本的に、1秒あたり100,000件のメッセージを収集し、それらを検索してインデックスを作成できるようにするための機能です。

liquidlabsからlogscapeを試すことができます-splunkに非常に似ていますが、いくつかの異なる機能もあります。... http://www.liquidlabs-cloud.com/products/logscape.html

以前の仕事（ちなみにMySQLでした）で、SQL、カスタムPHPスクリプトとのDrupalインターフェイス、完全な仕事でSQLバックエンドを行いました。

正直なところ、それはあまりにも多くの工数を費やし、それでもSplunkではありませんでした。

現在、私は代わりにSplunkをテストしています。ええ、それは無料ではありませんが、全体像を見ると、実際には安いかもしれません。

php-syslog-ngを試しましたか？ http://code.google.com/p/php-syslog-ng/

デュープスレッドを投稿しました： Splunkは非常に高価です：代替手段は何ですか？

xpologとすべての深刻な商用ソリューションはBIG $です（たとえsplunkより少なくても、ほとんどは5桁です！）

すっごく、ついにやったこと（splunkが多すぎたため）：

1）シンプルなsyslogからsql dbパイプラインが必要でした

2）kiwi syslogを試しました。これは1週間うまく機能し、動作を停止し、kiwiサポートはそれを修正できませんでした。キウイを落とした

3）winsyslogを試しました。アプリの老犬、私たちはそれを学びたくありませんでした。

4）この無料の.netアプリを使用しました：http : //www.aonaware.com/syslog.htm

出来上がり。データベースにsyslogメッセージがあります。

とても幸せです。0ドル、数時間かかりましたが、多すぎません。

ここではSplunkを使用していますが、彼らがあなたに言った価格設定にちょっとショックを受けました。私たちに与えられた基本的な内訳は、データ1GBあたり約1,000ドルのどこかにありました。その高価ですが、非常に強力であり、非常に高速に開発できます。データソースとそれらを使用して何をしたいかに応じて、いくつかのpythonおよびperlスクリプトは多くの同様のデータを提供できます。大きな違いは時間であり、テキスト処理のために言語を実際に使用することを学ぶことです。また、リアルタイムIP情報（syslogなど）を取得することもできませんが、sysloggerを取得して情報をテキストファイルに出力することでこれを修正できます。申し訳ありませんが、特定の解決策を示すことはできません。python、perl、およびbashスクリプトを使用するためにsplunkを使用できないもの。

ELSA-エンタープライズログの検索とアーカイブ

主な特徴：

• メッセージまたは解析済みフィールド内の任意の単語のフルテキスト検索。
• 任意のフィールドでグループ化し、結果に基づいてレポートを作成します。
• 検索をスケジュールします。
• 新しいログの検索ヒットに関するアラート。
• 検索を保存し、保存した検索結果をメールで送信します。
• 検索結果に基づいてインシデントチケットを作成します（プラグインを使用）。
• 結果のための完全なプラグインシステム。
• 結果をパーマリンクとして、またはExcel、PDF、CSV、HTMLでエクスポートします。
• 許可のための完全なLDAP統合。
• ユーザーごとのクエリの統計、ログのサイズと数。
• 完全に分散されたアーキテクチャで、すべてのクエリが並列に実行されるnノードを処理できます。
• 10：1を超える比率の圧縮アーカイブ。

パフォーマンスの詳細：

システムの仕様については、重要度の順に：ディスクサイズ、RAM、ディスク速度、CPU数。最も重要なパフォーマンス要因は、Sphinxのインデクサーおよび検索デーモンです。そのため、ドキュメントについてはsphinxsearch.comを参照してください。私の与えられた統計は大規模システム（16 CPU、144 GB RAM、12 TB HD）から取得されますが、4 CPU、8 GB RAM、およびあらゆるサイズのHDを備えたシステムで物事が直線的にスケーリングすると同じパフォーマンスが得られます。システムは、最初に4 GB RAMと低速のSANドライブを備えたIBMブレードで実行され、ほぼ同じ速度で実行されましたが、4 GBが少し近づいています。

パフォーマンスの詳細と主な機能のリスト、およびアーキテクチャの説明：http : //ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

コード：https : //code.google.com/p/enterprise-log-search-and-archive/

VM：http : //ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

プロジェクトに関する詳細：http : //ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Splunkのはるかに手頃な代替品を探している場合は、LogZilla（http://www.logzilla.pro）を試してください。Splunkと同等かそれ以上の拡張性があり（約1〜2秒で3億以上のログを検索できます）、コストの1/10です。彼らはhttp://demo.logzilla.proで実行されているデモを持っています