タグ付けされた質問 「logstash」

技術ログやビジネスログなど、2つの非常に異なるタイプのログがあり、必要な場合を考えてみましょう。 生の技術ログは、gelf出力を使用してgraylog2サーバーにルーティングされます。 jsonビジネスログは、専用のelasticsearch_http出力を使用してelasticsearchクラスターに保存されます。 Syslog-NGたとえば、構成ファイルを使用すると、ディスパッチされる前に個別に処理できるいくつかの異なる入力を定義できることがわかります。何をLogstash行うことができないようです。1つのインスタンスが2つの特定の構成ファイルで開始できる場合でも、すべてのログは同じチャネルを使用し、同じ処理が適用されます... さまざまなタイプのログと同じ数のインスタンスを実行する必要がありますか？

95 logging  elasticsearch  logstash  graylog2 

Logstashをインストールして、Apacheファイルを解析しました。設定を正しく行うのにかなり時間がかかり、実際のログを常に試しました。（ドキュメントにあるように）logstashはファイルのどこにあったかを「記憶」していることに気付きました。これで私の設定はOKになり、Logstashに「忘れて」もらいたいのです。これは私よりも難しいようです。私はすでに次のことをしました： 中古： start_position => "beginning" elastissearchから「data」フォルダ全体を削除しました（そして最初に停止しました） logstashで開かれたファイルを見て、lsof -p PID有望なすべてのものを削除しました（私の場合/tmp/jffi*.tmp） それでもLogstashは、ログが保存されているフォルダ内の「新しい」ファイルのみを忘れず、解析しません 何か案は？

91 file  logstash 

さまざまなマシンにインストールされているLogstashシッパーによってログ情報を収集し、1つのelasticsearchサーバーでデータにインデックスを付け、Kibanaをグラフィカルレイヤーとして使用するアーキテクチャを定義しています。Logstashの配送業者とelasticsearchの間に、配信を許可するための信頼性の高いメッセージングシステムが必要です。Logstashシッパーとelasticsearchの間、またはその逆のデータブローカー/メッセージングシステムとしてRedis over RabbitMQを選択する場合、どのような要素を考慮する必要がありますか？

90 elasticsearch  redis  rabbitmq  logstash