タグ付けされた質問 「logstash」

logstashフォワーダーをセットアップしようとしていますが、適切なセキュアチャネルを作成する際に問題があります。virtualboxで実行されている2台のubuntu（サーバー14.04）マシンでこれを設定しようとしています。それらは100％クリーンです（hostsファイルに触れたり、logstashに必要なjava、ngix、elastisearchなど以外のパッケージをインストールしたりしません） これはlogstashの問題ではないと思いますが、証明書の不適切な処理や、logstash ubuntuまたはフォワーダーマシンで正しく設定されていないものです。 キーを生成しました： sudo openssl req -x509 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt logstashサーバーでの私の入力conf： input { lumberjack { port => 5000 type => "logs" ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt" ssl_key => "/etc/pki/tls/private/logstash-forwarder.key" } } キーは、次の構成を持つforwarder hostにコピーされました。 { "network": { "servers": [ "192.168.2.107:5000" ], "timeout": 15, "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt" "ssl …

28 ubuntu  ssl  ssl-certificate  tls  logstash 

問題 SIGTERMでもSIGKILLでも死なないjavaプロセスがあります。 logstash 2591 1 99 13:22 ? 00:01:46 /usr/bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+DisableExplicitGC -Djava.awt.headless=true -Dfile.encoding=UTF-8 -XX:+HeapDumpOnOutOfMemoryError -Xmx1g -Xms256m -Xss2048k -Djffi.boot.library.path=/usr/share/logstash/vendor/jruby/lib/jni -Xbootclasspath/a:/usr/share/logstash/vendor/jruby/lib/jruby.jar -classpath : -Djruby.home=/usr/share/logstash/vendor/jruby -Djruby.lib=/usr/share/logstash/vendor/jruby/lib -Djruby.script=jruby -Djruby.shell=/bin/sh org.jruby.Main --1.9 /usr/share/logstash/lib/bootstrap/environment.rb logstash/runner.rb --path.settings /etc/logstash シグナルを受信するたびに再スポーンします。 Sep 15 13:22:17 test init: logstash main process (2546) killed by KILL signal Sep …

26 linux  centos6  logstash 

12 Centos 5.8サーバー以上のクラスター上で、ネイティブのLogstash Shipperを使用してlogstashをデプロイしました。これ/var/log/*/*.logは中央のlogstashサーバーに送り返します。 出荷者としてrsyslogdを使用しようとしましたが、rsyslogdのImFileモジュールのバグにより、リモートエンドが応答しない場合、ログがメモリに蓄積されます。 現在、Redisをトランスポートメカニズムとして使用しているため、logstash01はこれらのログのVLANのIPにバインドされたローカルで実行されているredisを持っています。 そのため、logstash-shipperはlogstash01のredisに送信します。logstash01は、別のプロセスで実行されているElasticsearchに送信します。 これが私たちが見ているものです。Elasticsearchには141個のブロックされたスレッドがあります。elasticsearchの親をたどることは以下を示します： futex(0x7f4ccd1939d0, FUTEX_WAIT, 26374, NULL ここにelasticsearchのjstackがあります これがlogstashのjstackです だから..昨夜、いくつかのウェブサーバー（ログはlogstashに追尾されています）が狂ってしまい、平均負荷は500を超えました。 logstash01には、これがあります Dec 19 00:44:45 logstash01 kernel: [736965.925863] Killed process 23429 (redis-server) total-vm:5493112kB, anon-rss:4248840kB, file-rss:108kB その後、もの..出荷されたサーバ上のメモリに積み上げログ意味のRedisサーバ、殺さOOM-killerがそう何とか Apacheはツイストでその半ズボンを取得することを意味します。（率直に言って、どのように私はそれがわからない、私はちょうどそれがログを尾行していると仮定する）。 これは、イベントがどのように展開したかに関する私の理論です。 トラフィックが急増しました。 膨大な量のログが生成されました。 これらはRedisに積み上げられ、logstash / elasticsearchは300〜400個の新しいイベント/秒しか処理できないようです。 RedisはOOM-killerが無意味に虐殺するまで完全にいっぱいになっていた。 Redisは新しいアイテムの受け入れを停止します。 アイテムは、リモートホスト側で積み上げられます。 すべてがおかしい。Apacheはリクエストの受け入れを停止します。（なぜ？）。 質問は次のとおりです。 ログの末尾に何かが残っているだけで、Apacheがおかしくなるのはなぜですか。apacheが書くことをブロックするのはそれが原因ですか？ elasticsearchをより速く/より良く/弾力的にする正しい方法はありますか？ redisを弾力的にし、OOMされたために死なないようにする正しい方法はありますか 私がそれをすべて設定した方法に根本的な欠陥がありますか、または誰もがこの問題を抱えていますか？ -編集- @lusisのいくつかの仕様。 admin@log01:/etc/init$ free …

16 redis  elasticsearch  logstash  oom-killer 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新することがありますので、話題のサーバー障害のため。 5年前に閉鎖されました。 Ubuntu 13.10でlogstash APTリポジトリを使用して、logstashをサービスとしてインストールしました。 だから今私は実行することができます： dpkg -s logstash そして、それは出力します： Package: logstash Status: install ok installed Priority: extra Section: default Installed-Size: 93362 Maintainer: <jls@ds4172> Architecture: all Version: 1.4.0-1-c82dc09 Depends: java7-runtime-headless | java6-runtime-headless | j2re1.7 Conffiles: /etc/default/logstash 399f19c4d762840a36f6bc056c3739b8 /etc/default/logstash-web d94db9f8dc1d4ced449175a96e8df09d /etc/logrotate.d/logstash 9bb11b4b058868bb41c658c9c3152a83 Description: An extensible logging pipeline License: Apache …

12 logstash 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新することがありますので、話題のサーバー障害のため。 4年前に閉鎖されました。 私は現在、logstash（またはgraylog2）を使用して複数のサーバーからのログを統合する可能性を調査しています。 私はまだlogstashとgraylogの違いについて少し混乱しています。これまでのところ、logstashの使いやすさを高く評価しましたが、他の人からの経験を聞くことに興味があります。 さらに、logstashはWindowsイベントログを取得できるようです。代わりにnxLogまたはsnareを使用するインセンティブはありますか？多くの人々は、nxlogを使用して、離れたlogstashインスタンスにイベントを転送することを報告しています。推奨される方法ですか？ 当面は、複数のボックスから統合したいと思います。 Windowsイベントログ サードパーティのcsvファイル フィードバックを事前に感謝します。

12 logging  logstash  graylog 

Logstashのバージョンを取得するにはどうすればよいですか？ root@elk:/usr/share/elasticsearch# bin/logstash --help bash: bin/logstash: No such file or directory システムでLogstashを実行しています。また。 root@elk:/# logstash -V bash: logstash: command not found また。 root@elk:/# ps aux | grep logstash logstash 1725 45.3 8.5 1942860 175936 ? SNl 22:03 0:35 /usr/bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -Djava.io.tmpdir=/opt/logstash -Xmx500m -Xss2048k -Djffi.boot.library.path=/opt/logstash/vendor/jruby/lib/jni -XX:+UseParNewGC -XX:+UseConcMarkSweepGC …

11 ubuntu-14.04  logstash 

コマンドを使用してユーザーlogstashをグループに追加しました。adm$ usermod -a -G adm logstash logstashエージェントが読み取ろうとしているファイルの1つ/var/log/nginx/foo-access.logは、次の権限を持つファイルです。 -rw-r----- 1 www-data adm 0 Jul 25 07:52 /var/log/nginx/foo-access.log 私sudo su logstashはファイルを読み取ることができますが、私$ sudo service logstash_agent restart（initスクリプトがlogstashユーザーとして実行されます）が読み取られると、logstashログが次のように埋められます。 {:timestamp=>"2013-07-31T17:05:17.287000+0000", :message=>"failed to open /var/log/nginx/foo-access.log: Permission denied - /var/log/nginx/foo-access.log", :level=>:warn} logstashユーザーがadmグループに属していることを確認できます。 $ groups logstash logstash : logstash adm このファイルには間違いなく適切なファイルアクセス権があります。 $ getfacl /var/log/nginx/foo-access.log getfacl: Removing leading '/' from …

10 ubuntu  permissions  ubuntu-12.10  logstash 

先週、テストネットワークでElasticSearchとLogstashの両方を実行していたRaspberry Pi 2（2015年4月の時点で最新のRaspbian）のセットアップがあります（単純なセットアップではありませんが、1週間以上安定していた！）。今日、マシンをリブートしましたが、物事を再度実行するのに本当に苦労していました。ESとLSはどちらも独立して実行されますが、LS出力をESにプッシュしようとすると、説明なしにESインスタンスが停止します。私の目標は、標準出力プラグインを介して実行中のデータとLSポンプデータの両方をESに取り込むことです。 ElasticSearch [v1.5.0] これこそが核心的な問題だと私は信じています。ESは起動してservice elasticsearch start実行し続けることができ、ポート9200へのHTTPリクエストを介してアクセスでき、生命の兆候はすべて正常に見えます。何か（私が知る限り、何か）がインデックスにデータを書き込もうとするとすぐに、プロセスが終了し、@ / var / log / elasticsearch / *のデバッグログにサービス障害に関連するものが含まれなくなります。logstash（下記参照）とcurlを使用して挿入を試みましたが、どちらもESプロセスを終了します。私が実行しているcurlコマンドはですcurl -XPOST "http://localhost:9200/logstash-2015.04.05/records/" -d "{ \"type\" : \"specialRecord\" }"。 Logstash [v1.4.2] 私は現在、この単純な構成で実行しています： input { stdin { } } output { stdout { codec => rubydebug } elasticsearch { host => '127.0.0.1' cluster => 'elasticsearch' } …

9 elasticsearch  logstash 

私は主にpfSenseファイアウォール、XenServerハイパーバイザー、FreeBSD / Linuxサーバー、およびWindowsサーバーの監視を開始するログアナライザーサービスを構築しています。 ELKスタックとそれをうまく機能させる方法については、インターネット上にたくさんのドキュメントがあります。しかし、私はそれを別の方法で使用したいのですが、それが良い解決策なのか、単に時間/ディスク容量の無駄なのかはわかりません。 私はすでにリモートSyslogサーバーとして機能しているFreeBSD 10.2マシンを持っています。私の考えは、すべてのログをこのマシンに集中させ、それらのSyslogサーバーがログをlogstash-forwarderELKサーバーに転送することです。 このアプローチでは、このセットアップのディスク要件が増えることは明らかですが、一方、logstash-forwarderデーモンがインストールされているマシンは1つだけなので、これは私にとっては良さそうです。 しかし、問題について話します。logstashパーサのマッチ[host]ログメッセージを送信するサーバのホスト名と、このアプローチでのみELK、リモートsyslogサーバーの「サーバー」のショーにあります。 logstash構成ファイルの設定をカスタマイズできることは承知していますが、これがパーサーの単純な設定であり、ELK全体が危険にさらされるかどうかはわかりません（経験もありません）。経験。 結局のところ、私のロギングアーキテクチャと、それが機能するのか、それとも他のオプションなしで進むべきなのかについて、いくつかのアドバイスが欲しいだけです。 前もって感謝します、

8 freebsd  syslog  logstash  kibana  elk 

背景：リモートログ集約は、セキュリティを向上させる方法の1つと見なされています。一般に、これは、システムを侵害する攻撃者がログを編集または削除して、フォレンジック分析を失敗させるリスクに対処します。一般的なログツールのセキュリティオプションを調査しています。 しかし、何かがおかしいと感じます。一般的なリモートロガー（rsyslog、syslog-ng、logstashなど）を構成して、受信メッセージが本当にホストから発信されたものであることを認証する方法がわかりません。なんらかのポリシーの制約がなければ、1つのログ発信者が別のログ発信者に代わってメッセージを偽造する可能性があります。 rsyslogの作者はログデータの認証について警告しているようです： 最後の注意点：transport-tlsは、送信者と受信者の間の接続を保護します。メッセージ自体に存在する攻撃から必ずしも保護するわけではありません。特にリレー環境では、メッセージは悪意のあるシステムから発信された可能性があり、無効なホスト名やその他のコンテンツがそのシステムに配置されています。そのようなものに対するプロビジョニングがない場合、これらのレコードは受信者のリポジトリに表示される可能性があります。-transport-tlsはこれから保護しません（ただし、適切に使用すると役立つ場合があります）。syslog-transport-tlsはホップバイホップのセキュリティを提供することに注意してください。エンドツーエンドのセキュリティは提供されず、メッセージ自体（最後の送信者のみ）は認証されません。 したがって、フォローアップの質問は次のとおりです。ある程度の信頼性を提供する（選択した一般的なログツール-rsyslog、syslog-ng、logstashなどの）良い/実用的な構成は何ですか？ または...誰もログデータを認証しない場合は、なぜですか？ - （余談：議論/比較では、RFC 5424のいくつかの図や用語を使用すると役立つ場合があります：セクション4.1：配備シナリオの例 -たとえば「発信元」対「リレー」対「コレクター」）

8 security  logging  rsyslog  logstash  syslog-ng 

現在、logstashとelasticsearchが私たちのユースケースに役立つかどうかを評価しています。私が持っているのは、次の形式の複数のエントリを含むログファイルです <root> <entry> <fieldx>...</fieldx> <fieldy>...</fieldy> <fieldz>...</fieldz> ... <fieldarray> <fielda>...</fielda> <fielda>...</fielda> ... </fieldarray> </entry> <entry> ... </entry> ... <root> 各entry要素には1つのログイベントが含まれます。（興味がある場合、ファイルは実際にはテンポタイムシート（Atlassian JIRAプラグイン）作業ログエクスポートです。） 独自のコーデックを作成せずに、そのようなファイルを複数のログイベントに変換することは可能ですか？

8 xml  logstash 

この質問をメーリングリストで何度か見ましたが、満足のいく答えがありませんでした。 パイプラインがスタックしていないことを監視するのに最適な方法はどれですか。クライアント-> logstash-> elasticsearch。 Logstash、特にelasticsearchはリソース不足の傾向があります。彼らはどちらも、中断したところから再開するのは素晴らしいですが、人々はウォッチャーをどのように見ていますか？ 意見を歓迎します。

8 monitoring  elasticsearch  logstash 

次のlogstash構成は、TCP接続を介してjsonとしてWindowsイベントログを受け入れるために使用され、その後、いくつかのフィルタリングの後に結果をElastic search（ソース：https : //gist.github.com/robinsmidsrod/4215337）に転送します。 input { tcp { type => "syslog" host => "127.0.0.1" port => 3514 } tcp { type => "eventlog" host => "10.1.1.2" port => 3515 format => 'json' } } # Details at http://cookbook.logstash.net/recipes/syslog-pri/ filter { # Incoming data from rsyslog grok { type => "syslog" …

8 logstash