タグ付けされた質問 「elasticsearch」

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新することがありますので、話題のサーバー障害のため。 閉じた3年前。 LinuxでElasticSearchのバージョンを確認する方法に興味がありますか？

22 linux  command-line-interface  elasticsearch 

私はubuntuにdebファイルでelasticsearch.90.7をインストールしました。このコマンドでelasticsearch.90.7をアンインストールしようとしました： sudo apt-get --purge autoremove elasticsearch そして、私はelasticsearch-1.6.0.debelasticsearch 1.6をインストールするためにダウンロードしました。 debファイルでelasticsearch 1.6をインストールするためにこのコマンドを実行すると： dpkg -i elasticsearch-1.6.0.deb これは私にこれを示しています： Selecting previously unselected package elasticsearch. (Reading database ... 89826 files and directories currently installed.) Preparing to unpack elasticsearch-1.6.0.deb ... Creating elasticsearch group... OK Creating elasticsearch user... OK Unpacking elasticsearch (1.6.0) ... Setting up elasticsearch (1.6.0) ... …

17 elasticsearch 

12 Centos 5.8サーバー以上のクラスター上で、ネイティブのLogstash Shipperを使用してlogstashをデプロイしました。これ/var/log/*/*.logは中央のlogstashサーバーに送り返します。 出荷者としてrsyslogdを使用しようとしましたが、rsyslogdのImFileモジュールのバグにより、リモートエンドが応答しない場合、ログがメモリに蓄積されます。 現在、Redisをトランスポートメカニズムとして使用しているため、logstash01はこれらのログのVLANのIPにバインドされたローカルで実行されているredisを持っています。 そのため、logstash-shipperはlogstash01のredisに送信します。logstash01は、別のプロセスで実行されているElasticsearchに送信します。 これが私たちが見ているものです。Elasticsearchには141個のブロックされたスレッドがあります。elasticsearchの親をたどることは以下を示します： futex(0x7f4ccd1939d0, FUTEX_WAIT, 26374, NULL ここにelasticsearchのjstackがあります これがlogstashのjstackです だから..昨夜、いくつかのウェブサーバー（ログはlogstashに追尾されています）が狂ってしまい、平均負荷は500を超えました。 logstash01には、これがあります Dec 19 00:44:45 logstash01 kernel: [736965.925863] Killed process 23429 (redis-server) total-vm:5493112kB, anon-rss:4248840kB, file-rss:108kB その後、もの..出荷されたサーバ上のメモリに積み上げログ意味のRedisサーバ、殺さOOM-killerがそう何とか Apacheはツイストでその半ズボンを取得することを意味します。（率直に言って、どのように私はそれがわからない、私はちょうどそれがログを尾行していると仮定する）。 これは、イベントがどのように展開したかに関する私の理論です。 トラフィックが急増しました。 膨大な量のログが生成されました。 これらはRedisに積み上げられ、logstash / elasticsearchは300〜400個の新しいイベント/秒しか処理できないようです。 RedisはOOM-killerが無意味に虐殺するまで完全にいっぱいになっていた。 Redisは新しいアイテムの受け入れを停止します。 アイテムは、リモートホスト側で積み上げられます。 すべてがおかしい。Apacheはリクエストの受け入れを停止します。（なぜ？）。 質問は次のとおりです。 ログの末尾に何かが残っているだけで、Apacheがおかしくなるのはなぜですか。apacheが書くことをブロックするのはそれが原因ですか？ elasticsearchをより速く/より良く/弾力的にする正しい方法はありますか？ redisを弾力的にし、OOMされたために死なないようにする正しい方法はありますか 私がそれをすべて設定した方法に根本的な欠陥がありますか、または誰もがこの問題を抱えていますか？ -編集- @lusisのいくつかの仕様。 admin@log01:/etc/init$ free …

16 redis  elasticsearch  logstash  oom-killer 

先史時代 ElasticOSとSugarCRM7をCentOS 6.5で実行しています。毎日同じ問題に直面しています：java outOfMemoryエラー。これは、vm.max_map_countの値が小さいために発生します。これは、262144が推奨される場合にのみ65530です。 問題 問題は、vm.max_map_countが変更できないように見えることです： ルートの下での変更 sudo sysctl -w vm.max_map_count=262144 戻り値 エラー：キー 'vm.max_map_count'で許可が拒否されました ながら ps aux | grep java grepプロセスのみを返します elasticsearchスタートアップの変更 sudo service elasticsearch start エラーも返します エラー：キー 'vm.max_map_count'で許可が拒否されました elasticsearchの開始：[OK] ファイルによる手動変更（ダーティーダーティーハック）： sudo vi /proc/sys/vm/max_map_count どちらも機能しません： "/ proc / sys / vm / max_map_count" [読み取り専用] 1L、6C -INSERT-W10：警告：読み取り専用ファイルの変更 E45：「読み取り専用」オプションが設定されています（オーバーライドするために！を追加） "/ proc / …

14 java  centos6  elasticsearch  sugarcrm 

Elasticsearch 1.3.2をインストールしたCentOS 6.5サーバーがあります。 私のelasticsearch.yml設定ファイルは、デフォルトとしてelasticsearchを使用して出荷されたものの最小限の変更です。コメント行をすべて削除すると、次のようになります。 cluster.name: xxx-kibana node: name: "xxx" master: true data: true index.number_of_shards: 5 index.number_of_replicas: 1 path: logs: /log/elasticsearch/log data: /log/elasticsearch/data transport.tcp.port: 9300 http.port: 9200 discovery.zen.ping.multicast.enabled: false Elasticsearch では、デフォルトで圧縮がオンになっている必要があり、圧縮率を50％から95％の範囲で設定するさまざまなベンチマークを読みました。残念ながら、私の場合の圧縮率は-400％です。つまり、ESで保存されたデータは、同じコンテンツのテキストファイルよりも4倍のディスク容量を消費します。見る： 12K logstash-2014.10.07/2/translog 16K logstash-2014.10.07/2/_state 116M logstash-2014.10.07/2/index 116M logstash-2014.10.07/2 12K logstash-2014.10.07/4/translog 16K logstash-2014.10.07/4/_state 127M logstash-2014.10.07/4/index 127M logstash-2014.10.07/4 12K logstash-2014.10.07/0/translog 16K logstash-2014.10.07/0/_state …

12 elasticsearch  disk-space-utilization  lucene 

この質問が今後の訪問者を助けることはほとんどありません。それは、地理的に狭い地域、特定の瞬間、またはインターネットの世界中のオーディエンスには一般的に適用できない非常に狭い状況にのみ関連しています。この質問をより広く適用するためのヘルプについては、ヘルプセンターにアクセスしてください。 8年前休業。 ElasticSearchをサポートするためのハードウェアレベルの優れたガイドはありますか？LuceneまたはSolrの推奨事項は、開始するのに適していますか？私たちはデプロイメントを展開することを検討しています 2700万のドキュメント、8 TBのデータ 1日あたり30万件のドキュメントを追加 次に、それを約10倍に拡大します。 2億7千万のドキュメント、80 TBのデータ 300万ドキュメント/日を追加 これは奇妙なユースケースで、クエリは1日あたり数千回に達しますが、Ajaxy webappを快適に使用できるように応答時間を十分に短くする必要があります。

10 hardware  scaling  elasticsearch 

先週、テストネットワークでElasticSearchとLogstashの両方を実行していたRaspberry Pi 2（2015年4月の時点で最新のRaspbian）のセットアップがあります（単純なセットアップではありませんが、1週間以上安定していた！）。今日、マシンをリブートしましたが、物事を再度実行するのに本当に苦労していました。ESとLSはどちらも独立して実行されますが、LS出力をESにプッシュしようとすると、説明なしにESインスタンスが停止します。私の目標は、標準出力プラグインを介して実行中のデータとLSポンプデータの両方をESに取り込むことです。 ElasticSearch [v1.5.0] これこそが核心的な問題だと私は信じています。ESは起動してservice elasticsearch start実行し続けることができ、ポート9200へのHTTPリクエストを介してアクセスでき、生命の兆候はすべて正常に見えます。何か（私が知る限り、何か）がインデックスにデータを書き込もうとするとすぐに、プロセスが終了し、@ / var / log / elasticsearch / *のデバッグログにサービス障害に関連するものが含まれなくなります。logstash（下記参照）とcurlを使用して挿入を試みましたが、どちらもESプロセスを終了します。私が実行しているcurlコマンドはですcurl -XPOST "http://localhost:9200/logstash-2015.04.05/records/" -d "{ \"type\" : \"specialRecord\" }"。 Logstash [v1.4.2] 私は現在、この単純な構成で実行しています： input { stdin { } } output { stdout { codec => rubydebug } elasticsearch { host => '127.0.0.1' cluster => 'elasticsearch' } …

9 elasticsearch  logstash 

この質問をメーリングリストで何度か見ましたが、満足のいく答えがありませんでした。 パイプラインがスタックしていないことを監視するのに最適な方法はどれですか。クライアント-> logstash-> elasticsearch。 Logstash、特にelasticsearchはリソース不足の傾向があります。彼らはどちらも、中断したところから再開するのは素晴らしいですが、人々はウォッチャーをどのように見ていますか？ 意見を歓迎します。

8 monitoring  elasticsearch  logstash