タグ付けされた質問 「elasticsearch」

typeとして宣言されている場合string、Elasticsearch 6.0はこのエラーを表示します。 "name" => [ "type" => "string", "analyzer" => "ik_max_word" ]

106 elasticsearch  elasticsearch-mapping  elasticsearch-6 

ElasticSearchとRailsに問題があり、attr_protectedが原因で一部のデータが適切にインデックス付けされませんでした。Elastic Searchはインデックス付きデータをどこに保存しますか？実際のインデックス付きデータが間違っているかどうかを確認すると便利です。 でマッピングを確認しても問題Tire.index('models').mappingは解決せず、フィールドがリストされます。

102 ruby-on-rails  elasticsearch  attr-protected 

私が使用しようとしているのGitHubのコード検索をなどの文字を含むコードの一部の行を検索するために=、+など、 私はhttps://help.github.com/articles/searching-code/#considerations-for-code-searchから、これらの文字はワイルドカードであり、エスケープする必要があることを理解しています。そうしないと、無視されます。 次に例を示します："if \（done is True \）"、および別の例："if（done is True）"。 どちらも"your query contains a character that is ignored"検索バーの右側に同じ警告を返します。私のエスケープは何もしていないようで、私が得る結果は文字が無視されています。

102 search  github  elasticsearch 

最近、新しいAmazon Elasticsearch Serviceの使用を開始しましたが、特定のIAMロールが割り当てられているEC2インスタンスからのみサービスにアクセスできるように、必要なアクセスポリシーを理解できていないようです。 ESドメインに現在割り当てているアクセスポリシーの例を次に示します。 { "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::[ACCOUNT_ID]:role/my_es_role", ] }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:[ACCOUNT_ID]:domain/[ES_DOMAIN]/*" } ] } しかし、私が言ったように、これは機能しません。EC2インスタンス（my_es_role役割が関連付けられている）にログインし、「https：//*.es.amazonaws.com」エンドポイントで単純なcurl呼び出しを実行しようとすると、次のエラーが発生します。 {"メッセージ"： "ユーザー：匿名には実行が許可されていません：es：ESHttpGetに対するリソース：arn：aws：es：us-east-1：[ACCOUNT_ID]：domain / [ES_DOMAIN] /“} これが機能するためにアクセスポリシーで何を変更する必要があるかを誰かが知っていますか？

99 amazon-web-services  elasticsearch  amazon-ec2  amazon-iam  amazon-elasticsearch 

Elasticsearchのデフォルト構成のApacheサーバーを使用していますが、デフォルト構成の最大サイズが1GBであることを除いて、すべてが完全に機能します。 Elasticsearchに保存するドキュメントがそれほど多くないので、メモリを減らしたいと思います。 -XmxJava構成のパラメーターを変更する必要があることを確認しましたが、その方法がわかりません。 私はこれを実行できることを見ました： bin/ElasticSearch -Xmx=2G -Xms=2G しかし、Elasticsearchを再起動する必要がある場合、これは失われます。 Elasticsearchがサービスとしてインストールされている場合、最大メモリ使用量を変更することはできますか？

99 elasticsearch 

v2.0以降、Elasticsearchはデフォルトでローカルホストでのみリッスンしていますが、ローカルホストの外部でリクエストを行いたいと思います。 たとえば、次のようなリクエストが許可されます。 http://localhost:9200/ しかし、これはそうではありません： http://server_name:9200/ （サーバーの外部から、たとえば：同じLAN内のローカルコンピューター）。 ご協力いただきありがとうございます。

97 elasticsearch 

技術ログやビジネスログなど、2つの非常に異なるタイプのログがあり、必要な場合を考えてみましょう。 生の技術ログは、gelf出力を使用してgraylog2サーバーにルーティングされます。 jsonビジネスログは、専用のelasticsearch_http出力を使用してelasticsearchクラスターに保存されます。 Syslog-NGたとえば、構成ファイルを使用すると、ディスパッチされる前に個別に処理できるいくつかの異なる入力を定義できることがわかります。何をLogstash行うことができないようです。1つのインスタンスが2つの特定の構成ファイルで開始できる場合でも、すべてのログは同じチャネルを使用し、同じ処理が適用されます... さまざまなタイプのログと同じ数のインスタンスを実行する必要がありますか？

95 logging  elasticsearch  logstash  graylog2 

Elasticsearchデータをあるサーバーから別のサーバーに移動するにはどうすればよいですか？ 複数のインデックスを持つ1つのローカルノードでElasticsearch 1.1.1を実行しているサーバーAがあります。そのデータをElasticsearch 1.3.4を実行しているサーバーBにコピーしたい これまでの手順 両方のサーバーでESをシャットダウンし、 すべてのデータを新しいサーバーの正しいデータディレクトリにscpします。（データは私のdebianボックスの/ var / lib / elasticsearch /にあるようです） 権限と所有権をelasticsearch：elasticsearchに変更します 新しいESサーバーを起動します ESヘッドプラグインでクラスターを見ると、インデックスが表示されません。 データが読み込まれていないようです。何か不足していますか？

94 elasticsearch 

さまざまなマシンにインストールされているLogstashシッパーによってログ情報を収集し、1つのelasticsearchサーバーでデータにインデックスを付け、Kibanaをグラフィカルレイヤーとして使用するアーキテクチャを定義しています。Logstashの配送業者とelasticsearchの間に、配信を許可するための信頼性の高いメッセージングシステムが必要です。Logstashシッパーとelasticsearchの間、またはその逆のデータブローカー/メッセージングシステムとしてRedis over RabbitMQを選択する場合、どのような要素を考慮する必要がありますか？

90 elasticsearch  redis  rabbitmq  logstash 

私はElasticsearchを初めて使用し、この時点まで手動でデータを入力しています。たとえば、私は次のようなことをしました： $ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{ "user" : "kimchy", "post_date" : "2009-11-15T14:12:12", "message" : "trying out Elastic Search" }' これで.jsonファイルができたので、これをElasticsearchにインデックス付けしたいと思います。私もこのようなことを試しましたが、成功しませんでした。 curl -XPOST 'http://jfblouvmlxecs01:9200/test/test/1' -d lane.json .jsonファイルをインポートするにはどうすればよいですか？マッピングが正しいことを確認するために最初に実行する必要のある手順はありますか？

89 json  elasticsearch 

新しい構成でelasticsearchノードを再起動したい。ノードを正常にシャットダウンするための最良の方法は何ですか？ プロセスを強制終了することがサーバーをシャットダウンする最良の方法ですか、それともノードをシャットダウンするために使用できる魔法のURLがありますか？

87 elasticsearch 

Elasticsearch 2.1から情報を取得し、ユーザーが結果をページングできるようにします。ユーザーが高いページ番号を要求すると、次のエラーメッセージが表示されます。 結果ウィンドウが大きすぎます。+サイズは[10000]以下である必要がありますが、[10020]でした。大きなデータセットをリクエストするためのより効率的な方法については、スクロールAPIを参照してください。この制限は、[index.max_result_window]インデックスレベルパラメータを変更することで設定できます 弾力性のあるドキュメントによると、これはメモリ消費量が多く、スクロールAPIを使用するためです。 より大きい値は、検索ごとおよび検索を実行するシャードごとにヒープメモリのかなりのチャンクを消費する可能性があります。深いスクロールにはスクロールAPIを使用するため、この値を残すのが最も安全ですhttps://www.elastic.co/guide/en/elasticsearch/reference/2.x/breaking_21_search_changes.html#_from_size_limits 問題は、大きなデータセットを取得したくないということです。結果セットの非常に高い位置にあるデータセットからスライスを取得したいだけです。また、スクロールドキュメントには次のように書かれています。 スクロールは、リアルタイムのユーザーリクエストを対象としていませんhttps://www.elastic.co/guide/en/elasticsearch/reference/2.2/search-request-scroll.html これは私にいくつかの質問を残します： 1）結果10000-10020の「通常の」検索要求を実行する代わりに、スクロールAPIを使用して結果10020までスクロールアップした場合（および10000未満のすべてを無視した場合）、メモリ消費量は実際に少なくなりますか（その場合は理由はありますか）？ 2）スクロールAPIは私にとってオプションではないようですが、「index.max_result_window」を増やす必要があるようです。誰かがこれについて何か経験がありますか？ 3）私の問題を解決する他のオプションはありますか？

86 elasticsearch 

from datetime import datetime from elasticsearch import Elasticsearch es = Elasticsearch() doc = { 'author': 'kimchy', 'text': 'Elasticsearch: cool. bonsai cool.', 'timestamp': datetime(2010, 10, 10, 10, 10, 10) } res = es.index(index="test-index", doc_type='tweet', id=1, body=doc) print(res['created']) この単純なコードは、次のエラーを返します。 elasticsearch.exceptions.ConnectionTimeout: ConnectionTimeout caused by - ReadTimeoutError(HTTPConnectionPool(host='localhost', port=9200): Read timed out. (read timeout=10)) サーバーの準備ができて設定されているため、非常に奇妙です（http：// …

86 python  python-2.7  elasticsearch 

Elasticsearchクラスターを実行するマシンが5台あり、それらがすべて共有ドライブに接続されていると仮定します。その共有ドライブにelasticsearchのコピーを1つ置いて、3人全員がそれを見ることができるようにしました。すべてのマシンの共有ドライブでelasticsearchを開始すると、クラスタリングが自動的に機能しますか？または、elasticsearchが5台のマシンで実行されていることを認識できるように、特定の設定を構成する必要がありますか？もしそうなら、関連する設定は何ですか？レプリカの構成について心配する必要がありますか、それとも自動的に処理されますか？

81 elasticsearch 

データセットでセマンティック検索を実行する場所で解決しようとしている問題があります。つまり、ドメイン固有のデータがあります（例：自動車について話す文章）。 私たちのデータは単なる文の集まりであり、私たちが欲しいのはフレーズを与えて次のような文を取り戻すことです： そのフレーズに似ています フレーズに似た文の一部がある 文脈的に類似した意味を持つ文 「Buying Experience」というフレーズを検索した場合の例を挙げてみましょう。次のような文を取得する必要があります。 車の購入に署名して購入するのに30分もかからないとは思っていませんでした。 気に入った車を見つけました。購入プロセスは 簡単で簡単でした カーショッピングに行くのは絶対に嫌いだったけど、今日はよかった 私は強引な単語検索ではなく、文脈の類似性を探しているという事実を強調したいと思います。 文が別の単語を使用している場合は、それを見つけることもできるはずです。 私たちがすでに試したこと： Open Semantic Searchここで直面した問題は、私たちが持っているデータからオントロジーを生成すること、またはそのために、関心のあるさまざまなドメインから利用可能なオントロジーを検索することです。 Elastic Search（BM25 + Vectors（tf-idf））、これを試してみましたが、数文しかありませんでしたが、精度はそれほど高くありませんでした。精度も悪かったです。人間が精選したデータセットに対して試したところ、文章の約10％しか取得できませんでした。 私たちは、センテンストランスフォーマーで一度言及されたようなさまざまな埋め込みを試し、例も試して、人間が精選したセットに対して評価しようとしましたが、これも非常に精度が低かったです。 ELMOを試しました。これは優れていましたが、予想よりも精度が低く、コサイン値を決定するための認知的負荷があり、それを下回ると文を考慮すべきではありません。これはポイント3にも当てはまります。 任意の助けをいただければ幸いです。事前に助けてくれてありがとう

19 python  elasticsearch  nlp  sentence-similarity  huggingface-transformers