タグ付けされた質問 「nosql」

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新して、データベース管理者のStack Exchangeのトピックになるようにします。 2ヶ月前に閉店。 NoSQLデータベースについて学ぶことに興味があり、ドキュメント指向のデータベースから始めることにしました。このタイプのデータベースの概念と優れた設計を学ぶための優れたリソースは何ですか？

12 learning  nosql  document-oriented 

Redisサーバーv2.8.4は、8 GBのRAMと16 GBのスワップスペース（SSD上）を備えたUbuntu 14.04 VPSで実行されています。ただしhtop、redis一人22.4 Gで記憶を占有していることを示しています！ redis-server記憶不足のために最終的にクラッシュしました。Memそして、Swpの両方が、その後、100％に当たるredis-server他のサービスと一緒に殺されます。 からdmesg： [165578.047682] Out of memory: Kill process 10155 (redis-server) score 834 or sacrifice child [165578.047896] Killed process 10155 (redis-server) total-vm:31038376kB, anon-rss:5636092kB, file-rss:0kB redis-serverOOMクラッシュまたはから再起動すると、service redis-server force-reloadメモリ使用量が100MB未満に低下します。 質問：redis-serverクラッシュするまで、メモリをどんどん占有するのはなぜですか？どうすればこれを防ぐことができますか？ maxmemoryredisがmaxmemory制限に達するとデータの削除を開始するため、設定が機能しないのは本当ですか？ redis-serverを再起動した後 Redisバージョン： Redis server v=2.8.4 sha=00000000:0 malloc=jemalloc-3.4.1 bits=64 build=a44a05d76f06a5d9 更新 ときhtopのメモリ使用量を報告redis-server4.4gのRAMと22.6Gスワップされることを、Redisの内のすべてのキーによって取り込まれたスペースの量はわずかである60.59636307 MBことで報告されたように、rdbtools。これは、redis-server再起動直後に使用されるRAMの量でもあります。 INFO ALLいつredis-serverメモリを大量に消費しているのか mem_fragmentation_ratio:0.19 127.0.0.1:6379> …

12 performance  memory  ubuntu  nosql  redis 

CAP定理対BASE（NoSQL） こんにちは、私はNoSQLに関する私の仕事のための小さな論文を書こうとしています。CAP定理をすべてではないにしてもほとんどのNoSQLデータベースが準拠していると説明しました。私は後でNoSQLとRDBMSの違いについての論文を読みましたが、NoSQLデータベースはACIDの対応するBASEを使用すると述べています。 BASE、ACID、CAPのプロパティは知っていますが、CAPの定理とBASEの関係を理解するのに苦労しました。私が理解しているように、CAPの定理はBASEの頭字語につながりますが、それは正しい結論ですか？または、いくつかの類似したプロパティを共有するデータベースを「構築」するための2つの異なるアプローチですか？ このブログ投稿（http://www.johndcook.com/blog/2009/07/06/brewer-cap-theorem-base/）で、著者はこう書いています： フォールトトレラントなBASEの世界でソフトウェアを開発するのは、退屈なACIDの世界と比較すると困難ですが、BrewerのCAPの定理では、スケールアップする場合は選択肢がないとされています。ただし、Brewerがこのプレゼンテーションで指摘しているように、ACIDとBASEの間には連続性があります。優先順位に従って、連続体の一方の端またはもう一方の端にどれだけ近づけるかを決定できます。 別の記事で著者はこう書いている： 上記のNOSQLデータベースの多くは、より良い可用性とパーティショニングを実現するために、整合性に関する要件を緩和しています。これにより、システムはBASE（基本的に使用可能、ソフト状態、結果的に整合性）と呼ばれます。これらには古典的な意味でのトランザクションがなく、データモデルに制約を導入して、より優れたパーティションスキーム（Dynamoシステムなど）を有効にします。CAP、ACID、およびBASEのより包括的な議論は、この紹介で利用できます。 これは、CAP がBASEをもたらすことを明確に述べています。 誰かがこれを明確にして、私の混乱を取り除くことができるといいのですが。 ありがとう -Mestika

12 nosql 

このタイプの構造をredisで作成したい：（基本的にはjsonデータ） { "id": "0001", "name":"widget ABC", "model": "model123", "service":"standard", "admin_password": 82616416, "r1": { "extid":"50000", "password":"test123", }, "r2": { "ext":"30000", "password":"test123", }, } これまでに試したこと： 私は「サブ」ハッシュなしでハッシュを作成しようとしましたが、これは基本的なことを確認するためです。これが、redis-cliから始めたものです。 HMSET widget:1 id 0001 name 'widget ABC' model 'model123' service standard admin_password 82616416 HMSET widget:2 id 0002 name 'widget ABC' model 'model123' service standard admin_password 12341234 …

12 nosql  redis  hashing 

Cassandra ColumnFamily / Tableから別の行にすべての行を簡単に転送する方法を見つけようとしています。 COPYコマンドは、私が理解し、適切なオプションです。ただし、すべてのデータを.csvディスクにダンプしてからロードし直すので、エンジン内で実行するより良い方法があるかどうか疑問に思わずにはいられません。 私が意味することの具体的な例はINSERT * FROM my_table INTO my_other_table、多くのSQLデータベースで利用可能であろう。もちろん、私はCassandraがNoSQLであり、したがって同じように機能しないことを理解していますが、それは利用可能なもののようです。 これを達成するための良い方法は何ですか？ どうもありがとう！

11 migration  nosql  cassandra 

シリアル化されたJavaオブジェクトを格納するテーブルを大幅に更新/アクセスしました。これらは2〜3時間テーブルに表示され（その期間中にも更新されます）、その後削除されます。テーブルのサイズは約300MBです。私はそれが非常に、非常に頻繁にVACUUMされていることを発見しました、そしてそれを変えることfillfactorは助けになるのだろうか？

10 postgresql  configuration  nosql  vacuum  fill-factor 

この答え「データベースは、Googleの使用を何？」へ ： Bigtableはリレーショナルデータベースではありません。結合はサポートされず、SQLに似た豊富なクエリもサポートされません。 これは明らかですか？私はなぜなのか理解していない。

9 join  nosql  bigtable  distributed-databases 

RocksDBのようなNoSQLデータベースシステムが列ファミリーと呼ばれる機能を提供しているのを見てきました。概念が何を意味するかは理解していると思いますが、それらを使用することの実際の（実用的な）利点は何ですか？少なくとも場合によっては、ルックアップのパフォーマンス、またはキーと値の全体の空間局所性を改善できると思いますか？しかし、私が理解している限り、データベースアクセスの実際のセマンティクスには影響しないようです。これは正しいです？行方不明のものはありますか？

9 nosql 

現在、mssqlサーバーベースのソリューションを使用して、リソースのエッジで実行しています。 負荷に取り組むための次の動きに関する多くの従来のオプションがあります。 より高速なCPUとIOを購入する 一部の顧客を分割してサーバーを分離する クラスタにデータベースを移動 ライセンスとハードウェアまたは時間の点で、すべてが高価です。そこで、システム全体をnosqlエンジンのcassandraが約束するスケーラブルなソリューションに移動することで、別のオプションを追加したいと思います。 それでも、私は定かではなく、noSQLデータベースの経験もないので、「非構造化」データの構造を理解する必要があります。 このアプリケーションでは、基本的に、ユーザーがさまざまな方法で入力したデータを「Key-Value」リストとして保存します。（Orderのような）ヘッド要素を含む親テーブルがあり、（Order_Linesのような）注文の内容を構成するキーと値のペアを持つ子テーブルがあります。 ビジネス的には、OrderとOrderLinesは1つの単位です。ただし、RDBMSにより、これらはテーブルに格納され、常に結合する必要があります。 操作中に、上部のみをロードすることを選択する場合がありますが、ほとんどの場合、先頭行といくつかのKVPをロードして、いくつかの有用な情報を表示します。 たとえば、概要リストでは、ヘッド識別子といくつかの値を各行の列に表示します。 更新：あらゆる種類のフォームを保存します。したがって、基本的には「ドキュメント」を保存します。それにもかかわらず、これらのフォームを準備し、値、並べ替えなどで検索する必要があります。データアクセス制御により、データベースにもう1つの複雑なレイヤーが追加されます。 ご想像のとおり、特定のKVPの量と可用性はオブジェクトごとに異なります。さまざまなデータの組み合わせに対して数千のテーブルを作成する必要があるため、オブジェクトの種類ごとに単一のテーブルを作成する有効な可能性はありません。 この種の「辞書」のようなデータセットは、noSQLデータベースに格納する方が良いでしょうか？これによるパフォーマンス上のメリットはありますか？cassandraはこれらのhead + KVPを1つのデータセットとしてモデル化しますか？cassandraのWebページといくつかのチュートリアルを見ると、RDBMSとcassandraの間にデータ編成の点でそれほど大きな違いはないように思えます。5つのKVPを選択したい場合は、結合の数は同じです。各行のリスト。 啓蒙は歓迎されています、そして問題を説明する論文へのポインターも大丈夫です。

9 sql-server  database-design  nosql  cassandra 

私は、センサーアレイからの気象データを保存するソリューションを実装/再設計することを任されています。アレイは約40のタワーで構成され、それぞれに約10のセンサーがあり、未確定の時間（年）にわたって10秒間隔で大気条件をサンプリングします。このタスクのいくつかのアプリケーションと要件は次のとおりです。 タワー/センサー構成を管理および取得して、データ分析を理解します。 気象観測のためのセンサーまたは時間間隔によるデータ可視化。 モデルとセンサーのパフォーマンスを比較するために、信頼性のある永続的なデータリソース/データセットを顧客に提供します（必要な形式で配信するには、いくつかの後処理が必要になる場合があります）。 注：現在のソリューション（5つのタワーを備えた概念実証として実装）では、データをフラットファイル（1時間に1ファイル）として保存します。 これが将来的にビッグデータの問題になるかどうかは当初はわからなかったので、リレーショナルデータベースとNoSQLデータベースの両方についていくつかのソリューションを調査しましたが、データ管理の専門家ではないため、もう少しガイダンスが必要だと思います。 私が考えたソリューションの1つは、タワー、センサー、タイムスタンプでインデックスが付けられたリレーショナルデータベースにデータを保存し、日付でテーブルを分割することでした。 もう1つは、将来のスケーリングに基づいて、MongoDBなどのドキュメントタイプのNoSQLデータベースに保存し、現在のソリューションの構造を模倣することでした。 これらの良いアプローチのいずれかはありますか？そうでない場合、より良い/推奨されるソリューションは何ですか？また、現在のソリューションを再設計する必要があるでしょうか？フラットファイルを使用する理論的根拠は、リレーショナルデータベースはオーバーヘッドがかかりすぎると信じているということです。もしそうなら、これを回避する方法はありますか？

8 database-design  nosql  scalability 

現在、新しいプロジェクトで使用するデータベースを評価しています。これには、大量の取引データの挿入とクエリが必要になります。私たちのチームはCassandraに傾いていますが、ACIDに準拠していないデータベースを使用すると、データが時折失われる可能性があることを示唆していると思われるこの記事を読みました。 http://www.dbms2.com/2010/09/21/acid-plied-transaction-integrity/ Webでこれに関する詳細情報を見つけることができず、非ACIDコンプライアンスがデータ損失が発生する可能性があることを理解できません。誰かが光を当てることはできますか？

8 nosql 

SQL ServerとOracleの両方にDENSE_RANK関数があります。MapReduceに頼ることなく、MongoDBで同様のことを行う方法はありますか？つまり、次のようなT-SQL選択句があるとします。 SELECT DENSE_RANK() OVER(ORDER BY SomeField DESC) SomeRank MongoDBで同じことをする最良の方法は何ですか？ （注：これは、MongoDBの質問の再投稿です。DBA からのフィードバックをもっと期待しています...）

8 sql-server  nosql  mongodb 

Cassandra DB用のRDBMS-MySQL用のphpMyAdminのようなツールはありますか？ 可能な「ランタイム」構成が少ないことを知っています（実行時に列ファミリーを編集できないなど）。それでも、さまざまな列ファミリーを検査したり、データを参照したりするためのGUIがあると非常に役立ちます。

8 tools  nosql  cassandra