タグ付けされた質問 「mapreduce」

単純なJava ListをY-> から「変換」する方法を知っていますZ。つまり、 List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); 今、私はマップと基本的に同じことをしたいと思います、すなわち： INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } OUTPUT: { "key1" -> 41, // 41 and 42 "key2" -> 42 // are Integers } ソリューションはString->に限定されるべきではありませんInteger。List上記の例のように、任意のメソッド（またはコンストラクター）を呼び出します。

209 java  mapreduce  java-8  java-stream  collectors 

現在のところ、この質問はQ＆A形式には適していません。回答は事実、参考文献、専門知識によって裏付けられると期待していますが、この質問は、議論、議論、投票、または拡張ディスカッションを求める可能性があります。この質問を改善でき、再開できると思われる場合は、ヘルプセンターにアクセスしてください。 7年前休業。 「MapReduceを使用して長いテキストの単語を数える方法」タスク以外の良い例は考えられませんでした。これは、このツールがどれほど強力であるかを他の人に印象付けるための最良の例ではないことがわかりました。 私はコードスニペットを探しているのではなく、単に「テキスト」の例を探しています。

202 mapreduce 

CouchDBの質問に関連しています。 誰もが麻痺者が理解できる言葉でMapReduceを説明できますか？

166 frameworks  mapreduce  glossary 

「Map and Reduce」アルゴリズムの使用が保証されるのはどのシナリオですか？ このアルゴリズムの.NET実装はありますか？

152 c#  mapreduce 

MapReduceを適用する多くの実際の状況では、最終的なアルゴリズムは最終的にいくつかのMapReduceステップになります。 つまり、Map1、Reduce1、Map2、Reduce2などです。 したがって、次のマップの入力として必要な最後の削減からの出力があります。 中間データは、パイプラインが正常に完了した後に（一般的に）保持したくないものです。また、この中間データは一般に一部のデータ構造（「マップ」や「セット」など）であるため、これらのキーと値のペアの書き込みと読み取りにあまり労力をかけたくありません。 Hadoopでそれを行うための推奨される方法は何ですか？ 後のクリーンアップを含め、この中間データを正しい方法で処理する方法を示す（簡単な）例はありますか？

124 hadoop  mapreduce 

による Hadoop - The Definitive Guide FileInputFormatsが定義する論理レコードは、通常、HDFSブロックにきちんと適合しません。たとえば、TextInputFormatの論理レコードは線であり、HDFSの境界を越える頻度が高くなります。これは、プログラムの機能には影響しません。たとえば、行が失われたり壊れたりすることはありません。ただし、データローカルマップ（つまり、ローカルの同じホストで実行されているマップ）入力データ）は、いくつかのリモート読み取りを実行します。これが引き起こすわずかなオーバーヘッドは、通常は重要ではありません。 レコード行が2つのブロック（b1とb2）に分割されているとします。最初のブロック（b1）を処理するマッパーは、最後の行にEOLセパレータがないことに気づき、次のデータブロック（b2）から行の残りをフェッチします。 2番目のブロック（b2）を処理するマッパーは、最初のレコードが不完全であり、ブロック（b2）の2番目のレコードから処理を開始する必要があるとどのように判断しますか？

119 hadoop  split  mapreduce  block  hdfs 

Map Reduceプログラミングでは、reduceフェーズはそのサブパートとしてシャッフル、ソート、reduceを行います。並べ替えはコストのかかる作業です。 Map Reduceプログラミングのリデューサーでシャッフルとソートのフェーズの目的は何ですか？

113 sorting  hadoop  mapreduce  hdfs  shuffle 

MapReduceの威力を示すために使用される主な例の1つは、Terasortベンチマークです。MapReduce環境で使用される並べ替えアルゴリズムの基本を理解できません。 私にとって、ソートは単に、他のすべての要素との関係における要素の相対位置を決定することを含みます。したがって、ソートには「すべて」と「すべて」の比較が含まれます。平均的な並べ替えアルゴリズム（クイック、バブルなど）は、これをスマートな方法で単純に実行します。 私の考えでは、データセットを多くの部分に分割するということは、1つの部分を並べ替えることができ、これらの部分を「完全な」完全に並べ替えられたデータセットに統合する必要があることを意味します。テラバイトのデータセットが数千のシステムに分散していることを考えると、これは大きな仕事になると思います。 それで、これは実際にどのように行われますか？このMapReduce並べ替えアルゴリズムはどのように機能しますか？ 理解してくれてありがとう。

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

閉まっている。この質問はスタックオーバーフローのガイドラインを満たしていません。現在、回答を受け付けていません。 この質問を改善してみませんか？Stack Overflowのトピックとなるように質問を更新します。 4年前休業。 この質問を改善する それで、私は鋭敏な興味を持ってHadoopを見てきました。正直、私は魅了されて、物事はそれほど冷たくなりません。 私のマイナーな唯一の問題は、C＃開発者であり、Javaにあります。 Google MapReduceアプローチを採用するHadoop.net、NHadoop、または.NETプロジェクトを探しているのと同じくらい、Javaを理解していないわけではありません。誰か知っていますか？

98 c#  .net  hadoop  mapreduce 

SparkとHadoopの間に依存関係はありますか？ そうでない場合、HadoopなしでSparkを実行したときに見逃してしまう機能はありますか？

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

MongoDBの$in句を使用する場合、返されるドキュメントの順序は常に配列引数の順序に対応していますか？

90 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

Hadoop v1では、7つのマッパーとレデューサースロットをそれぞれ1GBのサイズで割り当てましたが、マッパーとレデューサーは正常に動作します。私のマシンには8Gメモリ、8プロセッサが搭載されています。YARNで、同じマシンで同じアプリケーションを実行すると、コンテナエラーが発生しました。デフォルトでは、次の設定があります。 <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> それは私にエラーを与えました： Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container. 次に、mapred-site.xmlでメモリ制限を設定しようとしました。 <property> <name>mapreduce.map.memory.mb</name> <value>4096</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> …

85 hadoop  mapreduce  yarn  mrv2 

特にGoogleの超並列計算システムのコンテキストでは、map / reduceについて多くのことを聞きます。正確には何ですか？

84 language-agnostic  mapreduce 

Hadoopでは、reduceタスクはいつ開始されますか？マッパーの特定の割合（しきい値）が完了した後に開始しますか？もしそうなら、このしきい値は固定されていますか？通常、どのような種類のしきい値が使用されますか？

81 hadoop  mapreduce  reduce