MapReduceフレームワークはBSPの一種ですか?


11

mapReduceフレームワークを、同期間でプロセッサ内にローカルメモリが保持されないタイプのバルク同期並列プログラミングフレームワークと呼ぶのは正確ですか?そうでない場合、どの並列プログラミングモデルがmapReduceフレームワークを最も正確にカプセル化しますか?


1
それはいい質問です!
スレシュヴェンカト

ありがとう、Suresh、あなたはどう思いますか?
ジェフKubina

それらはすべて私がmapreduceと他の人がそれをどう見るかについてのより多くの知識を得るのに役立ったと思うので、最良の答えを選択するのは難しい選択です。Sashoの答えを選んだのは、それが私の質問に最適な論文につながったからです。みんな、ありがとう。
ジェフKubina

回答:



5

はい、私の意見では、従来のMapReduceはBSPモデルです(したがって、実現可能な最大並列パフォーマンスに固有の制限があります)。ただし、MapReduceの新しい作業は、この「一般化されたMapReduce」を厳密なBSPフレームワークから取り除く、より緩やかな同期の概念に焦点を当てているようです。特に、データの一部を複製すると、同期構造が緩和され、パフォーマンスが向上します。

たとえば、Foto AfratiとJeff Ullmanによる研究:map-reduce環境での結合の最適化、EDBT 2010を参照してください。(preprint


2

MapReduceには、計算の基礎となる単純で構造化されたグラフがあるため、これをデータフローモデルとして分類できます。


MapReduceには、タグ付きデータフローマシンと同じ計算戦略があることに同意します。YahooのPig言語は、MapReduceの上にデータフロー言語を構築します。
牛肉
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.