Map-Reduceモデルの時間複雑度分析

Hadoop / MapReduceパラダイムで実行するようにアルゴリズムを再設計しようとしています。ビッグデータプラットフォームのアルゴリズムの時間の複雑さを測定するための全体的なアプローチがあるかどうか疑問に思っていました。

簡単な例として、n（= 10億）の数の平均を取ることは、O（n）+ Cで実行できます（除算が一定時間演算であると仮定）。Map Reduceのこの大規模な並列化可能なアルゴリズムを壊すと、データをk個のノードに分割することで、時間の複雑さは単にO（n / k）+ C + C 'になります。ここで、C 'は、開始ジョブの計画時間のオーバーヘッドとして想定できます。関与するシャッフルはなく、レデューサーの仕事はほとんど取るに足らないことに注意してください。

データに対する反復ループを使用したアルゴリズムのより完全な分析に興味があり、重いシャッフルとリデューサー操作を含みます。可能であれば、I / O操作とデータのネットワーク転送を組み込みたいです。

S. Arora、B。Barak、Computational Complexity Modern Approach、第13章は、このトピックの優れた入門資料です。

通信の複雑さは、次のシナリオに関係しています。無制限の計算能力を持つ2人のプレーヤーがいて、それぞれが$n$ ビット入力、言う $x$ そして $y$。どちらも相手の入力を知らないため、共同で計算したい$f(x, y)$ ここで関数 $f : \{0, 1\}^n \times \{0, 1\}^n \rightarrow \{0, 1\}$両方に知られています。さらに、彼らはこの状況を予測していました（たとえば、一方の当事者が宇宙船であり、もう一方が地球上の基地局である可能性があります）。したがって、彼らはすでに—入力を知る前に$x, y$—通信のプロトコルについて合意した。このプロトコルのコストは、最悪の場合の入力の選択に対してプレーヤーによって通信されるビット数です。$x, y$。

正解ですが、マップ削減の特定の時間の複雑さを言うのは非常に難しいことを知っています。クエリによって異なります。しかし、その場合、k個のノードがあるため、o（nlogn / k）+ c + c 'になります。マップ削減テクニクのマッピングフェーズを含むこれらすべてのクエリのショートは、Btreeの概念に従います。そのため、内部計算のその場所から、その時間の複雑さ> o（nlogn）+ c + c 'と言えます。

私の提案を訂正してください。