弾力性のある分散データセット（RDD）がテキストファイルまたはコレクション（または別のRDD）から作成された場合、RDDデータをメモリに格納するために「キャッシュ」または「永続化」を明示的に呼び出す必要がありますか？または、RDDデータはデフォルトでメモリに分散して保存されますか？
val textFile = sc.textFile("/user/emp.txt")私の理解では、上記の手順の後、textFileはRDDであり、ノードのメモリのすべてまたは一部で使用できます。
もしそうなら、なぜtextFile RDDで「キャッシュ」または「持続」を呼び出す必要があるのですか？
回答:
ほとんどのRDD操作は遅延です。RDDを一連の操作の説明と考えてください。RDDはデータではありません。したがって、この行：
val textFile = sc.textFile("/user/emp.txt")何もしません。「このファイルをロードする必要があります」というRDDを作成します。この時点ではファイルはロードされていません。
データの内容を監視する必要があるRDD操作は、遅延することはできません。（これらはアクションと呼ばれます。）例はRDD.count、ファイルの行数を通知するために、ファイルを読み取る必要があります。したがって、を書き込むtextFile.countと、この時点でファイルが読み取られ、行がカウントされ、カウントが返されます。
textFile.countもう一度電話したらどうなる？同じこと：ファイルが読み込まれ、再度カウントされます。何も保存されていません。RDDはデータではありません。
それで、何をしRDD.cacheますか？textFile.cache上記のコードに追加すると：
val textFile = sc.textFile("/user/emp.txt")
textFile.cache
何もしません。RDD.cacheまた、遅延操作です。ファイルはまだ読み取られていません。しかし、RDDは「このファイルを読み取り、内容をキャッシュする」と言っています。その後textFile.count初めて実行すると、ファイルがロードされ、キャッシュされ、カウントされます。もう一度呼び出すtextFile.countと、操作はキャッシュを使用します。キャッシュからデータを取得し、行を数えるだけです。
キャッシュの動作は、使用可能なメモリによって異なります。たとえば、ファイルがメモリに収まらない場合、textFile.count通常の動作に戻り、ファイルを再度読み取ります。
perisist、キャッシュデータをディスクに書き出すことができるストレージオプションを使用して選択することです。
質問は次のように定式化されると思います。
Sparkプロセスはレイジーです。つまり、必要になるまで何も起こりません。質問にすばやく答えるために、val textFile = sc.textFile("/user/emp.txt")発行後、データには何も起こりませんHadoopRDD。ファイルをソースとして使用して、aのみが構築されます。
そのデータを少し変換するとします。
val wordsRDD = textFile.flatMap(line => line.split("\\W"))繰り返しますが、データには何も起こりません。これで、必要なときに適用される関数へのwordsRDD参照testFileと関数を含む新しいRDD ができました。
系統wordsRDD.countなどのRDDチェーンなどのRDDに対してアクションが呼び出された場合のみ実行されます。つまり、パーティションに分割されたデータは、Sparkクラスターのエグゼキューターによってロードされ、関数が適用され、結果が計算されます。flatMap
この例のような線形の系統でcache()は必要ありません。データはエグゼキュータにロードされ、すべての変換が適用され、最後countにすべてがメモリ内で計算されます-データがメモリに収まる場合。
cacheRDDの系統が分岐する場合に役立ちます。前の例の単語をフィルター処理して、肯定的な単語と否定的な単語のカウントにしたいとします。あなたはそのようにすることができます：
val positiveWordsCount = wordsRDD.filter(word => isPositive(word)).count()
val negativeWordsCount = wordsRDD.filter(word => isNegative(word)).count()
ここでは、各ブランチがデータのリロードを発行します。明示的なcacheステートメントを追加すると、以前に実行された処理が確実に保持され、再利用されます。ジョブは次のようになります。
val textFile = sc.textFile("/user/emp.txt")
val wordsRDD = textFile.flatMap(line => line.split("\\W"))
wordsRDD.cache()
val positiveWordsCount = wordsRDD.filter(word => isPositive(word)).count()
val negativeWordsCount = wordsRDD.filter(word => isNegative(word)).count()
そのため、cache今後の処理に再利用できるチェックポイントが作成されるため、「系統を壊す」と言われています。
経験則：cacheRDDの系統が分岐する場合、またはRDDがループのように複数回使用される場合に使用します。
spark.storage.memoryFractionます。どのエグゼキューターがどのデータを持っているかに関して、RDDはエグゼキューターに分散されているパーティションを追跡します。
cacheたりpersist することができ系譜を破ります。
RDDデータをメモリに保存するために、「キャッシュ」または「持続」を明示的に呼び出す必要がありますか？
はい、必要な場合のみ。
RDDデータはデフォルトでメモリに分散して保存されますか？
番号！
そして、これらは理由です：
Sparkは2種類の共有変数をサポートします。すべてのノードのメモリに値をキャッシュするために使用できるブロードキャスト変数と、カウンターや合計など、「追加」されるだけの変数であるアキュムレーターです。
RDDは、既存のデータセットから新しいデータセットを作成する変換と、データセットで計算を実行した後にドライバープログラムに値を返すアクションの2種類の操作をサポートしています。たとえば、mapは、各データセット要素を関数に渡し、結果を表す新しいRDDを返す変換です。一方、reduceは、何らかの関数を使用してRDDのすべての要素を集約し、ドライバープログラムに最終結果を返すアクションです（分散データセットを返す並列のreduceByKeyもあります）。
Sparkのすべての変換は、結果をすぐに計算しないという点で、遅延です。代わりに、ベースデータセット（ファイルなど）に適用された変換を覚えているだけです。変換は、アクションが結果をドライバープログラムに返す必要がある場合にのみ計算されます。この設計により、Sparkをより効率的に実行できるようになります。たとえば、マップを通じて作成されたデータセットは削減で使用され、大きなマップされたデータセットではなく、削減の結果のみをドライバーに返すことがわかります。
デフォルトでは、変換された各RDDは、アクションを実行するたびに再計算される場合があります。ただし、persist（またはキャッシュ）メソッドを使用してRDDをメモリに永続化することもできます。その場合、Sparkは、次にクエリするときにはるかに高速にアクセスできるように、クラスター上の要素を維持します。また、RDDをディスク上に永続化したり、複数のノード間で複製したりすることもできます。
詳細については、Sparkプログラミングガイドを確認してください。