スパークで出力ディレクトリを上書きする方法

毎分データセットを生成するスパークストリーミングアプリケーションがあります。処理したデータの結果を保存/上書きする必要があります。

データセットorg.apache.hadoop.mapred.FileAlreadyExistsExceptionを上書きしようとすると、実行が停止します。

Sparkプロパティを設定しましたset("spark.files.overwrite","true")が、うまくいきません。

スパークからファイルを上書きまたは事前削除するにはどうすればよいですか？

更新：の使用を提案しDataframes、さらにのようなものを提案し... .write.mode(SaveMode.Overwrite) ...ます。

便利なヒモ：

implicit class PimpedStringRDD(rdd: RDD[String]) {
    def write(p: String)(implicit ss: SparkSession): Unit = {
      import ss.implicits._
      rdd.toDF().as[String].write.mode(SaveMode.Overwrite).text(p)
    }
  }

古いバージョンでは、

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
val sc = SparkContext(yourSparkConf)

1.1.0では、-confフラグ付きのspark-submitスクリプトを使用してconf設定を設定できます。

警告（古いバージョン）：@piggyboxによると、Sparkにはバグがあり、ファイルを書き込むために必要なファイルのみが上書きされpart-、他のファイルは削除されないままになります。

以降df.save(path, source, mode)廃止され、（http://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.DataFrame）

df.write.format(source).mode("overwrite").save(path)
df.writeがDataFrameWriterである 場合に使用

「ソース」は（ "com.databricks.spark.avro" | "parquet" | "json"）

パラメータのドキュメントには、spark.files.overwrite「SparkContext.addFile()ターゲットファイルが存在し、その内容がソースのファイルと一致しないときに追加されたファイルを上書きするかどうか」と書かれています。したがって、saveAsTextFilesメソッドには影響しません。

ファイルを保存する前にこれを行うことができます：

val hadoopConf = new org.apache.hadoop.conf.Configuration()
val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://localhost:9000"), hadoopConf)
try { hdfs.delete(new org.apache.hadoop.fs.Path(filepath), true) } catch { case _ : Throwable => { } }

AASはここで説明されています：http : //apache-spark-user-list.1001560.n3.nabble.com/How-can-I-make-Spark-1-0-saveAsTextFile-to-overwrite-existing-file-td6696。 html

pyspark.sql.DataFrame.saveのドキュメント（現在は1.3.1）から、DataFrameをmode='overwrite'保存するタイミングを指定できます。

myDataFrame.save(path='myPath', source='parquet', mode='overwrite')

これにより、残ったパーティションファイルも削除されることを確認しました。したがって、最初は10個のパーティション/ファイルと言っていたが、6個のパーティションしかなかったDataFrameでフォルダーを上書きした場合、結果のフォルダーには6個のパーティション/ファイルが含まれます。

モードオプションの詳細については、Spark SQLのドキュメントを参照してください。

df.write.mode('overwrite').parquet("/output/folder/path")Pythonを使用して寄木細工のファイルを上書きする場合に機能します。これはスパーク1.6.2です。今後のバージョンではAPIが異なる可能性があります

  val jobName = "WordCount";
  //overwrite the output directory in spark  set("spark.hadoop.validateOutputSpecs", "false")
  val conf = new 
  SparkConf().setAppName(jobName).set("spark.hadoop.validateOutputSpecs", "false");
  val sc = new SparkContext(conf)

このオーバーロードされたバージョンの保存機能は私にとってはうまくいきます：

yourDF.save（outputPath、org.apache.spark.sql.SaveMode.valueOf（ "Overwrite"））

上記の例では、既存のフォルダを上書きします。savemodeはこれらのパラメーターも取ることができます（https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/SaveMode.html）：

Append：Appendモードは、DataFrameをデータソースに保存するときに、データ/テーブルが既に存在する場合、DataFrameのコンテンツが既存のデータに追加されることが期待されることを意味します。

ErrorIfExists：ErrorIfExistsモードは、DataFrameをデータソースに保存するときに、データがすでに存在する場合、例外がスローされることが予想されることを意味します。

無視：無視モードとは、DataFrameをデータソースに保存するときに、データが既に存在する場合、保存操作によってDataFrameの内容が保存されず、既存のデータが変更されないことが期待されることを意味します。

独自のカスタム出力形式を使用したい場合は、RDDを使用して目的の動作を取得することもできます。

次のクラスを見てください： FileOutputFormat、 FileOutputCommitter

ファイル出力形式には、出力ディレクトリが存在するかどうかをチェックするcheckOutputSpecsという名前のメソッドがあります。FileOutputCommitterには、通常、一時ディレクトリから最終的な場所にデータを転送するcommitJobがあります。

私はまだそれを確認できませんでした（空き時間があるとすぐにそれを実行します）が、理論的には：FileOutputFormatを拡張し、ディレクトリに例外をスローしないメソッドにcheckOutputSpecsをオーバーライドすると、既存のカスタム出力コミッターのcommitJobメソッドを使用して、RDDで目的の動作を実現できる可能性があるロジック（たとえば、ファイルの一部をオーバーライドし、その他を追加）を実行します。

出力形式は、saveAsNewAPIHadoopFileに渡されます（これは、ファイルを実際に保存するために呼び出されるsaveAsTextFileメソッドでもあります）。また、出力コミッターはアプリケーションレベルで構成されます。