-Dパラメーターまたは環境変数をSparkジョブに渡す方法は？

dev / prod環境でSparkジョブのTypesafe構成を変更したい。これを達成する最も簡単な方法は-Dconfig.resource=ENVNAME、仕事に転職することだと私には思えます。その後、Typesafe構成ライブラリが私のために仕事をします。

そのオプションを直接ジョブに渡す方法はありますか？または、実行時にジョブ構成を変更するためのより良い方法がありますか？

編集：

• spark-submitコマンドに--conf "spark.executor.extraJavaOptions=-Dconfig.resource=dev"オプションを追加しても何も起こりません。
• spark-submitコマンドError: Unrecognized option '-Dconfig.resource=dev'.に渡し-Dconfig.resource=devたときに取得しました。

spark-submit次の3つのオプションを追加してコマンドラインを変更します。

• --files <location_to_your_app.conf>
• --conf 'spark.executor.extraJavaOptions=-Dconfig.resource=app'
• --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=app'

これが追加のJavaオプションで実行された私のsparkプログラムです

/home/spark/spark-1.6.1-bin-hadoop2.6/bin/spark-submit \
--files /home/spark/jobs/fact_stats_ad.conf \
--conf spark.executor.extraJavaOptions=-Dconfig.fuction.conf \
--conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy -Dconfig.file=/home/spark/jobs/fact_stats_ad.conf' \
--class jobs.DiskDailyJob \
--packages com.databricks:spark-csv_2.10:1.4.0 \
--jars /home/spark/jobs/alluxio-core-client-1.2.0-RC2-jar-with-dependencies.jar \
--driver-memory 2g \
/home/spark/jobs/convert_to_parquet.jar \
AD_COOKIE_REPORT FACT_AD_STATS_DAILY | tee /data/fact_ad_stats_daily.log

あなたがカスタム設定ファイルを見ることができるように --files /home/spark/jobs/fact_stats_ad.conf

エグゼキュータJavaオプション --conf spark.executor.extraJavaOptions=-Dconfig.fuction.conf

ドライバーのJavaオプション。 --conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy -Dconfig.file=/home/spark/jobs/fact_stats_ad.conf'

それが役立つことを願っています。

-DパラメーターをSparkエグゼキューターとドライバーに渡す際に多くの問題が発生したため、ブログ投稿から引用を追加しました。「パラメーターを渡す正しい方法は、プロパティ「spark.driver.extraJavaOptions」と「spark.executor.extraJavaOptions」を使用することです。 log4J構成プロパティと構成に必要なパラメーターの両方を渡しました（ドライバーにはlog4j構成のみを渡すことができました）。たとえば、（spark-submitで渡されたプロパティファイルに「—プロパティファイル」）：「

spark.driver.extraJavaOptions –Dlog4j.configuration=file:///spark/conf/log4j.properties -
spark.executor.extraJavaOptions –Dlog4j.configuration=file:///spark/conf/log4j.properties -Dapplication.properties.file=hdfs:///some/path/on/hdfs/app.properties
spark.application.properties.file hdfs:///some/path/on/hdfs/app.properties

「「

Sparkの全体的な構成に関する私のブログ投稿を読むことができます。私もYarnで走っています。

--files <location_to_your_app.conf> --conf 'spark.executor.extraJavaOptions=-Dconfig.resource=app' --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=app'

このように書くと、後の方--confが前の方を上書きしEnvironmentます。タブの下でジョブが開始された後にsparkUIを確認することでこれを確認できます。

したがって、正しい方法は、次のようにオプションを同じ行の下に配置する --conf 'spark.executor.extraJavaOptions=-Da=b -Dc=d' ことです。これを行うと、すべての設定がsparkUIの下に表示されます。

別のScalaアプリケーション内から起動されたspark-submitコマンドを介してSparkアプリケーションを起動しています。だから私はのような配列を持っています

Array(".../spark-submit", ..., "--conf", confValues, ...)

ここconfValuesで：

• 以下のためのyarn-clusterモード：
  "spark.driver.extraJavaOptions=-Drun.mode=production -Dapp.param=..."
• 以下のためのlocal[*]モード：
  "run.mode=development"

ただし、引用符とスペースをエスケープする（しない）場所を理解するのは少し難しいです。システムプロパティ値については、SparkWebインターフェイスを確認できます。

spark-submit --driver-java-options "-Denv=DEV -Dmode=local" --class co.xxx.datapipeline.jobs.EventlogAggregator target/datapipeline-jobs-1.0-SNAPSHOT.jar

上記のコマンドは私のために働きます：

-Denv=DEV=> DEV envプロパティファイルを読み取り、
-Dmode=local=>ローカルにSparkContextを作成します-.setMaster（ "local [*]"）

以下のコマンドのような方法を使用してください、あなたに役立つかもしれません-

spark-submit --master local [2] --conf'spark.driver.extraJavaOptions = Dlog4j.configuration = file：/tmp/log4j.properties '--conf'spark.executor.extraJavaOptions = -Dlog4j.configuration = file： /tmp/log4j.properties'--class com.test.spark.application.TestSparkJob target / application-0.0.1-SNAPSHOT-jar-with-dependencies.jar prod

私は試しましたが、うまくいきました。本当に役立つスパーク投稿の下の見出しも確認することをお勧めします -https：//spark.apache.org/docs/latest/running-on-yarn.html

私はもともとこの設定ファイルを持っていました：

my-app {
  environment: dev
  other: xxx
}

これが私のsparkscalaコードに設定をロードする方法です：

val config = ConfigFactory.parseFile(File<"my-app.conf">)
  .withFallback(ConfigFactory.load())
  .resolve
  .getConfig("my-app")

この設定では、Typesafe Configのドキュメントや他のすべての回答にあるように、次のようにsparkジョブを起動したときにシステムプロパティのオーバーライドが機能しませんでした。

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --name my-app \
  --driver-java-options='-XX:MaxPermSize=256M -Dmy-app.environment=prod' \
  --files my-app.conf \
  my-app.jar

それを機能させるには、設定ファイルを次のように変更する必要がありました。

my-app {
  environment: dev
  environment: ${?env.override}
  other: xxx
}

そして、次のように起動します。

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --name my-app \
  --driver-java-options='-XX:MaxPermSize=256M -Denv.override=prod' \
  --files my-app.conf \
  my-app.jar