jarをSparkジョブに追加する-spark-submit
確かに...それはかなり議論されてきました。 ただし、あいまいさが多く、いくつかの回答が提供されています。jars/ executor / driver構成またはオプションでのjar参照の複製を含みます。 あいまいまたは省略された詳細 次のあいまいさに従って、不明確な、および/または省略された詳細は、各オプションについて明確にされるべきです: ClassPathへの影響 運転者 エグゼキューター(実行中のタスク用) 両方とも どういたしまして 区切り文字:コンマ、コロン、セミコロン 提供されたファイルが自動的に配布される場合 タスク(各エグゼキューターへ) リモートドライバー用(クラスターモードで実行した場合) 受け入れられるURIのタイプ:ローカルファイル、hdfs、httpなど 共通の場所にコピーした場合、その場所は(hdfs、local?) 影響を受けるオプション: --jars SparkContext.addJar(...) 方法 SparkContext.addFile(...) 方法 --conf spark.driver.extraClassPath=... または --driver-class-path ... --conf spark.driver.extraLibraryPath=...、または --driver-library-path ... --conf spark.executor.extraClassPath=... --conf spark.executor.extraLibraryPath=... 忘れないでください。spark-submitの最後のパラメーターも.jarファイルです。 メインのSparkドキュメントがどこにあるか、具体的には送信方法、使用可能なオプション、およびJavaDocについて知っています。しかし、それでも部分的には答えましたが、まだかなりの穴が残っています。 それほど複雑ではなく、誰かが私に明確で簡潔な答えを出してくれることを願っています。 ドキュメントから推測する--jarsと、SparkContext addJarとaddFileメソッドはファイルを自動的に配布するものであり、他のオプションはClassPathを変更するだけです。 簡単にするために、3つの主要なオプションを同時に使用して追加のアプリケーションjarファイルを追加できると想定しても安全でしょうか。 spark-submit --jar additional1.jar,additional2.jar \ --driver-library-path additional1.jar:additional2.jar \ …