java.io.IOException：Hadoopバイナリで実行可能なnull \ bin \ winutils.exeが見つかりませんでした。Windows 7でEclipseをスパーク

インストールされている（Maven sparkプロジェクト）sparkで簡単なジョブを実行できませんScala IDEWindows 7

Sparkコアの依存関係が追加されました。

val conf = new SparkConf().setAppName("DemoDF").setMaster("local")
val sc = new SparkContext(conf)
val logData = sc.textFile("File.txt")
logData.count()

エラー：

16/02/26 18:29:33 INFO SparkContext: Created broadcast 0 from textFile at FrameDemo.scala:13
16/02/26 18:29:34 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
    at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278)
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:293)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)
    at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:362)
    at <br>org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
    at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
    at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)
    at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)<br>
    at scala.Option.map(Option.scala:145)<br>
    at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:176)<br>
    at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:195)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
    at scala.Option.getOrElse(Option.scala:120)<br>
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
    at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
    at scala.Option.getOrElse(Option.scala:120)<br>
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:1929)<br>
    at org.apache.spark.rdd.RDD.count(RDD.scala:1143)<br>
    at com.org.SparkDF.FrameDemo$.main(FrameDemo.scala:14)<br>
    at com.org.SparkDF.FrameDemo.main(FrameDemo.scala)<br>

これは、ソリューションに関する問題の適切な説明です。

1. http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exeからwinutils.exeをダウンロードします。

2. OSレベルまたはプログラムでHADOOP_HOME環境変数を設定します。

   System.setProperty（ "hadoop.home.dir"、 "winutilsのあるフォルダーへのフルパス"）;

3. 楽しい

1. winutils.exeをダウンロード
2. フォルダを作成する、言う C:\winutils\bin
3. winutils.exe内部をコピーC:\winutils\bin
4. 環境変数HADOOP_HOMEをC:\winutils

これに従ってください：

1. bin任意のディレクトリにフォルダを作成します（手順3で使用）。

2. winutils.exeをダウンロードして、binディレクトリに配置します。

3. System.setProperty("hadoop.home.dir", "PATH/TO/THE/DIR");コードを追加します。

以下の問題が発生した場合

エラーシェル：hadoopバイナリパスでwinutilsバイナリを見つけることができませんでした

java.io.IOException：Hadoopバイナリで実行可能なnull \ bin \ winutils.exeが見つかりませんでした。

その後、次の手順を実行します

1. http://public-repo-1.hortonworks.com/hdp-からwinutils.exeをダウンロードします 。
2. 作成したフォルダーのbinフォルダーの下にこれを保持します。例：C：\ Hadoop \ bin
3. プログラムで、SparkContextまたはSparkConfを作成する前に次の行を追加しますSystem.setProperty（ "hadoop.home.dir"、 "C：\ Hadoop"）;

1) Download winutils.exe from https://github.com/steveloughran/winutils 
2) Create a directory In windows "C:\winutils\bin
3) Copy the winutils.exe inside the above bib folder .
4) Set the environmental property in the code 
  System.setProperty("hadoop.home.dir", "file:///C:/winutils/");
5) Create a folder "file:///C:/temp" and give 777 permissions.
6) Add config property in spark Session ".config("spark.sql.warehouse.dir", "file:///C:/temp")"

Windows 10では、2つの異なる引数を追加する必要があります。

（1）システム変数の下に-HADOOP_HOMEとパス（例：c：\ Hadoop）として新しい変数と値を追加します。

（2）「C：\ Hadoop \ bin」として「Path」変数に新しいエントリを追加/追加します。

上記は私のために働いた。

単体テストの実行中に同じ問題が発生しました。私はこの回避策の解決策を見つけました：

次の回避策により、このメッセージを取り除くことができます。

    File workaround = new File(".");
    System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
    new File("./bin").mkdirs();
    new File("./bin/winutils.exe").createNewFile();

から：https : //issues.cloudera.org/browse/DISTRO-544

またはwinutils.exe、GITHubからダウンロードすることもできます。

https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

hadoop-2.7.1必要なバージョンに置き換えて、ファイルを配置しますD:\hadoop\bin

マシンの環境変数設定へのアクセス権がない場合は、次の行をコードに追加してください。

System.setProperty("hadoop.home.dir", "D:\\hadoop");

システムプロパティでHadoop_Home環境変数を設定してもうまくいきませんでした。しかし、これはしました：

• Eclipse実行構成環境タブでHadoop_Homeを設定します。
• ここから「Windows環境設定」に従ってください

HADOOP_HOMEWindowsでの環境変数をC:\winutilsと記載するだけでなく、マシンの管理者であることも確認する必要があります。そうでない場合、環境変数を追加すると、管理者の資格情報が要求されます（USER変数の下でも）。管理者としてコマンドプロンプトを起動すると、これらの変数が適用されます。

Java 1.8.0_121、Spark spark-1.6.1-bin-hadoop2.6、Windows 10、およびEclipse Oxygenの詳細についても、同様の問題に直面しました。システム変数としてHADOOP_HOMEを使用して、EclipseでWordCount.javaを実行したとき以前の投稿で述べたように、それはうまくいきませんでした、私にとってうまくいったのは-

System.setProperty（ "hadoop.home.dir"、 "PATH / TO / THE / DIR"）;

PATH / TO / THE / DIR / bin = winutils.exe（Eclipse内でJavaアプリケーションとして実行するか、cmdからspark-submitを使用して実行するか）

spark-submit --class groupid.artifactid.classname --master local [2] / mavenを使用して作成されたjarファイルへのパス/デモテストファイルへのパス/出力ディレクトリコマンドへのパス

例：Spark / home / location / binのビンの場所に移動し、前述のようにspark-submitを実行します。

D：\ BigData \ spark-2.3.0-bin-hadoop2.7 \ bin> spark-submit --class com.bigdata.abdus.sparkdemo.WordCount --master local [1] D：\ BigData \ spark-quickstart \ target \ spark-quickstart-0.0.1-SNAPSHOT.jar D：\ BigData \ spark-quickstart \ wordcount.txt

これはトリッキーです...ストレージレターは大文字でなければなりません。たとえば " C：\ ..."