タグ付けされた質問 「apache-spark」

これは回答されなかった別のフォーラムでの誰かの質問のコピーです。同じ問題があるので、ここでもう一度質問すると思います。（http://geekple.com/blogs/feeds/Xgzu7/posts/351703064084736を参照してください） 私のマシンにはSparkが正しくインストールされており、Pythonインタープリターとして./bin/pysparkを使用すると、pysparkモジュールを使用してpythonプログラムをエラーなしで実行できます。 ただし、通常のPythonシェルを実行しようとすると、pysparkモジュールをインポートしようとすると、次のエラーが発生します。 from pyspark import SparkContext そしてそれは言う "No module named pyspark". どうすれば修正できますか？Pythonがpysparkヘッダー/ライブラリ/その他を指すように設定する必要がある環境変数はありますか？Sparkのインストールが/ spark /の場合、どのpysparkパスを含める必要がありますか？または、pysparkプログラムはpysparkインタープリターからのみ実行できますか？

111 python  apache-spark  pyspark 

Sparkを初めて使用し、SparkでファイルからCSVデータを読み取ろうとしています。これが私がやっていることです： sc.textFile('file.csv') .map(lambda line: (line.split(',')[0], line.split(',')[1])) .collect() この呼び出しでファイルの最初の2列のリストが表示されると思いますが、次のエラーが発生します。 File "<ipython-input-60-73ea98550983>", line 1, in <lambda> IndexError: list index out of range 私のCSVファイルは複数の列として。

110 python  csv  apache-spark  pyspark 

私はhttps://github.com/databricks/spark-csvを使用しています。単一のCSVを書き込もうとしていますが、できません。フォルダを作成しています。 パスやファイル名などのパラメーターを取り、そのCSVファイルを書き込むScala関数が必要です。

108 scala  csv  apache-spark  spark-csv 

毎分データセットを生成するスパークストリーミングアプリケーションがあります。処理したデータの結果を保存/上書きする必要があります。 データセットorg.apache.hadoop.mapred.FileAlreadyExistsExceptionを上書きしようとすると、実行が停止します。 Sparkプロパティを設定しましたset("spark.files.overwrite","true")が、うまくいきません。 スパークからファイルを上書きまたは事前削除するにはどうすればよいですか？

107 apache-spark 

私は、mvvとcountの2つの列を持つデータフレームで作業します。 +---+-----+ |mvv|count| +---+-----+ | 1 | 5 | | 2 | 9 | | 3 | 3 | | 4 | 1 | mvv値とカウント値を含む2つのリストを取得したいと思います。何かのようなもの mvv = [1,2,3,4] count = [5,9,3,1] だから、私は次のコードを試してみました：最初の行は行のpythonリストを返すはずです。私は最初の値を見たかった： mvv_list = mvv_count_df.select('mvv').collect() firstvalue = mvv_list[0].getInt(0) しかし、2行目にエラーメッセージが表示されます。 AttributeError：getInt

103 python  apache-spark  pyspark  spark-dataframe 

他のアプリケーションがリソースを割り当てられないすべてのコアを占有する実行中のSparkアプリケーションがあります。 私はいくつかの簡単な調査を行い、人々はYARN killまたは/ bin / spark-classを使用してコマンドをkillすることを提案しました。しかし、私はCDHバージョンを使用していて、/ bin / spark-classもまったく存在せず、YARN killアプリケーションも機能しません。 これで誰でも私と一緒にできますか？

101 apache-spark  yarn  pyspark 

私は素晴らしいスパークのチュートリアルに従っています だから私は46m：00sにロードしようとしていますが、README.md私がやっていることに失敗するのはこれです： $ sudo docker run -i -t -h sandbox sequenceiq/spark:1.1.0 /etc/bootstrap.sh -bash bash-4.1# cd /usr/local/spark-1.1.0-bin-hadoop2.4 bash-4.1# ls README.md README.md bash-4.1# ./bin/spark-shell scala> val f = sc.textFile("README.md") 14/12/04 12:11:14 INFO storage.MemoryStore: ensureFreeSpace(164073) called with curMem=0, maxMem=278302556 14/12/04 12:11:14 INFO storage.MemoryStore: Block broadcast_0 stored as values in memory (estimated size 160.2 …

100 scala  apache-spark 

現在、が空かdf.count > 0どうかを確認するために使用するDataFrame必要があります。しかし、それは一種の非効率的です。それを行うより良い方法はありますか？ ありがとう。 PS：空でないかどうかを確認して、DataFrame空でない場合にのみ保存した​​い

100 apache-spark  apache-spark-sql 

文字列として列を持つデータフレームがあります。PySparkで列タイプをDoubleタイプに変更したいと思いました。 以下は私がやった方法です： toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) 知りたいだけですが、これはロジスティック回帰を実行しているときにエラーが発生するので正しい方法ですか？これが問題の原因です。

99 python  apache-spark  dataframe  pyspark  apache-spark-sql 

None行の値を持つPySparkデータフレームをフィルタリングしようとしています： df.select('dt_mvmt').distinct().collect() [Row(dt_mvmt=u'2016-03-27'), Row(dt_mvmt=u'2016-03-28'), Row(dt_mvmt=u'2016-03-29'), Row(dt_mvmt=None), Row(dt_mvmt=u'2016-03-30'), Row(dt_mvmt=u'2016-03-31')] 文字列値で正しくフィルタリングできます： df[df.dt_mvmt == '2016-03-31'] # some results here しかし、これは失敗します： df[df.dt_mvmt == None].count() 0 df[df.dt_mvmt != None].count() 0 しかし、各カテゴリーには確かに価値があります。どうしたの？

98 python  apache-spark  dataframe  pyspark  apache-spark-sql 

DataFrameScalaでスキーマを指定して作成したい。私はJSON読み取り（つまり空のファイルを読み取ることを意味します）を使用しようとしましたが、それがベストプラクティスではないと思います。

94 scala  apache-spark  dataframe  apache-spark-sql 

WindowsでApache Sparkをセットアップしようとしています。 少し検索したところ、スタンドアロンモードが必要なことがわかりました。WindowsでApache sparkを実行するために、どのバイナリをダウンロードしますか？Sparkのダウンロードページに、hadoopとcdhを含むディストリビューションがあります。 私はこれについてウェブに言及していません。これへの段階的なガイドは高く評価されます。

93 windows  apache-spark 

ローカルモードで問題なく実行されるSparkアプリがありますが、Sparkクラスターに送信するときにいくつかの問題があります。 エラーメッセージは次のとおりです。 16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, cluster-node-02): java.lang.ExceptionInInitializerError at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390) at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595) at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157) at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157) at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858) at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) at org.apache.spark.scheduler.Task.run(Task.scala:89) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Caused by: org.apache.spark.SparkException: A master URL …

93 scala  apache-spark 

DataFrameSpark-Scalaのすべてのヘッダー/列名を変換しようとしています。現在のところ、単一の列名のみを置き換える次のコードが考えられます。 for( i <- 0 to origCols.length - 1) { df.withColumnRenamed( df.columns(i), df.columns(i).toLowerCase ); }

93 scala  apache-spark  dataframe  apache-spark-sql 

私のスパークシェルでは、関数を実行すると、以下のようなエントリは何を意味しますか？ [Stage7:===========> (14174 + 5) / 62500]

92 apache-spark