Apache Spark：Python 3でpysparkを使用する方法

GH開発マスターからSpark 1.4をビルドしましたが、ビルドは問題なく完了しました。しかし、私が実行するbin/pysparkと、Python 2.7.9バージョンが取得されます。どうすれば変更できますか？

環境変数を設定するだけです：

export PYSPARK_PYTHON=python3

これを永続的な変更にしたい場合は、この行をpysparkスクリプトに追加します。

PYSPARK_PYTHON=python3 
./bin/pyspark

IPython Notebookで実行する場合は、次のように記述します。

PYSPARK_PYTHON=python3 
PYSPARK_DRIVER_PYTHON=ipython 
PYSPARK_DRIVER_PYTHON_OPTS="notebook" 
./bin/pyspark

python3アクセスできない場合は、代わりにパスを渡す必要があります。

ことに注意してください（1.4.1のように）現在のドキュメントはに古い指示を持っています。幸い、パッチが適用されています。

1、プロフィールを編集：vim ~/.profile

2、コードをファイルに追加します。 export PYSPARK_PYTHON=python3

3、コマンドを実行： source ~/.profile

4、 ./bin/pyspark

ファイルを確認してください。シバン行はおそらく、最初の互換性のある実行可能ファイルのパスを検索する「env」バイナリをポイントしています。

pythonをpython3に変更できます。ハードコードされたpython3バイナリを直接使用するように環境を変更します。または、python3を使用してバイナリを直接実行し、shebang行を省略します。

Jupyter Notebookの場合、spark-env.shコマンドラインから以下のようにファイルを編集します

$ vi $SPARK_HOME/conf/spark-env.sh

ファイルの下部に移動し、これらの行をコピーして貼り付けます

export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

次に、次のコマンドを実行してノートブックでpysparkを開始します

$ pyspark