“Как я могу использовать Apache Spark с ноутбуком в Anaconda” Ответ

Как я могу использовать Apache Spark с ноутбуком в Anaconda

PYSPARK_PYTHON=/opt/continuum/anaconda/bin/python spark-submit pyspark_script.py
Lazy Lion

Как я могу использовать Apache Spark с ноутбуком в Anaconda

import os
import sys
os.environ["PYSPARK_PYTHON"] = "/opt/continuum/anaconda/bin/python"
os.environ["JAVA_HOME"] = "/usr/java/jdk1.7.0_67-cloudera/jre"
os.environ["SPARK_HOME"] = "/opt/cloudera/parcels/CDH/lib/spark"
os.environ["PYLIB"] = os.environ["SPARK_HOME"] + "/python/lib"
sys.path.insert(0, os.environ["PYLIB"] +"/py4j-0.9-src.zip")
sys.path.insert(0, os.environ["PYLIB"] +"/pyspark.zip")
Lazy Lion

Ответы похожие на “Как я могу использовать Apache Spark с ноутбуком в Anaconda”

Вопросы похожие на “Как я могу использовать Apache Spark с ноутбуком в Anaconda”

Больше похожих ответов на “Как я могу использовать Apache Spark с ноутбуком в Anaconda” по Python

Смотреть популярные ответы по языку

Смотреть другие языки программирования