파이썬 Spark 컨텍스트 'sc'가 정의되지 않았습니다.

저는 Spark를 처음 사용하며 아래 사이트를 참조하여 PySpark를 설치하려고합니다.

미리 빌드 된 패키지와 SBT를 통해 Spark 패키지를 빌드하여 설치하려고했습니다.

IPython Notebook에서 Python 코드를 실행하려고하면 아래 오류가 발생합니다.

    NameError                                 Traceback (most recent call last)
   <ipython-input-1-f7aa330f6984> in <module>()
      1 # Check that Spark is working
----> 2 largeRange = sc.parallelize(xrange(100000))
      3 reduceTest = largeRange.reduce(lambda a, b: a + b)
      4 filterReduceTest = largeRange.filter(lambda x: x % 7 == 0).sum()
      5 

      NameError: name 'sc' is not defined

명령 창에서 아래 오류를 볼 수 있습니다.

<strong>Failed to find Spark assembly JAR.</strong>
<strong>You need to build Spark before running this program.</strong>

spark-shell 명령을 실행하면 스칼라 프롬프트가 나타납니다.

업데이트 :

친구의 도움으로 .ipython / profile_pyspark / startup / 00-pyspark-setup.py 파일의 내용을 수정하여 Spark 어셈블리 JAR과 관련된 문제를 해결할 수 있습니다.

이제 Spark Context 변수의 문제 만 있습니다. 현재 문제를 적절하게 반영하도록 제목을 변경합니다.

 

해결 방법

 

한 가지 해결책은 pyspark-shell 을 셸 환경 변수 PYSPARK_SUBMIT_ARGS에 추가하는 것입니다.

export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

 

참조 페이지 https://stackoverflow.com/questions/30763951