반응형
저는 Spark를 처음 사용하며 아래 사이트를 참조하여 PySpark를 설치하려고합니다.
미리 빌드 된 패키지와 SBT를 통해 Spark 패키지를 빌드하여 설치하려고했습니다.
IPython Notebook에서 Python 코드를 실행하려고하면 아래 오류가 발생합니다.
NameError Traceback (most recent call last)
<ipython-input-1-f7aa330f6984> in <module>()
1 # Check that Spark is working
----> 2 largeRange = sc.parallelize(xrange(100000))
3 reduceTest = largeRange.reduce(lambda a, b: a + b)
4 filterReduceTest = largeRange.filter(lambda x: x % 7 == 0).sum()
5
NameError: name 'sc' is not defined
명령 창에서 아래 오류를 볼 수 있습니다.
<strong>Failed to find Spark assembly JAR.</strong>
<strong>You need to build Spark before running this program.</strong>
spark-shell 명령을 실행하면 스칼라 프롬프트가 나타납니다.
업데이트 :
친구의 도움으로 .ipython / profile_pyspark / startup / 00-pyspark-setup.py 파일의 내용을 수정하여 Spark 어셈블리 JAR과 관련된 문제를 해결할 수 있습니다.
이제 Spark Context 변수의 문제 만 있습니다. 현재 문제를 적절하게 반영하도록 제목을 변경합니다.
해결 방법
한 가지 해결책은 pyspark-shell
을 셸 환경 변수 PYSPARK_SUBMIT_ARGS에 추가하는 것입니다.
export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"
참조 페이지 https://stackoverflow.com/questions/30763951
반응형
'파이썬' 카테고리의 다른 글
파이썬 Apache Spark 사전 빌드 버전에서 spark-csv와 같은 새 라이브러리를 추가하는 방법 (0) | 2020.11.22 |
---|---|
파이썬 팬더의 가져 오기 오류를 해결하는 방법은 무엇입니까? (0) | 2020.11.22 |
파이썬 내 plt.savefig가 작동하지 않는 이유는 무엇입니까? (0) | 2020.11.22 |
파이썬 request.get () 사용시 제공된 스키마 및 기타 오류가 없습니다. (0) | 2020.11.22 |
파이썬 조건부 인덱싱을 사용하여 셀에서 스칼라 값을 얻는 방법 (0) | 2020.11.22 |
댓글