반응형
bin/spark-shell --packages com.databricks:spark-csv_2.10:1.0.3
오류 가져 오기
>>> df_cat.save("k.csv","com.databricks.spark.csv")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Users/abhishekchoudhary/bigdata/cdh5.2.0/spark-1.3.1/python/pyspark/sql/dataframe.py", line 209, in save
self._jdf.save(source, jmode, joptions)
File "/Users/abhishekchoudhary/bigdata/cdh5.2.0/spark-1.3.1/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py", line 538, in __call__
File "/Users/abhishekchoudhary/bigdata/cdh5.2.0/spark-1.3.1/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py", line 300, in get_return_value
py4j.protocol.Py4JJavaError
Python 편집기에서 직접 spark-csv
에 액세스 할 수 있도록 Spark 사전 빌드 설정에서 jar 파일을 어디에 배치해야합니까?
해결 방법
spark-csv를 사용할 때 commons-csv
jar도 다운로드해야했습니다 (아직 관련성이 있는지 확실하지 않음). 스파크 배포 폴더에있는 두 항아리.
다음과 같이 항아리를 다운로드했습니다.
wget http://search.maven.org/remotecontent?filepath=org/apache/commons/commons-csv/1.1/commons-csv-1.1.jar -O commons-csv-1.1.jar<br/>
wget http://search.maven.org/remotecontent?filepath=com/databricks/spark-csv_2.10/1.0.0/spark-csv_2.10-1.0.0.jar -O spark-csv_2.10-1.0.0.jar
그런 다음 인수로 파이썬 스파크 셸을 시작했습니다.
./bin/pyspark --jars "spark-csv_2.10-1.0.0.jar,commons-csv-1.1.jar"
csv 파일에서 스파크 데이터 프레임을 읽습니다.
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.load(source="com.databricks.spark.csv", path = "/path/to/you/file.csv")
df.show()
참조 페이지 https://stackoverflow.com/questions/30757439
반응형
'파이썬' 카테고리의 다른 글
파이썬 How to filter objects for count annotation in Django? (0) | 2020.11.22 |
---|---|
파이썬 Python을 사용하여 HTML에서 href 링크를 얻으려면 어떻게해야합니까? (0) | 2020.11.22 |
파이썬 팬더의 가져 오기 오류를 해결하는 방법은 무엇입니까? (0) | 2020.11.22 |
파이썬 Spark 컨텍스트 'sc'가 정의되지 않았습니다. (0) | 2020.11.22 |
파이썬 내 plt.savefig가 작동하지 않는 이유는 무엇입니까? (0) | 2020.11.22 |
댓글