파이썬 pyspark에서 Python 라이브러리를 얻으려면 어떻게해야합니까?

pyspark에서 matplotlib.bblpath 또는 shapely.geometry 라이브러리를 사용하고 싶습니다.

그중 하나를 가져 오려고하면 아래 오류가 발생합니다.

>>> from shapely.geometry import polygon
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
ImportError: No module named shapely.geometry

모듈이 없다는 것을 알고 있지만 이러한 패키지를 내 pyspark 라이브러리로 어떻게 가져올 수 있습니까?

 

해결 방법

 

Spark 컨텍스트에서 다음을 사용해보십시오.

SparkContext.addPyFile("module.py")  # also .zip

여기에서 실행할 모든 작업에 대해 .py 또는 .zip 종속성을 추가하십시오. SparkContext in the future. The path passed can be either a local file, a file in HDFS (or other Hadoop-supported filesystems), or an HTTP, HTTPS 또는 FTP URI.

 

참조 페이지 https://stackoverflow.com/questions/36217090