Koju verziju Pythona koristi spark?
Koju verziju Pythona koristi spark?

Video: Koju verziju Pythona koristi spark?

Video: Koju verziju Pythona koristi spark?
Video: How To Install Python, Setup Virtual Environment VENV, Set Default Python System Path & Install Git 2024, Svibanj
Anonim

Iskra radi na Javi 8+, Piton 2,7+/3,4+ i R 3,1+. Za Scala API, Iskra 2.3. 0 koristi Scala 2.11. Morat ćete koristiti kompatibilnu Scalu verzija (2.11.

Sukladno tome, radi li spark s Pythonom 3?

Apache Iskra je klaster računalni okvir, trenutno jedan od najaktivnije razvijenih u areni velikih podataka otvorenog koda. Od najnovije verzije 1.4 (lipanj 2015.), Iskra podržava R i Python 3 (za nadopunu prethodno dostupne podrške za Javu, Scalu i Piton 2).

Osim gore navedenog, kako mogu promijeniti spark verziju Pythona? U slučaju da samo želite promijeniti the python verzija za trenutni zadatak možete koristiti sljedeću naredbu pyspark start: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ piton PYSPARK_PYTHON=/usr/local/anaconda2/bin/ piton pyspark --majstor..

Nadalje, koja je najnovija verzija sparka?

Apache Spark

Izvorni autor(i) Matei Zaharia
prvo izdanje 26. svibnja 2014
Stabilno izdanje 2.4.5 / 8. veljače 2020
Repozitorijum Spark Repository
Upisano u Scala

Što je spark Python?

Ukroćenje velikih podataka s Apacheom Iskra i Piton Py4J je popularna knjižnica integrirana unutar PySpark to dopušta piton dinamički sučelje s JVM objektima (RDD). Apache Iskra dolazi s interaktivnom ljuskom za piton kao što to čini za Scalu. Školjka za piton je poznat kao PySpark ”.

Preporučeni: