Što je smanjiti po ključu?
Što je smanjiti po ključu?

Video: Što je smanjiti po ključu?

Video: Što je smanjiti po ključu?
Video: КОНЕЦ МУЧЕНИЯМ. Трава больше не проблема! 2024, Svibanj
Anonim

Funkcija Spark RDD reduceByKey spaja vrijednosti za svaku od njih ključ koristeći asocijativ smanjiti funkcija. To intuitivno znači da ova funkcija daje isti rezultat kada se opetovano primjenjuje na isti skup RDD podataka s više particija, bez obzira na redoslijed elementa.

Koja je onda razlika između groupByKey i reduceByKey?

groupByKey () je samo grupiranje vašeg skupa podataka na temelju ključa. smanjitiByKey () je nešto poput grupiranja + združivanja. smanjitiByKey može se koristiti kada radimo na velikom skupu podataka. aggregateByKey() je logički isto što i smanjitiByKey () ali vam omogućuje da vratite rezultat različit tip.

Također Znajte, zašto je smanjenje akcije u iskri? Smanjenje iskre operacija je akcijski vrsta operacije i pokreće potpuno izvršavanje DAG-a za sve poredane lijene upute. Iskra RDD smanjiti funkcija reducira elemente ovog RDD-a pomoću specificiranog komutativnog i asocijativnog binarnog operatora. Smanjenje iskre rad je gotovo sličan kao smanjiti metoda u Scali.

Osim gore, što je Pairrdd?

Spark pruža posebne operacije na RDD-ovima koji sadrže parove ključ/vrijednost. Ti se RDD-ovi nazivaju par RDD-ova. Uparivanje RDD-ova je koristan građevni blok u mnogim programima, jer izlažu operacije koje vam omogućuju da paralelno djelujete na svaki ključ ili pregrupirate podatke u cijeloj mreži. Uparite RDD-ove su parovi KLJUČ/VRIJEDNOST.

Je li reduceByKey akcija?

reducira() izlazi kolekcija koja se ne dodaje usmjerenom acikličkom grafu (DAG) pa se implementira kao akcijski . Međutim, smanjitiByKey () vraća RDD koji je samo još jedna razina/stanje u DAG-u, stoga je transformacija.

Preporučeni: