Koji je mehanizam za obradu podataka iza Amazon Elastic MapReduce?
Koji je mehanizam za obradu podataka iza Amazon Elastic MapReduce?
Anonim

Amazon EMR koristi Apache Hadoop kao svoju distribuciju stroj za obradu podataka . Hadoop je open source Java softverski okvir koji podržava podaci -intenzivne distribuirane aplikacije koje rade na velikim klasterima od robni hardver.

Štoviše, što je Amazon Elastic MapReduce?

Amazon Elastic MapReduce ( EMR ) je Amazon web usluge ( AWS ) alat za obradu i analizu velikih podataka. Amazon EMR obrađuje velike podatke kroz Hadoop klaster virtualnih poslužitelja na Amazon Elastic Računalni oblak ( EC2 ) i Amazon Jednostavna usluga pohrane ( S3 ).

Nadalje, je li Amazon EMR u potpunosti upravljan? To je potpuno upravljano Usluga podatkovnog jezera koja može odvojiti pohranu podataka od računalnih resursa i umjesto toga čini računalne klastere skalabilnim, dostupnim za korištenje na zahtjev i uključuje mogućnost da više klastera pristupi istim skupovima podataka odjednom.

Netko se također može pitati, kako funkcionira AWS EMR?

Općenito, kada obrađujete podatke u Amazon EMR , ulaz su podaci pohranjeni kao datoteke u odabranom temeljnom datotečnom sustavu, kao što je Amazon S3 ili HDFS. Ovi podaci prelaze iz jednog koraka u drugi u slijedu obrade. Posljednji korak zapisuje izlazne podatke na određeno mjesto, kao što je Amazon S3 kanta.

Koja je razlika između ec2 i EMR-a?

Za razliku od EMR , EC2 ne kategorizira slave čvorove u jezgre i čvorove zadataka. To povećava rizik od gubitka HDFS podataka u slučaju uklanjanja/gubljenja čvora. EC2 koristi Apache biblioteke (s3a) za pristup podacima na s3. S druge strane, EMR koristi AWS vlasnički kod za brži pristup s3.

Preporučeni: