Sadržaj:

Kako mogu pokrenuti svoj poslužitelj spark povijesti?
Kako mogu pokrenuti svoj poslužitelj spark povijesti?

Video: Kako mogu pokrenuti svoj poslužitelj spark povijesti?

Video: Kako mogu pokrenuti svoj poslužitelj spark povijesti?
Video: Introduction to Spark History Server and how to keep it running 2024, Svibanj
Anonim

Da biste omogućili poslužitelj povijesti Spark:

  1. Napravite direktorij za zapisnike događaja u DSEFS datotečnom sustavu: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kada je bilježenje događaja omogućeno, zadano ponašanje je da se svi zapisnici spremaju, što uzrokuje da pohrana raste s vremenom.

Osim ovoga, kako mogu postaviti poslužitelj spark povijesti?

Da biste omogućili poslužitelj povijesti Spark:

  1. Napravite direktorij za zapisnike događaja u DSEFS datotečnom sustavu: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kada je bilježenje događaja omogućeno, zadano ponašanje je da se svi zapisnici spremaju, što uzrokuje da pohrana raste s vremenom.

Slično tome, kako mogu pronaći URL svog poslužitelja spark povijesti? Npr., za poslužitelj povijesti , obično bi bili dostupni na poslužitelju - url >:18080/api/v1, a za pokrenutu aplikaciju, na https://localhost:4040/api/v1. U API-ju se na aplikaciju upućuje njezin ID aplikacije, [app-id].

Isto tako, što je poslužitelj spark povijesti?

The Poslužitelj povijesti Spark je alat za praćenje koji prikazuje informacije o dovršenim Iskra aplikacije. Ova informacija je izvučeni iz podataka koje aplikacije prema zadanim postavkama zapisuju u direktorij na Hadoop Distributed File System (HDFS).

Što je Sparkui?

Spark Web UI omogućuje vam da vidite popis faza i zadataka planera, informacije o okolišu, informacije o pokrenutim izvršiteljima i još mnogo toga. Pogledajte ovaj 30-minutni demo kako biste saznali više o: komponentama i životnom ciklusu programa Spark. Kako vaša Spark aplikacija radi na Hadoop klasteru.

Preporučeni: