Logo lt.boatexistence.com

Kaip veikia kartografai ir reduktoriai?

Turinys:

Kaip veikia kartografai ir reduktoriai?
Kaip veikia kartografai ir reduktoriai?

Video: Kaip veikia kartografai ir reduktoriai?

Video: Kaip veikia kartografai ir reduktoriai?
Video: The MapReduce Principles, Mappers, and Reducers (Part 1) 2024, Gegužė
Anonim

Atvaizduotojo arba žemėlapio užduoties išvestis (rakto-reikšmių poros) yra įvestis į reduktorių Reduktorius gauna raktų ir reikšmių porą iš kelių žemėlapio užduočių. Tada reduktorius sujungia šias tarpines duomenų eilutes (tarpinę rakto-reikšmių porą) į mažesnį eilučių arba rakto-reikšmių porų rinkinį, kuris yra galutinis rezultatas.

Ką daro žemėlapių sudarytojai ir reduktoriai?

Hadoop Mapper yra funkcija arba užduotis, kuri naudojama apdoroti visus įvesties įrašus iš failo ir generuoti išvestį, kuri veikia kaip reduktoriaus įvestis Jis sukuria išvestį grąžindamas naują rakto-reikšmių poros. … Žemėlapio sudarytojas taip pat generuoja keletą nedidelių duomenų blokų, apdorodamas įvesties įrašus kaip rakto ir reikšmių porą.

Kuo skiriasi kartografas ir reduktorius?

Koks yra pagrindinis skirtumas tarp žemėlapių sudarytojo ir reduktoriaus? Mapper užduotis yra pirmasis apdorojimo etapas, kuris apdoroja kiekvieną įvesties įrašą (iš RecordReader) ir generuoja tarpinę rakto-reikšmių porą. Sumažinimo metodas iškviečiamas atskirai kiekvienai raktų/reikšmių sąrašo porai.

Kaip apskaičiuojate kartotuvų ir reduktorių skaičių?

Tai priklauso nuo to, kiek branduolių ir kiek atminties turite kiekviename vergume. Paprastai vienas atvaizdavimo įrenginys turi gauti nuo 1 iki 1,5 branduolių procesorių Taigi, jei turite 15 branduolių, vienas mazgas gali paleisti 10 atvaizdavimo įrenginių. Taigi, jei turite 100 duomenų mazgų Hadoop klasteryje, galite paleisti 1000 atvaizduotojų grupėje.

Kaip veikia Mapper funkcija?

Mapper yra funkcija, kuri apdoroja įvesties duomenis Atvaizdavimo priemonė apdoroja duomenis ir sukuria keletą mažų duomenų gabalėlių. Atvaizdavimo funkcijos įvestis yra (rakto, reikšmės) porų forma, net jei MapReduce programos įvestis yra failas arba katalogas (kuris saugomas HDFS).

Rekomenduojamas: