Dataflow vuonna MapReduce sovelluksissa!

MapReduce on kehys, joka on suunniteltu käsittelemään valtavia aineistoja. Se käyttää suuri klusterin tietokoneita, jotka kutsutaan solmut laskutoimitusten suorittamiseksi. Tämä laskennallinen käsittely tehdään tallennetun datan joko tiedostojärjestelmän tai sisällä tietokantaan. Vuonna MapReduce sovelluksissa, on periaatteessa kaksi komponenttia eli, kartta ja vähentää. Vuonna Kartta vaiheessa isäntäsolmun vastaanottaa panos, jakaa sen pienempiin osa-ongelmia, ja lopulta jakaa ne työntekijöiden solmuja. Tämä on jälleen toistetaan työntekijän solmu johtaa monitasoisen puurakenne. Pienempiä ongelmia, jotka tehdään työntekijä solmu prosessi jokainen niistä ja siirtää vastaus takaisin pääsolmuun. Toisaalta, vähentää vaihe vie vastauksia ja yhdistää ne jollakin tavalla saada lopullinen tuotos.

MapReduce puitteissa on suuri jaettu eräänlainen joka koostuu kriisipesäkkeisiin määriteltyä.

• tulo lukija
• Kartta toiminto
• Vähennä toiminto
• partitiofunktio
• vertailutoiminto
• lähtö kirjailija

Täällä Input lukija periaatteessa jakaa panosta sopiva koko halkeaa. MapReduce kehys sitten määrittää yhden split kullekin Kartta toiminnon. On hajautettu tiedostojärjestelmä, josta tulo lukee tiedot ja luo tarvittavat avain /arvo-pareja. Toinen osa eli Kartta toiminto kestää useita avain /arvo-pareja, käsittelee ne ja sitten tuottaa nolla tai useampi lähtö avain /arvo-pareja. Usein tulo ja lähtö tyypit vähentää toiminto eroaa toisistaan.

Vähennä toimivat MapReduce puitteissa puheluita vähentää toimintaa kerran jokaiselle ainutlaatuinen avain lajitellut järjestyksessä. Tämä Vähennä toiminto voi kerrata läpi arvot, jotka lopulta liittyvät että avain. Tuotannon arvo voi olla 0 tai joitakin arvoja samoin. Toinen tärkeä tehtävä on partitiofunktio jossa kukin Kartta toiminto lähtö kohdistetaan tietylle vähennysventtiilillä. Tämä tehdään avulla sovelluksen partitiofunktio. Sitten tulee, vertailu toiminto, jota käytetään ajaa ja lajitella Map toiminto. Sitten on toinen erittäin tärkeä tehtävä kutsutaan lähtö kirjailija. Lähtö kirjailija käytetään kirjoittaa lähdön Vähennä toiminnon hajautetun tiedostojärjestelmän, usein kutsutaan vakaa varastoinnin.

Jokainen komponentti MapReduce sovelluksissa on tärkeää, ja vaikka yksi puuttuu tai ei ole kunnolla optimoitu, tulokset olisivat ole odotetun kaltainen. Määrittelemiseksi MapReduce puitteet oikein sinun täytyy ymmärtää jokaisen komponentin tarkasti, joille sinun täytyy lukea online-opetusohjelmia. Tutustu online resursseja ja hyödyntää tämän hakemuksen ja palvella eri tärkeitä päämääriä.
.