Big Data-Hadoop ja sen vaikutus Business Intelligence systems

Äskettäin työni edellyttänyt minut tutkia uusia ominaisuuksia lisätty Informatica 9.1, mutta en koskaan ajatellut matka vie minut tutkimaan tarkemmin tätä ja kirjoittaa blogia Let &'; s katsomaan, miten kulki läpi erilaisia ​​uusia näkökohtia, jotka saavat hyvin paljon liittyvät tiedonhallinnan ja Business Intelligence. Ensinnäkin me tarkastelemme mikä on Bigdata ja sen asema nyt.

Ihmiset eivät aina ajattele miten organisaatiot, kuten Yahoo, Google, Facebook tallentaa suuria määriä tietoja käyttäjistä. Meidän pitäisi ottaa huomioon, että Facebook tallentaa enemmän kuvia kuin Google &'; s Picassa. Arvauksia ??

Mikä on Hadoop

Vastaus on Hadoop ja se on tapa tallentaa suuria määriä tietoja petabytes ja zettabytes. Tämä tallennusjärjestelmän kutsutaan Hadoop Distributed File System. Hadoop kehitti Doug Cutting perustuu ideoita ehdotti Google &'; s papereita. Enimmäkseen saamme paljon koneen tuottamat tiedot. Esimerkiksi, Large Hadron Collider tutkia alkuperä maailmankaikkeuden tuottaa 15 petatavua dataa vuosittain kunkin kokeen suorittaa.

MapReduce

Seuraava asia, joka tulee mielemme on, kuinka nopeasti voimme käyttää näitä suuria tietomääriä. Hadoop käyttää MapReduce, joka ilmestyi ensimmäisen kerran tutkielmia Google. Tästä seuraa &', hajota ja hallitse &' ;. Tiedot on järjestetty keskeinen arvo-pareja. Se käsittelee koko tietoja leviää lukemattomia järjestelmiä rinnakkain palasina yhdestä solmusta. Sitten se lajitella ja käsitellä kerätyt tiedot.

standardi PC-palvelin, Hadoop kytkeytyy kaikki palvelimet ja jakaa tiedostoja koko näitä solmuja. Sitä käytetään kaikki nämä solmut yhtenä suurena tiedostojärjestelmä tallentaa ja käsitellä tietoja, joten se 100% aitoa jaettu tiedostojärjestelmä. Extra solmuja voidaan lisätä, jos tiedot saavuttaa suurimman kapasiteetin, jolloin asennus erittäin skaalautuva. Se on hyvin halpaa, koska se on avoimen lähdekoodin ja doesnt &'; t tarvitsevat erityistä suorittimet kuten käytetään perinteisessä palvelimia. Hadoop on myös yksi NoSQL toteutuksia.

Hadoop reaaliajassa

Tennessee Valley Authority (TVA) käyttää smart-grid kenttälaitteet kerätä tietoja sen voima -transmission linjat ja tilat eri puolilla maata. Nämä anturit lähettää dataa nopeudella 30 kertaa sekunnissa – tällä korolla, TVA arvioi sillä on puoli petatavun tietojen arkistoidaan muutaman vuoden. TVA käyttää Hadoop tallentaa ja analysoida tietoja. Intiassa Power Grid Corporation of India aikoo asentaa nämä älykkäiden laitteiden niiden verkkoihin tietojen keräämiseksi vähentämiseksi siirtohäviöt. On parempi he myös jäljitellä TVA. Äskettäin Facebook muutti 30 Petatavu Hadoop, joka kuulostaa uskomatonta ja vaikea sulattaa sitä käytämme niin lukemattomia tietomäärä.

Data Warehouse ja Business Intelligence tukevat tuotteet Hadoop ja MapReduce

1 ) SOA-
2) tietojenkäsittely
3) Teradata
5) Pentaho
6) Talend

Jos Hadoop ja muut NoSQL toteutuksissa käytetään laajalti, rajoitukset perinteisten SQL-järjestelmät voivat olla ratkaistu kuten tallentamiseen erimuotoisia tietoja. Kanssa tietomäärä kasvaa eksponentiaalisesti, kaupallistaminen Hadoop tapahtuu suuressa mittakaavassa ja tietojen integraattori työkalut avainasemassa Kaivos- tietoja ammattitoimintansa.
Lukijat jaa kokemuksesi jos joku teistä ovat työskennelleet Hadoop muiden ETL ja BI Työkalut, työkaluja, jotka ovat saatavilla markkinoilla.
.