Adat tavak, magyarázva

A Big Data forradalom újradefiniálta a vállalkozások működését; az adatok mindent alátámasztanak. A nyílt forráskódú eszközök, például az Apache Hadoop és a Spark, nemcsak megkönnyítették a hatalmas mennyiségű adat gyűjtését, feldolgozását és tárolását valós időben, hanem az üzleti intelligencia (BI) és az adatok megjelenítésére szolgáló eszközök is segítenek bennünket az elemzés felületének karcolásában. és ezen adatok átalakítása az üzleti döntések alapjául.

Annak ellenére, hogy mennyi mértékben fejlődött a Big Data és a BI technológia, még mindig olyan hatalmas mennyiségű, folyamatosan összekeverő adatokkal foglalkozunk, hogy az elemzéshez megfelelő pontok megtalálása továbbra is úgy tűnik, mint a tűkre búvárkodás a végtelen szénakazalban. A megoldás? Tervezze át a szénakazalot.

Enter data lakes, egy új típusú felhő alapú vállalati architektúra, amely méretezhetőbb módon strukturálja az adatokat, és megkönnyíti a kísérletezést; nyitottabbá teszi a feltárást és a manipulációt, nem pedig merev sémákba és silókba zárva. Nasry Angel, a Forrester Research vállalati építészeti kutatója elmagyarázta, hogy a vállalkozások miért alkalmazzák az adattó-architektúrákat.

"Klincikusnak hangzik, de amikor egy hatékony modern adatkörnyezetre gondolsz, akkor sokkal kísérletesebb" - mondta Angel. "Gyorsan kell tudnia tanulni és gyorsan kudarcot valósítani. A múltban az adatok kezelése, különösen a raktárban, a minőségről szól, egészen a tizedes pontig; ügyelve arra, hogy minden teljesen pontos és valós legyen. Egyetlen üldözésnek hívják. Ezután elkészít egy pixelre tökéletes jelentést, és 5000 felhasználót robbant fel.

"Manapság ez egy tudományosbb folyamat. Ön egy hipotézissel lép fel az adatokkal, amelyeket tesztelni kíván, és azt szeretné, hogy képes legyen az adatokkal játszani, összekeverni és egyeztetni, különféle dolgokat kipróbálni, mielőtt elindul, és valamit előállít."

Mi van egy adattóban?

Az adattó egy adattár. Annak ellenére, hogy az adattárházatól vagy az "data mart" -tól eltérően, Angel kifejtette, hogy az adattáblák több csomóponton vannak elosztva, nem pedig az adattárház rögzített, strukturált környezetében, sémákra támaszkodva (lásd az alábbi infographic).

"Az adattó lehetővé teszi egy séma alkalmazását az adatok írásakor, szemben az olyan adattárházakkal, amelyek megkövetelik, hogy sémát készítsen olvasott formában. Tehát alapvetően az adattárház megköveteli, hogy az adatot modellezzék, mielőtt megértenék annak kontextusát, amely nem Nincs igazán értelme - mondta Angel.

Forrás: JustOne Database, Inc. (A teljes nézethez kattintson a fenti képre)

"Általában egy raktárban olyan informatikai szakemberek találkoznak, akik szerintük a legjobb adatmodellek, és nem ők az adatok végfelhasználói. Gyorsan megnézheti, hogy ez mi akadályozza a termelékenységet és az üzleti értéket" - tette hozzá.. "Végső soron Önnek és az üzleti felhasználóknak kell döntniük az adatok szerkezetéről, és egy adattóban először felfedezhetik és kitalálhatják, mi van ott, majd kitalálhatnak egy sémát a legmegfelelőbb megszervezéséhez."

Az adattavak általában a Hadoop-on épülnek, és a Hadoop vállalati disztribúciói, például a Hortonworks és a MapR adattó-architektúrákat kínálnak. A vállalkozások adattókat is létrehozhatnak az infrastruktúra-szolgáltatásként (IaaS) felhők, beleértve az Amazon Web Services (AWS) és a Microsoft Azure felhasználásával. Az Amazon elasztikus számítási felhő (EC2) támogatja az adatlakokat, míg a Microsoft rendelkezik az Azure Data Lake platformon a valós idejű adatok tárolására és elemzésére. Angel szerint az adatalakok olyan nagyra érkeznek, hogy a Big Data téren belül a vállalkozások ésszerű magabiztossággal kezdhessenek befektetést bennük.

"Néhány évvel ezelőtt Hadoop dühös volt. Most elértünk egy olyan helyre, ahol Hadoop árucikkekbe kerül" - mondta Angel. "A kérdés nem az, hogy Hadoop, hanem mikor, és mit fogsz ezzel csinálni. Milyen típusú alkalmazásokat fogsz építeni a Hadoop tetejére, miután az adatokat olyan helyre gyűjtötted, mint egy adattó? Ezen a ponton az adatok felhasználásáról van szó az alkalmazások fejlesztésére, amelyek megfelelnek az Ön üzleti igényeinek."

Épület egy adattároló tetején

A Big Data legérdekesebb része az a lehetőség, amelyet felszabadít. Miután felállított egy adattó-tó, ahol játszhat és kísérletezhet a különféle adatkombinációkkal és üzleti eredményekkel, megkezdheti az innovatív elemzési technikák rétegezését.

A gépi tanulás (ML) algoritmusai már a felhő infrastruktúrájának részévé válnak, és a kutatók folyamatosan fejlesztik a mély tanulási technikákat és az ideghálózatokat, hogy a gépeket és az adatrendszereket a komplex minták felismerésére képezzék. A prediktív elemzést egyre több adat eszközbe és vállalati platformba helyezik, és mindent felhasználnak a prediktív pontozástól és az ügyfélkapcsolat-menedzsment automatizált szegmentálásától kezdve a pénzügyi piaci tendenciák azonosításáig és a gépek mechanikai hibáinak megelőzésére.

Mindez azon adattároló tetején történik, amelyet vállalkozása igényeinek megfelelően táplál és méretez. Angel beszélt néhány olyan valós felhasználási esetről, amikor az adat tavak megváltoztatják a szervezetek működését.

"Egy olyan kiadói társasággal dolgoztam, amely különféle folyóiratokkal rendelkezik - kiadványuk van ügyvédeknek, egy könyvelőknek, másik tanácsadóknak stb. -, és minden kiadványnak megvan a saját adattárháza. Valójában minden kiadványnak megvan a saját siló "- magyarázta Angel.

"Tehát az összes adatot kinyertük egy raktárból, és adattóba helyeztük, és az adattó lehetővé tette számukra, hogy a silókban láthassák őket. Meg tudták vizsgálni az adatokat és felderíthetik az adatokat, és rájöttek, hogy ezek a különféle kiadványok, minden magazin ügyfelei érdeklődtek a kiberbiztonság iránt. A kiberbiztonság iránti olvasóközönség erős volt mindezen különböző szerepek között. Tehát mit csináltak? Az éves konferencia témájává tették a kiberbiztonságot."

Egy másik példa, amiről Angel beszélt, az e-kereskedelem. Egy másik ügyfél, egy online művészeti kiskereskedő, egy csomó információt dobott be egy adattóba és nemcsak tárolóként, hanem különféle vászonként felhasználta az üzleti betekintés összeállításához. A kiskereskedő tranzakciós adatokat (megrendelések, számlák, kifizetések stb.), Kattintási adatot (minden webhely látogatójának egymást követő kattintásait és oldalait), valamint a kiskereskedő adattárházából származó adatokat az egész tavakba behozta, és összehangoltan felhasználta a kosár leküzdésére. elhagyás és átalakítások.

"Fel akar épülni egy adattó tetejére, és felhasználni arra, hogy összetett üzleti betekintést készítsen" - mondta Angel. "A művészeti üzlet képes volt megnézni az ügyfél kattintási adatait, és összekapcsolni a kattintásokat az ügyfélprofilokkal, majd tranzakciós adatok felhasználásával megnézheti, mit vásárolt az ügyfél a múltban, és felhasználta ezeket a betekintést nagyon specifikus e-mail kampányok futtatásához. Tehát, ha egy ügyfél elhagyott a kosárukban, a kiskereskedő két órával később követhette volna, és azt mondta: "Láttuk, hogy ellenőrizted ezt a Picasso-t; itt van a link, ha újra meg akarjuk nézni.""

Az adatlakkok általánosan alkalmazhatók mindenféle üzleti felhasználási esetre. Annak ellenére, hogy az építészetre való átállást fontolóra veszi a műszaki főigazgató (CTO) vagy az információbiztonsági vezető (CISO) számára, Angel hangsúlyozta, hogy az adattárházak még nem elavultak, sőt, semmiféle szakaszon sem. A legtöbb vállalati szervezet esetében, függetlenül attól, hogy felhő szolgáltatót vagy egyedi Hadoop disztribúciót használ, a vállalkozásoknak mindkettőre szükségük van.

Az adat tavak hozzáférést biztosítanak páratlan betekintéshez azáltal, hogy eltávolítják az adott sémának való megfelelés adatainak korlátait, és sokkal alacsonyabb teljes tulajdonjogi költségekkel járnak, mivel olcsó, rugalmas felhőalapú tárolást, például AWS-t használnak fel-le skálához - bár csak fizetni a ténylegesen felhasznált feldolgozási teljesítményért. Az adattárház üzemeltetése drágább, és következésképpen az informatikai szakemberek szelektívebbé teszik az adatok be- és kimenetét. De a vállalkozás legfontosabb missziókritikus adatai szerint ez nem rossz dolog.

"Az adattárháznak előnyei vannak a biztonság szempontjából, és nagyon egyszerű eszköz az adatkezelés ellenőrzéséhez" - mondta Angel. "Tehát továbbra is meg akarja tartani a legérzékenyebb információit a raktárban, a misszió szempontjából kritikus dolgokat. De amikor új üzleti lehetőségekre és rejtett betekintésekre derít fel információt, ki akarja használni az adat-tó kiaknázását."