Videó: Как это устроено. Big Data. Большие данные (November 2024)
Az újonnan megjelenő "big data" mém még soha nem került meghatározásra értelmes és végleges módon. Ez a legszorosabb új buzz-kifejezés, amelyet egy évtizeden keresztül láttam. Ez egyike azoknak a "szemlélő szemének" kifejezéseknek, amelyek egy szeminárium felélénkülésére és végül a befektetők feláztatására szolgálnak.
Kezdjük azzal, hogy mit jelent a nagy adat? Rengeteg adat? Több adat van, mint amennyit képes kezelni? Amorf adatok? Az ellenőrzésen kívüli adatok? Hasznos adatok elemzésre? Hasznos adatok? Információs túlterhelés?
Ha eleget olvas a nagy adatokról, akkor az a fentiek és még sok más. A kulcs nem az adatok, hanem a kihívás, hogyan kell kezelni az adatokat, és mit kell csinálni magával az adattal.
Más szavakkal: hogyan tehetjük ezt a hatalmas adathalomot, amelyet sikerült felhalmoznunk, új és jövedelmező módon hasznos lehet? Az adatkészletek bárhonnan származhatnak különféle számítási mechanizmusokon keresztül, mint például a Facebook hozzászólások, NSA naplók, levelezőlisták, ügyfelek stb.
Azt állítanám, hogy az oszlop legtöbb olvasója maguk a nagy adatok tárolói. Most vettem egy 3 terabájt meghajtót a biztonsági mentéshez. Nagyon sok adat van biztonsági másolatom készítésére! Nagy adat!
Hasznos eszköz, amelyet el tudok képzelni, egy nagy adatelemző eszköz, amelyet a rendőrség felhasználhat arra, hogy valamely véletlenszerű bűncselekményben bűntudatot találjon azáltal, hogy átnézi a fájljait. Vagy legalább találjon valamit, ami zavarhat téged. Nagy adat!
Mindez visszatér az American Express korábbi vezérigazgatója megjegyzéséhez, aki azt mondta a közönségnek, hogy ha a vállalat (és ez minden hitelkártya-társaságra vonatkozik), felhasználhatja az Ön személyes vásárlási szokásait és hajlamait egy teljes dokumentációt, és határozottan mondja el, ha viszonyod van, vagy sem. Nagy adat!
Amit el tudok mondani, pontosan ez az, amit a nagy adatok tesznek a legjobban, kémkedve az egyénekre.
Az iparág népszerû megjegyzése, hogy valamilyen hatalmas adatbázist használnak az ön javára, amely információkat tartalmaz rólad. Igen, tudod, így olyan dolgokért kaphat érdeklődést, amelyek valójában érdekli. Célzott hirdetés. Ez mindenki számára előnyös!
Így működik ez. Érdekel egy új kamera vásárlása, és hallom az új Bogus One-ról. Elolvastam egy cikket a PCMag.com-on a fényképezőgépről, aztán megyek az Amazon-ra, és megnézem az árakat és a felhasználói értékeléseket. Úgy tűnik, hogy senki sem szereti a kamerát. Ez egy nyilvánvaló szar darab. Az értékelők mind elkerülték a kamerát. A vásárlók utálják a kamerát. Ez nem egy kamera, amit akarok. De a nagy adatelemző szoftver úgy dönt, hogy minden meglátogatott weboldalon száz hirdetést ad nekem, és mindegyik a Bogus One kamerát mutatja. Nagy adat!
Rosszabb ennél. Ha a dolgok másik irányba mennének, és úgy döntöttem, hogy tetszett és szerettem volna a kamerát, és ténylegesen megvásároltam a kamerát, akkor továbbra is olyan hirdetéseket kapok, amelyek ösztönzik a kamera vásárlására. Nagy adat!
Célzott "big data" hirdetés a baloney legnagyobb terhelése, valaha.
Rendben, szóval felejtsük el ezt a fiaskót, és térjünk át a nagy adatok felhasználásához a trendekhez. A nagy adatok különféle tűket találhatnak a különböző szénakazalban. Tehát kapsz valami hasonlót: A Subaru vásárlóinak negyven százaléka vegetáriánus / vegán, 80 százaléka demokraták. De ez a szám 60, illetve 90 százalékra nőtt, ha a Subaru Outbackről beszélünk. Ezenkívül 99% -ig vegetáriánus / vegán és 99% -ra demokratának nő, ha az autót zöldre festették.
A nagy adat-elméleti szakembereknek terepi napot kellene tartaniuk a szemináriumon ezen információkkal. De figyelmen kívül hagy minden olyan változót, amely megváltoztathatja a számításokat és a trendeket, amelyek végtelenek. Meddig tart fenn ennek a nagy adatnak a bármelyike, ha a Subaru vezérigazgatója összegyűjt egy zöld Outback-en és kijelenti, hogy "Minden bálnát meg kell semmisíteni!"
Még a nagy adatokra vonatkozó következtetések dinamikájának megváltoztatásához sem kell sokáig tartania. Annak ellenére, amit az American Express srác mond, az adatok valójában vakok. Ezért jelenít meg hirdetéseket a már megvásárolt termékekre.
Ha nagy adat lenne, akkor következtetésekre jutna.
Ha valaki tíz könyvet vásárol a bomba elkészítéséről, ez azt jelenti, hogy felrobbantani akarja a Szövetségi Épületet? Mi lenne, ha bombahulladék-szakértő lenne, és ez nem szerepelne a rendõrségi tanácsadói hivatalban? A nagy adatok még nem tudnak mindent. Nem tudja, mit gondol. Azt gondolom például, hogy a Bogus One kamera szar. A nagy adatok ezt csak akkor tudhatják meg, ha kihallgatnak. És talán hazudok róla.
Ez a társadalom számára sem jó, sem egészségesnek tűnik. Ugrás a következtetésekre, feltételezések megfogalmazása, téves feltételezésekre való viselkedés. A közönség haszontalan haszonnal.
A nagy adat, mint magas fogalom, soha nem határozza meg teljesen önmagát, és sajnálatos halált hal meg. Remélem.
