Miért van a gépi tanulás a jövő?

A havi SC16 szuperszámítógépes konferencián két tendencia emelkedett ki. Az első az Intel legújabb Xeon Phi (Knights Landing) és az Nvidia legújabb Tesla (a Pascal-alapú P100) megjelenése a világ leggyorsabb számítógépeinek Top500 listáján; Mindkét rendszer a 20. legfontosabb helyen helyezkedett el. A második nagy hangsúlyt fektet arra, hogy a chip- és rendszergyártók miként veszik át a modern gépi tanulási rendszerek koncepcióit, és ezeket alkalmazzák a szuperszámítógépekre.

A Top500 lista jelenlegi felülvizsgálatánál, amelyet évente kétszer frissítenek, a diagram teteje továbbra is szilárdan a Kína Wuxi Nemzeti Szuperszámítógép-központjában lévő Sunway TaihuLight számítógép és a kínai Nemzeti Super Computer Tianhe-2 számítógép kezében van. Központja Guangzhou városában, ahogyan az június ISC16 kiállítása óta történik. Nincs más számítógép teljes teljesítményében, mivel a harmadik és a negyedik besorolású rendszer - még mindig a Titan szuperszámítógép az Oak Ridgenél és a Sequoia rendszer a Lawrence Livermore-nál - mindkettő a Tianhe-2 teljesítményének mintegy felét biztosítja.

Ezek közül az első egy egyedülálló kínai processzoron, az 1, 45 GHz SW26010-en alapul, amely 64 bites RISC magot használ. Ennek páratlan 10 649 600 magja van, amely 125, 4 petaflopi elméleti csúcsteljesítményt és 93 petaflops maximális mért teljesítményt nyújt a Linpack referenciaértéken, 15, 4 megawatt teljesítmény felhasználásával. Meg kell jegyezni, hogy bár ez a gép hatalmas különbséggel halad előre a Linpack teljesítményének táblázatain, a többi tesztelés során ez nem elég jó. Vannak más referenciák is, például a nagy teljesítményű konjugált gradiensek (HPCG) referenciaértéke, ahol a gépek általában csak az elméleti csúcsteljesítményük 1–10% -át látják el, és ahol a felső rendszer - ebben az esetben a Riken K gép - még mindig kevesebb teljesítményt nyújt mint 1 petaflop.

De a Linpack tesztek a standard a nagy teljesítményű számítástechnikáról (HPC) és a Top500 lista létrehozásához használt szabványokról. A Linpack tesztekkel a 2. számú gép, a Tianhe-2 volt az első helyen a diagramban az elmúlt években, és Xeon E5-et és régebbi Xeon Phi (Knights Corner) gyorsítókat használ. Ez az elméleti csúcsteljesítmény 54, 9 petaflop-ját és a Linpack-i 33, 8 petaflops-os referenciaértéket kínál. Sok megfigyelő úgy véli, hogy a Xeon Phi (Knights Landing) újabb verzióinak kiviteli tilalma vezetett a kínaiakhoz saját szuperszámítógép-processzoruk létrehozásához.

A Knights Landing, hivatalosan Xeon Phi 7250, nagy szerepet játszott a listán szereplő új rendszerekben, kezdve a Lawrence Berkeley Nemzeti Laboratórium Cori szuperszámítógépével, amely az ötödik helyre érkezett, 27, 8 petaflopi csúcsteljesítménnyel és 14 petaflops mért teljesítményével.. Ez egy Cray XC40 rendszer, mely a Kos összeköttetést használja. Ne feledje, hogy a Knights Landing főprocesszorként működhet, processzrenként 68 maggal, 3 teraflopi csúcsteljesítménnyel. (Az Intel felsorolja a chip egy másik verzióját, amelyben 72 mag van, árlistáján 3, 46 teraflops csúcsteljesítményű csúcsteljesítményű, de a listán szereplő gépek egyike sem használja ezt a verziót, talán azért, mert drágább és több energiát igényel.)

A Xeon Phis korábban csak gyorsítóként futhatott azokban a rendszerekben, amelyeket a hagyományos Xeon processzorok vezéreltek. A hatodik helyen a Japán Összetett Fejlett Nagyteljesítményű Számítógéppel foglalkozó Oakforest-PACS rendszer volt, amely 24, 9 csúcspontot ért el. Ezt a Fujitsu építette a Knights Landing és az Intel Omni-Path összeköttetése segítségével. A Knights Landing a 12. számú rendszerben (a Marconi számítógép az olaszországi CINECA-ban, Lenovo által épített és az Omni-Path használatával) és a 33. számú rendszerben (a japán Kiotói Egyetem Camphor 2-e, Cray építette és a Kos segítségével) összekapcsolási).

Az Nvidia az új listán is jól képviselt volt. A Svájci Nemzeti Szuperszámítógépes Központban a Piz Daint 8. számú rendszert Cray XC50-re korszerűsítették a Xeons-szal és az Nvidia Tesla P100-tal, és most csak kevesebb mint 16 petaflops elméleti csúcsteljesítményt és 9, 8 petaflops-ot kínálnak a Linpack teljesítményhez - egy nagy korszerűsítése a Cray XC30 és az Nvidia K20x gyorsítógépek korábbi iterációja alapján, a korábbi iterációban a 7, 8 petaflops és a Linpack teljesítmény 6, 3 petaflops értékével.

A listán szereplő másik P100-alapú rendszer az Nvidia saját DGX Saturn V volt, amely a vállalat saját DGX-1 rendszerein és egy Infiniband összeköttetésen alapult, amely a lista 28. pontján jelent meg. Vegye figyelembe, hogy az Nvidia mind a processzorokat, mind a DGX-1 készüléket eladja, amely szoftvert és nyolc Tesla P100-at tartalmaz. A DGX Saturn V rendszer, amelyet az Nvidia a belső AI kutatáshoz használ, közel 4, 9 csúcspontú petaflopi és 3, 3 Linpack petaflops értékkel rendelkezik. De az Nvidia rámutat arra, hogy csak 350 kilovatt energiát fogyaszt, ami sokkal energiahatékonyabbá teszi. Ennek eredményeként ez a rendszer az első helyet foglalja el a Green500 leghatékonyabb rendszerek listáján. Az Nvidia rámutat, hogy ez jóval kevesebb energiát jelent, mint a Xeon Phi-alapú Camphor 2 rendszer, amelynek hasonló teljesítménye van (közel 5, 5 petaflops csúcs és 3, 1 Linpack petaflops).

Érdekes összehasonlítás: az Nvidia jobb energiahatékonyságot mutat a GPU-ken, az Intel pedig egy ismerős programozási modellt mutat be. Biztos vagyok benne, hogy az elkövetkezendő években több verseny tapasztalható, mivel a különböző építmények versenyeznek annak megállapítása érdekében, hogy melyikük fogja először elérni az „exascale számítástechnikát”, vagy inkább a kínai otthon alkalmazott megközelítés fogja odajutni. Jelenleg az Egyesült Államok Energiaügyi Minisztériumának Exascale Computing Projektje várhatóan az első exascale-gépeket 2022-ben telepítik, és a következő évben indulnak üzembe.

Érdekes megjegyezni, hogy annak ellenére, hogy hangsúlyt helyezünk a sokmagos gyorsítóra, például az Nvidia Tesla és az Intel Xeon Phi megoldásokra, csak 96 rendszer használ ilyen gyorsítókat (beleértve azokat is, amelyek kizárólag a Xeon Phi-t használják); szemben egy évvel ezelőtt 104 rendszerrel. Az Intel továbbra is a legnagyobb chipek szolgáltatója, miközben chipek az 500 legnagyobb rendszer 462-ből származnak, 22-ben pedig az IBM Power processzorok. A Hewlett-Packard Enterprise 140 rendszert hozott létre (ideértve a Silicon Graphics által készített rendszereket is, amelyeket a HPE megszerzett), a Lenovo pedig 92 és Cray 56.

Gépi tanulási verseny

A kiállításon vagy annak környékén számos bejelentés volt, amelyek többsége a mesterséges intelligencia vagy a gépi tanulás valamilyen formájával foglalkozott. Az Nvidia bejelentette az IBM-vel való partnerség létrehozását egy új, az IBM PowerAI elnevezésű, mélyen elsajátuló szoftver eszközkészlettel kapcsolatban, amely az Nvidia NVLink összekapcsolásával az IBM Power kiszolgálókat üzemelteti.

Az AMD, amely utólagos gondolkodásmódot mutatott mind a HPC, mind a gépi tanulási környezetben, azon dolgozik, hogy megváltoztassa ezt. Ezen a területen a társaság a saját Radeon GPU-jára összpontosított, elindította FirePro S9300 x2 szerver GPU-ját, és bejelentette partnerségét a Google Cloud Platformmal annak lehetővé tétele érdekében, hogy felhőn át lehessen használni. De az AMD nem fektetett be annyit a GPU-k programozásába, mivel az OpenCL-t hangsúlyozta az Nvidia szabadalmazottabb megközelítése felett. A kiállításon az AMD bemutatta a Radeon Open Compute Platform (ROCm) új verzióját, és megtervezte a GPU-k heterogén számítástechnikai forgatókönyvekben való támogatását, több CPU-val, ideértve a közelgő "Zen" x86 CPU-kat, az ARM architektúrákat, kezdve a Cavium ThunderX-rel és Az IBM Power 8 processzorok.

A kiállításon az Intel a jelenlegi Xeon E5v4 (Broadwell) chip új verziójáról beszélt a lebegőpontos munkaterheléshez hangolva, és arról, hogy a Skylake platformon alapuló következő verzió miként készül jövőre. A héten egy későbbi eseményben azonban az Intel egy sor bejelentést tett közzé, amelynek célja a chipek elhelyezése a mesterséges intelligencia vagy a gépi tanulási térben. (Itt van az ExtremeTech vétele.) Ennek nagy része kihatással van a nagy teljesítményű számítástechnikára, de többnyire különálló. Először is, a szokásos Xeon processzorok mellett a vállalat az FPGA-k támogatását is segíti az ideghálózatokban a következtetések nagy részének végrehajtásában. Ez az egyik nagy oka annak, hogy a cég nemrégiben megvásárolta az Alterat, és az ilyen FPGA-kat most már olyan cégek használják, mint a Microsoft.

De a múlt héten az AI-re összpontosítva újabb zsetonokkal foglalkoztak. Először is van a Xeon Phi, ahol az Intel jelezte, hogy a Knights Landing jelenlegi verzióját jövőre kiegészítik egy új, a Knights Mill nevű verzióval, amely a "mély tanulás" piacára irányul. Az IDF-nél bejelentett, ez egy újabb 14 nm-es verzió, de a félig precíziós számítások támogatásával, amelyeket gyakran használnak az idegi hálózatok kiképzésében. Valójában a jelenlegi Nvidia chipek egyik nagy előnye a mély tanulásban a félig precíziós számítások és a 8 bites egész műveletek támogatása, amelyeket az Nvidia gyakran mély tanulásnak "tera-op" -nak nevez. Az Intel szerint a Knights Mill akár négyszeres teljesítményt fog nyújtani a Knights Landing teljesítményének a mély tanuláshoz. (Ezt a chipet még mindig úgy tervezik, hogy később egy Knight Hill nevű 10 nm-es verzió követi, amely valószínűleg inkább a hagyományos nagy teljesítményű számítástechnikai piacra irányul.)

A következő évre a legérdekesebb a Nervana által készített, az Intel által nemrégiben megvásárolt terv, amely egy sor feldolgozási klasztert használ, amelyek célja a nagy sávszélességű memóriához (HBM) csatlakoztatott egyszerű matematikai műveletek végrehajtása. Elsőként ebben a családban a Crest-tó lesz, amelyet akkor terveztek, mielőtt az Intel megvásárolta volna a társaságot, és 28 nm-es TSMC folyamaton gyártották. A teszt verziókban a jövő év első felében esedékes, az Intel azt állítja, hogy több nyers számítási teljesítményt nyújt, mint egy GPU. Ezt végül a Knights Crest követi, amely valamilyen módon a Nervana technológiáját valósítja meg Xeon mellett, a részletekkel még mindig be nem jelentették.

"Arra számítunk, hogy a Nervana technológiái a következő három évben 100-szoros áttörést eredményeznek a komplex neurális hálózatok kiképzésében, lehetővé téve az adattudósok számára, hogy gyorsabban oldják meg a legnagyobb AI-kihívást" - írta Brian Krzanich, az Intel vezérigazgatója.

Az Intel nemrég bejelentette a Movidius megvásárlásának terveit is, amely a DSP-alapú chipeket különösen alkalmassá teszi a számítógépes látásmegfigyelésre - ismételten a korábban képzett modelleken alapuló döntések meghozatalára.

Ez egy bonyolult és fejlődő történet - természetesen nem olyan egyértelmű, mint az Nvidia mindenütt való nyomtatása GPU-ja felé. Amit azonban világossá tesz, az az, hogy milyen gyorsan megy a gépi tanulás, és a különböző módok, amelyeket a vállalatok a probléma megoldására terveznek, kezdve a GPU-kig, mint például az Nvidia és az AMD, a sok x86-os processzorig, például a Xeon Phi, az FPGA-ig., a speciális képzési termékekhez, például a Nervana és az IBM TrueNorth, az egyedi DSP-szerű bevezető motorokhoz, mint például a Google Tensor Processing Units. Nagyon érdekes lesz megnézni, hogy van-e hely a piacon ezeknek a megközelítéseknek a számára.