Az Ibm watson segíti az egyetemi hallgatókat a mandarin elsajátításában

Az egyetemek hosszú utat tettek nyelvtanulásaik során, az egyszerű előadásokon túl a hagyományos órákon és interakció nélkül előzetesen rögzített órákon. Most a hallgatók eljuthatnak olyan technológiákhoz, mint a mesterséges intelligencia (AI) és a természetes nyelvfeldolgozás (NLP) egy magával ragadó tanulási környezetben. Ez történik a New York-i Troy városában, a Rensselaer Politechnikai Intézet (RPI) campusán található Cognitív és Immersive Systems Labban (CISL). Az intézet itt áll össze az IBM Research-szel, hogy elkészítse a technológiát egy hathetes nyári kurzusra, amelynek során a hallgatók az AI ügynökökkel kommunikálnak olyan környezetben, amely utcai piacokat és éttermeket foglal magában.

Az "AI-segített magával ragadó kínai" címet viselő tanfolyamon egy 360 fokos panorámaképernyő látható a számítógéppel generált jelenetekkel a laboratóriumi kognitív magával ragadó helyiségében (CIR), amelyet más néven "Helyzetszobának" hívnak. A virtuális jelenetek Kínában zajlanak. A hallgatók a Watson Assistant tápellátásával működő avatárokkal beszélgetnek, és javítják beszédüket és kiejtésüket. A CIR-ben a hallgatók beszélgető AI-t, narratív generációt, térbeli kontextus-tudatosságot, valamint gesztus és arcfelismerési technikát használnak.

A CIR példája az IBM Watson számos iparágban rejlő lehetőségeinek széles skálájáról az oktatás mellett. Ezek az iparágak magukban foglalják a mezőgazdaságot, az emberi erőforrásokat (HR) és a flottakezelést.

Az RPI-n a Watson Assistant mellett a hallgatók tanulmányaik során a Watson Speech to Text, Watson Text to Speech és Language Translator programokat is használják.

A hallgatók megtanulják a mandarint az AI használatával az RPI egyetemen. (Kép jóváírása: IBM Research / RPI)

Aktív tanulási tapasztalat

Julian Wong, az RPI juniorja számára a magával ragadó AI tapasztalat vonzó módja volt a mandarin elsajátításának, mivel aktívabb módszert ad neki. Mivel a mandarin olyan tonális nyelv, amelyben a hangmagasság változása megváltoztathatja a szavak jelentését, az AI tapasztalatai avatárjai visszajelzést adnak a hangról, hogy megbizonyosodjanak arról, hogy Wong és a többi hallgató helyesen fejtik ki a kiejtéseket.

Wong szerint az AI-vel végzett munka a CIR-ben szép egyensúlyt teremt a szokásos tantermi órákkal. "A számítógépes beszélgetés megbeszélése minden bizonnyal sok szempontból hozzájárul a nyelv megtanulásához, különösen a verbális készségekhez" - mondta Wong.

Wong mandarin osztálya hetente négyszer ülésezik. Hétfőn és pénteken egy hagyományos osztályteremben vesz részt az osztályban Helen Zhou-val, az RPI egyetemi docensével. Itt megtanulja az új szókincset, és bevezetést kap a mondatokhoz és a nyelvtani struktúrákhoz. Kedden és csütörtökön az osztály a CIR-ben találkozik, ahol a hallgatók beszélgetéseket folytatnak virtuális ügynökökkel. Éttermi környezetben Wong szerint a hallgatók az étteremben leülhetnek, megnézhetnek egy menüt, rendelhetnek ételeket, beszélgethetnek egy pincérrel az étel készítésének folyamatáról és fizethetnek a számlán. Egyéb környezetek közé tartozik a kert, a piac és az iskolai egyetemi campus.

A magával ragadó tantermi mandarin osztály különbözik a hagyományos környezettől, mivel Zhou szerint multimodális élményt nyújt a nyelv és a videó számára. Azt mondta, hogy a hagyományos osztály kevésbé lesz magával ragadó és interaktív. "A magával ragadó osztálytermi szimulációban két ügynök van, akik harcolnak egymással, hogy megpróbálják rábeszélni a diákokat a termék vásárlására" - mondta Zhou. "Tehát a hallgatók inkább személyes tapasztalatok alapján megértsék, nem pedig csak videókat néznek vagy csak előadásokat hallgatnak. Úgy gondolom, hogy könnyebben választanák a kultúrát, mint pusztán tankönyvekből tanulva vagy szalagot hallgatva."

A CIR-ben a hallgatók vetítenek a jelenetekhez kapcsolódó vetélkedéseket, amelyekkel kapcsolatba léptek, és felemelik a kezüket, hogy megválaszolják. A szobában lévő kamerák számítógépes látástechnikája rögzíti gesztusaikat. Az AI asszisztens a helyszínhez kapcsolódó vetélkedőt ad, és a hallgatóknak kínai nyelven kell válaszolniuk.

"Ha ki akarja választani a képernyőn megjelenő felbukkanó ablakokat, akkor kinyújthatja a kezét, nyithatja a tenyerét, majd becsukhatja a kezét" - magyarázta Wong. "Kiválaszthatja, hogy a kurzor melyik pillanatban működik. Ha a kis vetélkedőknél tudja, hogy mi a helyes válasz, akkor vigye a kezét a kijelölni kívánt karakterekre, majd bezárja a kezét, hogy kiválassza azokat. tudatja Önnel, hogy jól sikerült-e vagy sem."

A virtuális ügynök a diákokat általában megérti, kivéve azokat az eseteket, amikor a mikrofonjuk nem áll a szájuk közelében. A rendszernek különféle hangfelismerési beállításai vannak, amelyek felveszik a hallgatókat, ha nem fejtik ki a kiejtésüket. Azonnali visszajelzést ad egy beszélgetésről, ha nincs jelen professzor. A mandarin osztályban a hallgatók saját maguk látogathatnak meg egy weboldalt, ahol hangfájlokat érhetnek el gyakorlás céljából.

Az RPI magával ragadó élményének hűvös tulajdonsága a térbeli kontextus-tudatosság, amelyben a képernyőn lévő több virtuális ügynök meg tudja mondani, hogy melyikkel lép szembe. "Ha valamit mondanak, miközben az egyik ügynökre néznek, akkor az az ügynök válaszol, a másikra nem, " mondta Wong.

Egy hallgató az IBM Watson gesztust és arcfelismerési technikát használja az RPI mandarin osztályának részeként. (Kép jóváírása: IBM Research / RPI )

Hogyan fejlődött a magával ragadó élmény

Az RPI magával ragadó tapasztalata akkor jött létre, amikor a nyelvtanárok és a játéktervezési professzorok találkoztak, hogy megvitassák a nyelvtanítás jobb módját. Hui Su szerint, aki egyszerre az IBM Research kognitív felhasználói tapasztalatainak igazgatója és a CISL igazgatója, a szerepjáték fejlesztésének terve hamarosan vita tárgyát képezte arról, hogyan lehet a mandarint megtanítani a valós élet forgatókönyveinek szimulációjával. Az IBM és az RPI 2015 végén kezdte meg kidolgozni a kurzust, és akkoriban megalapították a közös laboratóriumot. A CISL ezután nem sokkal alakult.

"A laboratórium célja a kognitív és magával ragadó környezet felépítése a csoportos tevékenységek fejlesztése érdekében, a csoport intelligencia fejlesztése a tanulás és a döntéshozatal összefüggésében" - mondta Su. "Arra is összpontosítunk, hogy kognitív, magával ragadó tárgyalótermeket építsünk…, hogy megvizsgáljuk a kritikus helyzetek adatait, megpróbáljuk megérteni az információkat, és döntéseket hozzon, vagy ajánlásokat hozzon a döntéshozók számára."

Az AI nyelvtanulási program részeként az IBM és az RPI kísérletezik a hangmagasság kontúr elemzésével. Su ismertette, hogyan működik ez a technika. "Amikor egy szótagot beszélsz, amikor egy szótagot kiejtesz, az alapul szolgáló technika elfogja a hangot, és vizuális kontúrt hoz létre arról, hogy ezt a szótagot hogyan kell kiejteni" - mondta Su. "Akkor ezt a vizuális kontúrot használja, és összehasonlítja azt a vizuális kontúrot az anyanyelvi vizuális kontúrral."

A hallgatók ezután módosíthatják a kiejtésüket a megfelelő hangzás elérése érdekében. Megtanulják, hogy meg kell változtatniuk egyes szótavak kiejtését. A hallgatók által a Watson tech használatával elsajátító tantermi mandarin elsajátításával szerzett ismeretekkel nagyobb bizalom lesz a való életben való beszélgetésben.

"Az ötlet az, hogy elegendő kulturális környezetet biztosítson magával ragadó környezetünkön és az AI tech-n keresztül, hogy a hallgatók gyakorolhassanak gyakorlatokat" - mondta Su. "Tehát nem fognak attól tartani, hogy valódi életben beszéljenek az emberekkel."

A hallgató az IBM Watson tech használatával virtuális éttermi környezetben gyakorolja a mandarint. (Kép jóváírása: IBM Research / RPI )

Híd a műszaki ipar és az akadémia között

Az IBM és az RPI képesek hidat építeni az IBM kutatói és oktatói között azáltal, hogy az IBM beágyaz egy kutatót az egyetemen, nevezetesen Su. Időközben, Zhou, az RPI osztály professzora, visszajelzést ad a tervezőknek, a felhasználóknak és a tanároknak arról is, hogyan lehetne javítani az osztályteremben való elbűvölő élményt.

"Azonnal visszajelzést kell adnom nekik a hibakereséshez vagy a formatervezés tökéletesítéséhez, hogy természetesebb osztálytermet kínálhassunk a hallgatóknak" - mondta Zhou. "Szóval sok munka van benne, de megéri."

A nyelvtanulás jövője

• A legjobb nyelvtanulási szoftver 2019-ig A legjobb nyelvtanulási szoftver 2019-ig
• Az IBM kiadja az előrehozott Watson AI eszközöket számos iparágban
• Valóban az AI beszél a nyelvünkön? Valóban az AI beszél a nyelvünkön?

Ez a fajta magával ragadó környezet értékes, mivel Zhou szerint képes látszólag valós környezetet biztosítani. "Az AI-t magába foglaló környezet nem csak a hallgatók beszédét és hallgatását javíthatja, hanem a nyelv valós helyzetekben való használatának gyakorlati gyakorlatát is" - mondta Zhou. "Ezért az AI ideálisabb számomra, mint oktatóra, hogy a hallgatók megértsék a nyelv korai használatát, még kezdő tanulók számára is, anélkül, hogy országba utaznának."

Az RPI által kínált multimodális tanulási környezetek kibővítik az AI szerepét az osztályteremben. Az AI által a virtuális ügynökökön keresztül nyújtott tapasztalatok alapján a hallgatók felkészülnek arra, hogy a valós világban különféle forgatókönyveket kezeljék a szükséges nyelvtudással.