Számos biztonsági csomag javítja a védelmet a valós tesztek során

Az innsbrucki AV-Comparative kutatói fáradhatatlanul munkálkodnak, hogy a biztonsági lakosztályok védőképességét kipróbálják a valós felhasználói élményhez legközelebb eső módon. Minden nap csaknem húsz lakosztályt tesznek valódi malware támadások alá, automatizált rendszer segítségével rögzítve, hogy a termék mennyire áll ellen a teszten. Az elmúlt hat hónapban több mint 3000 teszt eseten ment keresztül. A féléves eredmények elérhetők, és a legutóbbi jelentés óta lenyűgöző számú termék javult.

A minta méretének fontossága

Intuitív módon nyilvánvaló, hogy egy ilyen teszt pontosabb eredményeket fog kapni egy nagyobb mintasorral, de ezúttal az AV-Comparatives körül világosan magyarázta a túl kicsi mintakészlet következményeit. Egy egyszerű külön jelentés rögzíti a statisztikákat, és kissé meglepőek.

Tegyük fel, hogy egy adott termék a 10 000 malware minta 80% -át észlelte. Tegyük fel, hogy véletlenszerűen csak tíz mintát választott ugyanabból a gyűjteményből. Az összes lehetséges eredménytáblázatot használva a jelentés kimutatja, hogy ugyanazon észlelési arány, magasabb észlelési arány vagy alacsonyabb észlelési arány elérése szinte azonos valószínűséggel jár. Igen, tíz minta lecsökkentése szélsőséges eset, de ez biztos.

Tesztelési módszerek

Automatizált és kézi keresési módszerekkel a kutatócsoport minden nap gyűjt valódi rosszindulatú URL-eket. Különösen a rosszindulatú fájlokhoz és az automatikus letöltési webhelyekhez mutató közvetlen linkek keverékét választják ki. A napi mintákon egyenként végigfutva egyidejűleg az összes terméket egy adott URL-re teszi, és figyeli, hogy az egyes termékek hogyan reagálnak. Ha a csomag bármelyik része elkerüli a rosszindulatú programokat, akkor ez sikerrel jár. Ha a rosszindulatú program elcsúszik és beállítja a takarítást, akkor ez hiba.

Időnként a csomag felugrik egy értesítéssel, hogy talált valamit , és megkérdezi a felhasználót, hogy blokkolja vagy engedélyezi-e. Tesztelés céljából az AV-Comparatives elemzői mindig úgy döntnek, hogy engedélyezik a műveletet. Az a termék, amely ennek a műveletnek ellenére sikeresen védi a rendszert, teljes hitelt kap; egy olyan termék, amely lehetővé teszi a rendszer veszélyeztetését a felhasználó rossz választása miatt, félhiteleket kap.

Miután egy adott teszt befejeződött, az összes tesztrendszer újraképre kerül a rosszindulatú programok előtti állapotba, készen áll a következő teszt esetre.

Hamis pozitív elemek

Hamis pozitív eredmény akkor fordul elő, amikor a biztonsági szoftver tévesen blokkolja a jogszerű fájlhoz vagy webhelyhez való hozzáférést. Nyilvánvalóan nem akarja, hogy a biztonsági csomag törölje az érvényes fájlokat, vagy tartsa távol a ártalmatlan webhelyektől. Az AV-Comparatives mindegyik terméket körülbelül ezer véletlenszerűen kiválasztott domainnel és mintegy száz új és népszerű programmal tesztelte. Tesztelés céljából letöltötték az egyes programokat a fejlesztői webhelyről, nem pedig a letöltési portálról.

A jelentés megjegyzi, hogy a statisztikai és hírnév-alapú biztonsági elemzések gyakran blokkolják vagy figyelmeztetik a vadonatúj programokat és webhelyeket. Azt állítja: "Noha az ilyen védelmi technikák… segítenek a magas pontszámokat elérni… ez az ártatlan / tiszta fájlok és URL-ek felismeréséhez / blokkolásához vezethet, csak azért, mert… túl új". A Norton, az ilyen típusú észlelés erős támogatója, nem vesz részt az AV-Comparatives tesztelésében.

Sok javulás

A jelen jelentésben szereplő termékek több mint fele jobb pontszámot kapott, mint a jelentés előző kiadása. Vipre, McAfee és Fortinet az utóbbi időben mind kudarcot valltak, még akkor sem, ha a legrosszabb besorolási fokozatot (STANDARD) szerezték volna meg. Fortinet és McAfee ezúttal ADVANCED-re értékelték, és Vipre STANDARD-ra tette. Mindhárom értékelése hamis pozitív eredmények miatt csökkent; éppen az észlelés alapján, a McAfee és a Fortinet az ADVANCED + -ot, a legmagasabb minősítést kapta volna.

Az eScan a STANDARD-ról az ADVANCED + -ra ugrott, miközben avast!, Az ESET és a Trend Micro átkerült az ADVANCED-ről az ADVANCED + -ra. Számos olyan személy, aki korábban értékelte a STANDARD-t, ezúttal ADVANCED besorolást kapott.

A Bitdefender független laboratóriumi tesztek során rendszeresen szerez magas pontszámokat. Csak a rosszindulatú programok felismerése alapján az ADVANCED + besorolást lett volna értékelve, mint tavaly, de a hamis pozitív eredmények lecsökkenték az ADVANCED értékre. Ugyanez történt az F-Secure és a BullGuard esetében.

Az AV-Comparatives teljes termékdinamikai teszt az egyik legigényesebb teszt az egyik, amellyel találkoztam. Nem meglepő tehát, hogy a laboratórium az Innsbrucki Egyetem és az osztrák kormány támogatására támaszkodik. Nagyon sok munka, de a végeredmény egy teszt, amely nagyon közelíti azt, hogy egy termék mennyire fogja megvédeni a valós felhasználókat.