A Microsoft felülmúlja a symantec vírusvédelmi tesztet

Az AV-Comparatives legújabb igény szerinti tesztjében sok termék veszített pontokat hamis pozitív eredmények miatt - tévesen azonosítva egy érvényes programot rosszindulatú programként. A Symantec és a Microsoft a rosszindulatú programok mintáinak felismerése alapján nagyjából ugyanazt szerezte, de a Symantec hamis pozitív eredmények miatt pontokat veszített. De a történetnek ennél több is van.

Igény szerinti szkennelés

Az igény szerinti szkennelési teszt minden egyes vizsgált terméket "az elmúlt hetek / hónapok mintáinak gyűjteményéhez vezeti, amelyek a területen dolgozó felhasználókat ütik fel". A mintákat tovább analizálják a hasonló fájlok osztályozása és a mintakészlet méretének csökkentése érdekében, tehát "minden egyes hiányosság célja egy hiányzó csoport reprezentálása". Ez a teszt 136 610 legutóbbi mintát használ. A termék kezdeti pontszáma a kimutatott minták százalékos aránya.

Meglepő módon a Symantec Norton AntiVirus kimutatta a legalacsonyabb észlelési arányt (a hamis pozitív eredmények figyelembevétele előtt), 91, 2 százalékos észleléssel. A Microsoft Security Essentials magasabb szélű, a minták 92 százalékát fedezte fel. 99, 9 százalékos észleléssel a G Data AntiVirus tetején volt a listán. Számos másnak sikerült jobb, mint 99%.

Hamis pozitív elemek

Az AV-Comparatives kutatói klaszterezési technikát alkalmaznak az ADVANCED + (a legmagasabb) és az ADVANCED és ADVANCED, a STANDARD elválasztó határvonalak azonosítására. Ez a kiindulási pont, de egy olyan termék, amelyben sok (16-50) hamis pozitív van, egy minősítési szintet elveszít, és egy nagyon sokkal (51-100) kettőt veszít. Nem számít a kezdeti besorolástól, ha egy termék "őrült sok" (több mint 100) hamis pozitívot mutat, akkor mindig megkapja a TESZTTETT nem átadott minősítést.

A húsz vizsgált termék közül kilenc elveszített egy minősítési szintet sok hamis pozitív eredmény miatt. Legalább egyiküknek sem volt nagyon sok vagy „őrült sok” keretprogramja. A Norton, kezdve a STANDARD besorolással, a TESTED-re süllyedt, akárcsak az AhnLab. Az ADVANCED + besorolású nyertesek körében Avira, Bitdefender, BullGuard, F-Secure és Kaspersky találhatók. Kattintson ide a teljes jelentés megtekintéséhez.

Vegye figyelembe, hogy nem találja a Microsoftot a díjak szakaszában. Először azt hittem, hogy ez egy felügyelet, de az AV-Comparatives társalapítója, Peter Stelzhammer egyenesen engem mutatott. "Úgy döntöttünk, hogy már nem vonjuk be a Microsoftot a díjszabási szakaszba (és minden további tesztbe), " magyarázta Stelzhammer, "mivel a Windows-on alapértelmezés szerint engedélyezve vannak a dobozon kívüli védelem". Hasonló módon az AV-Test úgy döntött, hogy a Microsoft pontszámait minimális alapértékként kezeli.

Súlyozott hamis pozitív elemek

A Symantec évek óta azt állítja, hogy a hamis pozitív eredmények egyszerű számlálása nem hasznos. A Symantec kutatói azt javasolják, hogy minden hamis pozitív teszt tartalmazzon súlyozást az érintett fájl prevalenciája alapján. Azt állítják, hogy Norton Insight elemző rendszere kizárja a hamis pozitív lehetőségek lehetőségét minden fájlban, kivéve az alacsony prevalenciájú fájlokat. Az AV-Comparatives másodlagos dokumentuma azt sugallja, hogy igazaik lehetnek.

A hamis jelentés függeléke az igény szerinti jelentéshez felsorolja az egyes fájlokat, amelyeket minden termék tévesen rosszindulatúnak talált, a használt malware névvel és a prevalencia becslésével együtt. Öt szintet azonosítottak, "valószínűleg kevesebb, mint száz felhasználó" -tól "valószínűleg több százezer (vagy millió)" -ig.

Csak látnivalóként reprezentatív számú felhasználót választok minden szinten, 50 felhasználót az első szintre és tízszer nagyobbra minden egyes magasabb szintre, 500 000 felhasználóval a legelterjedtebb programok közül. Ezután kiszámoltam a felhasználók számát, amelyeket az egyes termékek hamis pozitívjai befolyásolhatnak. Az alábbi táblázatban bemutatott eredmények azt sugallják számomra, hogy az AV-Comparatives mérlegelje hasonló súlyozott FP számítás alkalmazását.

Ebben a táblázatban azok a termékek, amelyek hamis pozitív eredmények miatt elveszítették a minősítési szintet, félkövér dőlt betűkkel szerepelnek. Súlyozott számításom szerint a Norton FP potenciálisan 13 750 felhasználót érint. Számos olyan termék, amely nem lett megtisztítva a PP-k száma alapján, valójában nagyobb hatással volt, mint a Symantec, köztük a Kaspersky és az F-Secure nyertesek.

Az Emsisoft összesen 38 általam adott hamis pozitív eredményt. Szörnyű, ugye? De egyikük sem volt a két legmagasabb prevalenciaszint, tehát elméleti hatása kevesebb, mint a Sophosénál, összesen 6 FP-vel, vagy ESET-rel 9 FP-vel.

A McAfee ADVANCED minősítést kapott az alapvető igény szerinti teszt során. 15 hamis pozitív pozitívum mellett csak annyi, hogy elveszítheti a besorolási szintet. A súlyozott számításom ugyanakkor potenciálisan több mint kétszázezer felhasználót érinti, ez majdnem tizenötször annyi, mint a Norton.

Ezek nem valós számok, csak egy gondolatkísérlet, amelynek célja megérteni, hogy mit jelent a prevalencia használata a hamis pozitív eredmények mérésében. Miután elvégeztem ezt a gyakorlatot, azt remélem, hogy az AV-Comparatives megtalálja a módját, hogy befolyásolja a prevalenciát a téves pozitív tesztekben. A számok nyilvánvaló számolása nyilvánvalóan nem elég.