Über die Vertrauenswürdigkeit der AV Industrie und der AV Tests

Originalartikel von Martin Roesler (Director for Threat Research bei Trend Micro)

Beim Durchsehen verschiedener Blogs stieß ich auf einen Eintrag von Kaspersky Labs. In dem Blog gab der Autor des Eintrags offen zu, dass sein Arbeitgeber – unter der Vorgabe, die Testqualität verbessern zu wollen – die Konkurrenz ausgetrickst habe, um die eigene Position in den Medien zu verbessern.

Dafür hatte Kaspersky saubere Dateien erzeugt und Erkennung von Malware vorgetäuscht, um „vorzuführen“, dass andere Anbieter diese kopieren. Dies war eine riskante Entscheidung, denn die Forschungsorganisationen der Branche vertrauen einander und nutzen gemeinsam die vorhandenen Samples, um die Kunden zu schützen – für Trend Micro jedenfalls hat dies oberste Priorität. An dieser Stelle möchte ich auch hinzu fügen, dass Trend Micro nicht zu denjenigen Herstellern gehört hat, die von dem Trick betroffen waren, denn wir checken unsere Erkennungen selbst und verlassen uns nie auf die Kontrolle durch einen anderen Anbieter.

Abgesehen davon, dass es ein billiger Schabernack war, den Kaspersky veranstaltet hat, war ich sehr erfreut, die weitere Botschaft des Blog-Eintrags zu vernehmen: Der Anbieter hat endlich die Message verstanden, die Trend Micro seit langem verbreitet – nämlich die Testmethodologie muss sich ändern, und wirklichkeitsnahe Tests wie die von NSS Labs müssen durchgeführt werden!

Der Bedarf an geänderten Testmethoden stand auch hinter der Gründung der  Anti-Malware Testing Standards Organization (AMTSO), die sich für realistischere und nützlichere Benchmarks einsetzt.

Diese Geschichte zeigt, welchen Einfluss die Medien auf die Antivirus-Branche hat, sodass sogar ein geachteter Anbieter die Erkennungsraten manipuliert, allein um in der Presse positiv da zu stehen, anstatt sich auf die eigenen Kunden zu konzentrieren. Der Vorfall lehrt aber auch, dass die AMTSO die richtige Richtung einschlägt. Reine Erkennungsraten beruhen allein auf den Zahlen oder dem direkten Eins-zu-Eins-Vergleich und sind daher überholt, wenn es um den Wert und die Performance einer Sicherheitslösung geht. Kunden benötigen ganzheitliche Betrachtungsweisen, die ihnen ein realitätsnahes, auf Szenarien beruhendes Feedback zu der Wirkungsweise von verschiedenen Lösungen geben. Ich bin froh, dass Testorganisationen wie NSS Labs, AV-Comparatives und AV-Test dies mittlerweile verstanden haben und anfangen, diese Prinzipien anzuwenden.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*