Von Raimund Genes, Chief Technology Officer bei Trend Micro

Als Antwort auf den Offenen Brief von acht IT-Sicherheitsherstellern sowie AV-Test hat Stiftung Warentest nun auf test.de eine Entgegnung veröffentlicht. Statt wie in dem von Trend Micro initiierten Schreiben angeregt, vermeidet Stiftung Warentest – zumindest im Augenblick – eine offene und direkte Diskussion mit allen Sicherheitsherstellern und -Experten und reagiert nicht nur auf unsere Kritikpunkte, sondern auch auf zahlreiche kritische Kommentare der Leser.

Dennoch bleiben trotz der ausführlichen Entgegnung, die wir prinzipiell begrüßen, zahlreiche Fragen offen:

1. Es liegt immer noch keine hinreichende Begründung vor, warum die Stichprobengröße von 1.800 verwendeten Beispielen von Schadsoftware repräsentativ sein soll.
2. Stiftung Warentest spricht in diesem Zusammenhang von relevanter Schadsoftware. Allerdings wird nicht klar, welche Kriterien diese Relevanz begründen.
3. Stiftung Warentest hat den Herstellern gegenüber, deren Produkte getestet wurden, keine Informationen geliefert, welche Schadsoftware genau dem Test zugrunde gelegt wurde. Ferner wurde den Herstellern kein Testprotokoll zugesandt.
4. Zwar ist es richtig, dass den Herstellern eine Beschreibung zum geplanten Testverfahren im Vorfeld zugestellt wurde. Allerdings besteht in dem zwölfseitigen Dokument der Abschnitt zum Thema „Antimalware“ gerade mal aus zwei Unterpunkten mit insgesamt fünf Sätzen, die rund 100 Wörter enthalten. Dies kann aus unserer Sicht nicht als Beleg für die von Stiftung Warentest immer wieder betonte Transparenz gegenüber den Herstellern gewertet werden. Außerdem deckt sich das verwendete Vokabular nicht exakt mit den allgemein unter Sicherheitsexperten anerkannten Begrifflichkeiten. Ob dies auf mangelnde Genauigkeit oder Wissenslücken zurückzuführen ist, muss hier dahingestellt bleiben. Wir zitieren im Übrigen diese Begrifflichkeiten nur deshalb nicht, weil das Schreiben der Vertraulichkeit unterliegt.
5. In der Gegendarstellung von Stiftung Warentest heißt es: „Insgesamt 1.800 aktuelle Schädlinge mussten die Antivirenprogramme im Test finden und löschen.“ Auf ZDNet finden sich hingegen Aussagen eines Vertreters von Stiftung Warentest, in denen davon die Rede ist, dass die meisten Schädlinge zwei bis drei Monate, teilweise sogar bis zu sechs Monate alt seien. Je älter aber Schädlinge sind, desto geringer ist die Infektionsgefahr und desto weniger aussagekräftig sind darauf bezogene Erkennungsraten.
6. Es wird außerdem nicht klar, wie die Gewichtung der verschiedenen Testkategorien zustande kommt. Wenn also Trend Micro in zwei Kategorien die Note „Gut“ und nur in der Kategorie Signatur-basierendes Scannen im Offline-Modus ein „Ausreichend“ erhält, stellt sich die Frage, wie es dann zu einer Gesamtnote „Ausreichend“ kommt. Es drängt sich der Eindruck auf, dass der Test im Online-Modus dann eher als Feigenblatt dient, weil dessen Ergebnis die Gesamtwertung gar nicht beeinflussen kann.
7. Das mehr angedeutete als beschriebene Testverfahren legt zudem den Schluss nahe, dass Hersteller mit Schutzmechanismen in der Cloud systematisch benachteiligt werden. Denn hier werden die Pattern-Dateien zu einem bestimmten Zeitpunkt eingefroren und dann in diesem Zustand dem Test zugrunde gelegt, während die Signaturaktualisierungen in der Cloud unberücksichtigt bleiben. Diese Aktualisierungen sind aber entscheidend, wenn es darum geht, Schädlinge schon auf dem Infektionsweg, nämlich dem Internet, zu entdecken und abzuwehren.
8. Die unterproportionale Berücksichtigung des Internet als Infektionsweg wird unter anderem damit begründet, dass man nicht unterstellen könne, die Anwender seien primär oder fast ununterbrochen online. Doch auch wenn man – sicherlich nicht zu Unrecht – davon ausgeht, dass die Anwender sowohl online als auch offline ihre Rechner nutzen, wird das Signatur-basierende Scannen überbewertet. Ein Beispiel mag dies verdeutlichen: Ein Anwender geht selten online, die letzte Aktualisierung der Signaturdatei fand vor zwei Wochen statt. Um E-Mails abzurufen, geht der Anwender nun online. Eine der empfangenen E-Mails enthält einen Link, der zu einer verseuchten Website führt, und lädt von dort ohne sein Wissen einen Schädling herunter, der sofort installiert wird. Auch wenn ein Sicherheitsprodukt bei bestehender Internetverbindung unverzüglich die Aktualisierung startet, was meistens nur bei den kostenpflichtigen der Fall ist, dauert es eine Weile, bis der aktualisierte Schutz aktiviert wird. Die Infektionsgefahr ist deshalb bei Produkten ohne Cloud-Mechanismen in diesem Fall sehr hoch. Ein Produkt hingegen, das auf aktuelle Cloud-Datenbanken setzt, erkennt auch ohne lokale Aktualisierung die bösartige E-Mail, so dass entweder diese sofort geblockt oder das Herunterladen des Schädlings verhindert wird. Mit anderen Worten: Das von der Stiftung Warentest ins Feld geführte Offline-Szenario einer Infektion über USB-Stick ist nicht das einzige, das es zu berücksichtigen gilt, und reicht deshalb als Argument gegen eine stärkere Gewichtung von Cloud-Mechanismen in der Bewertung nicht aus.
9. Dies führt zu einer weiteren Frage: Hat Stiftung Warentest die verschiedenen Schutzschichten einer modernen Sicherheitslösung im Zusammenspiel getestet oder doch eher isoliert voneinander betrachtet? Nur wenn Ersteres der Fall ist, lassen sich fundierte Aussagen über die Schutzwirkung eines Produktes treffen, auch wenn eine solche Teststellung sehr zeit- und kostenaufwändig ist. Auch hier würden wir uns mehr Informationen wünschen.
10. Schließlich ist der Verzicht auf die Messung von Fehlalarmen nicht nachvollziehbar. Denn diese sind aus Sicht der Anwender sehr lästig. Umso mehr verwundert die Begründung für den Verzicht, man habe in dieser Hinsicht bei Tests in den vergangenen Jahren kaum Unterschiede zwischen den Sicherheitsprodukten festgestellt. Gegen diese Begründung sprechen zwei Argumente. Zum einen ist es unzulässig, von der Vergangenheit auf die Zukunft zu schließen, weil damit implizit unterstellt wird, in diesem Bereich finde keine Weiterentwicklung statt. Zum anderen aber betont Stiftung Warentest, dass man sich im Test vor allem daran orientiert hat, wie typische Anwender Sicherheitsprodukte installieren und nutzen. Will man diesen Grundsatz wirklich ernst nehmen, dann ließe man Fehlalarme bei der Bewertung nicht außer Acht. Denn wie gesagt, diese sind aus Sicht der Anwender sehr lästig.

Die zahlreichen Reaktionen auf test.de und heise.de zeigen aus unserer Sicht, dass die Stiftung Warentest gegenüber ihren Leserinnen und Lesern, aber auch gegenüber den betroffenen Herstellern weiter in der Pflicht steht, Aufklärung zu leisten. Mit den bisher gegebenen Antworten genügt Stiftung Warentest wohl noch nicht den eigenen Ansprüchen in Sachen Transparenz. Daher erneuern wir unsere Bitte aus dem Offenen Brief, doch mit uns in einen direkten Dialog zu treten. Hilfreich für alle Seiten wäre es, wenn uns und den anderen getesteten Herstellern die Prüfprotokolle zugestellt würden.