Einblicke in die AMTSO-Prüfungen

Originalartikel von Alice Decker (Advanced Threats Researcher bei Trend Micro)

In der letzten Februarwoche fand das erste Meeting in diesem Jahr der Anti-Malware Testing Standard Organization (AMTSO) statt.

Eines der heißen Themen des Treffens bezog sich auf eine Initiative, Reports von Test- und Zertifizierungsorganisationen zu überprüfen. Das Review Analysis Board (RAB) der AMTSO erhält eine diesbezügliche Anfrage und entscheidet dann über die Durchführung einer Überprüfung. Die Arbeit des RAB wird mit der des Review Analysis Committee (RAC) abgestimmt. Das RAC besteht aus freiwilligen Teilnehmern, die Reports auf der Grundlage der neun Prinzipien der Organisation analysieren. Die AMTSO-Grundsätze stellen ihre Mitglieder – Tester und Antivirus-Anbieter – auf. Sie werden von den akademischen Beratern der Organisation unterstützt. Die Testgrundsätze beziehen sich vor allem auf die Art und Weise wie veröffentlichte Reports ihrer Zielgruppe präsentiert werden können. Wichtig ist festzuhalten, dass der Review-Prozess nicht prüfen will, ob die richtigen Dinge getan wurden, sondern ob die durchgeführten Dinge richtig gemacht wurden.

Das heißt, ein Testreport entspricht den AMTSO-Prinzipien, solange eine akkurate Beschreibung dessen umfasst, wie Bedrohungs-Samples gesammelt und validiert wurden, wie Tests durchgeführt und welche Schlussfolgerungen daraus gezogen wurden (einschließlich der korrekten und fairen Kommunikation zwischen allen am Test Beteiligten). Die aktuelle, von einem Testlabor genutzte Testmethodologie steht für den Überprüfungsprozess nicht zur Debatte.

Als Beispiel kann der innovative Test der NSS Labs aus dem letzten Jahr dienen. Diesen hat das AMTSO danach überprüft, wie gut die Testmethoden und Bedingungen beschrieben sind und wie die Schlussfolgerungen den Testergebnissen gefolgt sind, unabhängig von der Methodologie und der  Art und Weise, wie der Test aufgesetzt war.

Die Prüfungen der AMTSO wollen weder Innovation in der Methodologie für Anti-Malware-Produkttests fördern noch behindern. Das Ziel ist die Verbesserung der Ergebnisqualität.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*