Mehr Sicherheit für Hadoop mit Host Intrusion Detection (Fortsetzung)

Originalartikel von Vic Hargrave, Solution Project Lead

Wie bereits im ersten Teil der Ausführungen erwähnt, können Administratoren OSSEC für das Monitoring der Dateiintegrität der vorhandenen Hadoop- und HBase-Systeme einsetzen. OSSEC erzeugt Logs, über die sich unterschiedliche Systemereignisse prüfen lassen.

Big Data-Systeme jeglicher Art erzeugen erhebliche Mengen an Log-Daten. Die Installation eines Big Data-Clusters ist nicht einfach, und diese Logs spielen eine zentrale Rolle als Unterstützung der IT-Mitarbeiter beim Aufsetzen von Clustern und der Diagnose von Systemproblemen.

Zu den wichtigen Hadoop-Sicherheitsereignissen, die OSSEC überwachen kann, gehören folgende:

  • Fehlgeschlagene HDFS-Operationen
  • Hbase-Logins
  • Kerberos-Tickets
  • Root-Logins auf Knoten

Bei der Konfiguration eines OSSEC-Agenten für das Monitoring einer oder mehrerer Hadoop-Log-Dateien muss der Pfad des Log-Dateiverzeichnisses der ossec.conf-Datei und für einen HDFS Name Node die hadoop-hdfs-namenode-{host}.log-Datei hinzugefügt werden, wobei {host} der Name oder die IP-Adresse des Name Nodes ist. Diese Datei befindet sich üblicherweise in dem Verzeichnis /var/log/hadoop-hdfs/. Für einen HMaster-Knoten soll sich das Monitoring normalerweise auf die Datei hbase-hbase-master-{host}.log im Verzeichnis /var/log/hbase beziehen. Damit kommen die Hadoop- und HBase-Log-Dateien von den OSSEC-Agenten auf den Server.

Im nächsten Schritt müssen Decoder-Regeln geschrieben werden, um die Logs- und Alert-Regeln zu parsen und aufgrund des Inhalts der Logs Alerts zu generieren. Decoder bestehen aus Regular Expressiions, die der OSSEC-Server dazu benutzt, um für ihn interessante Log-Zeilen zu suchen und Wörter Standardfeldern zuzuordnen, die der Server erkennt. Mithilfe von Regeln kann der Server die dekodierten Felder untersuchen, um Inhalte zu finden, die auf wichtige Sicherheitsereignisse hinweisen. Werden Ereignisdaten für eine vorhandene Regel von einem Decoder gefunden, so generiert der Server einen Alert, der von der Regel festgelegt ist.

Visualisierung von Hadoop Sicherheitsereignissen

Die einfachste Möglichkeit, OSSEC-Sicherheits-Alerts zu visualisieren, besteht darin, die Log-Datei der Alerts permanent anzuzeigen. Allerdings ähnelt dies einer Sicht auf Rohdaten in einem Spreadsheet, und es ist nahezu unmöglich, aus den Daten Trends abzuleiten.

OSSEC kann Alert-Daten über syslog an jedes SIEM (Security Information and Event Management) schicken. Trend Micro nutzt dabei am liebsten Splunk zusammen mit einer quelloffenen Anwendung namens Splunk for OSSEC. Dies lässt sich auf dem OSSEC-Server direkt von der Splunk-Applikationskonsole installieren. Die Anwendung kann OSSEC-Alerts übernehmen, eine Zusammenfassung generieren und auch Trendanalysen erstellen. Im folgenden OSSEC-Dashboard auf Splunk ist eine Zusammenfassung von Ereignissen über einen gewissen Zeitraum zu sehen, einschließlich der HBase- und HDFS-Ereignisse:


Bild. Splunk für OPSSEC

(Quelle: http://vichargrave.com/securing-hadoop-with-ossec/)

 

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*