Machen Sie Systemprotokolle zu abfragbaren Tabellen.

Schau dir den Anfang einer Zeile an in /var/log/syslog oder /var/log/messages. Beginnt die Zeile mit einer dreibuchstabigen Monatsangabe – 10. September 04:11:07 – handelt es sich um RFC 3164, das die meisten Linux-Server noch immer standardmäßig schreiben. Beginnt sie mit einer Zahl in spitzen Klammern, gefolgt von einem vollständigen ISO-8601-Zeitstempel, handelt es sich um RFC 5424.

Sie müssen sich vor dem Start nicht sicher sein. Der Verbindungstest meldet, welches Profil erkannt wurde und wie viel der Datei übereinstimmt. Das Ergebnis basiert also auf Ihren tatsächlichen Dateien und nicht auf einer Vermutung.

Nein. Beide Formate werden unterstützt. Wählen Sie also das Format, das Ihr Server bereits schreibt – und das klassische Standardformat ist am gründlichsten getestet.

Eine sinnvolle Änderung betrifft nicht das Format: Wenn Sie Logs bereits von mehreren Rechnern an einen Collector weiterleiten, richten Sie den Agent auf den Ordner dieses Collectors aus. So erhalten Sie alle Hosts in einem einzigen Connector, denn jede Zeile enthält den Host, von dem sie stammt.

Das Jahr wird aus dem Änderungszeitpunkt der Datei übernommen. Ein rotierendes Archiv, das zuletzt im Dezember geschrieben wurde, wird als Dezember eingelesen, statt jede Zeile wie bei einem naiven Parser dem aktuellen Jahr zuzuordnen.

Die Einschränkung sollten Sie kennen: Wurden die Zeitstempel einer Datei vereinheitlicht – etwa durch eine Wiederherstellung aus einem Backup, das sie nicht bewahrt hat, oder durch ein Kopieren, bei dem sie zurückgesetzt wurden –, erfolgt die Ableitung anhand der Angaben des Dateisystems. Der Originaltext bleibt immer neben dem geparsten Wert erhalten, sodass Sie sehen können, was tatsächlich in der Zeile stand.

Nein, und genau diesen Einrichtungsschritt übersehen viele. Das Journal auf der Festplatte ist eine Binärdatenbank, und Query Streams öffnet es nicht. Es liest lediglich das Exportformat: journalctl -o export > journal.exportin jedem Ordner, den der Agent lesen kann.

In der Praxis bedeutet das einen kleinen geplanten Auftrag auf dem Server – einen Timer oder einen Cron-Eintrag, der den Export an einem Ort ablegt, den der Agent bereits überwacht. Alles Weitere geschieht automatisch; auch gzip-komprimierte Exporte werden eingelesen.

Für keines der beiden gibt es hier ein Profil. Die drei auf dieser Seite aufgeführten Formate sind für Linux und Unix gedacht, und wir benennen diese Lücke lieber ausdrücklich, statt mit dem Begriff „System Logs“ eine nicht vorhandene Unterstützung zu suggerieren.

Für den Windows-Fall gibt es allerdings einen Weg. Das Live-Ereignisprotokoll auszulesen, ist etwas anderes als eine Textdatei einzulesen – es handelt sich um einen strukturierten Kanal statt um einen Ordner mit Zeilen – und dafür ist ein eigener Connector vorgesehen, nicht dieser. Wenn Sie diese Ereignisse jedoch bereits regelmäßig als Text oder CSV exportieren, kann der Ordner schon jetzt eingelesen werden: Beschreiben Sie das Layout einmal mit einem benutzerdefiniertes Protokoll Der Konnektor und die Exporte werden wie alle anderen Elemente auf dieser Seite in einer Tabelle zusammengefasst.

Ja, und es lohnt sich, darüber nachzudenken, bevor man eine Anfrage stellt, anstatt erst danach. auth.log Es handelt sich um eine Aufzeichnung darüber, wer sich von wo aus verbunden hat, was in den meisten Rechtsordnungen personenbezogene Daten sind, und eine Syslog-Meldung ist ein Freitext, der alles enthalten kann, was ein Programm ausgeben möchte.

Query Streams ändert nichts am Inhalt der Datei. Daher ist die ehrliche Einordnung, dass die Tabelle die Sensibilität der Datei übernimmt. Zwei Dinge helfen: Eine gespeicherte Abfrage gibt ein Ergebnis weiter, nicht die Verbindung – Empfänger erhalten also niemals das vollständige Log. Außerdem können Sie Abfragen mit Filtern auf die Programme beschränken, die jemand tatsächlich benötigt, bevor Sie sie teilen.

Das ist der Anwendungsfall, für den sich diese Lösung besonders gut eignet. Alle drei Formate enthalten den Host als Spalte – bei den beiden Syslog-Formaten wird er aus der Zeile ausgelesen, beim Journalexport aus dem eigenen Hostnamenfeld. Ein Ordner mit Logs von vierzig Rechnern ergibt also einen Connector, und die Gruppierung nach Host ist eine ganz normale GROUP BY.

Auch Server in verschiedenen Gebäuden oder Regionen funktionieren. Jeder Standort betreibt seinen eigenen Agenten, und eine föderierte Abfrage kann in einer einzigen Anweisung auf Business- und Enterprise-Tarifen standortübergreifend Daten abrufen.

Sie wird beibehalten, nicht verworfen. Eine Zeile, die nicht dem festgelegten Format entspricht, wird als Rohdatensatz mit einer Begründung gespeichert, sodass ein fehlerhafter Eintrag oder eine unerwartete Formatänderung sichtbar und abfragbar ist und nicht als stille Lücke in Ihren Zahlen erscheint.

Dasselbe gilt für einen Journalwert, den das Format als binär kennzeichnet: Er wird neben seinem Eintrag mit einer Begründung gespeichert, anstatt erraten zu werden, und der Eintrag selbst bleibt vollständig erhalten.