Maak van System Logs doorzoekbare tabellen.

Kijk naar het begin van een regel in /var/log/syslog of /var/log/messages. Als het begint met een maandnaam van drie letters — 10 sep 04:11:07 — dan is het RFC 3164, en dat is wat de meeste Linux-servers nog steeds standaard schrijven. Als het begint met een getal tussen punthaken, gevolgd door een volledige ISO 8601-tijdstempel, dan is het RFC 5424.

Je hoeft niet zeker te zijn voordat je begint. De verbindingstest meldt welk profiel is herkend en hoeveel van het bestand overeenkomt, zodat het antwoord gebaseerd is op je daadwerkelijke bestanden in plaats van op een gok.

Nee. Beide indelingen worden ondersteund, dus kies de indeling die je server al schrijft — en de klassieke standaardindeling is het meest uitgebreid getest.

De enige wijziging die het overwegen waard is, staat los van de indeling: als je logs van meerdere machines al doorstuurt naar één collector, wijs de Agent dan naar de map van die collector. Zo krijg je alle hosts in één connector, omdat elke rij de host bevat waar deze vandaan komt.

Het jaar wordt overgenomen van de wijzigingstijd van het bestand. Een geroteerd archief dat voor het laatst in december is weggeschreven, wordt als december gelezen, in plaats van dat elke regel in het huidige jaar wordt geplaatst, zoals een naïeve parser zou doen.

Houd rekening met deze beperking: als de tijdstempels van een bestand zijn afgevlakt — omdat het is teruggezet vanaf een back-up waarin ze niet behouden zijn gebleven, of is gekopieerd op een manier waardoor ze zijn gereset — baseert de afleiding zich op wat het bestandssysteem aangeeft. De oorspronkelijke tekst wordt altijd naast de geparseerde waarde bewaard, zodat je kunt zien wat er daadwerkelijk op de regel stond.

Nee, en dit is de instelstap die mensen vaak over het hoofd zien. Het logboek op de schijf is een binaire database en Query Streams opent deze niet. Wat het leest, is het exportformaat: journalctl -o export > journal.export, in elke map die de agent kan lezen.

In de praktijk betekent dit een kleine geplande taak op de server — een timer of cron-taak die de export opslaat op een plek waar de Agent al kijkt. Daarna gaat alles automatisch; ook gzipped exports worden gelezen.

Geen van beide heeft hier een profiel. De drie indelingen op deze pagina zijn voor Linux en Unix, en we benoemen dat hiaat liever dan dat we met de woorden ‘systeemlogs’ de indruk wekken dat er meer wordt ondersteund.

Voor Windows is er wel een mogelijkheid. Het live Event Log lezen is iets anders dan een tekstbestand lezen — het is een gestructureerd kanaal in plaats van een map met regels — en hoort bij een aparte connector. Maar als je die gebeurtenissen al volgens een schema exporteert naar tekst of CSV, kan die map vandaag al worden gelezen: beschrijf de indeling één keer met een aangepast logboek De connector en de exports worden een tabel, net als alle andere elementen op deze pagina.

Ja, en het is de moeite waard om hierover na te denken voordat je een vraag stelt, in plaats van erna. auth.log Een syslog-bericht registreert wie vanaf welke locatie verbinding heeft gemaakt, wat in de meeste rechtsgebieden als persoonsgegevens wordt beschouwd. Een syslog-bericht is vrije tekst die alles kan bevatten wat een programma heeft gekozen om af te drukken.

Query Streams verandert niets aan de inhoud van het bestand, dus de juiste formulering is dat de tabel de gevoeligheid van het bestand overneemt. Twee dingen helpen: een opgeslagen query deelt een resultaat, niet de verbinding, zodat een ontvanger nooit het volledige log krijgt; en met filters kun je een query beperken tot de programma's die iemand daadwerkelijk nodig heeft voordat je deze met die persoon deelt.

Daar is dit het meest geschikt voor. Alle drie de indelingen bevatten de host als kolom — de twee syslog-indelingen halen deze uit de regel en de journal-export neemt deze over uit het eigen hostnaamveld — dus een map die gegevens van veertig machines verzamelt, vormt één connector, en groeperen op host is een gewone GROEP DOOR.

Servers in verschillende gebouwen of regio's werken ook. Elke locatie heeft zijn eigen agent en een gefedereerde query kan in één statement gegevens van al deze servers uitlezen (op Business- en Enterprise-abonnementen).

Het wordt bewaard, niet verwijderd. Een regel die niet overeenkomt met het vastgezette formaat wordt bewaard als een onbewerkte rij met een bijbehorende reden. Zo wordt een onjuist opgemaakte invoer of een onverwachte formaatwijziging zichtbaar en kun je deze opvragen, in plaats van dat het een onzichtbare hiaat in je cijfers vormt.

Hetzelfde geldt voor een journaalwaarde die door het formaat als binair is gemarkeerd: deze wordt met een reden naast de bijbehorende vermelding geplaatst in plaats van dat er naar gegokt wordt, en de vermelding zelf blijft intact.