Verbinden Webserver-Protokolle zu Excel, Sheets und AI

Nein. Jedes unterstützte Format ist das Standardformat des jeweiligen Servers: das kombinierte Zugriffsprotokoll für nginx und Apache, das JSON-Zugriffsprotokoll für Caddy 2 und das W3C-erweiterte Format für IIS. Wenn Sie Ihr Protokollformat noch nie geändert haben, verwenden Sie bereits ein unterstütztes Format.

IIS ist der flexible Fall, und er wird ordnungsgemäß behandelt – die #Felder: Die Direktive am Anfang einer W3C-Datei benennt deren Spalten, sodass die im IIS-Manager ausgewählten Felder die Spalten sind, die Sie erhalten.

Es handelt sich um eine bedarfsgesteuerte Abfrage, nicht um eine Streaming-Abfrage. Query Streams liest die Dateien so, wie sie sich auf der Festplatte befinden, wenn Sie die Abfrage ausführen. Neue Anfragen erscheinen also, sobald Ihr Server sie schreibt und die Datei verarbeitet wird – nicht nach einem festen nächtlichen Zeitplan, aber auch nicht in Echtzeit.

Wenn Sie innerhalb von Sekundenbruchteilen über eingehende Anfragen benachrichtigt werden müssen, ist eine Log-Pipeline das richtige Werkzeug. Wenn Sie hingegen den Datenverkehr der letzten Wochen analysieren und die Antwort in einer Tabelle erhalten möchten, ist deutlich weniger Aufwand nötig.

Sie werden gelesen. Query Streams versteht die drei Rotationsstile, die diese Server verwenden – logrotates nummeriertes Shuffle, IIS' neue Datei pro Tag und Caddys zeitgestempeltes Rolling – und liest sie. .gz Die Archive sind bereits vorhanden, ohne dass Sie sie dekomprimieren müssen.

Dateien werden anhand eines Hashwerts ihrer ersten 4 KB und nicht anhand ihres Namens abgeglichen, sodass eine rotierte Datei als bereits bekannte erkannt wird. Dadurch wird verhindert, dass bei einer Rotation ein Tag verloren geht oder ein Tag doppelt gezählt wird.

Ja. Jede Reihe enthält eine Website Spaltenweise Abfragen können über mehrere Hosts hinweg durchgeführt und nach den gewünschten Kriterien gruppiert werden. Sie können einen Agenten pro Umgebung oder Region bereitstellen, und alle Agenten zeigen ihre Ordner in derselben Liste an.

Da es sich um gewöhnliches SQL handelt, können Sie noch weiter gehen und Anforderungsprotokolle mit einer realen Datenbank verknüpfen – beispielsweise einen Anstieg von 500er-Fehlern mit einer Bereitstellungstabelle abgleichen oder langsame Checkout-Anfragen mit den zugehörigen Bestellungen.

Nein. Caddys JSON-Format ist das einzige der vier, das überhaupt Header-Maps aufzeichnet, und das Profil schließt diese aus. request.headers und resp_headers Da sie deklariert werden, werden sie nie in eine Spalte geparst. Die kombinierten, Fehler- und W3C-Formate enthalten von vornherein keine Header.

Client-IP-Adressen und User-Agents werden analysiert, da sie den Zweck eines Zugriffsprotokolls darstellen – behandeln Sie die resultierende Tabelle mit der gleichen Sorgfalt wie die Protokolldatei, aus der sie stammt.

Sie wird beibehalten, nicht verworfen. Eine Zeile, die nicht dem festgelegten Format entspricht, wird als Rohdatensatz mit einer Begründung gespeichert, sodass ein fehlerhafter Eintrag oder eine unerwartete Formatänderung sichtbar und abfragbar ist und nicht als stille Lücke in Ihren Zahlen erscheint.