Verbinden Webserverlogboeken naar Excel, Sheets en AI

Nee. Elk ondersteund formaat is het standaardformaat voor die server: het gecombineerde toegangslogboek voor nginx en Apache, het JSON-toegangslogboek voor Caddy 2 en het uitgebreide W3C-formaat voor IIS. Als u uw logboekformaat nooit hebt gewijzigd, gebruikt u al een ondersteund formaat.

IIS is het flexibele geval en wordt correct afgehandeld — de #Velden: De instructie bovenaan een W3C-bestand benoemt de kolommen, dus de velden die u in IIS Manager hebt geselecteerd, zijn de kolommen die u krijgt.

Het is on-demand in plaats van streaming. Query Streams leest de bestanden zoals ze op de schijf staan wanneer je de query uitvoert, dus nieuwe verzoeken verschijnen zodra je server ze schrijft en het bestand wordt opgepakt — niet volgens een vast nachtelijk schema, maar ook niet live.

Als je binnen een seconde een melding wilt ontvangen zodra een verzoek binnenkomt, is een logpipeline de juiste oplossing. Wil je daarentegen een vraag stellen over het verkeer van de afgelopen weken en het antwoord in een spreadsheet ontvangen, dan is dit een stuk eenvoudiger.

Ze worden gelezen. Query Streams begrijpt de drie rotatiestijlen die deze servers gebruiken: logrotate's genummerde shuffle, IIS's nieuwe-gedateerde-bestand-per-dag en Caddy's tijdgestempelde roll, en leest deze. .gz De archieven zijn opgeslagen zonder dat u ze hoeft uit te pakken.

Bestanden worden gekoppeld aan de hand van een hash van de eerste 4 KB in plaats van aan de hand van hun naam. Een geroteerd bestand wordt dus herkend als het bestand dat al eerder is verwerkt. Dit voorkomt dat een rotatie een dag overslaat of dubbel telt.

Ja. Elke rij bevat een site kolom, zodat één query meerdere hosts kan omvatten en kan groeperen op wat u maar wilt. U kunt een agent per omgeving of per regio implementeren, en ze tonen allemaal hun mappen in dezelfde lijst.

Omdat het gewone SQL is, kun je nog een stap verder gaan en aanvraaglogboeken koppelen aan een echte database — bijvoorbeeld een piek in 500-fouten vergelijken met een implementatietabel, of trage afrekenverzoeken koppelen aan de bestellingen waartoe ze behoren.

Nee. Caddy's JSON-formaat is het enige van de vier dat überhaupt header-maps vastlegt, en het profiel sluit dit uit. verzoek.headers en resp_headers Omdat ze gedeclareerd zijn, worden ze nooit in een kolom geplaatst. De gecombineerde, fout- en W3C-formaten bevatten sowieso geen kopteksten.

Client-IP-adressen en gebruikersagenten worden geanalyseerd, omdat dit de kern vormt van een toegangslogboek. Behandel de resulterende tabel met dezelfde zorgvuldigheid als het logbestand waaruit deze afkomstig is.

Het wordt bewaard, niet verwijderd. Een regel die niet overeenkomt met het vastgezette formaat wordt bewaard als een onbewerkte rij met een bijbehorende reden. Zo wordt een onjuist opgemaakte invoer of een onverwachte formaatwijziging zichtbaar en kun je deze opvragen, in plaats van dat het een onzichtbare hiaat in je cijfers vormt.