nginx, Apache, IIS Nowy

Łączyć Dzienniki serwera WWW do Excela, Arkuszy i AI

Q: Moje logi znajdują się na kilku serwerach. Czy mogę je wszystkie przeszukać razem?

Tak. Każdy wiersz zawiera kolumnę witryny, więc jedno zapytanie może obejmować hosty i grupować je według tego, co Cię interesuje. Możesz wdrożyć agenta dla każdego środowiska lub regionu, a wszystkie będą prezentować swoje foldery na tej samej liście. Ponieważ jest to zwykły SQL, możesz pójść o krok dalej i dołączyć logi żądań do prawdziwej bazy danych – porównując skoki 500 z tabelą wdrożeniową lub powolne żądania wyewidencjonowania z zamówieniami, do których należą.

Twój dziennik dostępu jest już tabelą — zacznij go przeszukiwać. Nginx, Apache, Caddy i IIS zapisują każde żądanie na dysku w formacie, który jest stabilny od dziesięcioleci — a potem prawie nikt go nie przeszukuje. Skieruj strumienie zapytań do folderu dziennika, a te pliki staną się tabelami SQL: kody statusu, czasy odpowiedzi, adresy IP klientów, ścieżki, agenci użytkownika. Rotacje i .gz archiwa dołączone, bez spedytora drewna pośrodku.

Zacznij za darmo 11 miejsc docelowych

1połączenie

0porty przychodzące

tylko do odczytuwyegzekwowane

4 formaty dzienników internetowych nginx · Apache · Caddy · IIS Dołączono rotacje i archiwa .gz Tylko do odczytu · nic nie jest zainstalowane na serwerze

Wielki pomysł

Folder dziennika staje się tabelą, którą można grupować i łączyć.

Query Streams odczytuje pliki zapisane przez serwer WWW, przypina format i wyświetla kolumny z typem. Brak agenta na serwerze, brak potoku wysyłkowego, brak indeksu do utrzymania — a wiersz, którego parser nie może odczytać, jest przechowywany jako wiersz z uzasadnieniem, a nie po cichu usuwany.

Folder dziennikana hoście

dostęp.logNosiciel kijów golfowych

dostęp.log.2.gznginx

u_ex260909.logIIS

Obsłużono rotacje, skompresowane archiwa i ponownie odczytane pliki

powolne-błędy.sqlSQL

SELECT ścieżka,
       liczyć(*) AS trafienia,
       okrągły(średnia(czas trwania_sekund) * 1000) AS SM
Z   zestaw_plików.zdarzenia
GDZIE  status >= 500
GROUP BY ścieżka
ORDER BY trafienia DESC

Wynik5xx według ścieżki

ścieżkatrafieniaSM

/api/eksport4128,140

/api/raport963,502

/wymeldować się311,208

/szukaj7944

Połącz go z bazą danych swojej aplikacji w tym samym zapytaniu

Pliki, które Twój serwer już zapisuje, teraz w tabeli, na podstawie której możesz generować raporty

Serwery

Cztery serwery, cztery formaty, brak konfiguracji

Każda karta zawiera nazwy plików, które Query Streams odczytuje z danego serwera, oraz miejsce ich przechowywania. Nie musisz zmieniać konfiguracji logowania, aby to działało — domyślnym formatem jest ten obsługiwany.

Obsługiwane dzienniki serwera WWW

4 formaty · 4 serwery

nginxDostęp i błąd

dostęp.log domyślny format łączony
błąd.log poziom, pid, połączenie i wiadomość
Zazwyczaj /var/log/nginx
Dołącza; ponumerowane obroty następują

Serwer HTTP ApacheDostęp

dziennik_dostępu formaty łączone i wspólne
Jeden parser obejmuje Apache i nginx — format dostępu jest taki sam
/var/log/apache2, lub httpd na RHEL
Dołącza; ponumerowane obroty następują

Nosiciel kijów golfowychCaddy 2 JSON

dostęp.log jeden obiekt JSON na żądanie
Nazwa serwera TLS, wersja i wznowienie sesji w zestawie
Czas reakcji do mikrosekundy
Toczy się do access-<znacznik czasu>.log.gz; każdy członek przeczytał raz

Microsoft IISW3C rozszerzone

u_ex*.log Rozszerzony format W3C
Ten #Pola: nagłówek decyduje o kolumnach, więc Twój wybór pola jest przestrzegany
C:\inetpub\logs\LogFiles\W3SVC<witryna>
Nowy plik z datą na dzień, bez zmiany nazwy

Nadchodzi więcejto początek, a nie sufit

Nowe formaty dzienników serwera WWW i proxy są dodawane z każdą wersją Agenta. Ponieważ Agenty są na bieżąco aktualizowane, format dodany później pojawia się w Twoim konektorze bez ingerencji w serwer.

Wszystkie cztery parsery zostały zbudowane i przetestowane na rzeczywistych przechwyconych plikach dziennika, rotacjach i skompresowanych archiwach — profil Caddy został porównany z dziennikami pobranymi bezpośrednio z naszego własnego hosta produkcyjnego.

Każdy region

Dostęp do logów z każdej krawędzi, przeczytaj, gdzie lądują

Żądanie nie zawsze trafia dwa razy na ten sam kontynent. Twój brzeg znajduje się w jednym regionie, źródło w innym, a w biurze wciąż działa coś starszego. W każdej lokalizacji działa agent sieciowy, który odczytuje pliki dziennika w miejscu ich umieszczenia i nawiązuje połączenie z Query Streams. Z punktu widzenia zapory sieciowej jest to zwykłe połączenie wychodzące — nic do otwarcia, bez VPN do zbudowania i bez programu do przesyłania logów, który trzeba by było utrzymać.

ue-zachód Caddy na krawędzi, dzienniki dostępu JSON przewijane według znacznika czasu wybiera numery

wschód USA nginx origin za tym, logrotate i .gz archiwa wybiera numery

Siedziba główna Pole IIS nadal obsługujące jedną wewnętrzną aplikację wybiera numery

Trzy połączenia wychodzące, jedno miejsce do ich sprawdzania — bez portu przychodzącego, bez VPN, bez zmiany zapory sieciowej

Jeden agent na lokalizację

Agent obejmuje całą lokalizację, a nie pojedynczy plik dziennika, a w obrębie jednej lokalizacji drzewo folderów wielu hostów stanowi pojedynczy łącznik — każdy wiersz zawiera swój własny stronaBezpłatny poziom obejmuje jednego Agenta, a wyższe poziomy obejmują więcej.

1 region = 1 agent = wielu hostów

Nic do otwarcia

Agent nawiązuje jedno szyfrowane połączenie wychodzące, przez które przesyłane są zarówno żądania wychodzące, jak i powrotne. Bez portu przychodzącego, bez VPN, bez konieczności zmiany zapory sieciowej – i bez przekazywania logów do osób trzecich.

jedno połączenie, w obu kierunkach

Jedno zapytanie obejmujące wszystkie regiony

Każde źródło w zapytanie federacyjne Nazywa własnego agenta, więc jednym poleceniem można umieścić krawędź w jednym regionie obok źródła w innym lub połączyć dowolne z nich z bazą danych aplikacji. Dostępne w wersjach Business i Enterprise.

2 regiony → 1 zestaw wyników

Utrzymują się na bieżąco

Agenci aktualizują się sami, więc format dziennika dodany w późniejszej wersji dociera do każdego regionu bez własnego wdrożenia. To właśnie sprawia, że ściana powyżej jest punktem startowym, a nie stałą listą.

nowe formaty pojawiają się wraz z Agentem

Najtrudniejsza część

Rotacja jest powodem, dla którego nie jest to zwykły import pliku CSV

Dzienniki internetowe nie stoją w miejscu. Są obracane, zmieniane są ich nazwy, kompresowane i tworzone na nowo pod Twoimi oczami. Prawidłowe zarządzanie nimi – bez przerw i bez podwójnego liczenia wierszy – to większość pracy.

Obroty numerowane

Klasyczne przetasowanie logrotacji: dzisiejszy plik zachowuje swoją nazwę, a wczorajszy jest przesuwany o numer w dół. Strumienie zapytań podążają za zawartością, a nie nazwą.

dostęp.log → dostęp.log.1 → dostęp.log.2.gz

Nieaktualne nazwy plików

IIS nigdy nie zmienia nazw – każdego dnia otwiera nowy plik z datą w nazwie. Stare pliki pozostają dokładnie takie same, więc są odczytywane raz i pozostawiane w spokoju.

u_ex260909.log · u_ex260910.log

Skompresowane archiwa

Obrócony dziennik zazwyczaj kończy się skompresowaniem gzip. Odczyty strumieni zapytań .gz członkowie na miejscu — nie musisz niczego najpierw dekompresować ani przenosić gdzie indziej.

dostęp-2026-09-08T03-00-00.000.log.gz

Nic nie liczyło się dwa razy

Każdy plik jest oznaczany odciskiem palca na podstawie pierwszych 4 KB, więc plik o zmienionej nazwie jest rozpoznawany jako ten sam plik. Przesuwające się okno duplikatów wychwytuje nakładanie się, gdy zapisujący odtwarza ogon.

4 KB prefiksu hash · okno 20 000 rekordów

Schemat

Kolumny, które faktycznie otrzymujesz

Nie jest to kleks tekstu ze znacznikiem czasu. Każdy format jest analizowany w kolumnach, które można bezpośrednio filtrować, grupować i agregować.

Połączony dziennik dostępunginx · Apache

adres IP klientaautoryzacjametodaścieżkawersja httpstatusbajtypolecającyagent

Dziennik błędównginx

poziompidczaspołączeniewiadomość

Dziennik dostępu JSONCaddy 2

adres IP klientazdalny_adres_IPport_zdalnymetodaścieżkawersja httpstatusbajtyodczytane bajtyczas_trwania_sekundnazwa_serwera_tlswersja_tlstls_resumedidentyfikator użytkownikapoziomdrwalwiadomośćdane

Rozszerzony dziennik W3CMicrosoft IIS

łykc_ipsportcs_methodcs_uri_stemcs_uri_querycs_usernameagent_użytkownika csstatus_scstatus_podstanustatus_sc_win32czas_zajęty

Każdy rząd również niesie czas_wydarzenia oraz strona, dzięki czemu jedno zapytanie może obejmować kilka hostów i nigdy nie ma wątpliwości, z którego pliku pochodzi.

Power Query M

Wklej wygenerowany kod Power Query M do Edytora zaawansowanego usługi Power BI, a raport odczyta wyniki dziennika serwera internetowego na żywo przesyłane przez protokół HTTPS — bez sterownika ODBC i bez otwartego portu bazy danych.

Jak działa Power BI

Obsługiwane

Serwer WWW rejestruje alerty i raporty

Slack · Discord · E-mail · Webhook

Utwórz harmonogram zapytań do dziennika serwera WWW i otrzymuj wiersze dostarczane do Slacka, Discorda, poczty e-mail lub podpisanego webhooka — albo wstrzymaj wiadomość, aż liczba wierszy, próg lub zmiana procentowa przekroczy ustawioną linię.

Jak działają alerty i raporty

Karta alertów to ta, którą warto ponownie przejrzeć pod kątem logów: zaplanowane zapytanie do licznika 5xx nie wymaga obecności nikogo, więc skok automatycznie dociera do Slacka. Przewodniki krok po kroku dotyczące poszczególnych logów nie zostały jeszcze napisane — podlinkowane strony opisują działanie każdej z nich.

Czego świadomie nie czytamy

Dziennik dostępu do produkcji zawiera więcej informacji, niż można by chcieć w tabeli raportowania. Format JSON Caddy rejestruje pełne mapy nagłówków żądań i odpowiedzi, które rutynowo zawierają pliki cookie sesji i tokeny nośnika. Profil Caddy wyklucza nagłówki żądania oraz nagłówki odpowiedzi Deklaracją — a nie filtrem, o którego włączeniu trzeba pamiętać, i nie po fakcie. Te pola nigdy nie są parsowane, więc nigdy nie trafiają do tabeli, eksportu ani arkusza kalkulacyjnego.

Reszta projektu opiera się na tej samej zasadzie. Agent łączy się z siecią wychodzącą i odczytuje pliki; nic nie jest instalowane na serwerze WWW, nic nie jest do niego zapisywane, a dostęp jest tylko do odczytu.

Jak to działa

Trzy kroki i nic nie zostaje zainstalowane na serwerze WWW.

Wskaż folder dziennika

Udziel agentowi strumieni zapytań dostępu do odczytu folderu, do którego Twój serwer już się loguje — /var/log/nginx, /var/log/caddy, IIS Pliki dziennika katalogu lub udziału, z którym je synchronizujesz.

Rozpoznaje format

Query Streams identyfikuje format na podstawie zawartości wierszy, a nie nazwy pliku — dzięki temu plik o dziwnej nazwie nadal zostanie odczytany, a plik, który nie pasuje do przypiętego formatu, zostanie zaparkowany z określonego powodu, zamiast uszkadzać tabelę.

Zapytaj o to lub dołącz do nas

Uruchamiaj polecenia SQL z poziomu portalu, wdrażaj je w programie Microsoft Excel lub Arkuszach Google albo używaj zapytań federacyjnych, aby łączyć dzienniki żądań z użytkownikami i zamówieniami w bazie danych aplikacji — w jednym poleceniu.

Często zadawane pytania dotyczące dziennika serwera WWW

Czy muszę zmienić konfigurację rejestrowania?

Nie. Każdy obsługiwany format jest domyślny dla danego serwera: połączony dziennik dostępu dla nginx i Apache, dziennik dostępu JSON dla Caddy 2 oraz rozszerzony W3C dla IIS. Jeśli nigdy nie zmieniałeś formatu dziennika, masz już obsługiwany format.

IIS jest elastycznym przypadkiem i jest obsługiwany prawidłowo — #Pola: Dyrektywa na górze pliku W3C nadaje nazwy jego kolumnom, więc otrzymasz kolumny, które wybierzesz w Menedżerze usług IIS.

Czy to dzieje się w czasie rzeczywistym?

Działa na żądanie, a nie strumieniowo. Query Streams odczytuje pliki w momencie ich zapisu na dysku w momencie uruchomienia zapytania, więc nowe żądania pojawiają się w momencie ich zapisu przez serwer, a plik jest odbierany — nie według stałego nocnego harmonogramu, ale też nie na bieżąco.

Jeśli potrzebujesz alertów na żądanie w czasie krótszym niż sekunda, to odpowiednim narzędziem jest potok logów. Jeśli chcesz zadać pytanie o ruch z ostatnich kilku tygodni i uzyskać odpowiedź w arkuszu kalkulacyjnym, to znacznie mniej maszyn.

Co dzieje się z obróconymi i skompresowanymi dziennikami?

Są odczytywane. Query Streams rozumie trzy style rotacji używane przez te serwery — numerowane tasowanie logrotate, nowy plik z datą na dzień w IIS i przewijanie z sygnaturą czasową Caddy — i odczytuje .gz archiwa na miejscu, bez konieczności ich rozpakowywania.

Pliki są dopasowywane według skrótu z pierwszych 4 KB, a nie według nazwy, dzięki czemu obrócony plik jest rozpoznawany jako ten, który już był widziany. To zapobiega utracie dnia lub podwójnemu naliczeniu dnia podczas obrotu.

Moje logi znajdują się na kilku serwerach. Czy mogę je wszystkie przeszukać razem?

Tak. Każdy rząd niesie strona kolumna, dzięki czemu jedno zapytanie może obejmować hosty i grupować według tego, co Cię interesuje. Możesz wdrożyć agenta dla każdego środowiska lub regionu, a wszystkie będą prezentować swoje foldery na tej samej liście.

Ponieważ jest to zwykły kod SQL, można pójść o krok dalej i dołączyć dzienniki żądań do prawdziwej bazy danych — dopasowując skok 500 żądań do tabeli wdrożeniowej lub powolne żądania realizacji zamówień do tych, do których należą.

Czy odczytuje pliki cookie lub nagłówki autoryzacyjne?

Nie. Format JSON Caddy'ego jest jedynym z czterech, który w ogóle rejestruje mapy nagłówków, a profil je wyklucza nagłówki żądania oraz nagłówki odpowiedzi Deklaracja jest błędna, więc nigdy nie są one parsowane do kolumny. Formaty Combined, Error i W3C nie zawierają nagłówków.

Adresy IP klientów i agenci użytkownika są analizowane, ponieważ stanowią cel dziennika dostępu — traktuj wynikową tabelę z taką samą starannością, jak plik dziennika, z którego pochodzi.

A co z wierszem, którego parser nie może odczytać?

Jest on zachowywany, a nie usuwany. Wiersz niezgodny z przypiętym formatem jest zachowywany jako surowy wiersz z dołączoną przyczyną, więc błędny wpis lub nieoczekiwana zmiana formatu jest widoczna i możliwa do sprawdzenia, a nie jako cicha luka w liczbach.

Twoje dane o ruchu są już na dysku

Podłącz folder dziennika i uruchom w nim pierwsze zapytanie w ciągu kilku minut. Bezpłatny pakiet, bez karty kredytowej, bez instalacji na serwerze WWW.

Rozpocznij za darmo Zobacz wszystkie złącza

Tylko do odczytu · tylko połączenie wychodzące · Twoje logi pozostają na Twoim serwerze