syslog i journald

Zamień System Logs w tabele, do których można wysyłać zapytania.

Syslog w obu formatach RFC oraz dziennik systemd po wyeksportowaniu. Każdy wiersz staje się rekordem zawierającym hosta, program i identyfikator procesu — dzięki temu pytanie, które wymagało czterech sesji SSH i grep, można zadać jedną instrukcją.

Korzystaj z wyników w Excelu, Arkuszach Google, narzędziach AI i aplikacjach za pośrednictwem Database REST API.

Każdy typ konektora jest dostępny w planie Free. Zacznij od 2 źródeł danych i 1 agenta.

Dzienniki systemowePliki są odczytywane z miejsca, w którym się znajdują
W Twojej sieciAgent sieciowy strumieni zapytań

Odczytuj, porządkuj i odpytuj dane na swojej maszynie.

Zapytania tylko do odczytu · połączenie wychodzące

Pliki źródłowe pozostają na miejscu. Twoje narzędzia otrzymują wyniki zapytań.

Źródło → agent → dozwolone wyniki

Query Streams zamienia pliki syslog w aktywne tabele SQL, które można odczytywać z Microsoft Excel, Arkuszy Google, asystentów AI przez MCP, REST API i Power BI. Obsługiwane są oba formaty RFC syslog, a także dziennik systemd po wyeksportowaniu go do tekstu. Każdy wiersz zawiera hosta, z którego pochodzi, program, który go zapisał, oraz identyfikator procesu. Wskaż konektorowi folder gromadzący logi z wielu maszyn, a jedno zapytanie obejmie je wszystkie — bez uruchamiania centralnego serwera logów, opłat za każdy gigabajt danych i przesyłania czegokolwiek poza wynikiem zapytania.

  • Oba formaty RFC syslog
  • Host, program i PID jako kolumny
  • Nie potrzeba centralnego serwera logów

Połącz System Logs z odpowiednimi ustawieniami.

Utrzymuj połączenie na agencie sieciowym. Oto ustawienia dotyczące konkretnie System Logs.

Falcówka
Katalog logów maszyny albo folder, do którego są zbierane logi — dysk lokalny lub udział sieciowy wpisany jako \\server\share (nigdy zmapowana litera dysku; w systemie Linux lub na Macu należy go najpierw zamontować); uwzględniane są podfoldery
Formaty
Syslog w obu formatach RFC oraz dziennik systemd po wyeksportowaniu do tekstu
Obsługa roku
Pobierany z wiersza albo określany na podstawie czasu modyfikacji pliku lub jego nazwy — wybór następuje raz, bez zgadywania dla każdego wiersza
Rotacja
Dziesięć nazwanych wzorców rotacji oraz zwykłe pliki bez rotacji; skompresowane archiwa są odczytywane bezpośrednio
Niedopasowane wiersze
Zachowywane dosłownie w events_raw_lines, nigdy nie są odrzucane
Dane uwierzytelniające
Brak — nie ma serwera; agent odczytuje pliki na miejscu
Dialekt SQL
DuckDB — standardowy SQL, bez konieczności poznawania funkcji specyficznych dla syslog

Odczyt aktywnego dziennika zdarzeń Windows to inny problem — jest to ustrukturyzowany kanał, a nie folder z wierszami — dlatego należy do osobnego konektora. Jeśli jednak już regularnie eksportujesz te zdarzenia do plików tekstowych lub CSV, ten folder można odczytywać już teraz: opisz układ raz za pomocą konektora Custom Logs, a eksporty staną się tabelą, tak jak pozostałe dane w tym miejscu.

Stworzone z myślą o tym, jak działa System Logs.

Co otrzymujesz

  • Jeden wiersz na linię; znacznik czasu, host, program, identyfikator procesu i wiadomość są osobnymi kolumnami, a nie jednym ciągiem do późniejszego rozdzielania.
  • Obsługiwane są oba formaty RFC syslog — starszy format w stylu BSD i nowszy format ustrukturyzowany — dzięki czemu mieszane środowisko nadal mieści się w jednej tabeli.
  • Dziennik systemd jest obsługiwany po wyeksportowaniu do tekstu; własny format binarny dziennika to baza danych, a nie plik logu, więc najpierw trzeba go wyeksportować.
  • _source_file wskazuje plik, z którego pochodzi każdy wiersz, dzięki czemu folder gromadzący dane z pięćdziesięciu maszyn można odczytać jako jedną tabelę.
-- Programy generujące najwięcej komunikatów według hosta, o poziomie warning i wyższym
SELECT   host, program, COUNT(*) AS lines
FROM     fileset.events
WHERE    severity <= 4
GROUP BY host, program
ORDER BY lines DESC

Daty syslog i brakujący rok

Starszy format syslog zapisuje miesiąc i dzień, ale nie rok — dlatego styczniowy log może wyglądać, jakby zdarzenie miało nastąpić dopiero za jedenaście miesięcy. Sterownik logów rozwiązuje tę kwestię w przemyślany sposób, zamiast zakładać wartość: rok można pobrać z wiersza, jeśli format go zawiera, albo określić na podstawie czasu modyfikacji pliku lub jego nazwy. Wybierasz sposób raz.

Szczegółowe informacje o formatach i działaniu.

Otwórz potrzebną dokumentację System Logs.

Folder dzienników systemowych staje się jedną tabelą.
Wielki pomysł

Folder dzienników systemowych staje się jedną tabelą.

Query Streams odczytuje pliki zapisane już przez rsyslog, syslog-ng lub systemd, jednoznacznie określa format i udostępnia typowane kolumny, z nazwą hosta przy każdym wierszu. Bez uruchamiania kolektora, utrzymywania indeksu czy tworzenia drugiej kopii danych — a wiersz, którego parser nie potrafi odczytać, zostaje zachowany wraz z uzasadnieniem, zamiast być po cichu pomijany.

Folder dziennikana serwerze
dziennik systemowyRFC 3164
auth.log.2.gzobrócony
dziennik.eksportdziennik

Rotacje, skompresowane archiwa i ponownie odczytywane pliki — wszystko obsłużone

hałaśliwe-programy.sqlSQL
SELECT gospodarz programu
       liczyć(*) AS kwestia
Z   zestaw_plików.zdarzenia
GDZIE  wiadomość TAK JAK '%błąd%'
GROUP BY gospodarz programu
ORDER BY kwestia DESC
Wynikbłędy według hosta
gospodarzprogramkwestia
db-01postgres412
web-01sshd288
aplikacja-01systemd96
poczta-01cron11

Cztery serwery w jednym wyniku, ponieważ gospodarz jest kolumną

Przykładowe wartości — pokazują formę odpowiedzi, a nie wyniki benchmarku

Dwa RFC i czasopismo
Źródła

Dwa RFC i czasopismo

Każda karta podaje dokładne pliki, które odczytuje Query Streams, oraz ich lokalizację. Nie trzeba w tym celu zmieniać konfiguracji rsyslog — wybierz format, w którym serwer już zapisuje dane.

Obsługiwane dzienniki systemowe

3 formaty
Ikona dzienników systemowych — Query Streams odczytuje pliki syslog RFC 3164 zapisane przez rsyslog i syslog-ng Dziennik systemowyRFC 3164, format pliku BSD
  • Domyślny format na większości serwerów Linux — Pon DD GG:MM:SS program hosta [pid]: wiadomość
  • Identyfikatory hosta, programu i procesu stają się osobnymi kolumnami
  • /var/log/syslog, log autoryzacji, kern.log — wiadomości na RHEL
  • Okresowy -- OCENA -- wypełniacz jest usuwany przez deklarację, a nie przez filtr, który piszesz
  • Dołącza; datowane i ponumerowane obroty i .gz śledzony
Ikona dzienników systemowych — Query Streams odczytuje pliki dziennika systemowego ustrukturyzowane zgodnie z RFC 5424 Dziennik systemowyRFC 5424, strukturalny
  • Nowoczesny format — prawdziwy znacznik czasu ISO 8601, więc nie trzeba zgadywać roku
  • Priorytet, aplikacja, identyfikator procesu i identyfikator wiadomości otrzymują osobną kolumnę
  • Blok danych strukturalnych jest utrzymywany w całości, a nie spłaszczany
  • Wartość nil z RFC jest odczytywana jako null, a nie jako tekst -
  • Zbudowany zgodnie z RFC, nie przetestowany jeszcze w warunkach prawdziwego przechwytywania
Logo Linuksa — strumienie zapytań odczytują eksporty dziennika systemd zapisane przez journalctl dziennik systemdjournalctl -o eksport
  • Pliki, które utworzyłeś journalctl -o eksport
  • Znaczniki czasu w mikrosekundach, dzięki czemu zamówienie przetrwa nawet najgorszą sekundę
  • Jednostka i transport są widoczne jako kolumny, a nie jako tekst
  • Każde inne pole dziennika jest przechowywane w dane zamiast odrzucić
  • Jeden wpis na rekord, bez względu na liczbę wierszy, które obejmuje
Nadchodzi więcejto początek, a nie sufit

Nowe formaty dzienników systemowych są dodawane z każdą wersją Agenta. Ponieważ Agenty są na bieżąco aktualizowane, format dodany później pojawia się w konektorze bez ingerencji w serwer.

Warto wiedzieć, który z nich napotkał prawdziwy plik. Parser RFC 3164 i parser eksportu dziennika zostały zbudowane i przetestowane na rzeczywistych przechwyconych logach, rotacjach i skompresowanych archiwach. RFC 5424 nie został — jest opisana w specyfikacji i objęta testami, ale dotąd nie trafiło się żadne rzeczywiste przechwycenie w tym formacie. Jeśli właśnie tego formatu używasz, opcja Testuj połączenie poinformuje Cię, co rozpoznała, zanim cokolwiek zatwierdzisz — wolimy, żebyś wiedział o tym już teraz.
Jedno zapytanie, każda używana przez Ciebie maszyna
Każdy serwer

Jedno pytanie, każda maszyna, którą uruchamiasz

Dzienniki systemowe to przypadek, z myślą o którym powstało to rozwiązanie. Każdy wiersz zawiera nazwę hosta, który go zapisał, więc folder zebrany z czterech serwerów od razu pozwala zadawać pytania dotyczące wszystkich czterech. W każdej dodanej lokalizacji działa Network Agent, który odczytuje pliki na miejscu i nawiązuje połączenie wychodzące z Query Streams. Z punktu widzenia zapory sieciowej jest to zwykłe połączenie wychodzące, więc nie trzeba otwierać żadnych portów ani konfigurować VPN.

Siedziba główna Stojak serwerów Linux z prostym zapisem /var/log/syslog wybiera numery
ue-zachód Instancje w chmurze, eksporty dzienników zapisywane według harmonogramu wybiera numery
wschód USA Drugi region, te same pliki w tym samym kształcie wybiera numery

Trzy połączenia wychodzące, jedno miejsce do wysyłania zapytań — bez portów przychodzących, VPN i zmian w zaporze

Jeden agent na lokalizację

Agent obsługuje całą lokalizację, a nie pojedynczy serwer, a drzewo folderów zebrane z wielu hostów to jeden łącznik — każdy wiersz zawiera już jego gospodarz. Plan Free obsługuje jednego Agenta, a płatne plany — większą ich liczbę.

1 witryna = 1 agent = wielu hostów

Nic do otwarcia

Agent nawiązuje jedno szyfrowane połączenie wychodzące. Zarówno żądanie, jak i zwracane wiersze przesyłane są przez to połączenie. Nie trzeba otwierać portu przychodzącego, konfigurować VPN ani zmieniać zapory sieciowej — nie dodaje się też demona zbierającego dane na serwerze, na którym taki demon już działa.

jedno połączenie, w obu kierunkach

Jedno zapytanie obejmujące wszystkie regiony

Każde źródło w zapytanie federacyjne ma własnego Agenta, dzięki czemu jedno zapytanie może zestawić obok siebie dziennik uwierzytelniania z jednego regionu i dziennik z innego — albo bazę danych aplikacji wskazującą, które logowania miały znaczenie. Dostępne w planach Business i Enterprise.

2 regiony → 1 zestaw wyników

Utrzymują się na bieżąco

Agenci aktualizują się sami, więc format logu dodany w późniejszej wersji dociera do każdego serwera bez konieczności wykonywania przez kogokolwiek rundy SSH. To właśnie sprawia, że ściana powyżej jest punktem startowym, a nie stałą listą.

nowe formaty pojawiają się wraz z Agentem

Rok, strefa czasowa i bajty
Najtrudniejsza część

Rok, strefa czasowa i bajty

Syslog to jeden z najstarszych formatów, wciąż w codziennym użyciu, i to widać. Cztery rzeczy rutynowo idą nie tak, gdy próbujesz traktować go jako dane, a każda z nich jest tutaj obsługiwana poprzez deklarację, a nie przez domysły.

Linia nie ma roku

Znaczek RFC 3164 jest 10 września 04:11:07 — miesiąc, dzień, godzina i nic więcej. Przy naiwnym odczycie każda zarchiwizowana linia trafia do bieżącego roku. Query Streams ustala rok na podstawie czasu modyfikacji samego pliku, więc rotacja z grudnia nadal trafia do grudnia.

Sep 10 04:11:07 → rok ustalany na podstawie pliku

I żadnej strefy czasowej

Stary format nie zawiera przesunięcia strefy czasowej, więc znacznik czasu ma sens tylko w odniesieniu do maszyny, która go zapisała. Jest odczytywany jako czas lokalny Agenta, a obok niego zachowywany jest surowy tekst. RFC 5424 i dziennik zawierają rzeczywisty czas UTC i są tak traktowane.

RFC 3164 — czas lokalny · RFC 5424 i journald — UTC

Wartości binarne w pliku tekstowym

Format eksportu dziennika zapisuje każdą wartość zawierającą znak nowej linii jako nazwę, długość w bajtach, a następnie surowe bajty. Query Streams odczytuje je zgodnie z podaną długością, zamiast szukać końca — dzięki temu komunikat zawierający znak nowej linii pozostaje jednym wpisem, a nie rozpada się na kilka.

czytaj według długości, nigdy według treści

Nic nie liczyło się dwa razy

Każdy plik jest oznaczany odciskiem palca na podstawie pierwszych 4 KB, dzięki czemu obrócony plik jest rozpoznawany jako ten sam plik, a nie odczytywany ponownie od góry. Przesuwające się okno duplikatu wychwytuje nakładanie się, gdy zapisujący odtwarza jego ogon.

Skrót prefiksu 4 KB · okno 20 000 rekordów

Kolumny, które faktycznie otrzymujesz
Schemat

Kolumny, które faktycznie otrzymujesz

To nie jest blok tekstu ze znacznikiem czasu obok. Każdy format jest parsowany do typowanych kolumn, które można bezpośrednio filtrować, grupować i agregować — a im nowszy format, tym więcej takich kolumn.

Ikona dzienników systemowych
Syslog, RFC 3164Format pliku BSD
programpidwiadomość
Ikona dzienników systemowych
Syslog, RFC 5424ustrukturyzowany dziennik systemowy
priaplikacjaprocidmsgidsdwiadomość
Logo Linuksa
eksport dziennika systemdjournalctl -o eksport
programpidpriorytetjednostkatransportwiadomośćdane

Każdy rząd również niesie czas_wydarzenia, surowy znacznik czasu, z którego został odczytany, oraz plik, z którego pochodzi. Wszystkie trzy formaty mają jedną wspólną kolumnę identyfikującą — gospodarz — dzięki niej jedno zapytanie może obejmować wszystkie serwery w folderze: oba formaty syslog pobierają ją z linii, a dziennik — z własnego _NAZWAHOSTA pole. Wszystko ląduje w jednej tabeli, zestaw_plików.zdarzenia.

Czego to celowo nie robi

Czego to celowo nie robi

Najpierw powiedz największą: logi systemowe zawierają dane osobowe. log autoryzacji zapisuje nazwy użytkowników i adresy IP, z których się łączyli; program rejestrujący adres e-mail umieszcza go w tekście komunikatu. W kolumnie znajdzie się wszystko, co jest w pliku — nie ma mapy nagłówków pozwalającej wykluczyć pola, jak w przypadku dziennika serwera WWW. Z tabelą wynikową postępuj z taką samą ostrożnością jak z plikiem i zastanów się, komu udostępniasz zapytanie.

To nie jest żywy ogon. Query Streams odczytuje pliki w momencie ich obecności na dysku podczas uruchamiania zapytania, więc awaria usługi jest wyświetlana jako wiersze, a nie jako strumień, który można obserwować. Jeśli potrzebujesz alertów na temat wiersza w trakcie jego drukowania, potok logów jest odpowiednim narzędziem do tego zadania.

Nie odczytujemy dziennika binarnego. Profil systemd odczytuje pliki zapisane przez journalctl -o eksport, nie /var/log/dziennik bezpośrednio — eksport należy więc zaplanować, a nie oczekiwać, że wykona się sam.

Trzy rzeczy są zapisane zgodnie ze specyfikacją, a nie sprawdzane w rzeczywistym pliku, i warto je wymienić: cały profil RFC 5424, wariant stempla ISO-8601, który rsyslog i syslog-ng mogą zapisywać zamiast klasycznego, oraz obsługa wartości dziennika obejmującej kilka wierszy. Wszystkie trzy są objęte testami. Żadna z nich nie została jeszcze w pełni zaakceptowana.

Wreszcie, rodzina ta nazywa się „Logi systemowe”, ale dziś oznacza to systemy Linux i Unix. Nie ma profilu dziennika zdarzeń systemu Windows ani systemu macOS. pokaz dziennika profil, i wolimy to powiedzieć, niż sugerować to nazwą. Reszta jest standardowa: agent łączy się z serwerem i odczytuje pliki, nic nie jest instalowane na serwerze, nic nie jest zapisywane z powrotem, a dostęp jest tylko do odczytu. Okres przechowywania danych dla tego ustawienia wstępnego wynosi 60 dni i można go zmienić.

Od połączenia do przydatnych wyników.

  1. Zainstaluj Network Agent w miejscu, z którego będzie widział dzienniki — w katalogu /var/log jednej maszyny albo w folderze, do którego zapisuje już istniejący system zbierania danych.
  2. Wskaż łącznikowi ten folder i wybierz profil. Dostępne są oba standardy syslog RFC, a także eksportowany tekstowy format dziennika systemd.
  3. Profil określa układ, więc host, program, identyfikator procesu i komunikat trafiają do nazwanych kolumn już przy pierwszej synchronizacji.
  4. Obsługiwana jest rotacja, w tym skompresowane archiwa, a podczas każdej synchronizacji odczytywane są tylko nowe bajty.
  5. Wykonuj zapytania. Jeden host lub pięćdziesiąt, grupowanie według programu, filtrowanie według ważności — zwykły SQL zamiast ssh i grep.

Wykorzystaj wyniki z System Logs.

Jedno połączenie obsługuje arkusze kalkulacyjne, aplikacje i narzędzia AI. Udostępnij uprawnienie do uruchomienia zapisanego zapytania; odbiorcy zobaczą dozwolone wyniki, a SQL i dane logowania do źródła pozostaną ukryte.

Dla Twojego zespołu, dostawców i partnerów

Pobieraj wyniki na żywo z System Logs bezpośrednio do arkusza i odświeżaj je na żądanie — w Excelu na komputerze, Excel Online i Microsoft 365.

Poznaj Excel

Zadaj pytanie zwykłym językiem. Nova zna już Twoje tabele System Logs, tworzy i uruchamia zapytanie SQL, wyjaśnia odpowiedź i przedstawia ją na wykresie — nie musisz pisać zapytania ani udostępniać danych logowania.

Jak działa Nova

Udostępniaj wyniki na żywo z System Logs dowolnej osobie — współpracownikowi, dostawcy lub partnerowi — jako siatkę z zakładką, która po otwarciu ponownie pobiera aktualne dane na telefonie, tablecie lub komputerze. Odbiorcy widzą wyniki, ale nigdy zapytanie SQL ani pliki.

Jak działa Przeglądarka danych

Do aplikacji i systemów

Opublikuj zapytanie System Logs jako uwierzytelniony punkt końcowy JSON, z którego może korzystać dowolna aplikacja. Otrzymasz specyfikację OpenAPI 3.1 oraz gotowe kolekcje Postman, Insomnia i Hoppscotch. Nie trzeba otwierać portu bazy danych.

Poznaj REST API

Wklej wygenerowany kod Power Query M do Edytora zaawansowanego Power BI, aby raport pobierał aktualne wyniki System Logs przez HTTPS — bez sterownika ODBC i bez otwierania portu bazy danych.

Poznaj Power BI

Zasilaj aplikację Anvil w Pythonie danymi System Logs za pośrednictwem punktu końcowego REST, zamiast osadzać dane logowania do bazy danych w aplikacji.

Poznaj Anvil

Dla narzędzi AI

Zapewnij asystentowi AI dostęp tylko do odczytu do System Logs oraz schemat potrzebny do tworzenia poprawnych zapytań SQL — bez danych logowania w czacie.

Odkryj MCP

Dostarczone do ludzi

Zaplanuj wykonywanie zapytania do System Logs i wysyłaj wiersze do Slacka, Discorda, poczty e-mail lub podpisanego webhooka — albo wstrzymaj wysyłanie wiadomości, aż liczba wierszy, próg lub zmiana procentowa przekroczy ustawioną wartość.

Jak działają alerty i raporty

Połącz System Logs z pozostałymi danymi.

Połącz bazy danych, biznesowe interfejsy API, pliki i dzienniki w jednym zapytaniu tylko do odczytu. Każdy konektor obsługuje zapytania federacyjne.

Podaj nazwy połączeń i tabel. Query Streams obsługuje zapytania do źródeł i łączy wyniki.

Poznaj zapytania federacyjne
Przykładowe zapytanie łączące źródła
-- nic nie zostało skopiowane, nic nie zostało połączone, nic nie zostało zaplanowane
SELECT   c.region, COUNT(*) AS zamówienia, SUM(i.amount_due) AS fakturowane
Z     syslogfiles.fileset.orders1 f
JOIN     pg_crm.publiczni.klienci2    c WŁĄCZONY c.id = f.customer_id
JOIN     rozliczenia.stripe.invoices3    i WŁĄCZONY i.customer = c.stripe_id
GROUP BY c.region
ORDER BY fakturowany DESC;

Użyj własnych nazw połączeń, schematów, tabel i kolumn.

Wspólne dla całej rodziny konektorów.

Każde złącze dzienników udostępnia również

  • events — po jednym wierszu na każdą przeanalizowaną linię, z sygnaturą czasową, polami nazwanymi przez gramatykę oraz polem _source_file wskazującym plik, z którego pochodzi.
  • events_raw_lines — linie, które nie pasowały do gramatyki, zachowane w oryginalnej postaci zamiast odrzucenia, dzięki czemu nadal można uzyskać odpowiedź na pytanie dotyczące nieprzewidzianego formatu.
  • files_current i files_events — bieżący wykaz plików i ścieżka audytu: co się pojawiło, co podlegało rotacji, co zniknęło i co zostało wstrzymane, wraz z nazwą pliku i przyczyną.
  • Rotacja jest rozpoznawana, a nie obchodzona — dziesięć nazwanych wzorców rotacji oraz zwykłe pliki bez rotacji, dzięki czemu wczorajszy log i jego skompresowane archiwum są tą samą tabelą co log z dzisiaj.

Dobrze wiedzieć

  • Wymuszony tryb tylko do odczytu — jedno zapytanie naraz, wyłącznie SELECT i podobne polecenia. Nigdy nie zapisujemy, nie przenosimy, nie rotujemy ani nie skracamy Twoich logów.
  • Żadne dane nie są przesyłane — wiersze są analizowane i przechowywane w pamięci podręcznej w postaci zaszyfrowanej na Twoim komputerze, obok agenta. Twoją sieć opuszcza wyłącznie wynik zapytania.
  • Odczytywane są tylko nowe bajty — agent w każdym pliku wznawia pracę od miejsca, w którym ją przerwał, zamiast czytać go ponownie, więc intensywnie używany log nie kosztuje więcej każdego dnia.
  • Dialektem SQL jest DuckDB — ten sam SQL, którego używasz w przypadku dowolnego innego łącznika.

Pytania dotyczące System Logs

Gdzie mogę używać wyników zapytań System Logs?

Używaj wyników System Logs w Excelu, Arkuszach Google i Data Viewer, w swoich aplikacjach za pośrednictwem Database REST API oraz w narzędziach AI za pośrednictwem MCP lub Nova. Zapisane wyniki są również przekazywane do obsługiwanych miejsc docelowych Automation, raportów i alertów. Dostępność miejsc docelowych i limity zależą od Twojego planu.

Czy muszę otworzyć port przychodzący dla System Logs?

Nie. Zainstaluj Network Agent na komputerze, który ma dostęp do System Logs. Agent łączy się wychodząco z Query Streams; nie jest wymagany port przychodzący ani VPN. Źródło nadal musi zezwalać komputerowi agenta na połączenie zgodnie z własnymi regułami dostępu.

Czy pliki System Logs są przesyłane?

Network Agent odczytuje pliki w ich bieżącej lokalizacji, a pamięć podręczną przechowuje na maszynie agenta. Pliki źródłowe nie są przesyłane, przenoszone ani modyfikowane. Tylko żądane wyniki zapytań opuszczają Twoją sieć przez szyfrowane połączenie wychodzące.

Czego potrzebuję, aby połączyć się z System Logs?

Folder: katalog dzienników komputera lub folder, do którego zbierane są dzienniki — dysk lokalny albo udział sieciowy wpisany jako \\server\share (nigdy zmapowana litera dysku; w systemie Linux lub na Macu najpierw zamontowany); uwzględniane są podfoldery. Formaty: Syslog w obu standardach RFC oraz dziennik systemd po wyeksportowaniu do tekstu. Obsługa roku: pobierany z wiersza albo ustalany na podstawie daty modyfikacji pliku lub jego nazwy — wybór następuje raz, bez zgadywania osobno dla każdego wiersza. Rotacja: dziesięć nazwanych wzorców rotacji oraz zwykłe pliki bez rotacji; skompresowane archiwa są odczytywane bezpośrednio

Czy mogę połączyć System Logs z innymi podłączonymi źródłami?

Tak. Zapytania federacyjne obsługują wszystkie typy konektorów, w tym bazy danych, biznesowe interfejsy API, pliki i dzienniki. W jednym zapytaniu tylko do odczytu podaj nazwy połączeń i tabel. Query Streams w razie potrzeby tłumaczy części zapytania dotyczące źródeł i łączy ich wyniki. Zobacz, jak działają zapytania federacyjne.

Jaki mam format?

Spójrz na początek linii w /var/log/syslog lub /var/log/messages. Jeśli zaczyna się od trzyliterowego skrótu miesiąca — 10 września 04:11:07 — to RFC 3164, format nadal domyślnie zapisywany przez większość serwerów Linux. Jeśli zaczyna się od liczby w nawiasach ostrych, po której następuje pełny znacznik czasu ISO 8601, to RFC 5424.

Nie musisz mieć pewności przed rozpoczęciem. Połączenie testowe raportuje, który profil został rozpoznany i ile plików zostało dopasowanych, więc odpowiedź pochodzi z rzeczywistych plików, a nie z domysłów.

Czy muszę ponownie skonfigurować rsyslog lub syslog-ng?

Nie. Obsługiwane są oba formaty, więc wybierz ten, który już zapisuje Twój serwer — a klasyczny format domyślny jest tym, który został najdokładniej przetestowany.

Jedna zmiana, którą warto rozważyć, nie dotyczy formatu: jeśli już przekazujesz dzienniki z kilku komputerów do jednego kolektora, wskaż Agentowi folder tego kolektora, a uzyskasz wszystkie hosty w jednym konektorze, ponieważ każdy wiersz zawiera informację o hoście, z którego pochodzi.

Jak poradzić sobie z brakiem roku w starej linii syslog?

Rok jest pobierany z daty modyfikacji pliku. Rotowane archiwum zapisane po raz ostatni w grudniu jest odczytywane jako grudniowe, zamiast przypisywać każdy wiersz do bieżącego roku, jak zrobiłby naiwny parser.

Warto znać ograniczenie: jeśli znaczniki czasu pliku zostały ujednolicone — na przykład po przywróceniu kopii zapasowej, która ich nie zachowała, lub skopiowaniu pliku w sposób, który je zresetował — ustalenie daty opiera się na informacjach podawanych przez system plików. Oryginalny tekst jest zawsze zachowywany obok sparsowanej wartości, więc możesz sprawdzić, co rzeczywiście znajdowało się w wierszu.

Czy można bezpośrednio odczytać dziennik systemd?

Nie, to jest krok konfiguracji, który ludzie pomijają. Dziennik na dysku to binarna baza danych, a Query Streams go nie otwiera. Wyświetla się format eksportu: journalctl -o export > journal.export, w dowolnym folderze, który Agent może odczytać.

W praktyce oznacza to niewielkie zaplanowane zadanie na serwerze — timer lub wpis crona, który zapisuje eksport w miejscu już przeszukiwanym przez Agenta. Reszta odbywa się automatycznie; odczytywane są również eksporty spakowane gzipem.

A co z dziennikiem zdarzeń systemu Windows lub macOS?

Żaden z nich nie ma tu profilu. Trzy formaty opisane na tej stronie dotyczą systemów Linux i Unix, a wolimy otwarcie wskazać tę lukę, niż sugerować słowami „dzienniki systemowe” obsługę, której nie ma.

Istnieje jednak rozwiązanie dla systemu Windows. Odczyt aktywnego dziennika zdarzeń to inny problem niż odczyt pliku tekstowego — jest to ustrukturyzowany kanał, a nie folder z wierszami — i wymaga osobnego konektora. Jeśli jednak już eksportujesz te zdarzenia zgodnie z harmonogramem do tekstu lub CSV, ten folder można odczytać już teraz: opisz układ raz za pomocą niestandardowy dziennik łącznik i eksporty stają się tabelą taką jak wszystko inne na tej stronie.

W moich logach są nazwy użytkowników i adresy IP. Czy powinienem się martwić?

Tak, i warto się nad tym zastanowić zanim wyślesz zapytanie, a nie dopiero po jego złożeniu. log autoryzacji to zapis tego, kto i skąd się połączył (co w większości jurysdykcji jest danymi osobowymi), a komunikat syslog to tekst w dowolnej formie, który może zawierać dowolne informacje wydrukowane przez program.

Query Streams nie zmienia zawartości pliku, dlatego uczciwie należy powiedzieć, że tabela dziedziczy poziom poufności pliku. Pomagają dwie rzeczy: zapisane zapytanie udostępnia wynik, a nie połączenie, więc odbiorca nigdy nie otrzymuje całego dziennika; ponadto filtry pozwalają zawęzić zapytanie do programów, których ktoś rzeczywiście potrzebuje, zanim udostępnisz mu wynik.

Zbieram logi z wielu serwerów w jednym folderze. Czy to działa?

To właśnie zastosowanie, w którym sprawdza się najlepiej. Wszystkie trzy formaty zawierają hosta jako kolumnę — w obu formatach syslog jest on odczytywany z wiersza, a w eksporcie dziennika pobierany z własnego pola nazwy hosta — więc folder zebrany z czterdziestu komputerów tworzy jeden konektor, a grupowanie według hosta jest zwykłym GROUP BY.

Serwery w różnych budynkach lub regionach również działają. Każda lokalizacja ma własnego agenta, a w planach Business i Enterprise zapytanie federacyjne może odczytywać je w jednym poleceniu.

A co z wierszem, którego parser nie może odczytać?

Jest on zachowywany, a nie usuwany. Wiersz niezgodny z przypiętym formatem jest zachowywany jako surowy wiersz z dołączoną przyczyną, więc błędny wpis lub nieoczekiwana zmiana formatu jest widoczna i możliwa do sprawdzenia, a nie jako cicha luka w liczbach.

To samo dotyczy wartości dziennika, którą format oznacza jako binarną: jest ona umieszczana obok swojego wpisu z podaniem przyczyny, a nie jest zgadywana, a sam wpis pozostaje nienaruszony.

Umieść System Logs tam, gdzie odbywa się praca.

Zacznij od planu Free: wszystkie typy konektorów, 2 źródła danych i 1 Network Agent. W miarę wzrostu potrzeb zwiększ limity planu.