Zapytanie plików Syslog systemu Linux za pomocą SQL

Łącznik folderów · Dzienniki systemowe

Zmień logi systemowe Linux i Unix w Tabele SQL możesz zapytać gdziekolwiek

Skieruj agenta strumieni zapytań na folder. Odczytuje on pliki dziennika na swoim komputerze, tworzy tabele w lokalnej pamięci podręcznej i aktualizuje je w miarę pojawiania się, zmiany lub znikania plików. Możesz przeszukiwać je z poziomu Excela, Arkuszy Google, Nova, Claude lub interfejsu API REST. Nic nie jest przesyłane, a żaden plik nie jest konwertowany ani edytowany.

Około 15 minut Nie potrzeba kodowania Pliki pozostają w Twojej sieci Bezpłatny plan obejmuje to

Co z tego wyjdzie?

System Logs odczytuje pliki syslog systemu Linux, takie jak syslog, messages i auth.log, a także pliki eksportu dziennika i zamienia każdy wiersz na wiersz w tabeli o nazwie wydarzeniaKażdy rząd niesie gospodarz, program, pid oraz wiadomość Z wiersza poleceń, dzięki czemu pytania, które zadałbyś grep lub journalctl, stają się zapytaniami SQL, które możesz uruchomić z Excela, Arkuszy Google lub pulpitu nawigacyjnego. Pliki pozostają na komputerze, na którym działa agent.

Przeanalizowane linie trafiają do zestaw_plików.zdarzenialub w Nazwa tabeli Wybrałeś. Agent kopiuje wiersze do lokalnej pamięci podręcznej na komputerze agenta i udostępnia je jako SQL. Poniższe kolumny pochodzą z domyślnego typu dziennika RFC 3164. Nie ma kolumny obiektu ani ważności.

Każdy łącznik folderów zapewnia również akta, pliki_wydarzenia, katalogi, migawki katalogów oraz kłębyi dodają łączniki dziennika kursory logu z pozycją odczytu każdego pliku. Zawsze ORDER WEDŁUG event_time.

Gdzie zarabia na swoje utrzymanie:

• Zlicz nieudane logowania SSH dla każdego hosta i adresu źródłowego w arkuszu kalkulacyjnym.
• Sporządź wykres wolumenu logów dla każdego programu, aby zidentyfikować usługę, która zaczęła działać w pętli.
• Zachowaj 60 dni pliku auth.log w postaci możliwej do zapytania po skompresowaniu go przez logrotate.

Czego będziesz potrzebować

Konto Query Streams

Łączniki folderów są dostępne w każdym planie, również w wersji darmowej. Wersja darmowa to plan, który można zachować, a nie okres próbny, który wygasa. Nie ma limitu liczby plików, które może zawierać folder.

Agent 2.6.0 lub nowszy

Zainstalowany na komputerze, który może otworzyć folder: na samym serwerze plików, komputerze biurowym lub komputerze, na którym znajdują się pliki. Starszy Agent wyświetla karty folderów jako wyszarzone z ikoną Agent 2.6.0+ odznaka. Windows, Mac lub Linux.

Ścieżka folderu, tak jak widzi ją Agent

Ścieżka lokalna lub udział sieciowy zapisany jako \\serwer\udział\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt lub /głoska bezdźwięczna, a Mac under /Volumes).

Skonfiguruj w pięciu krokach

1. Zainstaluj agenta na komputerze, który może otworzyć folder

   Zaloguj się, otwórz Pobieraći zainstaluj Agenta dla swojego systemu na komputerze, który może otwierać dzienniki systemowe Linux i Unix: na serwerze plików lub na dowolnym komputerze stale aktywnym, który ma dostęp do udziału. Zajmie to minutę i od tego momentu uruchomi się automatycznie. Wymagana jest wersja 2.6.0 lub nowsza; strona pobierania zawsze zawiera aktualną wersję.

   Dlaczego mały program, a nie sterownik? Agent wymaga jednej instalacji dla systemów Windows, Mac lub Linux (około 85 MB w systemie Windows, nieco ponad 100 MB w systemach Mac i Linux). Otwiera jedno szyfrowane połączenie wychodzące do strumieni zapytań i jest to jedyna ścieżka sieciowa, której potrzebuje: nie otwiera portu przychodzącego ani nie używa VPN. Odczytuje folder, w którym się znajduje, dzięki czemu pliki pozostają na swoim miejscu, a przez internet do dodatku, przeglądarki lub klienta AI po Twojej stronie przesyłane są tylko wiersze zwrócone przez zapytanie.

   Strona pobierania pokazuje Twój klucz dostępuWklej to do agenta, gdy o to poprosi i poczekaj, aż odznaka zostanie odczytana Połączono ze strumieniami zapytańTo jest jedyna czynność, którą wykonujesz na komputerze Agenta; cała reszta odbywa się w Twojej przeglądarce.

   Pełne opisy przejść, jeśli ich potrzebujesz: Okna, Prochowiec, Linux.

2. Skieruj go do logów systemu Linux i Unix

   Wróć do swojej przeglądarki i otwórz Dane → Agenci danych, znajdź agenta, którego właśnie zainstalowałeś i kliknij jego Dodaj złącze przycisk. Otwórz Pliki i foldery pigułkę i wybierz Dzienniki systemowe Karta. Nie wiesz, która karta pasuje? Wybierz Pliki w folderze Zamiast tego: Agent pobiera próbkę folderu, podaje nazwę jego zawartości na stronie „Co znaleźliśmy” i otwiera dla Ciebie odpowiednią, wstępnie wypełnioną kartę.

   Czarodziej biegnie Foldery → Sprawdź → Ustawienia → Królestwo → Przejrzyj. NA Lornetka składana:

   Foldery główne

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Skanuj podfoldery, maksymalna głębokość

   Włączone i 8 poziomów domyślnie.

   Uwzględnij wzorce, Wyklucz wzorce

   Które pliki się liczą. Wzorzec dołączania zaczyna się od właściwego globu dla tej karty. Jeden konektor odczytuje jeden typ pliku: folder z plikiem CSV. oraz Pliki Parquet to dwa łączniki w tym samym folderze, po jednym dla każdego typu.

   Podążaj za dowiązaniami symbolicznymi i połączeniami

   Domyślnie wyłączone. Agent nie będzie śledził skrótów ani symboli zastępczych w chmurze, jeśli tej opcji nie włączysz.

   W Portalu otwórz agenta, który może zobaczyć folder i kliknij Dodaj złącze. Pod Pliki i foldery wybierać Dzienniki systemowe. Po utworzeniu zostanie wyświetlony na liście łączników jako Pliki dziennika.

   • Dodaj folder dziennika pod Foldery główne, Na przykład /var/log. W systemie Linux zamontuj udziały w /mnt lub /głoska bezdźwięczna.
   • Uwzględnij wzorce zacząć od **/syslog*, **/wiadomości* oraz **/auth.log*Domyślne ustawienia ogólne sterownika dziennika to: **/*.dziennik oraz **/*.txt.
   • Wybierz Typ dziennikaLogi systemowe są ograniczone do wbudowanych typów. Jeśli brakuje Twojego, na liście pojawi się komunikat: „Potrzebujesz typu logu, którego nie ma na liście? Wyślij zgłoszenie do pomocy technicznej, a dodamy go w ciągu kilku dni”.
   • Nazwa tabeli jest opcjonalny i domyślnie wynosi wydarzenia.
   • Zasypywanie (dni) ma 30 lat. Zachowaj zdarzenia przez N dni domyślnie 60.

3. Sprawdź co zbuduje

   NA Sprawdzać Agent odczytuje próbkę do 64 plików i pokazuje, co zbuduje. Nic jeszcze nie zostało utworzone. Przycisk wyświetla Połączenie testowe dopóki nie zostanie wydany wyrok, Następny; Przetestuj ponownie Ponownie uruchamia próbkę po wprowadzeniu zmian. Zobaczysz jeden z czterech nagłówków:

   Gotowy do stworzenia

   Każdy z wybranych plików pasuje. Chipy pod nim wskazują, ile folderów było dostępnych, ile plików i wierszy oraz które tabele będą istnieć.

   Gotowe, z notatkami

   Niektóre pliki zostaną odłożone na bok lub odrzucona zostanie próba odczytania układu. Bursztynowy baner dokładnie informuje, który z nich: „{n} z {m} plików zostanie odłożonych na bok” z Pokaż, które pliki i dlaczego listę i „Możesz ją utworzyć mimo wszystko — łącznik będzie ją sprawdzał i raportował przyczynę na karcie Manifest”.

   Te pliki nie są tego typu dziennikiem

   Próbka nie została zanalizowana jako format dziennika tej karty. Sprawdź, czy wybrałeś właściwą kartę lub użyj Niestandardowy folder dziennika kartę i opisz jej format.

   Odmowa lub odłożenie plików nigdy Cię nie zablokuje: kliknij NastępnyZakończ działanie kreatora i napraw niepotrzebne pliki później. Tylko agent offline lub brakujący folder mogą zatrzymać działanie kreatora.

   NA SprawdzaćAgent odczytuje próbkę i pokazuje, co zbuduje. Nic jeszcze nie zostało utworzone. Jeśli próbka nie wygląda jak wybrany typ dziennika, nagłówek brzmi: Te pliki nie są po którym następuje ten typ, a na bursztynowym banerze widnieje napis „Odmowa wąchania schematu” wraz z przyczyną. Otwórz Pokaż, które pliki i dlaczego aby zobaczyć plik i siatkę przyczyn. Zwykle poprawka jest inna Typ dziennikana przykład RFC 5424 zamiast RFC 3164 lub ściślej Uwzględnij wzorce, a następnie Przetestuj ponownieMożesz go utworzyć w każdym przypadku. Łącznik będzie sprawdzał ponownie i raportował przyczynę na swoim Oczywisty patka.

4. Wybierz częstotliwość skanowania, a następnie utwórz skanowanie

   Domyślne ustawienia Ustawienia Odpowiedni dla folderu, który otrzymuje kilka plików dziennie. Cztery rzeczy, które możesz chcieć zmienić:

   Interwał skanowania

   Co godzinę Domyślnie; wybierz od co 5 minut do codziennie. Każde przeszukanie porównuje rozmiar i czas modyfikacji, aby znaleźć nowe, zmienione i usunięte pliki.

   Obserwuj folder pod kątem zmian (w czasie niemal rzeczywistym)

   Domyślnie wyłączone. Włączone, agent reaguje w ciągu kilku sekund na dyskach lokalnych; w przypadku udziałów sieciowych jest to działanie z zachowaniem najwyższej staranności, a zaplanowane skanowanie pozostaje gwarantowane. Okres ciszy (15 sekund) czeka na zakończenie zapisywania pliku.

   Odśwież przed udzieleniem odpowiedzi na zapytanie

   Domyślnie wyłączone. Włączone, zapytanie najpierw ponownie skanuje, gdy ostatnie skanowanie jest starsze niż Okno nieaktualności (60 sekund), czekając maksymalnie Limit oczekiwania na zapytanie (5 sekund). Dotyczy to osób i dodatków, a nie sondowania alertów.

   Kiedy plik znika

   Upuść jego wiersze domyślnie lub Zachowaj rzędy, zaznacz usunięte (nagrobek). Ten Współczynnik ochrony Vanish (0,5) odrzuca skanowanie, które powoduje jednorazową utratę ponad połowy plików i zachowuje poprzedni inwentarz, co jest typowe dla udostępniania offline.

   Następnie wybierz Obszar danych wiersze liczą się względem siebie, sprawdź Recenzja i kliknij Utwórz łącznikPierwsze skanowanie rozpocznie się natychmiast. Złącze Oczywisty Karta pokazuje, co zostało zbudowane i jakie pliki zostało odłożone.

5. Spójrz na swoje tabele

   Otwórz złącze: Oczywisty karta zawiera listę tabel, które zbudowała i Akta W oknie dialogowym wyświetlana jest lista wszystkich plików dziennika wraz z ich stanem. W Kreator zapytań te same stoły siedzą pod zestaw plików Schemat. Trzy zapytania, które działają od pierwszego dnia:

   Nieudane logowania SSH dla każdego hosta w ciągu ostatnich 24 godzin

   WYBIERZ hosta, LICZ(*) JAK próby Z fileset.events GDZIE program = 'sshd' I wiadomość JAK 'Nieudane hasło%' I event_time >= now() - INTERWAŁ 24 GODZINY GRUPUJ WEDŁUG hosta KOLEJNOŚĆ WEDŁUG prób OPIS LIMIT 100

   Filtry włączone program i początek wiadomość, następnie liczy na gospodarz.

   Najbardziej oblegane programy na gospodarza w ciągu ostatniej godziny

   WYBIERZ hosta, program, LICZ(*) JAKO wiersze Z fileset.events GDZIE event_time >= teraz() - INTERWAŁ 1 GODZINA GRUPUJ WEDŁUG hosta, programu KOLEJNOŚĆ WEDŁUG wierszy OPIS LIMIT 100

   Pokazuje, który program wypełnia dziennik na którym komputerze.

   Linie, które nie zostały przeanalizowane z powodu

   WYBIERZ powód, LICZ(*) JAK wiersze, MIN(wiersz) JAK przykład Z fileset.events_raw_lines GRUPUJ WEDŁUG powodu KOLEJNOŚĆ WEDŁUG wierszy OPIS

   Czyta wydarzenia_surowe_linie. Duży brak dopasowania gramatycznego liczyć zwykle oznacza źle Typ dziennika dla niektórych plików.

   Każdy łącznik folderów obsługuje również te same tabele księgowe, wszystkie w zestaw plików schemat:

   Tabela	Co zawiera
   akta	Każdy plik aktualnie w folderze: ścieżka, nazwa, rozszerzenie, rozmiar, czas utworzenia i modyfikacji, data pierwszego i ostatniego wyświetlenia. Widok pliki_bieżące, w którym przechowywane są również pliki, które zniknęły.
   pliki_wydarzenia	Historia zmian: jeden wiersz na plik, który pojawił się, był zmodyfikowany, zniknął, został odłożony (dryf) lub był odrzucony, z czasem w wydarzenie_w, jak to zostało zauważone w wykryte przez i powód w szczegół.
   katalogi, migawki katalogów, kłęby	Liczba i rozmiar folderów, sposób ich rozwoju oraz dyski lub udziały, na których są przechowywane.
   _plik_źródłowy, _id_wiersza	Dwie kolumny w każdym wierszu danych: z którego pliku pochodzi wiersz i identyfikator stabilnego wiersza w tym pliku. Grupuj według _plik_źródłowy aby porównać pliki.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Lornetka składana step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Używaj wszędzie

Łącznik jest źródłem danych takim jak każde inne w strumieniach zapytań. Zapisz zapytanie raz w Kreator zapytań (dialekt to DuckDB) i użyj go z:

Excel

Dodatek Przesyłanie strumieniowe zapytania upuszcza wiersze do arkusza i uruchamia go ponownie po kliknięciu. Uruchamianie SQL w programie Excel.

Arkusze Google

Ten Streamer zapytań dodatek wypełnia wybraną przez Ciebie kartę. Power Query dla Arkuszy Google.

Claude, Cursor i inni klienci AI

Poprzez serwer MCP Query Streams Claude zna model folderów, w tym _plik_źródłowy oraz pliki_wydarzenia. Dzienniki systemowe z Claude'em przez MCP.

Interfejs API REST

Każde zapisane zapytanie staje się punktem końcowym przeznaczonym tylko do odczytu, mającym własny klucz, w każdym planie. Interfejs API REST dzienników systemowych.

Nova

Zapytaj prostym językiem w planie biznesowym; Nova rozpoznaje każdą tabelę i kolumnę folderu dzięki wbudowanym opisom.

Automatyzacje

Synchronizuj wiersze z Airtable, Smartsheet, Baserow, SeaTable lub arkuszem według harmonogramu. Przewodniki po automatyzacji.

Tabele folderów łączą się również z innymi łącznikami: zapytanie federacyjne może pasować _plik_źródłowy nazwy lub identyfikatory zamówień w dziennikach systemowych Linux i Unix w bazie danych na tym samym Agencie.

Jak wyświetlają się nowe, zmienione i usunięte pliki

Pliki, które są odkładane

Na etapie „Sprawdź” i karcie „Manifest” pojawiają się trzy słowa. Oznaczają one różne rzeczy:

Odłożyć (zaparkować)

Plik nie pasuje do przypiętego układu, jest nieczytelny, podarty, zablokowany lub zasłania nakładkę. Obowiązuje zasada „wszystko albo nic” dla każdego pliku: zaparkowany plik nie dodaje żadnych wierszy. pliki_wydarzenia rejestruje dryf rząd, którego szczegół nadaje nazwę plikowi i kolumnie. Plik jest pomijany, dopóki jego rozmiar i czas modyfikacji pozostają takie same, a próba jego pobrania jest podejmowana ponownie, gdy tylko nastąpi zmiana.

Nieczytelny

Agent nie mógł otworzyć ani przeanalizować pliku pod kątem jego typu: nie był to prawdziwy skoroszyt, zablokowany przez inny program, symbol zastępczy w chmurze, niemożliwy do zdekodowania bajt. Plik parkuje się sam, a reszta folderu kontynuuje działanie. Tylko folder z zerową liczbą plików do odczytu odrzuca cały zestaw.

Odrzucony

Agent nie mógł przypiąć żadnego układu, na przykład dlatego, że pliki nie zgadzają się co do typu kolumny. Żadna tabela danych jeszcze nie istnieje. pliki_wydarzenia dostaje odrzucony kłótnia z powodem szczegół, a Agent ponawia próby przy każdym skanowaniu, aż do momentu przypięcia układu. Napraw lub wyklucz plik, którego nazwę wskazuje, a komunikat zniknie.

Gdzie szukać: bursztynowy baner na Sprawdzać (Pokaż, które pliki i dlaczego), złącze Oczywisty następnie zakładkę, a w przypadku łączników dziennika Akta okno dialogowe, w którym wyświetlana jest lista zaparkowanych plików wraz z podaniem przyczyny ostatni_błąd. W SQL: WYBIERZ ścieżkę_względną, typ_zdarzenia, szczegół Z fileset.files_events GDZIE typ_zdarzenia W ('drift','refused') ZAMÓW WEDŁUG event_at DESC.

Granice, które warto znać

Plan nie nakłada limitu na foldery ani liczbę plików. Wiersze są wliczane do domeny danych, tak jak w przypadku każdego innego łącznika. Wartości domyślne łącznika można podwyższyć lub obniżyć:

Limity zawartości, które parkują plik zamiast go skracać: 2 000 000 wierszy lub 512 MiB na plik, 10 000 000 wierszy lub 2 GiB na skanowanie. Folder może pomieścić maksymalnie 25 różnych układów. Jeden stół na układ tryb.

Pytania, które zadają ludzie

• System plików
• Folder CSV
• Folder parkietowy
• Folder Excela
• Folder SQLite
• Folder JSONL
• Wielorekordowy plik CSV
• Dzienniki maszynowe
• Dzienniki serwera WWW
• Dzienniki kontenerowe
• Dzienniki aplikacji
• Niestandardowe dzienniki