Zapytanie o dzienniki kontenerów Docker za pomocą SQL

Łącznik folderów · Logi kontenerów

Zmień dzienniki kontenerów Docker w Tabele SQL możesz zapytać gdziekolwiek

Skieruj agenta strumieni zapytań na folder. Odczytuje on pliki dziennika na swoim komputerze, tworzy tabele w lokalnej pamięci podręcznej i aktualizuje je w miarę pojawiania się, zmiany lub znikania plików. Możesz przeszukiwać je z poziomu Excela, Arkuszy Google, Nova, Claude lub interfejsu API REST. Nic nie jest przesyłane, a żaden plik nie jest konwertowany ani edytowany.

Około 15 minut Nie potrzeba kodowania Pliki pozostają w Twojej sieci Bezpłatny plan obejmuje to

Co z tego wyjdzie?

W rezultacie otrzymasz tabelę o nazwie wydarzenia w zestaw plików schemat, zawierający jeden wiersz w każdej linii z logów Dockera. Dzięki profilowi pliku json Dockera kolumny są aplikacja (nazwa kontenera), strumień, poziom, drwal, wiadomość, gospodarz, praca oraz dane, plus obraz, compose_project, usługa_kompozycji, identyfikator_kontenera oraz czas_wydarzeniaMożna go przeszukiwać za pomocą SQL z poziomu Excela, Arkuszy Google, pulpitu nawigacyjnego lub dowolnego narzędzia komunikującego się ze strumieniami zapytań. Pliki dziennika nigdy nie opuszczają komputera, na którym działa agent. To nie jest zestaw narzędzi MCP firmy Docker i nie uruchamia ani nie zarządza kontenerami; jedynie odczytuje ich logi.

Linie lądują w wydarzenialub Nazwa tabeli ustawiasz. Każdy rząd niesie _id_strumienia (jeden na plik dziennika, przechowywany pomiędzy rotacjami), _nr_linii, czas_wydarzenia, event_time_raw, kolumna tożsamości aplikacja, kolumny profilu, _plik_źródłowy oraz _id_wiersza. Zawsze sortuj według czas_wydarzenia.

Każdy łącznik folderów zapewnia również akta, pliki_wydarzenia, katalogi, migawki katalogów oraz kłęby.

Gdzie zarabia na swoje utrzymanie:

• Zliczaj błędy dla każdego kontenera na pulpicie nawigacyjnym bez platformy rejestrującej ani agenta wewnątrz każdego kontenera.
• Przeciągnij wiersze dziennika jednej usługi do programu Excel lub Arkuszy Google, aby sporządzić notatkę o zdarzeniu.
• Porównaj wolumin stderr w różnych usługach Compose po wdrożeniu.

Czego będziesz potrzebować

Konto Query Streams

Łączniki folderów są dostępne w każdym planie, również w wersji darmowej. Wersja darmowa to plan, który można zachować, a nie okres próbny, który wygasa. Nie ma limitu liczby plików, które może zawierać folder.

Agent 2.6.0 lub nowszy

Zainstalowany na komputerze, który może otworzyć folder: na samym serwerze plików, komputerze biurowym lub komputerze, na którym znajdują się pliki. Starszy Agent wyświetla karty folderów jako wyszarzone z ikoną Agent 2.6.0+ odznaka. Windows, Mac lub Linux.

Ścieżka folderu, tak jak widzi ją Agent

Ścieżka lokalna lub udział sieciowy zapisany jako \\serwer\udział\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt lub /głoska bezdźwięczna, a Mac under /Volumes).

Skonfiguruj w pięciu krokach

1. Zainstaluj agenta na komputerze, który może otworzyć folder

   Zaloguj się, otwórz Pobieraći zainstaluj agenta dla swojego systemu na komputerze, który może otwierać logi kontenera Docker: na serwerze plików lub na dowolnym komputerze stale aktywnym, który ma dostęp do udziału. Zajmie to minutę i od tego momentu uruchomi się automatycznie. Wymagana jest wersja 2.6.0 lub nowsza; strona pobierania zawsze zawiera aktualną wersję.

   Dlaczego mały program, a nie sterownik? Agent wymaga jednej instalacji dla systemów Windows, Mac lub Linux (około 85 MB w systemie Windows, nieco ponad 100 MB w systemach Mac i Linux). Otwiera jedno szyfrowane połączenie wychodzące do strumieni zapytań i jest to jedyna ścieżka sieciowa, której potrzebuje: nie otwiera portu przychodzącego ani nie używa VPN. Odczytuje folder, w którym się znajduje, dzięki czemu pliki pozostają na swoim miejscu, a przez internet do dodatku, przeglądarki lub klienta AI po Twojej stronie przesyłane są tylko wiersze zwrócone przez zapytanie.

   Strona pobierania pokazuje Twój klucz dostępuWklej to do agenta, gdy o to poprosi i poczekaj, aż odznaka zostanie odczytana Połączono ze strumieniami zapytańTo jest jedyna czynność, którą wykonujesz na komputerze Agenta; cała reszta odbywa się w Twojej przeglądarce.

   Pełne opisy przejść, jeśli ich potrzebujesz: Okna, Prochowiec, Linux.

2. Skieruj go do dzienników kontenera Docker

   Wróć do swojej przeglądarki i otwórz Dane → Agenci danych, znajdź agenta, którego właśnie zainstalowałeś i kliknij jego Dodaj złącze przycisk. Otwórz Pliki i foldery pigułkę i wybierz Dzienniki kontenerowe Karta. Nie wiesz, która karta pasuje? Wybierz Pliki w folderze Zamiast tego: Agent pobiera próbkę folderu, podaje nazwę jego zawartości na stronie „Co znaleźliśmy” i otwiera dla Ciebie odpowiednią, wstępnie wypełnioną kartę.

   Czarodziej biegnie Foldery → Sprawdź → Ustawienia → Królestwo → Przejrzyj. NA Lornetka składana:

   Foldery główne

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Skanuj podfoldery, maksymalna głębokość

   Włączone i 8 poziomów domyślnie.

   Uwzględnij wzorce, Wyklucz wzorce

   Które pliki się liczą. Wzorzec dołączania zaczyna się od właściwego globu dla tej karty. Jeden konektor odczytuje jeden typ pliku: folder z plikiem CSV. oraz Pliki Parquet to dwa łączniki w tym samym folderze, po jednym dla każdego typu.

   Podążaj za dowiązaniami symbolicznymi i połączeniami

   Domyślnie wyłączone. Agent nie będzie śledził skrótów ani symboli zastępczych w chmurze, jeśli tej opcji nie włączysz.

   W agencie, który może otworzyć folder dziennika Docker, kliknij Dodaj złącze, otwarty Pliki i foldery i wybierz Dzienniki kontenerowe Karta. Po zapisaniu wyświetla się na liście łączników jako Pliki dziennika.

   • Opis — nazwa łącznika.
   • Foldery główne — foldery na komputerze Agenta, po jednym w każdym wierszu. W systemie Linux należy zamontować udziały w katalogu /mnt lub /media.
   • Uwzględnij wzorce — zacznij jako **/*-json.log, **/*.dziennik oraz **/*.dziennik.*.
   • Typ dziennika — wybierz profil dla swoich plików. Lista jest wbudowana; tylko Niestandardowy folder dziennika pozwala zdefiniować format.
   • Nazwa tabeli — opcjonalnie, domyślnie wydarzenia.
   • Zasypywanie (dni) — 30. Zachowaj zdarzenia przez N dni — 30.

3. Sprawdź co zbuduje

   NA Sprawdzać Agent odczytuje próbkę do 64 plików i pokazuje, co zbuduje. Nic jeszcze nie zostało utworzone. Przycisk wyświetla Połączenie testowe dopóki nie zostanie wydany wyrok, Następny; Przetestuj ponownie Ponownie uruchamia próbkę po wprowadzeniu zmian. Zobaczysz jeden z czterech nagłówków:

   Gotowy do stworzenia

   Każdy z wybranych plików pasuje. Chipy pod nim wskazują, ile folderów było dostępnych, ile plików i wierszy oraz które tabele będą istnieć.

   Gotowe, z notatkami

   Niektóre pliki zostaną odłożone na bok lub odrzucona zostanie próba odczytania układu. Bursztynowy baner dokładnie informuje, który z nich: „{n} z {m} plików zostanie odłożonych na bok” z Pokaż, które pliki i dlaczego listę i „Możesz ją utworzyć mimo wszystko — łącznik będzie ją sprawdzał i raportował przyczynę na karcie Manifest”.

   Te pliki nie są tego typu dziennikiem

   Próbka nie została zanalizowana jako format dziennika tej karty. Sprawdź, czy wybrałeś właściwą kartę lub użyj Niestandardowy folder dziennika kartę i opisz jej format.

   Odmowa lub odłożenie plików nigdy Cię nie zablokuje: kliknij NastępnyZakończ działanie kreatora i napraw niepotrzebne pliki później. Tylko agent offline lub brakujący folder mogą zatrzymać działanie kreatora.

   Jeżeli próbka nie pasuje do wybranego typu dziennika, Sprawdzać nagłówek brzmi „Te pliki nie są”, po którym następuje typ. Otwórz Pełny raport agenta aby zobaczyć przyczynę, wybierz inną Typ dziennika i kliknij Przetestuj ponownie. Odmowa lub odłożenie plików nie stanowi dla Ciebie przeszkody: nadal możesz kliknąć Następny i tworzy łącznik. Ciągle sprawdza i raportuje przyczynę na swoim Oczywisty patka.

4. Wybierz częstotliwość skanowania, a następnie utwórz skanowanie

   Domyślne ustawienia Ustawienia Odpowiedni dla folderu, który otrzymuje kilka plików dziennie. Cztery rzeczy, które możesz chcieć zmienić:

   Interwał skanowania

   Co godzinę Domyślnie; wybierz od co 5 minut do codziennie. Każde przeszukanie porównuje rozmiar i czas modyfikacji, aby znaleźć nowe, zmienione i usunięte pliki.

   Obserwuj folder pod kątem zmian (w czasie niemal rzeczywistym)

   Domyślnie wyłączone. Włączone, agent reaguje w ciągu kilku sekund na dyskach lokalnych; w przypadku udziałów sieciowych jest to działanie z zachowaniem najwyższej staranności, a zaplanowane skanowanie pozostaje gwarantowane. Okres ciszy (15 sekund) czeka na zakończenie zapisywania pliku.

   Odśwież przed udzieleniem odpowiedzi na zapytanie

   Domyślnie wyłączone. Włączone, zapytanie najpierw ponownie skanuje, gdy ostatnie skanowanie jest starsze niż Okno nieaktualności (60 sekund), czekając maksymalnie Limit oczekiwania na zapytanie (5 sekund). Dotyczy to osób i dodatków, a nie sondowania alertów.

   Kiedy plik znika

   Upuść jego wiersze domyślnie lub Zachowaj rzędy, zaznacz usunięte (nagrobek). Ten Współczynnik ochrony Vanish (0,5) odrzuca skanowanie, które powoduje jednorazową utratę ponad połowy plików i zachowuje poprzedni inwentarz, co jest typowe dla udostępniania offline.

   Następnie wybierz Obszar danych wiersze liczą się względem siebie, sprawdź Recenzja i kliknij Utwórz łącznikPierwsze skanowanie rozpocznie się natychmiast. Złącze Oczywisty Karta pokazuje, co zostało zbudowane i jakie pliki zostało odłożone.

5. Spójrz na swoje tabele

   Otwórz złącze: Oczywisty karta zawiera listę tabel, które zbudowała i Akta W oknie dialogowym wyświetlana jest lista wszystkich plików dziennika wraz z ich stanem. W Kreator zapytań te same stoły siedzą pod zestaw plików Schemat. Trzy zapytania, które działają od pierwszego dnia:

   wierszy stderr na kontener w ciągu ostatniej godziny

   WYBIERZ aplikację, LICZ(*) JAK stderr_lines, MAX(event_time) JAK ostatni_line Z fileset.events GDZIE strumień = 'stderr' I event_time >= now() - INTERWAŁ 1 GODZINA GRUPUJ WEDŁUG aplikacji KOLEJNOŚĆ WEDŁUG stderr_lines OPIS LIMIT 100

   Które kontenery zapisują teraz do stderr i ile? Kontener, który jako pierwszy uległ awarii, zazwyczaj ma najwcześniejszy burst.

   Najnowsze komunikaty o błędach według kontenera i obrazu

   WYBIERZ event_time, app, image, level, message Z fileset.events GDZIE stream = 'stderr' LUB message JAK '%ERROR%' ZAMÓW WEDŁUG event_time OPIS LIMIT 100

   Najnowsze wiersze stderr zawierają nazwę kontenera i obraz, przez co nieprawidłowe wdrożenie obrazu pojawia się w każdym kontenerze, w którym jest uruchamiany.

   Które pliki dziennika zostały dzisiaj obrócone lub odłożone

   WYBIERZ ścieżkę_względną, typ_zdarzenia, szczegóły, zdarzenie_at Z fileset.files_events GDZIE typ_zdarzenia W ('obrócony', 'obcięty', 'dryft', 'odrzucony') I zdarzenie_at >= teraz() - INTERWAŁ 1 DZIEŃ KOLEJNOŚĆ WEDŁUG zdarzenie_at MNIEJSZY LIMIT 100

   Historia plików na dany dzień: które kontenery zostały poddane rotacji i czy jakiś plik został zarezerwowany, wraz ze szczegółowym uzasadnieniem.

   Każdy łącznik folderów obsługuje również te same tabele księgowe, wszystkie w zestaw plików schemat:

   Tabela	Co zawiera
   akta	Każdy plik aktualnie w folderze: ścieżka, nazwa, rozszerzenie, rozmiar, czas utworzenia i modyfikacji, data pierwszego i ostatniego wyświetlenia. Widok pliki_bieżące, w którym przechowywane są również pliki, które zniknęły.
   pliki_wydarzenia	Historia zmian: jeden wiersz na plik, który pojawił się, był zmodyfikowany, zniknął, został odłożony (dryf) lub był odrzucony, z czasem w wydarzenie_w, jak to zostało zauważone w wykryte przez i powód w szczegół.
   katalogi, migawki katalogów, kłęby	Liczba i rozmiar folderów, sposób ich rozwoju oraz dyski lub udziały, na których są przechowywane.
   _plik_źródłowy, _id_wiersza	Dwie kolumny w każdym wierszu danych: z którego pliku pochodzi wiersz i identyfikator stabilnego wiersza w tym pliku. Grupuj według _plik_źródłowy aby porównać pliki.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Lornetka składana step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Używaj wszędzie

Łącznik jest źródłem danych takim jak każde inne w strumieniach zapytań. Zapisz zapytanie raz w Kreator zapytań (dialekt to DuckDB) i użyj go z:

Excel

Dodatek Przesyłanie strumieniowe zapytania upuszcza wiersze do arkusza i uruchamia go ponownie po kliknięciu. Uruchamianie SQL w programie Excel.

Arkusze Google

Ten Streamer zapytań dodatek wypełnia wybraną przez Ciebie kartę. Power Query dla Arkuszy Google.

Claude, Cursor i inni klienci AI

Poprzez serwer MCP Query Streams Claude zna model folderów, w tym _plik_źródłowy oraz pliki_wydarzenia. Logi kontenerowe z Claude'em za pośrednictwem MCP.

Interfejs API REST

Każde zapisane zapytanie staje się punktem końcowym przeznaczonym tylko do odczytu, mającym własny klucz, w każdym planie. Kontener Logs REST API.

Nova

Zapytaj prostym językiem w planie biznesowym; Nova rozpoznaje każdą tabelę i kolumnę folderu dzięki wbudowanym opisom.

Automatyzacje

Synchronizuj wiersze z Airtable, Smartsheet, Baserow, SeaTable lub arkuszem według harmonogramu. Przewodniki po automatyzacji.

Tabele folderów łączą się również z innymi łącznikami: zapytanie federacyjne może pasować _plik_źródłowy nazwy lub identyfikatory zamówień w dziennikach kontenera Docker w bazie danych na tym samym agencie.

Jak wyświetlają się nowe, zmienione i usunięte pliki

Pliki, które są odkładane

Na etapie „Sprawdź” i karcie „Manifest” pojawiają się trzy słowa. Oznaczają one różne rzeczy:

Odłożyć (zaparkować)

Plik nie pasuje do przypiętego układu, jest nieczytelny, podarty, zablokowany lub zasłania nakładkę. Obowiązuje zasada „wszystko albo nic” dla każdego pliku: zaparkowany plik nie dodaje żadnych wierszy. pliki_wydarzenia rejestruje dryf rząd, którego szczegół nadaje nazwę plikowi i kolumnie. Plik jest pomijany, dopóki jego rozmiar i czas modyfikacji pozostają takie same, a próba jego pobrania jest podejmowana ponownie, gdy tylko nastąpi zmiana.

Nieczytelny

Agent nie mógł otworzyć ani przeanalizować pliku pod kątem jego typu: nie był to prawdziwy skoroszyt, zablokowany przez inny program, symbol zastępczy w chmurze, niemożliwy do zdekodowania bajt. Plik parkuje się sam, a reszta folderu kontynuuje działanie. Tylko folder z zerową liczbą plików do odczytu odrzuca cały zestaw.

Odrzucony

Agent nie mógł przypiąć żadnego układu, na przykład dlatego, że pliki nie zgadzają się co do typu kolumny. Żadna tabela danych jeszcze nie istnieje. pliki_wydarzenia dostaje odrzucony kłótnia z powodem szczegół, a Agent ponawia próby przy każdym skanowaniu, aż do momentu przypięcia układu. Napraw lub wyklucz plik, którego nazwę wskazuje, a komunikat zniknie.

Gdzie szukać: bursztynowy baner na Sprawdzać (Pokaż, które pliki i dlaczego), złącze Oczywisty następnie zakładkę, a w przypadku łączników dziennika Akta okno dialogowe, w którym wyświetlana jest lista zaparkowanych plików wraz z podaniem przyczyny ostatni_błąd. W SQL: WYBIERZ ścieżkę_względną, typ_zdarzenia, szczegół Z fileset.files_events GDZIE typ_zdarzenia W ('drift','refused') ZAMÓW WEDŁUG event_at DESC.

Granice, które warto znać

Plan nie nakłada limitu na foldery ani liczbę plików. Wiersze są wliczane do domeny danych, tak jak w przypadku każdego innego łącznika. Wartości domyślne łącznika można podwyższyć lub obniżyć:

Limity zawartości, które parkują plik zamiast go skracać: 2 000 000 wierszy lub 512 MiB na plik, 10 000 000 wierszy lub 2 GiB na skanowanie. Folder może pomieścić maksymalnie 25 różnych układów. Jeden stół na układ tryb.

Pytania, które zadają ludzie

• System plików
• Folder CSV
• Folder parkietowy
• Folder Excela
• Folder SQLite
• Folder JSONL
• Wielorekordowy plik CSV
• Dzienniki maszynowe
• Dzienniki serwera WWW
• Dzienniki aplikacji
• Dzienniki systemowe
• Niestandardowe dzienniki