Interrogare i log dei container Docker con SQL

Connettore di cartella · Log del contenitore

Trasforma i log del tuo container Docker in tabelle SQL puoi fare domande ovunque

Punta l'agente Query Streams alla cartella. Legge i file di log sul proprio computer, crea le tabelle in una cache locale e le mantiene aggiornate man mano che i file arrivano, vengono modificati o eliminati. Puoi interrogarli da Excel, Fogli Google, Nova, Claude o tramite l'API REST. Non viene caricato nulla e nessun file viene convertito o modificato.

Circa 15 minuti Non è necessaria alcuna programmazione. I file rimangono sulla tua rete Il piano gratuito lo copre

Quello che otterrai alla fine

Alla fine ti ritrovi con una tabella chiamata eventi nel set di file schema, contenente una riga per riga dai log di Docker. Con il profilo Docker json-file le colonne sono app (il nome del contenitore), flusso, livello, registratore, messaggio, ospite, servizio e dati, più immagine, compose_project, servizio_di_composizione, container_id e tempo_eventoÈ possibile interrogarlo tramite SQL da Excel, Fogli Google, una dashboard o qualsiasi strumento che interagisca con Query Streams. I file di log non lasciano mai il computer su cui è in esecuzione l'agente. Non si tratta del Toolkit MCP di Docker e non esegue né gestisce container; si limita a leggerne i log.

Linee atterrano in eventi, o il Nome della tabella tu imposti. Ogni riga porta _stream_id (uno per file di registro, conservato tra le rotazioni), _line_no, tempo_evento, event_time_raw, la colonna identità app, le colonne del profilo, _source_file e _row_id. Ordina sempre per tempo_evento.

Ogni connettore di cartella ti dà anche file, file_eventi, elenchi, istantanee della directory e volumi.

Dove si guadagna da vivere:

• Conta gli errori per container in una dashboard senza una piattaforma di log o un agente all'interno di ciascun container.
• Importa le righe di registro di un servizio in Excel o Fogli Google per redigere un rapporto sull'incidente.
• Confronta il volume di stderr tra i servizi di Compose dopo un'implementazione.

Cosa ti servirà

Un account Query Streams

I connettori per le cartelle sono disponibili in tutti i piani, incluso quello gratuito. Il piano gratuito è un piano a lungo termine, non una prova che scade. Non c'è limite al numero di file che una cartella può contenere.

L'agente, versione 2.6.0 o successiva

Installato su un computer in grado di aprire la cartella: il file server stesso, un computer dell'ufficio o la macchina su cui finiscono i file. Un agente più vecchio mostra le schede delle cartelle in grigio con un Agente 2.6.0+ Distintivo. Windows, Mac o Linux.

Il percorso della cartella, così come lo vede l'agente.

Un percorso locale o una condivisione di rete scritta come \\server\condiviso\cartella. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt o /media, a Mac under /Volumes).

Configuralo in cinque passaggi

1. Installa l'agente su un computer in grado di aprire la cartella

   Accedi, apri ScaricamentoInstalla l'agente per il tuo sistema sul computer in grado di aprire i log del tuo container Docker: il file server o qualsiasi computer sempre acceso che possa accedere alla condivisione. L'installazione richiede un minuto e da quel momento in poi si avvierà automaticamente. È necessaria la versione 2.6.0 o successiva; la pagina di download contiene sempre la versione più recente.

   Perché un piccolo programma invece di un driver? L'Agent richiede un'unica installazione per Windows, Mac o Linux (circa 85 MB su Windows, poco più di 100 MB su Mac e Linux). Apre una connessione crittografata in uscita verso Query Streams e questo è l'unico percorso di rete necessario: non è necessario aprire alcuna porta in entrata né utilizzare una VPN. Legge i file nella cartella in cui si trova, quindi i file rimangono al loro posto e solo le righe restituite da una query vengono inviate tramite Internet al componente aggiuntivo, al browser o al client AI installato.

   La pagina di download mostra La tua chiave di accesso. Incollalo nell'Agente quando richiesto e attendi che il badge venga letto Connesso ai flussi di queryQuesta è l'unica operazione che devi eseguire sul computer dell'agente; tutto il resto avviene nel tuo browser.

   Se volete, potete trovare le guide complete: Finestre, Mac, Linux.

2. Puntalo ai log del tuo container Docker

   Torna al tuo browser aperto Dati → Agenti dati, trova l'agente che hai appena installato e fai clic sul suo Aggiungi connettore pulsante. Apri il File e cartelle pillola e scegli la Registri dei container carta. Non sai quale carta è adatta? Scegli File in una cartella Invece: l'agente analizza la cartella, elenca il contenuto in una pagina "Cosa abbiamo trovato" e apre la scheda corretta, già precompilata.

   Il mago corre Cartelle → Verifica → Impostazioni → Realm → Rivedi. SU Cartelle:

   Cartelle radice

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Scansiona le sottocartelle, profondità massima

   Attivato, e 8 livelli, di default.

   Includi modelli, escludi modelli

   Quali file contano. Il modello di inclusione inizia con il glob corretto per questa scheda. Un connettore legge un tipo di file: una cartella con CSV e I file Parquet contengono due connettori nella stessa cartella, uno per tipo.

   Segui i collegamenti simbolici e le giunzioni

   Disattivato per impostazione predefinita. L'agente non segue i collegamenti rapidi o i segnaposto cloud a meno che non si attivi questa opzione.

   Sull'agente che può aprire la cartella dei log di Docker, fai clic Aggiungi connettore, aprire File e cartelle e scegliere il Registri dei container scheda. Una volta salvata, viene visualizzata nell'elenco dei connettori come File di registro.

   • Descrizione — un nome per il connettore.
   • Cartelle radice — le cartelle sul computer dell'agente, una per riga. Su Linux, monta le condivisioni in /mnt o /media.
   • Includi modelli — iniziare come **/*-json.log, **/*.tronco d'albero e **/*.tronco d'albero.*.
   • Tipo di registro — scegli il profilo per i tuoi file. L'elenco è integrato; solo Cartella di registro personalizzata consente di definire un formato.
   • Nome della tabella — facoltativo, predefinito a eventi.
   • Sostituzione (giorni) — 30. Mantieni gli eventi per N giorni — 30.

3. Controlla cosa costruirà

   SU Controllo L'agente legge un campione di massimo 64 file e mostra cosa creerà. Non è ancora stato creato nulla. Il pulsante dice Verifica la connessione fino a quando non ci sarà un verdetto, allora Avanti; Prova di nuovo Il programma riesegue il campione dopo ogni modifica. Verrà visualizzato uno dei quattro titoli seguenti:

   Pronto a creare

   Ogni file campionato rientra nel campione. I chip sottostanti indicano quante cartelle sono accessibili, quanti file e righe sono presenti e quali tabelle saranno presenti.

   Pronto, con appunti

   Alcuni file verranno messi da parte oppure il controllo del layout verrà rifiutato. Un banner ambra indica esattamente quali: "{n} di {m} file(s) verranno messi da parte" con un Mostra quali file e perché elenco e "Puoi comunque crearlo: il connettore continuerà a ricontrollare e a segnalare il motivo nella sua scheda Manifesto."

   Questi file non sono di questo tipo di registro

   Il campione non è stato analizzato come il formato del registro di questa scheda. Verifica di aver selezionato la scheda corretta oppure utilizza il Cartella di registro personalizzata scheda e descrivi il formato.

   Un rifiuto o un file accantonato non ti bloccano mai: clicca AvantiCompleta la procedura guidata e correggi i file anomali in seguito. Solo un agente offline o una cartella mancante interrompono la procedura guidata.

   Se il campione non corrisponde al tipo di registro selezionato, Controllo Il titolo recita "Questi file non sono" seguito dal tipo. Apri Rapporto completo dell'agente per vedere il motivo, scegli un altro Tipo di registro e clicca Prova di nuovo. Un rifiuto o i file accantonati non ti fermano: puoi ancora cliccare Avanti e crea il connettore. Continua a ricontrollare e segnala il motivo sul suo Manifesto tab.

4. Scegli la frequenza di scansione, quindi creala

   Le impostazioni predefinite su Impostazioni Adatto a una cartella che riceve pochi file al giorno. Quattro che potresti voler modificare:

   Intervallo di scansione

   Ogni ora Per impostazione predefinita, è possibile scegliere tra ogni 5 minuti e ogni giorno. Ogni scansione confronta le dimensioni e l'ora di modifica per trovare file nuovi, modificati o eliminati.

   Monitora la cartella per eventuali modifiche (quasi in tempo reale)

   Disattivato per impostazione predefinita. Attivato, l'agente reagisce in pochi secondi sui dischi locali; sulle condivisioni di rete, il funzionamento è "best-effort" e la scansione pianificata rimane la garanzia. Periodo di quiete (15 secondi) attende che la scrittura di un file sia completata.

   Aggiorna la pagina prima di rispondere a una domanda

   Disattivato per impostazione predefinita. In caso di attivazione, una query esegue nuovamente la scansione quando l'ultima scansione è precedente alla Finestra di invecchiamento (60 secondi), aspettando al massimo il limite di attesa della query (5 secondi). Si applica a persone e componenti aggiuntivi, non al polling degli avvisi.

   Quando un file scompare

   Abbassa le sue righe di default, oppure Mantieni le righe, contrassegna gli elementi eliminati (lapide). IL Rapporto di guardia scomparso (0.5) rifiuta una scansione che perde più della metà dei file in una volta e mantiene l'inventario precedente, che è ciò che appare in una condivisione offline.

   Quindi scegli il Regno dei dati le righe contano contro, controlla Revisione e clicca Crea connettore. La prima scansione inizia subito. Il connettore Manifesto La scheda mostra cosa è stato compilato e tutti i file che sono stati messi da parte.

5. Guarda le tue tabelle

   Apri il connettore: il Manifesto la scheda elenca le tabelle create e File La finestra di dialogo elenca ogni file di registro con il relativo stato. Nella Generatore di query gli stessi tavoli si trovano sotto il set di file schema. Tre query che funzionano fin dal primo giorno:

   righe stderr per container nell'ultima ora

   SELECT app, COUNT(*) AS stderr_lines, MAX(event_time) AS last_line FROM fileset.events WHERE stream = 'stderr' AND event_time >= now() - INTERVAL 1 HOUR GROUP BY app ORDER BY stderr_lines DESC LIMIT 100

   Quali container stanno scrivendo su stderr in questo momento e con quale frequenza? Il container che ha fallito per primo di solito presenta il picco di traffico iniziale.

   Ultimi messaggi di errore per contenitore e immagine

   SELECT event_time, app, image, level, message FROM fileset.events WHERE stream = 'stderr' OR message LIKE '%ERROR%' ORDER BY event_time DESC LIMIT 100

   Le righe stderr più recenti con il nome del container e l'immagine, quindi un rollout dell'immagine errato viene visualizzato su tutti i container che la eseguono.

   Quali file di registro sono stati ruotati o messi da parte oggi?

   SELECT relative_path, event_type, detail, event_at FROM fileset.files_events WHERE event_type IN ('rotated', 'truncated', 'drift', 'refused') AND event_at >= now() - INTERVAL 1 DAY ORDER BY event_at DESC LIMIT 100

   Cronologia a livello di file per la giornata: quali log dei container sono stati ruotati e se qualche file è stato messo da parte, con la motivazione dettagliata.

   Ogni connettore di cartella serve anche le stesse tabelle di contabilità, tutte nella set di file schema:

   Tavolo	Cosa contiene
   file	Ogni file attualmente presente nella cartella: percorso, nome, estensione, dimensione, data di creazione e di modifica, prima e ultima visualizzazione. Una panoramica file_correntiche conserva anche i file scomparsi.
   file_eventi	La cronologia delle modifiche: una riga per file che apparso, era modificato, scomparso, è stato messo da parte (deriva) o era rifiutato, con il tempo in evento_al, come è stato notato in rilevato_da e il motivo in dettaglio.
   elenchi, istantanee della directory, volumi	Numero e dimensioni delle cartelle, come sono cresciute e i dischi o le condivisioni su cui risiedono le directory principali.
   _source_file, _row_id	Due colonne su ogni riga di dati: il file da cui proviene la riga e un ID di riga stabile all'interno di quel file. Raggruppa per _source_file per confrontare i file.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Cartelle step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Usalo ovunque

Il connettore è un'origine dati come qualsiasi altra in Query Streams. Salva una query una volta nel Generatore di query (il dialetto è DuckDB) e utilizzalo da:

Excel

Il componente aggiuntivo Trasmetti una query trascina le righe in un foglio e le riesegue con un clic. Esecuzione di query SQL in Excel.

Fogli di Google

IL Streamer di query Il componente aggiuntivo riempie la scheda che selezioni. Power Query per Google Sheets.

Claude, Cursor e altri client di intelligenza artificiale

Tramite il server Query Streams MCP; Claude conosce il modello di cartella, incluso _source_file e file_eventi. Log dei container con Claude tramite MCP.

API REST

Ogni query salvata diventa un endpoint di sola lettura con una propria chiave, indipendentemente dal piano. API REST dei log dei container.

Nova

Chiedi in modo chiaro e semplice riguardo al piano Business; Nova conosce ogni cartella, tabella e colonna grazie alle sue descrizioni predefinite.

Automazioni

Sincronizza le righe con Airtable, Smartsheet, Baserow, SeaTable o un foglio di calcolo in base a una pianificazione. Guide all'automazione.

Le tabelle delle cartelle si uniscono anche agli altri connettori: una query federata può corrispondere _source_file nomi o ID ordine nei log del tuo container Docker rispetto a un database sullo stesso agente.

Come vengono visualizzati i file nuovi, modificati ed eliminati

File che vengono messi da parte

Nella fase di verifica e nella scheda Manifest compaiono tre parole che hanno significati diversi:

Riservato (parcheggiato)

Il file non corrisponde al layout bloccato, oppure è illeggibile, strappato, bloccato o coperto da un cappuccio. Per ogni file, la regola è "tutto o niente": un file parcheggiato non contribuisce con nessuna riga. file_eventi registra un deriva fila la cui dettaglio Il programma specifica il nome del file e della colonna. Il file viene ignorato finché le sue dimensioni e la data di modifica rimangono invariate, e viene riprovato non appena si verificano delle modifiche.

Illeggibile

L'agente non è riuscito ad aprire o analizzare il file a causa del suo tipo: non è una vera cartella di lavoro, è bloccato da un altro programma, è un segnaposto cloud, contiene byte non decodificabili. Il file viene archiviato automaticamente e il resto della cartella continua. Solo una cartella con zero file leggibili rifiuta l'intero set.

Rifiutato

L'agente non è riuscito a fissare alcun layout, ad esempio perché i file non concordano sul tipo di colonna. Non esiste ancora alcuna tabella dati. file_eventi ottiene un rifiutato riga con il motivo in dettaglioe l'agente riprova a ogni scansione finché non viene trovato un layout. Correggi o escludi il file indicato e il messaggio scomparirà.

Dove guardare: lo striscione ambra su Controllo (Mostra quali file e perché), del connettore Manifesto scheda successiva e per i connettori di registro File finestra di dialogo, che elenca i file parcheggiati con il motivo in ultimo_erroreIn SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Limiti che vale la pena conoscere

Non ci sono limiti di piano per quanto riguarda le cartelle o il numero di file. Le righe vengono conteggiate nel tuo Data Realm come qualsiasi altro connettore. È possibile aumentare o diminuire i valori predefiniti del connettore:

Limiti di contenuto, che parcheggiano un file anziché troncarlo: 2.000.000 di righe o 512 MiB per file, 10.000.000 di righe o 2 GiB per scansione. Una cartella può contenere al massimo 25 layout distinti in Un tavolo per ogni disposizione modalità.

Domande che le persone si pongono

• Sistema di file
• Cartella CSV
• Cartella Parquet
• Cartella Excel
• Cartella SQLite
• Cartella JSONL
• File CSV multi-record
• Registri delle macchine
• Registri del server web
• Registri delle applicazioni
• Registri di sistema
• Registri personalizzati