Interrogare i file Syslog di Linux con SQL

Connettore di cartella · Registri di sistema

Trasforma i log di sistema Linux e Unix in tabelle SQL puoi fare domande ovunque

Punta l'agente Query Streams alla cartella. Legge i file di log sul proprio computer, crea le tabelle in una cache locale e le mantiene aggiornate man mano che i file arrivano, vengono modificati o eliminati. Puoi interrogarli da Excel, Fogli Google, Nova, Claude o tramite l'API REST. Non viene caricato nulla e nessun file viene convertito o modificato.

Circa 15 minuti Non è necessaria alcuna programmazione. I file rimangono sulla tua rete Il piano gratuito lo copre

Quello che otterrai alla fine

System Logs legge i file syslog di Linux come syslog, messages e auth.log, oltre ai file di esportazione di journald, e trasforma ogni riga in una riga in una tabella denominata eventi. Ogni riga contiene il ospite, programma, pid e messaggio Dalla riga di comando, le domande che porresti a grep o journalctl diventano query SQL che puoi eseguire da Excel, Fogli Google o una dashboard. I file rimangono sul computer che esegue l'agente.

Le righe analizzate atterrano in set di file.eventi, o nel Nome della tabella Hai scelto. L'agente copia le righe in una cache locale sul computer dell'agente e le serve come SQL. Le colonne seguenti provengono dal tipo di log predefinito RFC 3164. Non sono presenti colonne relative alla funzionalità o alla gravità.

Ogni connettore di cartella ti dà anche file, file_eventi, elenchi, istantanee della directory e volumie i connettori di log aggiungono cursori_di_log con la posizione di lettura di ciascun file. Sempre ORDINA PER event_time.

Dove si guadagna da vivere:

• Contare in un foglio di calcolo i tentativi di accesso SSH falliti per host e indirizzo sorgente.
• Traccia il volume di log per programma per individuare un servizio che ha iniziato a entrare in un ciclo infinito.
• Mantieni interrogabili i dati del file auth.log per 60 giorni dopo la compressione da parte di logrotate.

Cosa ti servirà

Un account Query Streams

I connettori per le cartelle sono disponibili in tutti i piani, incluso quello gratuito. Il piano gratuito è un piano a lungo termine, non una prova che scade. Non c'è limite al numero di file che una cartella può contenere.

L'agente, versione 2.6.0 o successiva

Installato su un computer in grado di aprire la cartella: il file server stesso, un computer dell'ufficio o la macchina su cui finiscono i file. Un agente più vecchio mostra le schede delle cartelle in grigio con un Agente 2.6.0+ Distintivo. Windows, Mac o Linux.

Il percorso della cartella, così come lo vede l'agente.

Un percorso locale o una condivisione di rete scritta come \\server\condiviso\cartella. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt o /media, a Mac under /Volumes).

Configuralo in cinque passaggi

1. Installa l'agente su un computer in grado di aprire la cartella

   Accedi, apri ScaricamentoInstalla l'agente per il tuo sistema sul computer in grado di aprire i log di sistema Linux e Unix: il file server o qualsiasi computer sempre acceso che possa accedere alla condivisione. L'installazione richiede un minuto e l'agente si avvia automaticamente. È necessaria la versione 2.6.0 o successiva; la pagina di download contiene sempre la versione più recente.

   Perché un piccolo programma invece di un driver? L'Agent richiede un'unica installazione per Windows, Mac o Linux (circa 85 MB su Windows, poco più di 100 MB su Mac e Linux). Apre una connessione crittografata in uscita verso Query Streams e questo è l'unico percorso di rete necessario: non è necessario aprire alcuna porta in entrata né utilizzare una VPN. Legge i file nella cartella in cui si trova, quindi i file rimangono al loro posto e solo le righe restituite da una query vengono inviate tramite Internet al componente aggiuntivo, al browser o al client AI installato.

   La pagina di download mostra La tua chiave di accesso. Incollalo nell'Agente quando richiesto e attendi che il badge venga letto Connesso ai flussi di queryQuesta è l'unica operazione che devi eseguire sul computer dell'agente; tutto il resto avviene nel tuo browser.

   Se volete, potete trovare le guide complete: Finestre, Mac, Linux.

2. Puntalo ai log di sistema di Linux e Unix

   Torna al tuo browser aperto Dati → Agenti dati, trova l'agente che hai appena installato e fai clic sul suo Aggiungi connettore pulsante. Apri il File e cartelle pillola e scegli la Registri di sistema carta. Non sai quale carta è adatta? Scegli File in una cartella Invece: l'agente analizza la cartella, elenca il contenuto in una pagina "Cosa abbiamo trovato" e apre la scheda corretta, già precompilata.

   Il mago corre Cartelle → Verifica → Impostazioni → Realm → Rivedi. SU Cartelle:

   Cartelle radice

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Scansiona le sottocartelle, profondità massima

   Attivato, e 8 livelli, di default.

   Includi modelli, escludi modelli

   Quali file contano. Il modello di inclusione inizia con il glob corretto per questa scheda. Un connettore legge un tipo di file: una cartella con CSV e I file Parquet contengono due connettori nella stessa cartella, uno per tipo.

   Segui i collegamenti simbolici e le giunzioni

   Disattivato per impostazione predefinita. L'agente non segue i collegamenti rapidi o i segnaposto cloud a meno che non si attivi questa opzione.

   Nel portale, apri l'agente che può vedere la cartella e fai clic Aggiungi connettore. Sotto File e cartelle scegliere Registri di sistema. Una volta creato, viene visualizzato nell'elenco dei connettori come File di registro.

   • Aggiungi la cartella dei log sotto Cartelle radice, Per esempio /var/log. Su Linux, monta le condivisioni sotto /mnt o /media.
   • Includi modelli iniziare con **/syslog*, **/messaggi* e **/auth.log*. Le impostazioni predefinite generali del driver di log sono **/*.tronco d'albero e **/*.TXT.
   • Scegli un Tipo di registroI registri di sistema sono limitati ai tipi predefiniti. Se il tuo tipo di registro non è presente, l'elenco riporta il seguente messaggio: "Hai bisogno di un tipo di registro non presente nell'elenco? Apri una richiesta di supporto e lo aggiungeremo entro pochi giorni."
   • Nome della tabella è facoltativo e predefinito eventi.
   • Sostituzione (giorni) è 30. Mantieni gli eventi per N giorni Il valore predefinito è 60.

3. Controlla cosa costruirà

   SU Controllo L'agente legge un campione di massimo 64 file e mostra cosa creerà. Non è ancora stato creato nulla. Il pulsante dice Verifica la connessione fino a quando non ci sarà un verdetto, allora Avanti; Prova di nuovo Il programma riesegue il campione dopo ogni modifica. Verrà visualizzato uno dei quattro titoli seguenti:

   Pronto a creare

   Ogni file campionato rientra nel campione. I chip sottostanti indicano quante cartelle sono accessibili, quanti file e righe sono presenti e quali tabelle saranno presenti.

   Pronto, con appunti

   Alcuni file verranno messi da parte oppure il controllo del layout verrà rifiutato. Un banner ambra indica esattamente quali: "{n} di {m} file(s) verranno messi da parte" con un Mostra quali file e perché elenco e "Puoi comunque crearlo: il connettore continuerà a ricontrollare e a segnalare il motivo nella sua scheda Manifesto."

   Questi file non sono di questo tipo di registro

   Il campione non è stato analizzato come il formato del registro di questa scheda. Verifica di aver selezionato la scheda corretta oppure utilizza il Cartella di registro personalizzata scheda e descrivi il formato.

   Un rifiuto o un file accantonato non ti bloccano mai: clicca AvantiCompleta la procedura guidata e correggi i file anomali in seguito. Solo un agente offline o una cartella mancante interrompono la procedura guidata.

   SU Controllo, l'agente legge un campione e mostra cosa costruirà. Non viene ancora creato nulla. Se il campione non assomiglia al tipo di log selezionato, il titolo è Questi file non sono seguito da quel tipo, e un banner ambra dice "Il controllo dello schema è stato rifiutato:" con il motivo. Aperto Mostra quali file e perché per visualizzare il file e la griglia dei motivi. La soluzione usuale è diversa Tipo di registro, ad esempio RFC 5424 invece di RFC 3164, o più restrittivo Includi modelli, quindi Prova di nuovo. Puoi anche crearlo comunque. Il connettore continua a ricontrollare e segnala il motivo sul suo Manifesto tab.

4. Scegli la frequenza di scansione, quindi creala

   Le impostazioni predefinite su Impostazioni Adatto a una cartella che riceve pochi file al giorno. Quattro che potresti voler modificare:

   Intervallo di scansione

   Ogni ora Per impostazione predefinita, è possibile scegliere tra ogni 5 minuti e ogni giorno. Ogni scansione confronta le dimensioni e l'ora di modifica per trovare file nuovi, modificati o eliminati.

   Monitora la cartella per eventuali modifiche (quasi in tempo reale)

   Disattivato per impostazione predefinita. Attivato, l'agente reagisce in pochi secondi sui dischi locali; sulle condivisioni di rete, il funzionamento è "best-effort" e la scansione pianificata rimane la garanzia. Periodo di quiete (15 secondi) attende che la scrittura di un file sia completata.

   Aggiorna la pagina prima di rispondere a una domanda

   Disattivato per impostazione predefinita. In caso di attivazione, una query esegue nuovamente la scansione quando l'ultima scansione è precedente alla Finestra di invecchiamento (60 secondi), aspettando al massimo il limite di attesa della query (5 secondi). Si applica a persone e componenti aggiuntivi, non al polling degli avvisi.

   Quando un file scompare

   Abbassa le sue righe di default, oppure Mantieni le righe, contrassegna gli elementi eliminati (lapide). IL Rapporto di guardia scomparso (0.5) rifiuta una scansione che perde più della metà dei file in una volta e mantiene l'inventario precedente, che è ciò che appare in una condivisione offline.

   Quindi scegli il Regno dei dati le righe contano contro, controlla Revisione e clicca Crea connettore. La prima scansione inizia subito. Il connettore Manifesto La scheda mostra cosa è stato compilato e tutti i file che sono stati messi da parte.

5. Guarda le tue tabelle

   Apri il connettore: il Manifesto la scheda elenca le tabelle create e File La finestra di dialogo elenca ogni file di registro con il relativo stato. Nella Generatore di query gli stessi tavoli si trovano sotto il set di file schema. Tre query che funzionano fin dal primo giorno:

   Tentativi di accesso SSH falliti per host nelle ultime 24 ore

   SELECT host, COUNT(*) AS attempts FROM fileset.events WHERE program = 'sshd' AND message LIKE 'Failed password%' AND event_time >= now() - INTERVAL 24 HOUR GROUP BY host ORDER BY attempts DESC LIMIT 100

   Filtri su programma e l'inizio di messaggio, quindi conta per ospite.

   Programmi più seguiti per conduttore nell'ultima ora

   SELECT host, program, COUNT(*) AS lines FROM fileset.events WHERE event_time >= now() - INTERVAL 1 HOUR GROUP BY host, program ORDER BY lines DESC LIMIT 100

   Mostra quale programma sta compilando il registro su quale macchina.

   Righe che non sono state analizzate, per motivo

   SELECT reason, COUNT(*) AS lines, MIN(line) AS example FROM fileset.events_raw_lines GROUP BY reason ORDER BY lines DESC

   Letture eventi_grezzi. Un grande nessuna corrispondenza grammaticale contare di solito significa sbagliato Tipo di registro per alcuni file.

   Ogni connettore di cartella serve anche le stesse tabelle di contabilità, tutte nella set di file schema:

   Tavolo	Cosa contiene
   file	Ogni file attualmente presente nella cartella: percorso, nome, estensione, dimensione, data di creazione e di modifica, prima e ultima visualizzazione. Una panoramica file_correntiche conserva anche i file scomparsi.
   file_eventi	La cronologia delle modifiche: una riga per file che apparso, era modificato, scomparso, è stato messo da parte (deriva) o era rifiutato, con il tempo in evento_al, come è stato notato in rilevato_da e il motivo in dettaglio.
   elenchi, istantanee della directory, volumi	Numero e dimensioni delle cartelle, come sono cresciute e i dischi o le condivisioni su cui risiedono le directory principali.
   _source_file, _row_id	Due colonne su ogni riga di dati: il file da cui proviene la riga e un ID di riga stabile all'interno di quel file. Raggruppa per _source_file per confrontare i file.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Cartelle step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Usalo ovunque

Il connettore è un'origine dati come qualsiasi altra in Query Streams. Salva una query una volta nel Generatore di query (il dialetto è DuckDB) e utilizzalo da:

Excel

Il componente aggiuntivo Trasmetti una query trascina le righe in un foglio e le riesegue con un clic. Esecuzione di query SQL in Excel.

Fogli di Google

IL Streamer di query Il componente aggiuntivo riempie la scheda che selezioni. Power Query per Google Sheets.

Claude, Cursor e altri client di intelligenza artificiale

Tramite il server Query Streams MCP; Claude conosce il modello di cartella, incluso _source_file e file_eventi. Registri di sistema con Claude tramite MCP.

API REST

Ogni query salvata diventa un endpoint di sola lettura con una propria chiave, indipendentemente dal piano. API REST dei registri di sistema.

Nova

Chiedi in modo chiaro e semplice riguardo al piano Business; Nova conosce ogni cartella, tabella e colonna grazie alle sue descrizioni predefinite.

Automazioni

Sincronizza le righe con Airtable, Smartsheet, Baserow, SeaTable o un foglio di calcolo in base a una pianificazione. Guide all'automazione.

Le tabelle delle cartelle si uniscono anche agli altri connettori: una query federata può corrispondere _source_file nomi o ID ordine nei log di sistema Linux e Unix rispetto a un database sullo stesso agente.

Come vengono visualizzati i file nuovi, modificati ed eliminati

File che vengono messi da parte

Nella fase di verifica e nella scheda Manifest compaiono tre parole che hanno significati diversi:

Riservato (parcheggiato)

Il file non corrisponde al layout bloccato, oppure è illeggibile, strappato, bloccato o coperto da un cappuccio. Per ogni file, la regola è "tutto o niente": un file parcheggiato non contribuisce con nessuna riga. file_eventi registra un deriva fila la cui dettaglio Il programma specifica il nome del file e della colonna. Il file viene ignorato finché le sue dimensioni e la data di modifica rimangono invariate, e viene riprovato non appena si verificano delle modifiche.

Illeggibile

L'agente non è riuscito ad aprire o analizzare il file a causa del suo tipo: non è una vera cartella di lavoro, è bloccato da un altro programma, è un segnaposto cloud, contiene byte non decodificabili. Il file viene archiviato automaticamente e il resto della cartella continua. Solo una cartella con zero file leggibili rifiuta l'intero set.

Rifiutato

L'agente non è riuscito a fissare alcun layout, ad esempio perché i file non concordano sul tipo di colonna. Non esiste ancora alcuna tabella dati. file_eventi ottiene un rifiutato riga con il motivo in dettaglioe l'agente riprova a ogni scansione finché non viene trovato un layout. Correggi o escludi il file indicato e il messaggio scomparirà.

Dove guardare: lo striscione ambra su Controllo (Mostra quali file e perché), del connettore Manifesto scheda successiva e per i connettori di registro File finestra di dialogo, che elenca i file parcheggiati con il motivo in ultimo_erroreIn SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Limiti che vale la pena conoscere

Non ci sono limiti di piano per quanto riguarda le cartelle o il numero di file. Le righe vengono conteggiate nel tuo Data Realm come qualsiasi altro connettore. È possibile aumentare o diminuire i valori predefiniti del connettore:

Limiti di contenuto, che parcheggiano un file anziché troncarlo: 2.000.000 di righe o 512 MiB per file, 10.000.000 di righe o 2 GiB per scansione. Una cartella può contenere al massimo 25 layout distinti in Un tavolo per ogni disposizione modalità.

Domande che le persone si pongono

• Sistema di file
• Cartella CSV
• Cartella Parquet
• Cartella Excel
• Cartella SQLite
• Cartella JSONL
• File CSV multi-record
• Registri delle macchine
• Registri del server web
• Registri dei container
• Registri delle applicazioni
• Registri personalizzati