Interrogare file CSV con più record tramite SQL

Connettore di cartella · Record multipli

Trasforma i file CSV che mescolano diversi tipi di record in tabelle SQL puoi fare domande ovunque

Punta l'agente Query Streams alla cartella. Legge i file sul proprio computer, crea le tabelle in una cache locale e le mantiene aggiornate man mano che i file vengono aggiunti, modificati o eliminati. Puoi interrogarle da Excel, Fogli Google, Nova, Claude o tramite l'API REST. Non viene caricato nulla e nessun file viene convertito o modificato.

Circa 15 minuti Non è necessaria alcuna programmazione. I file rimangono sulla tua rete Il piano gratuito lo copre

Quello che otterrai alla fine

Alla fine si ottiene una tabella SQL per ogni tipo di record. Un file CSV le cui righe sono etichettate HDR, ITM e TRL diventa fileset.data_hdr, fileset.data_itm e fileset.data_trl, ciascuno contenente quel tipo di record da ogni file nella cartella. Le colonne sono numerate in base alla posizione, campo_1 a campo_Ne ogni fila trasporta _source_file e _seqIn questo modo è possibile unire un'intestazione ai dettagli con due colonne. L'agente legge la cartella sul proprio computer, memorizza le righe in una cache locale crittografata e le fornisce come SQL a Excel, Fogli Google, Query Builder o qualsiasi altro client. I file rimangono sulla rete.

Ogni tabella si trova in uno schema denominato set di fileLe tabelle vengono nominate automaticamente, una per ogni tag di record: dati_<tag>, quindi il tag HDR diventa fileset.data_hdr. Con Ambito della tabella impostato su Una tabella per ogni estensione di file e tag, il nome diventa dati_<estensione>_<tag>, che mantiene lo stesso tag separato da diversi tipi di file. Le colonne sono campo_1 a campo_N per posizione, escludendo la colonna del tag. Ogni riga contiene anche _seq, l'occorrenza basata su 0 di quel tag all'interno del file e la chiave di join tra i tipi di record, più _source_file e un _row_id della forma percorso:linea.

Ogni connettore di cartella fornisce anche le tabelle contabili file, file_eventi, elenchi, istantanee della directory e volumi.

Dove si guadagna da vivere:

• Interroga file batch bancari, di busta paga o in stile EDI che mescolano righe di intestazione, di dettaglio e di chiusura.
• Riconcilia i totali del trailer di ciascun file con le relative righe di dettaglio in un'unica query.
• Invece di dividerli manualmente, carica i file batch in entrata in Excel o Fogli Google come tabelle appropriate.

Cosa ti servirà

Un account Query Streams

I connettori per le cartelle sono disponibili in tutti i piani, incluso quello gratuito. Il piano gratuito è un piano a lungo termine, non una prova che scade. Non c'è limite al numero di file che una cartella può contenere.

L'agente, versione 2.6.0 o successiva

Installato su un computer in grado di aprire la cartella: il file server stesso, un computer dell'ufficio o la macchina su cui finiscono i file. Un agente più vecchio mostra le schede delle cartelle in grigio con un Agente 2.6.0+ Distintivo. Windows, Mac o Linux.

Il percorso della cartella, così come lo vede l'agente.

Un percorso locale o una condivisione di rete scritta come \\server\condiviso\cartella. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt o /media, a Mac under /Volumes).

Configuralo in cinque passaggi

1. Installa l'agente su un computer in grado di aprire la cartella

   Accedi, apri ScaricamentoInstalla l'agente per il tuo sistema sul computer in grado di aprire file CSV contenenti diversi tipi di record: il server di file o qualsiasi computer sempre acceso in grado di accedere alla condivisione. L'installazione richiede un minuto e l'agente si avvia automaticamente in seguito. È necessaria la versione 2.6.0 o successiva; la pagina di download contiene sempre la versione più recente.

   Perché un piccolo programma invece di un driver? L'Agent richiede un'unica installazione per Windows, Mac o Linux (circa 85 MB su Windows, poco più di 100 MB su Mac e Linux). Apre una connessione crittografata in uscita verso Query Streams e questo è l'unico percorso di rete necessario: non è necessario aprire alcuna porta in entrata né utilizzare una VPN. Legge i file nella cartella in cui si trova, quindi i file rimangono al loro posto e solo le righe restituite da una query vengono inviate tramite Internet al componente aggiuntivo, al browser o al client AI installato.

   La pagina di download mostra La tua chiave di accesso. Incollalo nell'Agente quando richiesto e attendi che il badge venga letto Connesso ai flussi di queryQuesta è l'unica operazione che devi eseguire sul computer dell'agente; tutto il resto avviene nel tuo browser.

   Se volete, potete trovare le guide complete: Finestre, Mac, Linux.

2. Puntalo ai file CSV che mescolano diversi tipi di record

   Torna al tuo browser aperto Dati → Agenti dati, trova l'agente che hai appena installato e fai clic sul suo Aggiungi connettore pulsante. Apri il File e cartelle pillola e scegli la File CSV multi-record carta. Non sai quale carta è adatta? Scegli File in una cartella Invece: l'agente analizza la cartella, elenca il contenuto in una pagina "Cosa abbiamo trovato" e apre la scheda corretta, già precompilata.

   Il mago corre Cartelle → Verifica → Impostazioni → Realm → Rivedi. SU Cartelle:

   Cartelle radice

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Scansiona le sottocartelle, profondità massima

   Attivato, e 8 livelli, di default.

   Includi modelli, escludi modelli

   Quali file contano. Il modello di inclusione inizia con il glob corretto per questa scheda. Un connettore legge un tipo di file: una cartella con CSV e I file Parquet contengono due connettori nella stessa cartella, uno per tipo.

   Segui i collegamenti simbolici e le giunzioni

   Disattivato per impostazione predefinita. L'agente non segue i collegamenti rapidi o i segnaposto cloud a meno che non si attivi questa opzione.

   Installa l'agente Query Streams (versione 2.6.0 o successiva) su un computer in grado di aprire la cartella. Da tale agente Aggiungi connettore pulsante, apri File e cartelle e scegliere il File CSV multi-record carta.

   • Cartelle radice: le cartelle sul computer dell'agente da analizzare, una per riga. Digitare condivisioni di rete come \\server\condiviso\cartellanon è una lettera di unità mappata.
   • Includi modelli inizia come **/*.csv.
   • Layout dei file, Colonna del tag record (numero) e Delimitatore: quale colonna contiene il tag del record e cosa separa i campi.
   • Ambito della tabella: lascia l'impostazione predefinita per una tabella per tag. Scegli Una tabella per ogni estensione di file e tag per mantenere lo stesso tag da diversi tipi di file in tabelle separate.

   Non c'è Nome della tabella campo e no Disposizione della tabella scelta. I tavoli sono denominati dati_<tag>Una nota spiega che tutti i file corrispondenti devono condividere un unico layout, fissato a partire da un esempio al primo avvio della sincronizzazione; i file che in seguito presentano discrepanze vengono accantonati e segnalati.

3. Controlla cosa costruirà

   SU Controllo L'agente legge un campione di massimo 64 file e mostra cosa creerà. Non è ancora stato creato nulla. Il pulsante dice Verifica la connessione fino a quando non ci sarà un verdetto, allora Avanti; Prova di nuovo Il programma riesegue il campione dopo ogni modifica. Verrà visualizzato uno dei quattro titoli seguenti:

   Pronto a creare

   Ogni file campionato rientra nel campione. I chip sottostanti indicano quante cartelle sono accessibili, quanti file e righe sono presenti e quali tabelle saranno presenti.

   Pronto, con appunti

   Alcuni file verranno messi da parte oppure il controllo del layout verrà rifiutato. Un banner ambra indica esattamente quali: "{n} di {m} file(s) verranno messi da parte" con un Mostra quali file e perché elenco e "Puoi comunque crearlo: il connettore continuerà a ricontrollare e a segnalare il motivo nella sua scheda Manifesto."

   Necessita di attenzione

   L'agente è offline oppure manca una cartella. Risolvi il problema prima di continuare; se l'agente è offline, la pagina lo segnala ma ti permette comunque di proseguire.

   Un rifiuto o un file accantonato non ti bloccano mai: clicca AvantiCompleta la procedura guidata e correggi i file anomali in seguito. Solo un agente offline o una cartella mancante interrompono la procedura guidata.

   SU ControlloL'agente legge un campione di massimo 64 file e mostra il numero di file, la dimensione, la stima del numero di righe e le tabelle che creerà, una per ogni tag di record trovato, in un blocco come "3 tabelle: data_hdr, data_itm, data_trl". Non viene ancora creato nulla. Se la colonna dei tag è impostata in modo errato, i tag elencati dall'agente non corrisponderanno ai tipi di record, il che è un segnale per tornare indietro e modificarli. Colonna del tag record (numero) o DelimitatoreI file che l'agente non è riuscito a leggere come CSV vengono visualizzati in Mostra quali file e perché come messo da parte, con il banner "1 di 12 file(i) verrà messo da parte", e il resto viene comunque caricato. È possibile creare il connettore in entrambi i modi; continua a ricontrollare e segnala il motivo sul suo Manifesto tab.

4. Scegli la frequenza di scansione, quindi creala

   Le impostazioni predefinite su Impostazioni Adatto a una cartella che riceve pochi file al giorno. Quattro che potresti voler modificare:

   Intervallo di scansione

   Ogni ora Per impostazione predefinita, è possibile scegliere tra ogni 5 minuti e ogni giorno. Ogni scansione confronta le dimensioni e l'ora di modifica per trovare file nuovi, modificati o eliminati.

   Monitora la cartella per eventuali modifiche (quasi in tempo reale)

   Disattivato per impostazione predefinita. Attivato, l'agente reagisce in pochi secondi sui dischi locali; sulle condivisioni di rete, il funzionamento è "best-effort" e la scansione pianificata rimane la garanzia. Periodo di quiete (15 secondi) attende che la scrittura di un file sia completata.

   Aggiorna la pagina prima di rispondere a una domanda

   Disattivato per impostazione predefinita. In caso di attivazione, una query esegue nuovamente la scansione quando l'ultima scansione è precedente alla Finestra di invecchiamento (60 secondi), aspettando al massimo il limite di attesa della query (5 secondi). Si applica a persone e componenti aggiuntivi, non al polling degli avvisi.

   Quando un file scompare

   Abbassa le sue righe di default, oppure Mantieni le righe, contrassegna gli elementi eliminati (lapide). IL Rapporto di guardia scomparso (0.5) rifiuta una scansione che perde più della metà dei file in una volta e mantiene l'inventario precedente, che è ciò che appare in una condivisione offline.

   Quindi scegli il Regno dei dati le righe contano contro, controlla Revisione e clicca Crea connettore. La prima scansione inizia subito. Il connettore Manifesto La scheda mostra cosa è stato compilato e tutti i file che sono stati messi da parte.

5. Guarda le tue tabelle

   Apri il connettore: il Manifesto la scheda elenca le tabelle create. Nella Generatore di query gli stessi tavoli si trovano sotto il set di file schema. Tre query che funzionano fin dal primo giorno:

   Record di intestazione, in ordine di file

   SELECT _source_file, _seq, field_1, field_2 FROM fileset.data_hdr ORDER BY _source_file, _seq LIMIT 100

   Ogni riga di intestazione di ogni file, con il file di provenienza e la sua posizione tra le intestazioni in quel file.

   L'intestazione di ciascun file accanto al suo trailer

   SELECT h._source_file, h._seq, h.field_1 AS header_field_1, t.field_1 AS trailer_field_1 FROM fileset.data_hdr AS h JOIN fileset.data_trl AS t ON t._source_file = h._source_file AND t._seq = h._seq ORDER BY h._source_file, h._seq LIMIT 100

   Unisce due tipi di record in base alle due colonne condivise, _source_file e _seq, in modo che l'n-esima intestazione incontri l'n-esima coda nello stesso file.

   File riservati per un tag sconosciuto o larghezza errata

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   Ogni file le cui righe sono state omesse, con la motivazione dettagliata.

   Ogni connettore di cartella serve anche le stesse tabelle di contabilità, tutte nella set di file schema:

   Tavolo	Cosa contiene
   file	Ogni file attualmente presente nella cartella: percorso, nome, estensione, dimensione, data di creazione e di modifica, prima e ultima visualizzazione. Una panoramica file_correntiche conserva anche i file scomparsi.
   file_eventi	La cronologia delle modifiche: una riga per file che apparso, era modificato, scomparso, è stato messo da parte (deriva) o era rifiutato, con il tempo in evento_al, come è stato notato in rilevato_da e il motivo in dettaglio.
   elenchi, istantanee della directory, volumi	Numero e dimensioni delle cartelle, come sono cresciute e i dischi o le condivisioni su cui risiedono le directory principali.
   _source_file, _row_id	Due colonne su ogni riga di dati: il file da cui proviene la riga e un ID di riga stabile all'interno di quel file. Raggruppa per _source_file per confrontare i file.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Cartelle step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Usalo ovunque

Il connettore è un'origine dati come qualsiasi altra in Query Streams. Salva una query una volta nel Generatore di query (il dialetto è DuckDB) e utilizzalo da:

Excel

Il componente aggiuntivo Trasmetti una query trascina le righe in un foglio e le riesegue con un clic. Esecuzione di query SQL in Excel.

Fogli di Google

IL Streamer di query Il componente aggiuntivo riempie la scheda che selezioni. Power Query per Google Sheets.

Claude, Cursor e altri client di intelligenza artificiale

Tramite il server Query Streams MCP; Claude conosce il modello di cartella, incluso _source_file e file_eventi. Registrazione multipla con Claude tramite MCP.

API REST

Ogni query salvata diventa un endpoint di sola lettura con una propria chiave, indipendentemente dal piano. API REST multi-record.

Nova

Chiedi in modo chiaro e semplice riguardo al piano Business; Nova conosce ogni cartella, tabella e colonna grazie alle sue descrizioni predefinite.

Automazioni

Sincronizza le righe con Airtable, Smartsheet, Baserow, SeaTable o un foglio di calcolo in base a una pianificazione. Guide all'automazione.

Le tabelle delle cartelle si uniscono anche agli altri connettori: una query federata può corrispondere _source_file nomi o ID ordine in file CSV che mescolano diversi tipi di record rispetto a un database sullo stesso agente.

Come vengono visualizzati i file nuovi, modificati ed eliminati

File che vengono messi da parte

Nella fase di verifica e nella scheda Manifest compaiono tre parole che hanno significati diversi:

Riservato (parcheggiato)

Il file non corrisponde al layout bloccato, oppure è illeggibile, strappato, bloccato o coperto da un cappuccio. Per ogni file, la regola è "tutto o niente": un file parcheggiato non contribuisce con nessuna riga. file_eventi registra un deriva fila la cui dettaglio Il programma specifica il nome del file e della colonna. Il file viene ignorato finché le sue dimensioni e la data di modifica rimangono invariate, e viene riprovato non appena si verificano delle modifiche.

Illeggibile

L'agente non è riuscito ad aprire o analizzare il file a causa del suo tipo: non è una vera cartella di lavoro, è bloccato da un altro programma, è un segnaposto cloud, contiene byte non decodificabili. Il file viene archiviato automaticamente e il resto della cartella continua. Solo una cartella con zero file leggibili rifiuta l'intero set.

Rifiutato

L'agente non è riuscito a fissare alcun layout, ad esempio perché i file non concordano sul tipo di colonna. Non esiste ancora alcuna tabella dati. file_eventi ottiene un rifiutato riga con il motivo in dettaglioe l'agente riprova a ogni scansione finché non viene trovato un layout. Correggi o escludi il file indicato e il messaggio scomparirà.

Dove guardare: lo striscione ambra su Controllo (Mostra quali file e perché), del connettore Manifesto tab successivamente. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Limiti che vale la pena conoscere

Non ci sono limiti di piano per quanto riguarda le cartelle o il numero di file. Le righe vengono conteggiate nel tuo Data Realm come qualsiasi altro connettore. È possibile aumentare o diminuire i valori predefiniti del connettore:

Limiti di contenuto, che parcheggiano un file anziché troncarlo: 2.000.000 di righe o 512 MiB per file, 10.000.000 di righe o 2 GiB per scansione. Una cartella può contenere al massimo 25 layout distinti in Un tavolo per ogni disposizione modalità.

Domande che le persone si pongono

• Sistema di file
• Cartella CSV
• Cartella Parquet
• Cartella Excel
• Cartella SQLite
• Cartella JSONL
• Registri delle macchine
• Registri del server web
• Registri dei container
• Registri delle applicazioni
• Registri di sistema
• Registri personalizzati