Unire più file CSV in un'unica tabella

Connettore di cartella · Cartella CSV

Trasforma una cartella di file CSV in tabelle SQL puoi fare domande ovunque

Punta l'agente Query Streams alla cartella. Legge i file sul proprio computer, crea le tabelle in una cache locale e le mantiene aggiornate man mano che i file vengono aggiunti, modificati o eliminati. Puoi interrogarle da Excel, Fogli Google, Nova, Claude o tramite l'API REST. Non viene caricato nulla e nessun file viene convertito o modificato.

Circa 15 minuti Non è necessaria alcuna programmazione. I file rimangono sulla tua rete Il piano gratuito lo copre

Quello che otterrai alla fine

Alla fine ti ritrovi con una tabella SQL, ad esempio fileset.sales, che contiene le righe di ogni file CSV nella cartella, con un _source_file Ogni riga contiene una colonna che indica il file di origine. Quando viene effettuata una nuova esportazione o un file precedente viene corretto, la tabella si aggiorna alla successiva scansione senza bisogno di reimportare i dati. L'agente legge i file sul computer in cui è in esecuzione e memorizza nella cache le righe, in modo che i file CSV rimangano sulla rete.

Tutto si trova in un unico schema DuckDB chiamato set di file, memorizzato nella cache sul computer dell'agente. La tabella dati prende il nome che digiti in Nome della tabellaLe sue colonne provengono dall'intestazione CSV, più _source_file e _row_id su ogni riga.

Ogni connettore di cartella ti dà anche file, file_eventi, elenchi, istantanee della directory e volumiche elencano i file CSV stessi, la loro cronologia delle modifiche e le dimensioni delle cartelle.

Dove si guadagna da vivere:

• A fine mese: ogni filiale esporta un file CSV in un'unica cartella condivisa e l'ufficio finanziario interroga la tabella combinata anziché incollare i file uno per uno.
• Esportazioni di sistema: un processo notturno scrive un file CSV al giorno e la tabella si arricchisce di un file ogni mattina.
• Cartelle assemblate manualmente: layout CSV misti provenienti da diversi strumenti, ognuno dei quali diventa una tabella a sé stante, con una tabella per layout.

Cosa ti servirà

Un account Query Streams

I connettori per le cartelle sono disponibili in tutti i piani, incluso quello gratuito. Il piano gratuito è un piano a lungo termine, non una prova che scade. Non c'è limite al numero di file che una cartella può contenere.

L'agente, versione 2.6.0 o successiva

Installato su un computer in grado di aprire la cartella: il file server stesso, un computer dell'ufficio o la macchina su cui finiscono i file. Un agente più vecchio mostra le schede delle cartelle in grigio con un Agente 2.6.0+ Distintivo. Windows, Mac o Linux.

Il percorso della cartella, così come lo vede l'agente.

Un percorso locale o una condivisione di rete scritta come \\server\condiviso\cartella. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt o /media, a Mac under /Volumes).

Configuralo in cinque passaggi

1. Installa l'agente su un computer in grado di aprire la cartella

   Accedi, apri ScaricamentoInstalla l'agente per il tuo sistema sul computer in grado di aprire una cartella di file CSV: il server di file o qualsiasi computer sempre acceso che possa accedere alla condivisione. L'installazione richiede un minuto e l'agente si avvierà automaticamente in seguito. È necessaria la versione 2.6.0 o successiva; la pagina di download contiene sempre la versione più recente.

   Perché un piccolo programma invece di un driver? L'Agent richiede un'unica installazione per Windows, Mac o Linux (circa 85 MB su Windows, poco più di 100 MB su Mac e Linux). Apre una connessione crittografata in uscita verso Query Streams e questo è l'unico percorso di rete necessario: non è necessario aprire alcuna porta in entrata né utilizzare una VPN. Legge i file nella cartella in cui si trova, quindi i file rimangono al loro posto e solo le righe restituite da una query vengono inviate tramite Internet al componente aggiuntivo, al browser o al client AI installato.

   La pagina di download mostra La tua chiave di accesso. Incollalo nell'Agente quando richiesto e attendi che il badge venga letto Connesso ai flussi di queryQuesta è l'unica operazione che devi eseguire sul computer dell'agente; tutto il resto avviene nel tuo browser.

   Se volete, potete trovare le guide complete: Finestre, Mac, Linux.

2. Puntalo verso una cartella di file CSV

   Torna al tuo browser aperto Dati → Agenti dati, trova l'agente che hai appena installato e fai clic sul suo Aggiungi connettore pulsante. Apri il File e cartelle pillola e scegli la Cartella CSV carta. Non sai quale carta è adatta? Scegli File in una cartella Invece: l'agente analizza la cartella, elenca il contenuto in una pagina "Cosa abbiamo trovato" e apre la scheda corretta, già precompilata.

   Il mago corre Cartelle → Verifica → Impostazioni → Realm → Rivedi. SU Cartelle:

   Cartelle radice

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Scansiona le sottocartelle, profondità massima

   Attivato, e 8 livelli, di default.

   Includi modelli, escludi modelli

   Quali file contano. Il modello di inclusione inizia con il glob corretto per questa scheda. Un connettore legge un tipo di file: una cartella con CSV e I file Parquet contengono due connettori nella stessa cartella, uno per tipo.

   Segui i collegamenti simbolici e le giunzioni

   Disattivato per impostazione predefinita. L'agente non segue i collegamenti rapidi o i segnaposto cloud a meno che non si attivi questa opzione.

   Inizia dal Aggiungi connettore pulsante di un agente che può aprire la cartella Apri File e cartelle e clicca sul Cartella CSV carta.

   • Cartelle radice: una cartella per riga, come percorsi sul computer dell'agente. Digitare una condivisione di rete come \\server\condiviso\cartella, non come lettera di unità mappata.
   • Includi modelli inizia come **/*.csv. Scansiona le sottocartelle è acceso.
   • Digita un Nome della tabella, Per esempio venditeÈ richiesto su questa carta.
   • Scegli un Disposizione della tabella. Un layout fisso (predefinito) Adatto per esportazioni ricorrenti che condividono tutte un'unica intestazione. Un tavolo per ogni disposizione Cartelle per abiti che le persone assemblano a mano, fino a 25 modelli.
   • Una cartella che contiene anche file Parquet o Excel necessita di un secondo connettore sulla stessa cartella. Un connettore legge un solo tipo di file.

3. Controlla cosa costruirà

   SU Controllo L'agente legge un campione di massimo 64 file e mostra cosa creerà. Non è ancora stato creato nulla. Il pulsante dice Verifica la connessione fino a quando non ci sarà un verdetto, allora Avanti; Prova di nuovo Il programma riesegue il campione dopo ogni modifica. Verrà visualizzato uno dei quattro titoli seguenti:

   Pronto a creare

   Ogni file campionato rientra nel campione. I chip sottostanti indicano quante cartelle sono accessibili, quanti file e righe sono presenti e quali tabelle saranno presenti.

   Pronto, con appunti

   Alcuni file verranno messi da parte oppure il controllo del layout verrà rifiutato. Un banner ambra indica esattamente quali: "{n} di {m} file(s) verranno messi da parte" con un Mostra quali file e perché elenco e "Puoi comunque crearlo: il connettore continuerà a ricontrollare e a segnalare il motivo nella sua scheda Manifesto."

   Necessita di attenzione

   L'agente è offline oppure manca una cartella. Risolvi il problema prima di continuare; se l'agente è offline, la pagina lo segnala ma ti permette comunque di proseguire.

   "Questa cartella contiene {n} diverse configurazioni di file." Un riquadro azzurro indica che i file campionati non condividono tutti lo stesso insieme di colonne. Disposizione della tabella predefinito a Un layout fissato, che si aspetta che ogni file corrisponda. Fare clic Passa a una tabella per layout e ogni layout diventa invece una tabella a sé stante (fino a 25).

   Un rifiuto o un file accantonato non ti bloccano mai: clicca AvantiCompleta la procedura guidata e correggi i file anomali in seguito. Solo un agente offline o una cartella mancante interrompono la procedura guidata.

   SU Controllo, l'agente legge un campione di massimo 64 file e mostra il numero di file, una stima delle righe e le tabelle che creerà. Non viene ancora creato nulla. Se la cartella contiene più intestazioni mentre Disposizione della tabella è ancora bloccato, un pannello azzurro con la scritta "Questa cartella contiene {n} layout di file diversi" offre Passa a una tabella per layout. Un banner arancione con la scritta "{n} di {m} file(s) saranno messi da parte" elenca i file che non rientrano; apri Mostra quali file e perché per vedere ogni motivo. Puoi comunque creare il connettore, e continua a ricontrollare e segnala il motivo sul suo Manifesto tab.

4. Scegli la frequenza di scansione, quindi creala

   Le impostazioni predefinite su Impostazioni Adatto a una cartella che riceve pochi file al giorno. Quattro che potresti voler modificare:

   Intervallo di scansione

   Ogni ora Per impostazione predefinita, è possibile scegliere tra ogni 5 minuti e ogni giorno. Ogni scansione confronta le dimensioni e l'ora di modifica per trovare file nuovi, modificati o eliminati.

   Monitora la cartella per eventuali modifiche (quasi in tempo reale)

   Disattivato per impostazione predefinita. Attivato, l'agente reagisce in pochi secondi sui dischi locali; sulle condivisioni di rete, il funzionamento è "best-effort" e la scansione pianificata rimane la garanzia. Periodo di quiete (15 secondi) attende che la scrittura di un file sia completata.

   Aggiorna la pagina prima di rispondere a una domanda

   Disattivato per impostazione predefinita. In caso di attivazione, una query esegue nuovamente la scansione quando l'ultima scansione è precedente alla Finestra di invecchiamento (60 secondi), aspettando al massimo il limite di attesa della query (5 secondi). Si applica a persone e componenti aggiuntivi, non al polling degli avvisi.

   Quando un file scompare

   Abbassa le sue righe di default, oppure Mantieni le righe, contrassegna gli elementi eliminati (lapide). IL Rapporto di guardia scomparso (0.5) rifiuta una scansione che perde più della metà dei file in una volta e mantiene l'inventario precedente, che è ciò che appare in una condivisione offline.

   Quindi scegli il Regno dei dati le righe contano contro, controlla Revisione e clicca Crea connettore. La prima scansione inizia subito. Il connettore Manifesto La scheda mostra cosa è stato compilato e tutti i file che sono stati messi da parte.

5. Guarda le tue tabelle

   Apri il connettore: il Manifesto la scheda elenca le tabelle create. Nella Generatore di query gli stessi tavoli si trovano sotto il set di file schema. Tre query che funzionano fin dal primo giorno:

   Quante righe contribuisce ciascun file CSV

   SELECT _source_file, COUNT(*) AS row_count, MIN(_row_id) AS first_row_id FROM fileset.sales GROUP BY _source_file ORDER BY row_count DESC LIMIT 100

   Conferma che tutti i file previsti siano presenti nella tabella unita e mostra quali esportazioni sono le più grandi.

   Quali file CSV sono presenti attualmente nella cartella?

   SELECT relative_path, size_bytes, modified_utc FROM fileset.files ORDER BY modified_utc DESC LIMIT 100

   Elenca tutti i file che l'agente può visualizzare, in ordine cronologico inverso rispetto alle modifiche più recenti, in modo da poter individuare eventuali esportazioni mancanti o obsolete.

   Quali file sono stati messi da parte e perché

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   Indica il nome di qualsiasi file le cui righe sono state omesse e ne specifica il motivo, ad esempio una colonna che non corrisponde al layout bloccato.

   Ogni connettore di cartella serve anche le stesse tabelle di contabilità, tutte nella set di file schema:

   Tavolo	Cosa contiene
   file	Ogni file attualmente presente nella cartella: percorso, nome, estensione, dimensione, data di creazione e di modifica, prima e ultima visualizzazione. Una panoramica file_correntiche conserva anche i file scomparsi.
   file_eventi	La cronologia delle modifiche: una riga per file che apparso, era modificato, scomparso, è stato messo da parte (deriva) o era rifiutato, con il tempo in evento_al, come è stato notato in rilevato_da e il motivo in dettaglio.
   elenchi, istantanee della directory, volumi	Numero e dimensioni delle cartelle, come sono cresciute e i dischi o le condivisioni su cui risiedono le directory principali.
   _source_file, _row_id	Due colonne su ogni riga di dati: il file da cui proviene la riga e un ID di riga stabile all'interno di quel file. Raggruppa per _source_file per confrontare i file.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Cartelle step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Usalo ovunque

Il connettore è un'origine dati come qualsiasi altra in Query Streams. Salva una query una volta nel Generatore di query (il dialetto è DuckDB) e utilizzalo da:

Excel

Il componente aggiuntivo Trasmetti una query trascina le righe in un foglio e le riesegue con un clic. Esecuzione di query SQL in Excel.

Fogli di Google

IL Streamer di query Il componente aggiuntivo riempie la scheda che selezioni. Power Query per Google Sheets.

Claude, Cursor e altri client di intelligenza artificiale

Tramite il server Query Streams MCP; Claude conosce il modello di cartella, incluso _source_file e file_eventi. Cartella CSV con Claude tramite MCP.

API REST

Ogni query salvata diventa un endpoint di sola lettura con una propria chiave, indipendentemente dal piano. API REST per cartelle CSV.

Nova

Chiedi in modo chiaro e semplice riguardo al piano Business; Nova conosce ogni cartella, tabella e colonna grazie alle sue descrizioni predefinite.

Automazioni

Sincronizza le righe con Airtable, Smartsheet, Baserow, SeaTable o un foglio di calcolo in base a una pianificazione. Guide all'automazione.

Le tabelle delle cartelle si uniscono anche agli altri connettori: una query federata può corrispondere _source_file nomi o ID ordine in una cartella di file CSV rispetto a un database sullo stesso agente.

Come vengono visualizzati i file nuovi, modificati ed eliminati

File che vengono messi da parte

Nella fase di verifica e nella scheda Manifest compaiono tre parole che hanno significati diversi:

Riservato (parcheggiato)

Il file non corrisponde al layout bloccato, oppure è illeggibile, strappato, bloccato o coperto da un cappuccio. Per ogni file, la regola è "tutto o niente": un file parcheggiato non contribuisce con nessuna riga. file_eventi registra un deriva fila la cui dettaglio Il programma specifica il nome del file e della colonna. Il file viene ignorato finché le sue dimensioni e la data di modifica rimangono invariate, e viene riprovato non appena si verificano delle modifiche.

Illeggibile

L'agente non è riuscito ad aprire o analizzare il file a causa del suo tipo: non è una vera cartella di lavoro, è bloccato da un altro programma, è un segnaposto cloud, contiene byte non decodificabili. Il file viene archiviato automaticamente e il resto della cartella continua. Solo una cartella con zero file leggibili rifiuta l'intero set.

Rifiutato

L'agente non è riuscito a fissare alcun layout, ad esempio perché i file non concordano sul tipo di colonna. Non esiste ancora alcuna tabella dati. file_eventi ottiene un rifiutato riga con il motivo in dettaglioe l'agente riprova a ogni scansione finché non viene trovato un layout. Correggi o escludi il file indicato e il messaggio scomparirà.

Dove guardare: lo striscione ambra su Controllo (Mostra quali file e perché), del connettore Manifesto tab successivamente. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Limiti che vale la pena conoscere

Non ci sono limiti di piano per quanto riguarda le cartelle o il numero di file. Le righe vengono conteggiate nel tuo Data Realm come qualsiasi altro connettore. È possibile aumentare o diminuire i valori predefiniti del connettore:

Limiti di contenuto, che parcheggiano un file anziché troncarlo: 2.000.000 di righe o 512 MiB per file, 10.000.000 di righe o 2 GiB per scansione. Una cartella può contenere al massimo 25 layout distinti in Un tavolo per ogni disposizione modalità.

Domande che le persone si pongono

• Sistema di file
• Cartella Parquet
• Cartella Excel
• Cartella SQLite
• Cartella JSONL
• File CSV multi-record
• Registri delle macchine
• Registri del server web
• Registri dei container
• Registri delle applicazioni
• Registri di sistema
• Registri personalizzati