Eseguire query su una cartella di file Parquet tramite SQL

Connettori di cartella · Cartella Parquet

Trasforma una cartella di file Parquet in tabelle SQL puoi fare domande ovunque

Punta l'agente Query Streams alla cartella. Legge i file sul proprio computer, crea le tabelle in una cache locale e le mantiene aggiornate man mano che i file vengono aggiunti, modificati o eliminati. Puoi interrogarle da Excel, Fogli Google, Nova, Claude o tramite l'API REST. Non viene caricato nulla e nessun file viene convertito o modificato.

Circa 15 minuti Non è necessaria alcuna programmazione. I file rimangono sulla tua rete Il piano gratuito lo copre

Quello che otterrai alla fine

Alla fine ti ritrovi con una tabella SQL tipizzata, ad esempio fileset.orders, contenente le righe di ogni file Parquet nella cartella, con i tipi di colonna letti dai piè di pagina del file e un _source_file Una colonna indica il file da cui proviene ogni riga. Non è necessario installare alcun visualizzatore Parquet né configurare DuckDB. L'agente legge i file sul computer in cui è in esecuzione, memorizza nella cache le righe e le fornisce come query SQL, quindi i file rimangono sulla rete.

Tutto si trova in un unico schema DuckDB chiamato set di file, memorizzato nella cache sul computer dell'agente. La tabella dati prende il tuo Nome della tabellaLe colonne e i tipi provengono dai piè di pagina Parquet. I file possono aggiungere o omettere colonne: la tabella contiene tutte le colonne presenti e una colonna mancante in un file viene visualizzata come NULL.

Non esiste una modalità per layout per Parquet: tutti i file corrispondenti devono condividere un layout e una colonna il cui tipo differisce tra i file blocca il pin. Ogni connettore di cartella ti fornisce anche file, file_eventi, elenchi, istantanee della directory e volumiche elencano i file Parquet stessi, la loro cronologia delle modifiche e le dimensioni delle cartelle.

Dove si guadagna da vivere:

• Esportazione del data lake: una pipeline scrive quotidianamente parti di file Parquet in cartelle anno/mese e gli analisti le interrogano come un'unica tabella senza bisogno di un notebook.
• Gestione dei file forniti dal fornitore: un partner fornisce estratti di file Parquet in una cartella condivisa e tu verifichi il numero di righe per file prima di caricarli altrove.
• Ricerca negli archivi: anni di storia di Parquet sono memorizzati su un NAS e una singola query SQL risponde a una domanda che prima richiedeva uno script.

Cosa ti servirà

Un account Query Streams

I connettori per le cartelle sono disponibili in tutti i piani, incluso quello gratuito. Il piano gratuito è un piano a lungo termine, non una prova che scade. Non c'è limite al numero di file che una cartella può contenere.

L'agente, versione 2.6.0 o successiva

Installato su un computer in grado di aprire la cartella: il file server stesso, un computer dell'ufficio o la macchina su cui finiscono i file. Un agente più vecchio mostra le schede delle cartelle in grigio con un Agente 2.6.0+ Distintivo. Windows, Mac o Linux.

Il percorso della cartella, così come lo vede l'agente.

Un percorso locale o una condivisione di rete scritta come \\server\condiviso\cartella. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt o /media, a Mac under /Volumes).

Configuralo in cinque passaggi

1. Installa l'agente su un computer in grado di aprire la cartella

   Accedi, apri ScaricamentoInstalla l'agente per il tuo sistema sul computer in grado di aprire una cartella contenente file Parquet: il file server o qualsiasi computer sempre acceso che possa accedere alla condivisione. L'installazione richiede un minuto e l'agente si avvierà automaticamente in seguito. È necessaria la versione 2.6.0 o successiva; la pagina di download contiene sempre la versione più recente.

   Perché un piccolo programma invece di un driver? L'Agent richiede un'unica installazione per Windows, Mac o Linux (circa 85 MB su Windows, poco più di 100 MB su Mac e Linux). Apre una connessione crittografata in uscita verso Query Streams e questo è l'unico percorso di rete necessario: non è necessario aprire alcuna porta in entrata né utilizzare una VPN. Legge i file nella cartella in cui si trova, quindi i file rimangono al loro posto e solo le righe restituite da una query vengono inviate tramite Internet al componente aggiuntivo, al browser o al client AI installato.

   La pagina di download mostra La tua chiave di accesso. Incollalo nell'Agente quando richiesto e attendi che il badge venga letto Connesso ai flussi di queryQuesta è l'unica operazione che devi eseguire sul computer dell'agente; tutto il resto avviene nel tuo browser.

   Se volete, potete trovare le guide complete: Finestre, Mac, Linux.

2. Puntalo verso una cartella di file Parquet

   Torna al tuo browser aperto Dati → Agenti dati, trova l'agente che hai appena installato e fai clic sul suo Aggiungi connettore pulsante. Apri il File e cartelle pillola e scegli la Cartella Parquet carta. Non sai quale carta è adatta? Scegli File in una cartella Invece: l'agente analizza la cartella, elenca il contenuto in una pagina "Cosa abbiamo trovato" e apre la scheda corretta, già precompilata.

   Il mago corre Cartelle → Verifica → Impostazioni → Realm → Rivedi. SU Cartelle:

   Cartelle radice

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Scansiona le sottocartelle, profondità massima

   Attivato, e 8 livelli, di default.

   Includi modelli, escludi modelli

   Quali file contano. Il modello di inclusione inizia con il glob corretto per questa scheda. Un connettore legge un tipo di file: una cartella con CSV e I file Parquet contengono due connettori nella stessa cartella, uno per tipo.

   Segui i collegamenti simbolici e le giunzioni

   Disattivato per impostazione predefinita. L'agente non segue i collegamenti rapidi o i segnaposto cloud a meno che non si attivi questa opzione.

   Inizia dal Aggiungi connettore pulsante di un agente che può aprire la cartella Apri File e cartelle e clicca sul Cartella Parquet carta.

   • Cartelle radice: una cartella per riga, come percorsi sul computer dell'agente. Digitare una condivisione di rete come \\server\condiviso\cartella, non come lettera di unità mappata.
   • Includi modelli inizia come **/*.parquet. Scansiona le sottocartelle è acceso con Profondità massima 8, quindi vengono lette le strutture di cartelle partizionate.
   • Digita un Nome della tabella, Per esempio ordiniÈ richiesto su questa carta.
   • Non c'è Disposizione della tabella scelta. Una nota spiega che tutti i file corrispondenti devono condividere un layout, che la prima sincronizzazione lo fissa da un campione e che i file che in seguito non corrispondono vengono messi da parte e segnalati.

3. Controlla cosa costruirà

   SU Controllo L'agente legge un campione di massimo 64 file e mostra cosa creerà. Non è ancora stato creato nulla. Il pulsante dice Verifica la connessione fino a quando non ci sarà un verdetto, allora Avanti; Prova di nuovo Il programma riesegue il campione dopo ogni modifica. Verrà visualizzato uno dei quattro titoli seguenti:

   Pronto a creare

   Ogni file campionato rientra nel campione. I chip sottostanti indicano quante cartelle sono accessibili, quanti file e righe sono presenti e quali tabelle saranno presenti.

   Pronto, con appunti

   Alcuni file verranno messi da parte oppure il controllo del layout verrà rifiutato. Un banner ambra indica esattamente quali: "{n} di {m} file(s) verranno messi da parte" con un Mostra quali file e perché elenco e "Puoi comunque crearlo: il connettore continuerà a ricontrollare e a segnalare il motivo nella sua scheda Manifesto."

   Necessita di attenzione

   L'agente è offline oppure manca una cartella. Risolvi il problema prima di continuare; se l'agente è offline, la pagina lo segnala ma ti permette comunque di proseguire.

   Un rifiuto o un file accantonato non ti bloccano mai: clicca AvantiCompleta la procedura guidata e correggi i file anomali in seguito. Solo un agente offline o una cartella mancante interrompono la procedura guidata.

   SU Controllo, l'agente campiona fino a 64 file e mostra il numero di file, la dimensione, la stima delle righe e la tabella che verrà creata. Non viene ancora creato nulla. I tipi devono essere coerenti in tutto il campione; l'agente non blocca mai per maggioranza. Se due file non concordano su un tipo di colonna, l'intestazione è Pronto, con appunti e il banner ambra recita "Il controllo dello schema è stato rifiutato: {motivo}", indicando il file che non è d'accordo. Puoi comunque creare il connettore. Continua a ricontrollare e mostra il motivo sul suo Manifesto tab finché non correggi o escludi il file.

4. Scegli la frequenza di scansione, quindi creala

   Le impostazioni predefinite su Impostazioni Adatto a una cartella che riceve pochi file al giorno. Quattro che potresti voler modificare:

   Intervallo di scansione

   Ogni ora Per impostazione predefinita, è possibile scegliere tra ogni 5 minuti e ogni giorno. Ogni scansione confronta le dimensioni e l'ora di modifica per trovare file nuovi, modificati o eliminati.

   Monitora la cartella per eventuali modifiche (quasi in tempo reale)

   Disattivato per impostazione predefinita. Attivato, l'agente reagisce in pochi secondi sui dischi locali; sulle condivisioni di rete, il funzionamento è "best-effort" e la scansione pianificata rimane la garanzia. Periodo di quiete (15 secondi) attende che la scrittura di un file sia completata.

   Aggiorna la pagina prima di rispondere a una domanda

   Disattivato per impostazione predefinita. In caso di attivazione, una query esegue nuovamente la scansione quando l'ultima scansione è precedente alla Finestra di invecchiamento (60 secondi), aspettando al massimo il limite di attesa della query (5 secondi). Si applica a persone e componenti aggiuntivi, non al polling degli avvisi.

   Quando un file scompare

   Abbassa le sue righe di default, oppure Mantieni le righe, contrassegna gli elementi eliminati (lapide). IL Rapporto di guardia scomparso (0.5) rifiuta una scansione che perde più della metà dei file in una volta e mantiene l'inventario precedente, che è ciò che appare in una condivisione offline.

   Quindi scegli il Regno dei dati le righe contano contro, controlla Revisione e clicca Crea connettore. La prima scansione inizia subito. Il connettore Manifesto La scheda mostra cosa è stato compilato e tutti i file che sono stati messi da parte.

5. Guarda le tue tabelle

   Apri il connettore: il Manifesto la scheda elenca le tabelle create. Nella Generatore di query gli stessi tavoli si trovano sotto il set di file schema. Tre query che funzionano fin dal primo giorno:

   Quante righe aggiunge ogni file Parquet?

   SELECT _source_file, COUNT(*) AS row_count, MAX(_row_id) AS last_row_id FROM fileset.orders GROUP BY _source_file ORDER BY row_count DESC LIMIT 100

   Mostra ogni singolo file presente dietro al tavolo e il contributo di ciascuno.

   Partiziona le cartelle in base alle dimensioni e al file più recente

   SELECT path, subtree_file_count, subtree_bytes, newest_file_utc FROM fileset.directories ORDER BY newest_file_utc DESC LIMIT 100

   Ti indica quali cartelle di partizione hanno ricevuto file più di recente e quanto è cresciuta ciascuna dimensione.

   Qualche pratica è stata rifiutata o accantonata? E perché?

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   Una riga rifiutata significa che non è stato possibile fissare alcun layout; una riga derivata indica un file le cui righe sono state omesse.

   Ogni connettore di cartella serve anche le stesse tabelle di contabilità, tutte nella set di file schema:

   Tavolo	Cosa contiene
   file	Ogni file attualmente presente nella cartella: percorso, nome, estensione, dimensione, data di creazione e di modifica, prima e ultima visualizzazione. Una panoramica file_correntiche conserva anche i file scomparsi.
   file_eventi	La cronologia delle modifiche: una riga per file che apparso, era modificato, scomparso, è stato messo da parte (deriva) o era rifiutato, con il tempo in evento_al, come è stato notato in rilevato_da e il motivo in dettaglio.
   elenchi, istantanee della directory, volumi	Numero e dimensioni delle cartelle, come sono cresciute e i dischi o le condivisioni su cui risiedono le directory principali.
   _source_file, _row_id	Due colonne su ogni riga di dati: il file da cui proviene la riga e un ID di riga stabile all'interno di quel file. Raggruppa per _source_file per confrontare i file.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Cartelle step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Usalo ovunque

Il connettore è un'origine dati come qualsiasi altra in Query Streams. Salva una query una volta nel Generatore di query (il dialetto è DuckDB) e utilizzalo da:

Excel

Il componente aggiuntivo Trasmetti una query trascina le righe in un foglio e le riesegue con un clic. Esecuzione di query SQL in Excel.

Fogli di Google

IL Streamer di query Il componente aggiuntivo riempie la scheda che selezioni. Power Query per Google Sheets.

Claude, Cursor e altri client di intelligenza artificiale

Tramite il server Query Streams MCP; Claude conosce il modello di cartella, incluso _source_file e file_eventi. Cartella Parquet con Claude tramite MCP.

API REST

Ogni query salvata diventa un endpoint di sola lettura con una propria chiave, indipendentemente dal piano. API REST della cartella Parquet.

Nova

Chiedi in modo chiaro e semplice riguardo al piano Business; Nova conosce ogni cartella, tabella e colonna grazie alle sue descrizioni predefinite.

Automazioni

Sincronizza le righe con Airtable, Smartsheet, Baserow, SeaTable o un foglio di calcolo in base a una pianificazione. Guide all'automazione.

Le tabelle delle cartelle si uniscono anche agli altri connettori: una query federata può corrispondere _source_file nomi o ID ordine in una cartella di file Parquet rispetto a un database sullo stesso agente.

Come vengono visualizzati i file nuovi, modificati ed eliminati

File che vengono messi da parte

Nella fase di verifica e nella scheda Manifest compaiono tre parole che hanno significati diversi:

Riservato (parcheggiato)

Il file non corrisponde al layout bloccato, oppure è illeggibile, strappato, bloccato o coperto da un cappuccio. Per ogni file, la regola è "tutto o niente": un file parcheggiato non contribuisce con nessuna riga. file_eventi registra un deriva fila la cui dettaglio Il programma specifica il nome del file e della colonna. Il file viene ignorato finché le sue dimensioni e la data di modifica rimangono invariate, e viene riprovato non appena si verificano delle modifiche.

Illeggibile

L'agente non è riuscito ad aprire o analizzare il file a causa del suo tipo: non è una vera cartella di lavoro, è bloccato da un altro programma, è un segnaposto cloud, contiene byte non decodificabili. Il file viene archiviato automaticamente e il resto della cartella continua. Solo una cartella con zero file leggibili rifiuta l'intero set.

Rifiutato

L'agente non è riuscito a fissare alcun layout, ad esempio perché i file non concordano sul tipo di colonna. Non esiste ancora alcuna tabella dati. file_eventi ottiene un rifiutato riga con il motivo in dettaglioe l'agente riprova a ogni scansione finché non viene trovato un layout. Correggi o escludi il file indicato e il messaggio scomparirà.

Dove guardare: lo striscione ambra su Controllo (Mostra quali file e perché), del connettore Manifesto tab successivamente. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Limiti che vale la pena conoscere

Non ci sono limiti di piano per quanto riguarda le cartelle o il numero di file. Le righe vengono conteggiate nel tuo Data Realm come qualsiasi altro connettore. È possibile aumentare o diminuire i valori predefiniti del connettore:

Limiti di contenuto, che parcheggiano un file anziché troncarlo: 2.000.000 di righe o 512 MiB per file, 10.000.000 di righe o 2 GiB per scansione. Una cartella può contenere al massimo 25 layout distinti in Un tavolo per ogni disposizione modalità.

Domande che le persone si pongono

• Sistema di file
• Cartella CSV
• Cartella Excel
• Cartella SQLite
• Cartella JSONL
• File CSV multi-record
• Registri delle macchine
• Registri del server web
• Registri dei container
• Registri delle applicazioni
• Registri di sistema
• Registri personalizzati