Interroger des fichiers CSV multi-enregistrements avec SQL

Connecteur de dossier · Enregistrements multiples

Convertissez les fichiers CSV qui mélangent plusieurs types d'enregistrements en Tables SQL vous pouvez interroger n'importe où

Configurez l'agent Query Streams pour qu'il pointe vers le dossier. Il lit les fichiers sur son ordinateur, crée les tables dans un cache local et les maintient à jour en fonction des fichiers ajoutés, modifiés ou supprimés. Vous pouvez ensuite les interroger depuis Excel, Google Sheets, Nova, Claude ou l'API REST. Aucun fichier n'est téléchargé, converti ou modifié.

Environ 15 minutes Aucun codage nécessaire Les fichiers restent sur votre réseau Le forfait gratuit le couvre

Ce que vous obtiendrez

Vous obtenez ainsi une table SQL par type d'enregistrement. Un fichier CSV dont les lignes sont étiquetées HDR, ITM et TRL devient ensemble de fichiers.data_hdr, ensemble de fichiers.données_itm et ensemble de fichiers.données_trl, chacune contenant ce type d'enregistrement provenant de chaque fichier du dossier. Les colonnes sont numérotées par position. champ_1 à champ_Net chaque rangée contient _fichier_source et _seqVous pouvez ainsi associer un en-tête à ses détails à l'aide de deux colonnes. L'agent lit le dossier sur son ordinateur, met en cache les lignes dans un espace de stockage local chiffré et les fournit sous forme de requêtes SQL à Excel, Google Sheets, au générateur de requêtes ou à tout autre client. Les fichiers restent sur votre réseau.

Chaque table se trouve dans un schéma nommé ensemble de fichiersLes tables sont nommées automatiquement, une par étiquette d'enregistrement : données_<tag>, donc l'étiquette HDR devient ensemble de fichiers.data_hdr. Avec Portée de la table réglé à Un tableau par extension de fichier et par étiquette, le nom devient données_<extension>_<tag>, ce qui permet de distinguer les fichiers de types différents ayant la même étiquette. Les colonnes sont champ_1 à champ_N par position, la colonne des étiquettes étant omise. Chaque ligne contient également _seq, l'occurrence de cette balise à partir de 0 dans le fichier et la clé de jointure entre les types d'enregistrements, plus _fichier_source et un _row_id du chemin du formulaire : ligne.

Chaque connecteur de dossier vous donne également accès aux tables de comptabilité. fichiers, fichiers_événements, annuaires, instantanés_de_répertoire et volumes.

Là où elle gagne sa vie :

• Interroger les fichiers de traitement par lots de type bancaire, paie ou EDI qui mélangent les lignes d'en-tête, de détail et de fin.
• Rapprocher les totaux de fin de chaque fichier avec ses lignes de détail en une seule requête.
• Chargez les fichiers batch entrants dans Excel ou Google Sheets sous forme de tableaux appropriés au lieu de les diviser manuellement.

Ce dont vous aurez besoin

Un compte Query Streams

Les connecteurs de dossiers sont inclus dans tous les forfaits, même le forfait gratuit. Le forfait gratuit est permanent, et non une période d'essai. Le nombre de fichiers qu'un dossier peut contenir est illimité.

L'Agent, version 2.6.0 ou ultérieure

Installé sur un ordinateur capable d'ouvrir le dossier : le serveur de fichiers lui-même, un ordinateur de bureau ou la machine sur laquelle les fichiers sont stockés. Une version plus ancienne d'Agent affiche les fiches de dossier grisées avec un Agent 2.6.0+ badge. Windows, Mac ou Linux.

Le chemin du dossier, tel que l'agent le voit

Un chemin local, ou un partage réseau écrit comme \\serveur\partage\dossier. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt ou /médias, a Mac under /Volumes).

Configurez-le en cinq étapes

1. Installez l'agent sur un ordinateur capable d'ouvrir le dossier.

   Connectez-vous, ouvrez TéléchargerInstallez ensuite l'agent sur l'ordinateur capable d'ouvrir les fichiers CSV contenant plusieurs types d'enregistrements : le serveur de fichiers ou tout ordinateur toujours allumé ayant accès au partage. L'installation prend une minute et l'agent s'exécute ensuite automatiquement. La version 2.6.0 ou ultérieure est requise ; la page de téléchargement propose toujours la version la plus récente.

   Pourquoi un petit programme plutôt qu'un pilote ? L'agent s'installe en une seule étape sur Windows, Mac ou Linux (environ 85 Mo sous Windows, un peu plus de 100 Mo sous Mac et Linux). Il établit une connexion sortante chiffrée vers Query Streams, unique chemin réseau nécessaire : aucun port entrant ni VPN ne sont requis. Il lit le répertoire sur lequel il est installé ; les fichiers restent donc en place et seules les lignes renvoyées par une requête transitent par Internet vers l'extension, le navigateur ou le client d'IA installé sur votre serveur.

   La page de téléchargement affiche Votre clé d'accèsCollez-le dans l'Agent lorsqu'il vous le demande, et attendez que le badge affiche Connecté aux flux de requêtesC'est la seule chose que vous ferez sur l'ordinateur de l'agent ; tout le reste se passe dans votre navigateur.

   Des guides complets sont disponibles si vous le souhaitez : Fenêtres, Mac, Linux.

2. Indiquez-lui les fichiers CSV qui mélangent plusieurs types d'enregistrements.

   Retournez dans votre navigateur ouvert Données → Agents de donnéesTrouvez l'agent que vous venez d'installer et cliquez dessus. Ajouter un connecteur bouton. Ouvrez le Fichiers et dossiers pilule et choisir le Fichier CSV multi-enregistrements carte. Vous ne savez pas quelle carte convient ? Choisissez Fichiers dans un dossier En revanche : l’agent examine le dossier, indique son contenu sur une page « Ce que nous avons trouvé » et ouvre pour vous la fiche correspondante, préremplie.

   Le magicien court Dossiers → Vérifier → Paramètres → Domaine → Consulter. Sur Dossiers:

   Dossiers racine

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Analyser les sous-dossiers, profondeur maximale

   Activé, et 8 niveaux, par défaut.

   Inclure des motifs, exclure des motifs

   Quels fichiers sont pris en compte ? Le modèle d'inclusion commence par le bon glob pour cette carte. Un connecteur lit un seul type de fichier : un dossier contenant des fichiers CSV. et Les fichiers Parquet comportent deux connecteurs sur le même dossier, un par type.

   Suivez les liens symboliques et les jonctions

   Désactivé par défaut. L'agent ne suit pas les raccourcis ni les espaces réservés dans le cloud, sauf si vous activez cette option.

   Installez l'agent Query Streams (version 2.6.0 ou ultérieure) sur un ordinateur capable d'ouvrir le dossier. À partir de cet agent : Ajouter un connecteur bouton, ouvrir Fichiers et dossiers et choisissez le Fichier CSV multi-enregistrements carte.

   • Dossiers racine: les dossiers à analyser sur l'ordinateur de l'agent, un par ligne. Indiquez les partages réseau comme \\serveur\partage\dossier, et non une lettre de lecteur mappée.
   • Inclure des motifs commence par **/*.csv.
   • Organisation des fichiers, Colonne d'étiquette d'enregistrement (nombre) et Délimiteur: quelle colonne contient l'étiquette d'enregistrement et qu'est-ce qui sépare les champs ?
   • Portée de la table: laisser la valeur par défaut d'un tableau par étiquette. Choisir Un tableau par extension de fichier et par étiquette conserver les mêmes étiquettes provenant de différents types de fichiers dans des tables séparées.

   Il n'y a pas Nom de la table champ et non Mise en page du tableau choix. Les tables sont nommées données_<tag>Une note explique que tous les fichiers correspondants doivent partager une même mise en page, issue d'un exemple lors de la première synchronisation ; les fichiers qui divergent ultérieurement sont mis de côté et signalés.

3. Vérifiez ce que cela va construire

   Sur Vérifier L'agent lit un échantillon de 64 fichiers maximum et affiche ce qu'il va créer. Rien n'est encore créé. Le bouton affiche : Test de connexion jusqu'à ce qu'un verdict soit rendu, alors Suivant; Réessayer L'échantillon est relancé après toute modification. Vous verrez l'un des quatre titres suivants :

   Prêt à créer

   Chaque fichier échantillonné est correctement formaté. Les puces situées en dessous indiquent le nombre de dossiers accessibles, le nombre de fichiers et de lignes, ainsi que les tables présentes.

   Prêt, avec notes

   Certains fichiers seront mis de côté, ou leur mise en page sera refusée. Une bannière orange indique précisément lesquels : « {n} des {m} fichiers seront mis de côté » avec un Afficher les fichiers concernés et pourquoi liste, et « Vous pouvez le créer quand même — le connecteur continuera à vérifier et indiquera la raison dans son onglet Manifeste. »

   Nécessite une attention particulière

   L'agent est hors ligne ou un dossier est manquant. Veuillez résoudre ce problème avant de continuer ; même si l'agent est hors ligne, la page l'indique et vous permet de poursuivre.

   Un refus ou un fichier mis de côté ne vous bloque jamais : cliquez SuivantTerminez l'assistant et corrigez les fichiers problématiques ultérieurement. Seul un agent hors ligne ou un dossier manquant peut interrompre l'assistant.

   Sur VérifierL'agent lit un échantillon de 64 fichiers maximum et affiche le nombre de fichiers, leur taille, le nombre estimé de lignes et les tables qu'il va créer, une par étiquette d'enregistrement trouvée, dans un encadré tel que « 3 tables : data_hdr, data_itm, data_trl ». Aucune table n'est encore créée. Si la colonne des étiquettes est mal configurée, les étiquettes listées par l'agent ne correspondront pas à vos types d'enregistrements ; vous devrez alors revenir en arrière et les modifier. Colonne d'étiquette d'enregistrement (nombre) ou DélimiteurLes fichiers que l'agent n'a pas pu lire au format CSV apparaissent sous Afficher les fichiers concernés et pourquoi Un fichier sur 12 est mis de côté, avec la mention « 1 fichier sur 12 sera mis de côté », tandis que les autres continuent de se charger. Vous pouvez créer le connecteur de l'une ou l'autre manière ; il vérifie en permanence et indique la raison de la mise de côté. Manifeste languette.

4. Choisissez la fréquence d'analyse, puis créez-le

   Les valeurs par défaut sur Paramètres Convient à un dossier qui reçoit quelques fichiers par jour. Quatre éléments que vous pourriez vouloir modifier :

   Intervalle de balayage

   Toutes les heures Par défaut, la fréquence est paramétrable ; vous pouvez choisir une fréquence de 5 minutes à une fréquence quotidienne. Chaque analyse compare la taille et la date de modification des fichiers afin de détecter les fichiers nouveaux, modifiés et supprimés.

   Surveillez le dossier pour détecter les modifications (quasi en temps réel).

   Désactivé par défaut. Activé, l'agent réagit en quelques secondes sur les disques locaux ; sur les partages réseau, il fonctionne au mieux et l'analyse planifiée reste la seule garantie. période calme (15 secondes) attend la fin de l'écriture d'un fichier.

   Actualisez la page avant de répondre à une question.

   Désactivé par défaut. Activé, une requête effectue une nouvelle analyse lorsque la dernière analyse est antérieure à la date de début. fenêtre de vieillissement (60 secondes), en attendant au maximum le limite d'attente des requêtes (5 secondes). Cela s'applique aux personnes et aux modules complémentaires, et non aux sondages d'alerte.

   Lorsqu'un fichier disparaît

   Supprimez ses lignes par défaut, ou Conserver les lignes, marquer les lignes supprimées (pierre tombale). Le Ratio de garde d'effacement (0.5) refuse une analyse qui perd plus de la moitié des fichiers à la fois et conserve l'inventaire précédent, ce à quoi ressemble un partage hors ligne.

   Ensuite, choisissez le Domaine des données les lignes sont comptabilisées, vérifiez Revoir et cliquez Créer un connecteurLe premier scan démarre immédiatement. Le connecteur Manifeste L'onglet affiche ce qu'il a construit et tous les fichiers qu'il a mis de côté.

5. Regardez vos tables

   Ouvrez le connecteur : le Manifeste L'onglet liste les tables qu'il a créées. Dans le Générateur de requêtes les mêmes tables se trouvent sous le ensemble de fichiers schéma. Trois requêtes fonctionnelles dès le premier jour :

   Enregistrements d'en-tête, dans l'ordre du fichier

   SELECT _source_file, _seq, field_1, field_2 FROM fileset.data_hdr ORDER BY _source_file, _seq LIMIT 100

   Chaque ligne d'en-tête de chaque fichier, avec le fichier d'origine et sa position parmi les en-têtes de ce fichier.

   L'en-tête de chaque fichier à côté de sa bande-annonce

   SELECT h._source_file, h._seq, h.field_1 AS header_field_1, t.field_1 AS trailer_field_1 FROM fileset.data_hdr AS h JOIN fileset.data_trl AS t ON t._source_file = h._source_file AND t._seq = h._seq ORDER BY h._source_file, h._seq LIMIT 100

   Fusionne deux types d'enregistrements sur les deux colonnes partagées, _source_file et _seq, de sorte que le nième en-tête rencontre le nième pied de page dans le même fichier.

   Fichiers mis de côté pour une étiquette inconnue ou une largeur incorrecte

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   Chaque fichier dont des lignes ont été omises, avec la raison détaillée.

   Chaque connecteur de dossier utilise également les mêmes tables de comptabilité, le tout dans le ensemble de fichiers schéma:

   Tableau	Ce qu'il contient
   fichiers	Chaque fichier actuellement présent dans le dossier : chemin, nom, extension, taille, dates de création et de modification, première et dernière consultation. Vue d'ensemble fichiers_actuels, qui conserve également les fichiers disparus.
   fichiers_événements	L'historique des modifications : une ligne par fichier. apparu, était modifié, disparu, a été mis de côté (dérive) ou était refusé, avec le temps en événement_à, comment cela a été remarqué dans détecté par et la raison dans détail.
   annuaires, instantanés_de_répertoire, volumes	Nombre et taille des dossiers, leur évolution et les disques ou partages sur lesquels résident les fichiers racines.
   _fichier_source, _row_id	Deux colonnes par ligne de données : le fichier d’origine et un identifiant unique au sein de ce fichier. Grouper par _fichier_source comparer les fichiers.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Dossiers step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Utilisez-le partout

Le connecteur est une source de données comme une autre dans Query Streams. Enregistrez une requête une seule fois dans le Générateur de requêtes (le dialecte est DuckDB) et utilisez-le depuis :

Excel

Les modules complémentaires Diffuser une requête Insère les lignes dans une feuille et se relance en un clic. Exécuter du SQL dans Excel.

Google Sheets

Le Flux de requêtes Le module complémentaire remplit un onglet que vous sélectionnez. Power Query pour Google Sheets.

Claude, Cursor et autres clients IA

Par l'intermédiaire du serveur MCP Query Streams, Claude connaît le modèle de dossiers, y compris _fichier_source et fichiers_événements. Enregistrement multiple avec Claude via MCP.

API REST

Chaque requête enregistrée devient un point de terminaison en lecture seule avec sa propre clé, sur chaque forfait. API REST multi-enregistrements.

Nova

Posez des questions claires et concises sur le plan d'affaires ; Nova connaît chaque dossier, tableau et colonne grâce à ses descriptions intégrées.

Automatisations

Synchronisez les lignes avec Airtable, Smartsheet, Baserow, SeaTable ou une feuille de calcul selon un calendrier prédéfini. Guides d'automatisation.

Les tables de dossiers sont également liées à vos autres connecteurs : une requête fédérée peut correspondre _fichier_source noms ou identifiants de commande dans des fichiers CSV qui mélangent plusieurs types d'enregistrements par rapport à une base de données sur le même agent.

Affichage des fichiers nouveaux, modifiés et supprimés

Fichiers mis de côté

Trois mots apparaissent à l'étape « Vérifier » et dans l'onglet « Manifeste ». Ils ont des significations différentes :

Mettre de côté (stationné)

Le fichier ne correspond pas à la mise en page définie, ou est illisible, déchiré, verrouillé ou masqué. Chaque fichier est traité de manière binaire : un fichier mis en attente ne contribue à aucune ligne. fichiers_événements enregistre un dérive rangée dont détail Le nom du fichier et de la colonne est indiqué. Le fichier est ignoré tant que sa taille et sa date de modification restent inchangées, et une nouvelle tentative est effectuée dès que ces informations sont modifiées.

Illisible

L'agent n'a pas pu ouvrir ni analyser le fichier en raison de son type : il ne s'agit pas d'un classeur valide, il est verrouillé par un autre programme, il s'agit d'un espace réservé dans le cloud ou il contient des octets indéchiffrables. Il se met en pause et le reste du dossier est traité. Seul un dossier ne contenant aucun fichier lisible refuse l'ensemble du traitement.

Refusé

L'agent n'a pu épingler aucune mise en page, par exemple parce que les fichiers ne définissent pas le type d'une colonne. Aucune table de données n'existe encore. fichiers_événements obtient un refusé dispute avec la raison dans détailL'agent effectue une nouvelle tentative à chaque analyse jusqu'à ce qu'une configuration soit trouvée. Corrigez ou excluez le fichier mentionné pour que le message disparaisse.

Où regarder : la bannière ambrée sur Vérifier (Afficher les fichiers concernés et pourquoi), le connecteur Manifeste tabulation ensuite. En SQL : SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') TRIER PAR event_at DESC.

Des limites qu'il vaut la peine de connaître

Il n'y a pas de limite au nombre de dossiers ni de fichiers. Les lignes sont comptabilisées dans votre espace de données, comme pour tout autre connecteur. Vous pouvez modifier les valeurs par défaut du connecteur.

Limites de contenu, qui consistent à stocker un fichier plutôt qu'à le tronquer : 2 000 000 lignes ou 512 Mio par fichier, 10 000 000 lignes ou 2 Gio par analyse. Un dossier peut contenir au maximum 25 agencements différents. Une table par mise en page mode.

Questions que se posent les gens

• Système de fichiers
• Dossier CSV
• Dossier en parquet
• Dossier Excel
• Dossier SQLite
• Dossier JSONL
• Journaux de machines
• Journaux du serveur Web
• Journaux de conteneurs
• Journaux d'application
• Journaux système
• Journaux personnalisés