Voir les catégories

Comment interroger un dossier de fichiers avec SQL

Vos dossiersPlan gratuitFlux de requêtesTables SQL

Dossiers → tables SQL · avec Query Streams

Avec Query Streams, un dossier de fichiers devient des tables SQL en lecture seule : les fichiers restent à leur emplacement, l’Agent installé sur cet ordinateur les lit dans un cache local chiffré et maintient les tables à jour à mesure que des fichiers arrivent, changent ou disparaissent. Rien n’est téléversé et aucun fichier n’est modifié. Comptez environ quinze minutes la première fois ; le forfait Free couvre cette utilisation.

Commencez gratuitement
Pile isométrique de trois feuilles de fichier reliées par un trait à une seule vignette de table
Vous êtes bloqué à un moment donné ? N'hésitez pas à nous demander. Ouvrir Soutien Dans la section « Flux de requêtes » (menu en haut à droite → Assistance), envoyez-nous un message. De vraies personnes le liront, et « Je ne comprends pas ce que cet écran demande » est une question tout à fait légitime.

Choisissez le guide pour vos fichiers

Icône de dossier CSVChaque fiche ci-dessous correspond à un connecteur et à un guide. Chaque guide détaille les cinq étapes : installer l’agent, l’indiquer comme dossier, vérifier les éléments à compiler, choisir la fréquence d’analyse et consulter vos tables. Il présente ensuite les tables, les requêtes et les pièges spécifiques à ce type de fichier. Vous hésitez ? Consultez la section « Choisir » du portail. Fichiers dans un dossierL'agent examine le dossier et ouvre la carte appropriée pour vous.

Système de fichiers

un inventaire interrogeable de chaque fichier contenu dans vos dossiers, avec leurs tailles, dates, historique des modifications et croissance des dossiers, sans avoir à lire le contenu des fichiers.

Dossier CSV

Chaque fichier CSV du dossier est fusionné en un seul tableau, ou en un tableau par mise en page, chaque ligne étant étiquetée avec le fichier dont elle provient.

Dossier en parquet

un dossier de fichiers Parquet sous forme d'un tableau dactylographié, avec des colonnes et des types extraits des pieds de page des fichiers.

Dossier Excel

Les feuilles de chaque classeur ont été fusionnées en un seul tableau par feuille, par exemple : commandes de données, ou un tableau par mise en page pour les classeurs mixtes.

Dossier SQLite

De nombreux fichiers SQLite interrogés comme une seule base de données, avec des tables portant le même nom fusionnées et chaque ligne étiquetée avec son fichier.

Dossier JSONL

Les fichiers JSON sont aplatis en colonnes dans un seul tableau, ou un tableau par forme.

Fichier CSV multi-enregistrements

une table par type d'enregistrement, par exemple data_hdr et data_itm, pouvant être joints par fichier et numéro de séquence.

Journaux de machines

Les journaux de CNC, PLC et robots se sont terminés par un événements tableau, ainsi que des tableaux d'alarme, de cycle et de temps d'arrêt pour les contrôleurs pris en charge.

Journaux du serveur Web

une ligne par requête des journaux nginx, Apache, IIS ou Caddy, avec l'adresse IP du client, le chemin, le statut et les octets comme colonnes.

Journaux de conteneurs

Lignes de journalisation des conteneurs Docker sous forme de lignes, avec le nom du conteneur, le flux et le message en colonnes.

Journaux d'application

Journaux d'application JSON et texte sous forme de lignes avec niveau, journaliseur et message, les traces de pile étant conservées avec leur événement.

Journaux système

Les fichiers syslog et journald sont présentés sous forme de lignes contenant l'hôte, le programme, le PID et le message.

Journaux personnalisés

Tout journal de texte analysé dans les colonnes que vous décrivez, les lignes non analysées étant conservées dans un tableau de lignes brutes.

Fonctionnement de chaque connecteur de dossier

OÙ VIENNENT LES DOSSIERSun ordinateur ou un partage de fichiers que l'agent peut ouvrirVotre dossierdes fichiersLes fichiers restent où ils sont.Agent de flux de requêtesanalyse le dossier, construit des tablesdans un cache local, exécute la requête SQLSélection uniquement, appliquée iciFlux de requêtesun lien sortantvérifie qui peut voir quoi · enregistre chaque requêteOÙ VOUS L'UTILISEZn'importe quel ordinateur, n'importe quel navigateurExcel · Google Sheets · NovaClaude · API REST · AutomatisationsVoyez les lignes, jamais les fichiers
L'agent lit le dossier sur son propre ordinateur, stocke les lignes dans un cache local chiffré et effectue chaque requête sur ce cache. Seules les lignes renvoyées par une requête sont transmises, via une unique connexion sortante. Aucun port à ouvrir, aucun VPN, aucun transfert de données.

Un connecteur de base de données pointe vers un serveur contenant déjà des tables. Un connecteur de dossier pointe vers des dossiers sur l'ordinateur de l'agent. L'agent lit les fichiers, sélectionne une structure parmi un échantillon de 64 fichiers maximum, puis construit les tables dans un cache local chiffré (un schéma DuckDB, nommé ensemble de fichiersIl les actualise selon la fréquence que vous définissez. Les fichiers qui ne correspondent pas à la mise en page sont mis de côté et signalés ; ils ne sont jamais supprimés ni modifiés. Chaque connecteur lit un type de fichier ; un dossier contenant des fichiers CSV et Parquet nécessite deux connecteurs.

Chaque connecteur de dossier utilise également les mêmes tables de comptabilité, le tout dans le ensemble de fichiers schéma:

TableauCe qu'il contient
fichiersChaque fichier actuellement présent dans le dossier : chemin, nom, extension, taille, dates de création et de modification, première et dernière consultation. Vue d'ensemble fichiers_actuels, qui conserve également les fichiers disparus.
fichiers_événementsL'historique des modifications : une ligne par fichier. apparu, était modifié, disparu, a été mis de côté (dérive) ou était refusé, avec le temps en événement_à, comment cela a été remarqué dans détecté par et la raison dans détail.
annuaires, instantanés_de_répertoire, volumesNombre et taille des dossiers, leur évolution et les disques ou partages sur lesquels résident les fichiers racines.
_fichier_source, _row_idDeux colonnes par ligne de données : le fichier d’origine et un identifiant unique au sein de ce fichier. Grouper par _fichier_source comparer les fichiers.

Ce dont vous aurez besoin

Un compte Query Streams

Les connecteurs de dossiers sont inclus dans tous les forfaits, même le forfait gratuit. Le forfait gratuit est permanent, et non une période d'essai. Le nombre de fichiers qu'un dossier peut contenir est illimité.

L'Agent, version 2.6.0 ou ultérieure

Installé sur un ordinateur capable d'ouvrir le dossier : le serveur de fichiers lui-même, un ordinateur de bureau ou la machine sur laquelle les fichiers sont stockés. Une version plus ancienne d'Agent affiche les fiches de dossier grisées avec un Agent 2.6.0+ badge. Windows, Mac ou Linux.

Le chemin du dossier, tel que l'agent le voit

Un chemin local, ou un partage réseau écrit comme \\serveur\partage\dossierL'agent s'exécute en tant que service et ne peut donc pas accéder aux lecteurs mappés lors de votre connexion (Z: et autres). Sous Windows, il peut se connecter à un partage avec un identifiant enregistré ; sous Linux ou macOS, il faut d'abord monter le partage (sous Linux, sous macOS). /mnt ou /médias, un Mac sous /Volumes).

Où se déroule le travail ? Sur l'ordinateur exécutant l'agent, celui-ci analyse le dossier et copie les lignes dans un cache local chiffré (un schéma, nommé ensemble de fichiers) et exécute chaque requête sur ce cache. Vos fichiers sont lus, jamais modifiés, déplacés ni téléchargés.

Accéder à un fichier sur un partage réseau

L'agent ouvre les fichiers en tant que service en arrière-plan, et non en tant qu'utilisateur. Par conséquent, un fichier situé sur un autre ordinateur nécessite une étape supplémentaire. Cette étape dépend de l'ordinateur sur lequel l'agent est exécuté.

Fenêtres

Saisissez le chemin réseau, comme \\serveur\partage\dossier, jamais une lettre de lecteur mappée telle que S:, que l'agent ne peut pas voir. Si le partage n'autorise que les personnes nommées, cliquez Identité de service (la puce sous le chemin, ou celle d'un dossier) Attestation colonne) et stocker un identifiant de connexion pour ce serveur : un compte de domaine d’entreprise ou un compte créé sur le serveur lui-même avec Domaine Si ce champ est laissé vide, l'agent se connecte au serveur et lit le fichier. Chaque connecteur de cet agent qui accède au même serveur doit utiliser les mêmes identifiants. Sans identifiant, la lecture se fait avec son propre compte de service, que le domaine de l'entreprise interprète comme l'ordinateur lui-même. Étape par étape sous Windows

Linux

Les identifiants de partage enregistrés dans le portail ne sont pas utilisés sous Linux : un administrateur monte d’abord le partage sur l’ordinateur de l’agent, dans un dossier situé sous /mnt ou /médias, car le service de l'agent ne peut pas voir /maison ou /run/utilisateurDans le connecteur, conservez le \\serveur\partage chemin, que l'agent mappe sur le point de montage, ou saisissez directement le chemin du point de montage, par exemple : /mnt/fileserver-shared/Comptes. Comment monter un partage réseau sous Linux

Mac

Les identifiants de partage enregistrés dans le portail ne sont pas utilisés sur un Mac : montez d’abord le partage depuis le Terminal avec sudo, dans un dossier sous /Volumes, afin que le service d'arrière-plan de l'agent puisse le voir. Dans le connecteur, conservez le \\serveur\partage chemin, que l'agent mappe sur le point de montage, ou saisissez directement le chemin du point de montage, par exemple : /Volumes/fileserver-shared/Accounts. Comment monter un partage sur un Mac

Si le test ne parvient pas à accéder à l'action, recherchez ces mots dans son résultat : injoignable Cela signifie que l'ordinateur de l'agent n'a reçu aucune réponse du serveur. Sous Linux ou Mac, non monté Cela signifie que le partage doit encore être monté, et ce message inclut la commande de montage exacte pour votre serveur.

Des dossiers sur un partage ? Sous Windows, une seule connexion permet de couvrir tous les dossiers ajoutés depuis le même serveur. Surveillez le dossier pour les modifications Cela fonctionne également sur un partage, au mieux de nos capacités ; l'analyse planifiée garantit que chaque modification est prise en compte.

Affichage des fichiers nouveaux, modifiés et supprimés

Fichiers nouveaux et modifiés

Sur chaque Intervalle de balayage (ou en quelques secondes avec Dossier de surveillance un nouveau fichier qui correspond à la mise en page voit ses lignes ajoutées et reçoit un apparu Un fichier modifié est relu en une seule transaction : ses anciennes lignes disparaissent, ses nouvelles lignes sont insérées, et il reçoit un modifié événement.

Fichiers supprimés

Un fichier qui disparaît supprime par défaut ses lignes, ou les conserve marquées comme supprimées si vous avez choisi l'option de suppression, et reçoit un disparu Si plus de la moitié des fichiers disparaissent simultanément, l'analyse est refusée et l'inventaire précédent est conservé : un partage hors ligne ressemble exactement à cela.

Fichiers mis de côté

Un fichier qui ne correspond pas à la mise en page, qui ne peut pas être ouvert ou qui dépasse la limite de taille est mis de côté en entier : aucune de ses lignes n’est chargée, et fichiers_événements obtient un dérive Indiquez la ligne contenant le nom du fichier et la colonne. Corrigez le fichier et enregistrez-le ; la prochaine analyse tentera de le traiter à nouveau.

Ce que je vois est-il vraiment frais ?

Les requêtes répondent à partir de la dernière analyse. Il n'y a pas de bouton « Analyser à nouveau » ou « Synchroniser maintenant » ; l'intervalle d'analyse, la surveillance des dossiers et Actualisez la page avant de répondre à une question. ce sont les trois commandes. MAX(dernière_vue_utc) à partir de fichiers_actuels vous indique la date et l'heure de la dernière consultation par l'agent.

Fichiers mis de côté

Trois mots apparaissent à l'étape « Vérifier » et dans l'onglet « Manifeste ». Ils ont des significations différentes :

Mettre de côté (stationné)
Le fichier ne correspond pas à la mise en page définie, ou est illisible, déchiré, verrouillé ou masqué. Chaque fichier est traité de manière binaire : un fichier mis en attente ne contribue à aucune ligne. fichiers_événements enregistre un dérive rangée dont détail Le nom du fichier et de la colonne est indiqué. Le fichier est ignoré tant que sa taille et sa date de modification restent inchangées, et une nouvelle tentative est effectuée dès que ces informations sont modifiées.
Illisible
L'agent n'a pas pu ouvrir ni analyser le fichier en raison de son type : il ne s'agit pas d'un classeur valide, il est verrouillé par un autre programme, il s'agit d'un espace réservé dans le cloud ou il contient des octets indéchiffrables. Il se met en pause et le reste du dossier est traité. Seul un dossier ne contenant aucun fichier lisible refuse l'ensemble du traitement.
Refusé
L'agent n'a pu épingler aucune mise en page, par exemple parce que les fichiers ne définissent pas le type d'une colonne. Aucune table de données n'existe encore. fichiers_événements obtient un refusé dispute avec la raison dans détailL'agent effectue une nouvelle tentative à chaque analyse jusqu'à ce qu'une configuration soit trouvée. Corrigez ou excluez le fichier mentionné pour que le message disparaisse.

Où regarder : la bannière ambrée sur Vérifier (Afficher les fichiers concernés et pourquoi), le connecteur Manifeste tabulation ensuite. En SQL : SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') TRIER PAR event_at DESC.

Utilisez les tableaux partout

Le connecteur est une source de données comme une autre dans Query Streams. Enregistrez une requête une seule fois dans le Générateur de requêtes (le dialecte est DuckDB) et utilisez-le depuis :

Excel

Les modules complémentaires Diffuser une requête Insère les lignes dans une feuille et se relance en un clic. Exécuter du SQL dans Excel.

Google Sheets

Le Flux de requêtes Le module complémentaire remplit un onglet que vous sélectionnez. Power Query pour Google Sheets.

Claude, Cursor et autres clients IA

Par l'intermédiaire du serveur MCP Query Streams, Claude connaît le modèle de dossiers, y compris _fichier_source et fichiers_événements. Dossier CSV avec Claude via MCP.

API REST

Chaque requête enregistrée devient un point de terminaison en lecture seule avec sa propre clé, sur chaque forfait. API REST de dossier CSV.

Nova

Posez des questions claires et concises sur le plan d'affaires ; Nova connaît chaque dossier, tableau et colonne grâce à ses descriptions intégrées.

Automatisations

Synchronisez les lignes avec Airtable, Smartsheet, Baserow, SeaTable ou une feuille de calcul selon un calendrier prédéfini. Guides d'automatisation.

Les tables de dossiers sont également liées à vos autres connecteurs : une requête fédérée peut correspondre _fichier_source noms ou identifiants de commande dans un dossier de fichiers CSV par rapport à une base de données sur le même agent.

Des limites qu'il vaut la peine de connaître

Il n'y a pas de limite au nombre de dossiers ni de fichiers. Les lignes sont comptabilisées dans votre espace de données, comme pour tout autre connecteur. Vous pouvez modifier les valeurs par défaut du connecteur.

ParamètreDéfautCe que cela fait
Profondeur maximale8Combien de niveaux de dossiers sous chaque racine sont analysés (1–64).
Nombre maximal de fichiers par numérisation100,000Fichiers examinés en une seule fois.
Taille maximale du fichier à hacher32 MioSeules les questions avec Contenu du fichier de hachage sur.
conservation des journaux d'événements30 joursCombien de temps fichiers_événements Les rangées sont conservées.
Parallélisme de balayage par racine2Les dossiers sont lus une seule fois par racine.

Limites de contenu, qui consistent à stocker un fichier plutôt qu'à le tronquer : 2 000 000 lignes ou 512 Mio par fichier, 10 000 000 lignes ou 2 Gio par analyse. Un dossier peut contenir au maximum 25 agencements différents. Une table par mise en page mode.

Questions que se posent les gens

Mes fichiers sont-ils téléchargés quelque part ?

Non. L'agent lit les fichiers sur son propre ordinateur et conserve les lignes dans un cache local chiffré. Une requête est exécutée sur ce cache et seules les lignes renvoyées quittent la machine, via une unique connexion sortante. Les fichiers ne sont jamais modifiés, déplacés ni convertis.

Dois-je ouvrir un port ou utiliser un VPN ?

Non. L'agent établit une seule connexion sortante sur le port 443, et les requêtes comme les lignes transitent par ce port. Si le protocole HTTPS sortant fonctionne, cela fonctionne également.

Le dossier peut-il se trouver sur un partage réseau, ou dans OneDrive ou Dropbox ?

Oui. Saisissez une action comme \\serveur\partage\dossierL'Agent s'exécute en tant que service et ne peut pas accéder aux lecteurs mappés avec votre compte utilisateur. Sous Windows, enregistrez un compte pour le serveur si le partage n'autorise l'accès qu'à des personnes nommées ; sans compte, l'Agent se connectera avec son propre compte de service. Sous Linux ou macOS, montez d'abord le partage. Un dossier OneDrive ou Dropbox synchronisé fonctionne lorsque ses fichiers sont stockés sur l'ordinateur : configurez le dossier pour qu'il soit accessible. Gardez toujours cet appareil alluméL'agent ne télécharge pas les fichiers stockés uniquement dans le cloud.

Le dossier contient plusieurs types de fichiers. Un ou deux connecteurs ?

Chaque connecteur lit un seul type de fichier. Un dossier contenant des fichiers CSV et Parquet nécessite deux connecteurs à la racine, un par type. Les fichiers ne correspondant pas au modèle d'inclusion sont ignorés, et non mis de côté.

Existe-t-il un bouton « Réanalyser » ?

Non. L'agent effectue des scans sur le Intervalle de balayage, réagit aux changements lorsque Dossier de surveillance Cette option est activée et permet de relancer l'analyse avant de répondre à une requête. Modifiez le connecteur pour changer l'un des trois paramètres.

Le forfait gratuit couvre-t-il vraiment cela ?

Oui. L'offre gratuite est un forfait permanent, et non une période d'essai. Les connecteurs de dossiers n'ont pas de limite de fichiers propre ; les lignes sont comptabilisées dans votre espace de données comme pour tout autre connecteur. Consultez la liste des fonctionnalités incluses dans chaque forfait. page de tarification.

Toujours bloqué ? Ouvrir Soutien Dans Query Streams, indiquez-nous l'étape à laquelle vous vous trouvez et ce que vous voyez. Nous vous mettrons en relation.

Problème de configuration ?

  • L'agent est indiqué comme hors ligne, ou les options « Tester la connexion » et « Parcourir » sont grisées ? Vérifiez que l'agent est en ligne → L'agent est-il en ligne ?
Updated on novembre 9, 2026

Powered by BetterDocs