Dossiers → tables SQL · avec Query Streams
Avec Query Streams, un dossier de fichiers devient des tables SQL en lecture seule : les fichiers restent à leur emplacement, l’Agent installé sur cet ordinateur les lit dans un cache local chiffré et maintient les tables à jour à mesure que des fichiers arrivent, changent ou disparaissent. Rien n’est téléversé et aucun fichier n’est modifié. Comptez environ quinze minutes la première fois ; le forfait Free couvre cette utilisation.
Commencez gratuitement
Choisissez le guide pour vos fichiers
Chaque fiche ci-dessous correspond à un connecteur et à un guide. Chaque guide détaille les cinq étapes : installer l’agent, l’indiquer comme dossier, vérifier les éléments à compiler, choisir la fréquence d’analyse et consulter vos tables. Il présente ensuite les tables, les requêtes et les pièges spécifiques à ce type de fichier. Vous hésitez ? Consultez la section « Choisir » du portail. Fichiers dans un dossierL'agent examine le dossier et ouvre la carte appropriée pour vous.
Système de fichiers
un inventaire interrogeable de chaque fichier contenu dans vos dossiers, avec leurs tailles, dates, historique des modifications et croissance des dossiers, sans avoir à lire le contenu des fichiers.
Dossier CSV
Chaque fichier CSV du dossier est fusionné en un seul tableau, ou en un tableau par mise en page, chaque ligne étant étiquetée avec le fichier dont elle provient.
Dossier en parquet
un dossier de fichiers Parquet sous forme d'un tableau dactylographié, avec des colonnes et des types extraits des pieds de page des fichiers.
Dossier Excel
Les feuilles de chaque classeur ont été fusionnées en un seul tableau par feuille, par exemple : commandes de données, ou un tableau par mise en page pour les classeurs mixtes.
Dossier SQLite
De nombreux fichiers SQLite interrogés comme une seule base de données, avec des tables portant le même nom fusionnées et chaque ligne étiquetée avec son fichier.
Dossier JSONL
Les fichiers JSON sont aplatis en colonnes dans un seul tableau, ou un tableau par forme.
Fichier CSV multi-enregistrements
une table par type d'enregistrement, par exemple data_hdr et data_itm, pouvant être joints par fichier et numéro de séquence.
Journaux de machines
Les journaux de CNC, PLC et robots se sont terminés par un événements tableau, ainsi que des tableaux d'alarme, de cycle et de temps d'arrêt pour les contrôleurs pris en charge.
Journaux du serveur Web
une ligne par requête des journaux nginx, Apache, IIS ou Caddy, avec l'adresse IP du client, le chemin, le statut et les octets comme colonnes.
Journaux de conteneurs
Lignes de journalisation des conteneurs Docker sous forme de lignes, avec le nom du conteneur, le flux et le message en colonnes.
Journaux d'application
Journaux d'application JSON et texte sous forme de lignes avec niveau, journaliseur et message, les traces de pile étant conservées avec leur événement.
Journaux système
Les fichiers syslog et journald sont présentés sous forme de lignes contenant l'hôte, le programme, le PID et le message.
Journaux personnalisés
Tout journal de texte analysé dans les colonnes que vous décrivez, les lignes non analysées étant conservées dans un tableau de lignes brutes.
Fonctionnement de chaque connecteur de dossier
Un connecteur de base de données pointe vers un serveur contenant déjà des tables. Un connecteur de dossier pointe vers des dossiers sur l'ordinateur de l'agent. L'agent lit les fichiers, sélectionne une structure parmi un échantillon de 64 fichiers maximum, puis construit les tables dans un cache local chiffré (un schéma DuckDB, nommé ensemble de fichiersIl les actualise selon la fréquence que vous définissez. Les fichiers qui ne correspondent pas à la mise en page sont mis de côté et signalés ; ils ne sont jamais supprimés ni modifiés. Chaque connecteur lit un type de fichier ; un dossier contenant des fichiers CSV et Parquet nécessite deux connecteurs.
Chaque connecteur de dossier utilise également les mêmes tables de comptabilité, le tout dans le ensemble de fichiers schéma:
| Tableau | Ce qu'il contient |
|---|---|
fichiers | Chaque fichier actuellement présent dans le dossier : chemin, nom, extension, taille, dates de création et de modification, première et dernière consultation. Vue d'ensemble fichiers_actuels, qui conserve également les fichiers disparus. |
fichiers_événements | L'historique des modifications : une ligne par fichier. apparu, était modifié, disparu, a été mis de côté (dérive) ou était refusé, avec le temps en événement_à, comment cela a été remarqué dans détecté par et la raison dans détail. |
annuaires, instantanés_de_répertoire, volumes | Nombre et taille des dossiers, leur évolution et les disques ou partages sur lesquels résident les fichiers racines. |
_fichier_source, _row_id | Deux colonnes par ligne de données : le fichier d’origine et un identifiant unique au sein de ce fichier. Grouper par _fichier_source comparer les fichiers. |
Ce dont vous aurez besoin
Un compte Query Streams
Les connecteurs de dossiers sont inclus dans tous les forfaits, même le forfait gratuit. Le forfait gratuit est permanent, et non une période d'essai. Le nombre de fichiers qu'un dossier peut contenir est illimité.
L'Agent, version 2.6.0 ou ultérieure
Installé sur un ordinateur capable d'ouvrir le dossier : le serveur de fichiers lui-même, un ordinateur de bureau ou la machine sur laquelle les fichiers sont stockés. Une version plus ancienne d'Agent affiche les fiches de dossier grisées avec un Agent 2.6.0+ badge. Windows, Mac ou Linux.
Le chemin du dossier, tel que l'agent le voit
Un chemin local, ou un partage réseau écrit comme \\serveur\partage\dossierL'agent s'exécute en tant que service et ne peut donc pas accéder aux lecteurs mappés lors de votre connexion (Z: et autres). Sous Windows, il peut se connecter à un partage avec un identifiant enregistré ; sous Linux ou macOS, il faut d'abord monter le partage (sous Linux, sous macOS). /mnt ou /médias, un Mac sous /Volumes).
Où se déroule le travail ? Sur l'ordinateur exécutant l'agent, celui-ci analyse le dossier et copie les lignes dans un cache local chiffré (un schéma, nommé ensemble de fichiers) et exécute chaque requête sur ce cache. Vos fichiers sont lus, jamais modifiés, déplacés ni téléchargés.
Accéder à un fichier sur un partage réseau
L'agent ouvre les fichiers en tant que service en arrière-plan, et non en tant qu'utilisateur. Par conséquent, un fichier situé sur un autre ordinateur nécessite une étape supplémentaire. Cette étape dépend de l'ordinateur sur lequel l'agent est exécuté.
Si le test ne parvient pas à accéder à l'action, recherchez ces mots dans son résultat : injoignable Cela signifie que l'ordinateur de l'agent n'a reçu aucune réponse du serveur. Sous Linux ou Mac, non monté Cela signifie que le partage doit encore être monté, et ce message inclut la commande de montage exacte pour votre serveur.
Des dossiers sur un partage ? Sous Windows, une seule connexion permet de couvrir tous les dossiers ajoutés depuis le même serveur. Surveillez le dossier pour les modifications Cela fonctionne également sur un partage, au mieux de nos capacités ; l'analyse planifiée garantit que chaque modification est prise en compte.
Affichage des fichiers nouveaux, modifiés et supprimés
Fichiers nouveaux et modifiés
Sur chaque Intervalle de balayage (ou en quelques secondes avec Dossier de surveillance un nouveau fichier qui correspond à la mise en page voit ses lignes ajoutées et reçoit un apparu Un fichier modifié est relu en une seule transaction : ses anciennes lignes disparaissent, ses nouvelles lignes sont insérées, et il reçoit un modifié événement.
Fichiers supprimés
Un fichier qui disparaît supprime par défaut ses lignes, ou les conserve marquées comme supprimées si vous avez choisi l'option de suppression, et reçoit un disparu Si plus de la moitié des fichiers disparaissent simultanément, l'analyse est refusée et l'inventaire précédent est conservé : un partage hors ligne ressemble exactement à cela.
Fichiers mis de côté
Un fichier qui ne correspond pas à la mise en page, qui ne peut pas être ouvert ou qui dépasse la limite de taille est mis de côté en entier : aucune de ses lignes n’est chargée, et fichiers_événements obtient un dérive Indiquez la ligne contenant le nom du fichier et la colonne. Corrigez le fichier et enregistrez-le ; la prochaine analyse tentera de le traiter à nouveau.
Ce que je vois est-il vraiment frais ?
Les requêtes répondent à partir de la dernière analyse. Il n'y a pas de bouton « Analyser à nouveau » ou « Synchroniser maintenant » ; l'intervalle d'analyse, la surveillance des dossiers et Actualisez la page avant de répondre à une question. ce sont les trois commandes. MAX(dernière_vue_utc) à partir de fichiers_actuels vous indique la date et l'heure de la dernière consultation par l'agent.
Fichiers mis de côté
Trois mots apparaissent à l'étape « Vérifier » et dans l'onglet « Manifeste ». Ils ont des significations différentes :
- Mettre de côté (stationné)
- Le fichier ne correspond pas à la mise en page définie, ou est illisible, déchiré, verrouillé ou masqué. Chaque fichier est traité de manière binaire : un fichier mis en attente ne contribue à aucune ligne.
fichiers_événementsenregistre undériverangée dontdétailLe nom du fichier et de la colonne est indiqué. Le fichier est ignoré tant que sa taille et sa date de modification restent inchangées, et une nouvelle tentative est effectuée dès que ces informations sont modifiées. - Illisible
- L'agent n'a pas pu ouvrir ni analyser le fichier en raison de son type : il ne s'agit pas d'un classeur valide, il est verrouillé par un autre programme, il s'agit d'un espace réservé dans le cloud ou il contient des octets indéchiffrables. Il se met en pause et le reste du dossier est traité. Seul un dossier ne contenant aucun fichier lisible refuse l'ensemble du traitement.
- Refusé
- L'agent n'a pu épingler aucune mise en page, par exemple parce que les fichiers ne définissent pas le type d'une colonne. Aucune table de données n'existe encore.
fichiers_événementsobtient unrefusédispute avec la raison dansdétailL'agent effectue une nouvelle tentative à chaque analyse jusqu'à ce qu'une configuration soit trouvée. Corrigez ou excluez le fichier mentionné pour que le message disparaisse.
Où regarder : la bannière ambrée sur Vérifier (Afficher les fichiers concernés et pourquoi), le connecteur Manifeste tabulation ensuite. En SQL : SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') TRIER PAR event_at DESC.
Utilisez les tableaux partout
Le connecteur est une source de données comme une autre dans Query Streams. Enregistrez une requête une seule fois dans le Générateur de requêtes (le dialecte est DuckDB) et utilisez-le depuis :
Excel
Les modules complémentaires Diffuser une requête Insère les lignes dans une feuille et se relance en un clic. Exécuter du SQL dans Excel.
Google Sheets
Le Flux de requêtes Le module complémentaire remplit un onglet que vous sélectionnez. Power Query pour Google Sheets.
Claude, Cursor et autres clients IA
Par l'intermédiaire du serveur MCP Query Streams, Claude connaît le modèle de dossiers, y compris _fichier_source et fichiers_événements. Dossier CSV avec Claude via MCP.
API REST
Chaque requête enregistrée devient un point de terminaison en lecture seule avec sa propre clé, sur chaque forfait. API REST de dossier CSV.
Nova
Posez des questions claires et concises sur le plan d'affaires ; Nova connaît chaque dossier, tableau et colonne grâce à ses descriptions intégrées.
Automatisations
Synchronisez les lignes avec Airtable, Smartsheet, Baserow, SeaTable ou une feuille de calcul selon un calendrier prédéfini. Guides d'automatisation.
Les tables de dossiers sont également liées à vos autres connecteurs : une requête fédérée peut correspondre _fichier_source noms ou identifiants de commande dans un dossier de fichiers CSV par rapport à une base de données sur le même agent.
Des limites qu'il vaut la peine de connaître
Il n'y a pas de limite au nombre de dossiers ni de fichiers. Les lignes sont comptabilisées dans votre espace de données, comme pour tout autre connecteur. Vous pouvez modifier les valeurs par défaut du connecteur.
| Paramètre | Défaut | Ce que cela fait |
|---|---|---|
| Profondeur maximale | 8 | Combien de niveaux de dossiers sous chaque racine sont analysés (1–64). |
| Nombre maximal de fichiers par numérisation | 100,000 | Fichiers examinés en une seule fois. |
| Taille maximale du fichier à hacher | 32 Mio | Seules les questions avec Contenu du fichier de hachage sur. |
| conservation des journaux d'événements | 30 jours | Combien de temps fichiers_événements Les rangées sont conservées. |
| Parallélisme de balayage par racine | 2 | Les dossiers sont lus une seule fois par racine. |
Limites de contenu, qui consistent à stocker un fichier plutôt qu'à le tronquer : 2 000 000 lignes ou 512 Mio par fichier, 10 000 000 lignes ou 2 Gio par analyse. Un dossier peut contenir au maximum 25 agencements différents. Une table par mise en page mode.
Questions que se posent les gens
Mes fichiers sont-ils téléchargés quelque part ?
Non. L'agent lit les fichiers sur son propre ordinateur et conserve les lignes dans un cache local chiffré. Une requête est exécutée sur ce cache et seules les lignes renvoyées quittent la machine, via une unique connexion sortante. Les fichiers ne sont jamais modifiés, déplacés ni convertis.
Dois-je ouvrir un port ou utiliser un VPN ?
Non. L'agent établit une seule connexion sortante sur le port 443, et les requêtes comme les lignes transitent par ce port. Si le protocole HTTPS sortant fonctionne, cela fonctionne également.
Le dossier peut-il se trouver sur un partage réseau, ou dans OneDrive ou Dropbox ?
Oui. Saisissez une action comme \\serveur\partage\dossierL'Agent s'exécute en tant que service et ne peut pas accéder aux lecteurs mappés avec votre compte utilisateur. Sous Windows, enregistrez un compte pour le serveur si le partage n'autorise l'accès qu'à des personnes nommées ; sans compte, l'Agent se connectera avec son propre compte de service. Sous Linux ou macOS, montez d'abord le partage. Un dossier OneDrive ou Dropbox synchronisé fonctionne lorsque ses fichiers sont stockés sur l'ordinateur : configurez le dossier pour qu'il soit accessible. Gardez toujours cet appareil alluméL'agent ne télécharge pas les fichiers stockés uniquement dans le cloud.
Le dossier contient plusieurs types de fichiers. Un ou deux connecteurs ?
Chaque connecteur lit un seul type de fichier. Un dossier contenant des fichiers CSV et Parquet nécessite deux connecteurs à la racine, un par type. Les fichiers ne correspondant pas au modèle d'inclusion sont ignorés, et non mis de côté.
Existe-t-il un bouton « Réanalyser » ?
Non. L'agent effectue des scans sur le Intervalle de balayage, réagit aux changements lorsque Dossier de surveillance Cette option est activée et permet de relancer l'analyse avant de répondre à une requête. Modifiez le connecteur pour changer l'un des trois paramètres.
Le forfait gratuit couvre-t-il vraiment cela ?
Oui. L'offre gratuite est un forfait permanent, et non une période d'essai. Les connecteurs de dossiers n'ont pas de limite de fichiers propre ; les lignes sont comptabilisées dans votre espace de données comme pour tout autre connecteur. Consultez la liste des fonctionnalités incluses dans chaque forfait. page de tarification.
Problème de configuration ?
- L'agent est indiqué comme hors ligne, ou les options « Tester la connexion » et « Parcourir » sont grisées ? Vérifiez que l'agent est en ligne → L'agent est-il en ligne ?



