So fragen Sie einen Ordner mit Dateien mithilfe von SQL ab: 13 Ordnerkonnektoren

Dateisatzverbinder · der Familienleitfaden

Wandeln Sie jeden beliebigen Ordner mit Dateien in SQL-Tabellen die auf dem Laufenden bleiben

Dreizehn Ordnerverbindungen, eine Idee: Weisen Sie den Query Streams Agent einem Ordner in Ihrem Netzwerk zu, und er erstellt die Tabellen, kennzeichnet jede Zeile mit der zugehörigen Datei und hält sie aktuell, sobald Dateien hinzukommen, geändert werden oder gelöscht werden. Sie können die Tabellen aus Excel, Google Sheets, Nova, Claude oder der REST-API abfragen. Es werden keine Daten hochgeladen, konvertiert oder bearbeitet.

13 Ordnertypen Keine Programmierung erforderlich Die Dateien bleiben in Ihrem Netzwerk. Der kostenlose Tarif deckt dies ab.

Sie kommen an irgendeiner Stelle nicht weiter? Fragen Sie uns einfach. Öffnen Unterstützung Gehen Sie zu „Abfrageströme“ (Menü oben rechts → Support) und senden Sie uns eine Nachricht. Echte Menschen lesen sie, und „Ich verstehe nicht, was dieser Bildschirm von mir verlangt“ ist eine völlig berechtigte Frage.

Wählen Sie den passenden Leitfaden für Ihre Dateien aus.

Jede der folgenden Karten enthält einen Konnektor und eine Anleitung. Jede Anleitung beschreibt die gleichen fünf Schritte: Agent installieren, Ordner auswählen, Erstellungsoptionen prüfen, Scanintervall festlegen, Tabellen anzeigen. Anschließend werden die Tabellen, Abfragen und Besonderheiten des jeweiligen Dateityps erläutert. Sie sind sich nicht sicher, welcher Konnektor passt? Wählen Sie im Portal aus. Dateien in einem OrdnerDer Agent durchsucht den Ordner und öffnet die richtige Karte für Sie.

Dateisystem

Eine abfragefähige Bestandsaufnahme aller Dateien in Ihren Ordnern, inklusive Größenangaben, Datumsangaben, Änderungshistorie und Ordnerwachstum, ohne dass der Dateiinhalt gelesen werden muss.

CSV-Ordner

Alle CSV-Dateien im Ordner werden zu einer Tabelle zusammengeführt, oder es wird eine Tabelle pro Layout erstellt, wobei jede Zeile mit der Datei gekennzeichnet wird, aus der sie stammt.

Parkettordner

Ein Ordner mit Parquet-Dateien als eine einzige Tabelle, wobei Spalten und Datentypen aus den Dateifußzeilen übernommen werden.

Excel-Ordner

Die Tabellenblätter jeder Arbeitsmappe wurden zu einer einzigen Tabelle pro Tabellenblatt zusammengeführt, zum Beispiel Datenbestellungenoder eine Tabelle pro Layout für gemischte Arbeitsmappen.

SQLite-Ordner

Viele SQLite-Dateien werden als eine einzige Datenbank abgefragt, wobei gleichnamige Tabellen zusammengeführt und jede Zeile mit der zugehörigen Datei gekennzeichnet wird.

JSONL-Ordner

JSON-Zeilendateien werden in Spalten in einer Tabelle oder in einer Tabelle pro Form zusammengefasst.

CSV-Datei mit mehreren Datensätzen

eine Tabelle pro Datensatztyp, z.B. data_hdr und data_itmVerknüpfbar über Datei und Sequenznummer.

Maschinenprotokolle

CNC-, SPS- und Roboterprotokolle wurden in einem Veranstaltungen Tabelle sowie Alarm-, Zyklus- und Ausfallzeittabellen für unterstützte Steuerungen.

Webserver-Protokolle

Eine Zeile pro Anfrage aus den nginx-, Apache-, IIS- oder Caddy-Logs, mit Client-IP, Pfad, Status und Bytes als Spalten.

Containerprotokolle

Docker-Container-Logzeilen als Zeilen, mit Containername, Stream und Nachricht als Spalten.

Anwendungsprotokolle

Anwendungsprotokolle im JSON- und Textformat werden als Zeilen mit Level, Logger und Nachricht gespeichert, wobei die Stacktraces mit dem jeweiligen Ereignis verknüpft sind.

Systemprotokolle

syslog- und journald-Dateien als Zeilen mit Host, Programm, PID und Nachricht.

Benutzerdefinierte Protokolle

Jeder Textprotokolleintrag wird in die von Ihnen beschriebenen Spalten aufgeteilt, wobei nicht aufgeteilte Zeilen in einer Rohdatentabelle gespeichert werden.

Wie jeder Ordnerverbinder funktioniert

Der Agent liest den Ordner auf seinem eigenen Computer, speichert die Zeilen dort in einem verschlüsselten lokalen Cache und führt jede Abfrage gegen diesen Cache aus. Nur die von einer Abfrage zurückgegebenen Zeilen werden über eine einzige ausgehende Verbindung übertragen. Kein Port muss geöffnet, kein VPN benötigt und kein Upload ist erforderlich.

Ein Datenbankkonnektor verweist auf einen Server mit bereits vorhandenen Tabellen. Ein Ordnerkonnektor verweist auf Ordner auf dem Rechner des Agenten. Der Agent liest die Dateien, erstellt ein Layout aus einer Stichprobe von bis zu 64 Dateien und erstellt die Tabellen in einem verschlüsselten lokalen Cache (ein DuckDB-Schema, benannt nach …). DateisatzDie Dateien werden nach einem von Ihnen festgelegten Zeitplan aktualisiert. Dateien, die nicht dem Layout entsprechen, werden aussortiert und gemeldet, niemals stillschweigend gelöscht oder angepasst. Ein Konnektor liest jeweils einen Dateityp; ein Ordner mit CSV- und Parquet-Dateien benötigt zwei Konnektoren für denselben Ordner.

Jeder Ordnerverbinder dient auch denselben Buchhaltungstabellen, alle im Dateisatz Schema:

Tisch	Was es enthält
`Dateien`	Alle aktuell im Ordner befindlichen Dateien: Pfad, Name, Dateiendung, Größe, Erstellungs- und Änderungsdatum, zuletzt gesehen und zuletzt aufgerufen. Eine Übersicht über `files_current`, in dem auch verschwundene Dateien aufbewahrt werden.
`Dateien_Ereignisse`	Die Änderungshistorie: eine Zeile pro Datei `erschien`, War `modifiziert`, `verschwand`wurde beiseite gelegt (`Drift`oder war `abgelehnt`, mit der Zeit in `event_at`, wie es bemerkt wurde in `erkannt von` und der Grund dafür `Detail`.
`Verzeichnisse`, `Verzeichnis-Snapshots`, `Bände`	Anzahl und Größe der Ordner, wie sie gewachsen sind und auf welchen Datenträgern oder Freigaben die Stammverzeichnisse liegen.
`_Quelldatei`, `_row_id`	Jede Datenzeile enthält zwei Spalten: die Datei, aus der die Zeile stammt, und eine eindeutige Zeilen-ID innerhalb dieser Datei. Gruppieren nach `_Quelldatei` um Dateien zu vergleichen.

Was Sie benötigen

Ein Query Streams-Konto

Ordnerverknüpfungen sind in allen Tarifen enthalten, auch in der kostenlosen Version. Die kostenlose Version ist ein dauerhafter Tarif und keine befristete Testphase. Es gibt keine Begrenzung für die Anzahl der Dateien, die ein Ordner enthalten kann.

Der Agent, Version 2.6.0 oder später

Die Installation erfolgt auf einem Computer, der den Ordner öffnen kann: dem Dateiserver selbst, einem Bürocomputer oder dem Rechner, auf dem die Dateien gespeichert werden. Bei einem älteren Agenten werden die Ordnerkarten ausgegraut angezeigt. Agent 2.6.0+ Badge. Windows, Mac oder Linux.

Der Pfad des Ordners, wie ihn der Agent sieht

Ein lokaler Pfad oder eine Netzwerkfreigabe, geschrieben als \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt oder /Medien, a Mac under /Volumes).

Wo findet die Arbeit statt? Auf dem Computer, auf dem der Agent ausgeführt wird. Dieser scannt den Ordner und kopiert die Zeilen in einen verschlüsselten lokalen Cache (ein Schema, benannt nach …). Dateisatz) und führt jede Abfrage gegen diesen Cache aus. Ihre Dateien werden gelesen, aber niemals verändert, verschoben oder hochgeladen.

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

Folders on a share? On Windows, one login covers every folder you add from the same server. Ordner auf Änderungen überwachen works on a share too, on a best-effort basis; the scheduled scan is what guarantees every change is picked up.

Wie neue, geänderte und gelöschte Dateien angezeigt werden

Neue und geänderte Dateien

Auf jedem Scanintervall (oder innerhalb von Sekunden mit Ordner überwachen on) einer neuen Datei, die dem Layout entspricht, werden ihre Zeilen hinzugefügt und sie erhält eine erschien Ereignis. Eine geänderte Datei wird in einer Transaktion neu eingelesen: Die alten Zeilen werden gelöscht, die neuen Zeilen geladen und die Datei erhält ein modifiziert Ereignis.

Gelöschte Dateien

Eine Datei, die verschwindet, löscht standardmäßig ihre Zeilen oder behält sie als gelöscht markiert, wenn Sie die Option „Tombstone“ gewählt haben, und erhält eine verschwand Wenn mehr als die Hälfte der Dateien gleichzeitig verschwinden, wird der Scan abgebrochen und der vorherige Bestand bleibt erhalten: Eine Offline-Freigabe sieht genau so aus.

Beiseite gelegte Dateien

Eine Datei, die nicht ins Layout passt, nicht geöffnet werden kann oder eine obere Grenze überschreitet, wird als Ganzes beiseitegelegt: Keine ihrer Zeilen wird geladen, und Dateien_Ereignisse bekommt ein Drift Die Zeile gibt den Dateinamen und die Spalte an. Korrigieren Sie die Datei und speichern Sie sie; der nächste Scan versucht es erneut.

Wie frisch ist das denn, was ich sehe?

Die Abfragen werden anhand des letzten Scans beantwortet. Es gibt keine Schaltfläche „Erneut scannen“ oder „Jetzt synchronisieren“; das Scanintervall, die Ordnerüberwachung und Bitte aktualisieren Sie die Seite, bevor Sie eine Anfrage beantworten. Es gibt drei Bedienelemente. MAX(last_seen_utc) ab files_current zeigt Ihnen an, wann der Agent zuletzt nachgesehen hat.

beiseitegelegte Dateien

Im Schritt „Prüfen“ und auf der Registerkarte „Manifest“ erscheinen drei Wörter. Sie haben unterschiedliche Bedeutungen:

Beiseite stellen (geparkt): Die Datei entspricht nicht dem festgelegten Layout oder ist unlesbar, beschädigt, gesperrt oder über einer Kappe. Es gilt das Alles-oder-Nichts-Prinzip: Eine geparkte Datei trägt null Zeilen bei. Dateien_Ereignisse Aufzeichnungen Drift Reihe, deren Detail Die Datei und die Spalte werden benannt. Die Datei wird übersprungen, solange ihre Größe und ihr Änderungsdatum gleich bleiben, und erneut versucht, sie zu laden, sobald sie sich ändert.
Unlesbar: Der Agent konnte die Datei aufgrund ihres Typs nicht öffnen oder analysieren: keine echte Arbeitsmappe, von einem anderen Programm gesperrt, ein Cloud-Platzhalter, nicht dekodierbare Bytes. Er bricht den Vorgang ab, und der Rest des Ordners wird weiterhin verarbeitet. Nur ein Ordner ohne lesbare Dateien verweigert die Verarbeitung des gesamten Pakets.
Abgelehnt: Der Agent konnte kein Layout festlegen, beispielsweise weil die Dateien unterschiedliche Spaltentypen verwenden. Es existiert noch keine Datentabelle. Dateien_Ereignisse bekommt ein abgelehnt Zeile mit dem Grund in DetailDer Agent versucht es bei jedem Scan erneut, bis ein Layout gefunden wird. Korrigieren oder schließen Sie die angegebene Datei aus, dann verschwindet die Meldung.

Wo man suchen muss: das bernsteinfarbene Banner auf Überprüfen (Zeigen Sie, welche Dateien und warum), des Steckverbinders Manifest Anschließend die Tabulatortaste. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Nutzen Sie die Tabellen überall

Der Konnektor ist eine Datenquelle wie jede andere in Query Streams. Speichern Sie eine Abfrage einmalig im Abfrage-Generator (der Dialekt ist DuckDB) und verwenden Sie es von hier aus:

Excel

Das Add-in Streamen Sie eine Abfrage Die Zeilen werden in ein Tabellenblatt eingefügt und bei einem Klick erneut ausgeführt. SQL in Excel ausführen.

Google Sheets

Der Abfragestreamer Das Add-on füllt einen von Ihnen ausgewählten Tab. Power Query für Google Sheets.

Claude, Cursor und andere KI-Clients

Über den Query Streams MCP-Server kennt Claude das Ordnermodell, einschließlich _Quelldatei und Dateien_Ereignisse. CSV-Ordner mit Claude über MCP.

REST-API

Jede gespeicherte Abfrage wird in jedem Tarif zu einem schreibgeschützten Endpunkt mit eigenem Schlüssel. CSV-Ordner-REST-API.

Nova

Fragen Sie in einfachen Worten nach dem Businessplan; Nova kennt jede Ordnertabelle und Spalte anhand seiner integrierten Beschreibungen.

Automatisierungen

Synchronisieren Sie die Zeilen nach einem Zeitplan mit Airtable, Smartsheet, Baserow, SeaTable oder einem Tabellenblatt. Automatisierungsleitfäden.

Ordnertabellen lassen sich auch mit Ihren anderen Konnektoren verknüpfen: Eine föderierte Abfrage kann übereinstimmen _Quelldatei Namen oder Bestellnummern in einem Ordner mit CSV-Dateien in einer Datenbank auf demselben Agenten.

Grenzen, die man kennen sollte

Es gibt keine Beschränkung hinsichtlich Ordnern oder Dateianzahl. Die Zeilen werden wie bei jedem anderen Connector auf Ihren Datenbereich angerechnet. Standardeinstellungen, die Sie für den Connector anpassen können:

Einstellung	Standard	Was es tut
Maximale Tiefe	8	Wie viele Ordnerebenen unterhalb jedes Stammverzeichnisses durchsucht werden (1–64).
Maximale Anzahl an Dateien pro Scan	100,000	Alle Dateien werden in einem Durchgang geprüft.
Maximale Dateigröße für den Hash	32 MiB	Nur bei wichtigen Dingen Inhalt der Hash-Datei An.
Aufbewahrung von Ereignisprotokollen	30 Tage	Wie lange `Dateien_Ereignisse` Die Zeilen werden beibehalten.
Scan-Parallelität pro Wurzel	2	Ordner werden pro Stammverzeichnis gleichzeitig gelesen.

Inhaltsbeschränkungen, die eine Datei speichern, anstatt sie abzuschneiden: 2.000.000 Zeilen oder 512 MiB pro Datei, 10.000.000 Zeilen oder 2 GiB pro Scan. Ein Ordner kann maximal 25 verschiedene Layouts enthalten. Ein Tisch pro Layout Modus.

Fragen, die Menschen stellen

Werden meine Dateien irgendwo hochgeladen?

Nein. Der Agent liest die Daten auf seinem eigenen Rechner und speichert die Zeilen dort in einem verschlüsselten lokalen Cache. Eine Abfrage wird gegen diesen Cache ausgeführt, und nur die zurückgegebenen Zeilen verlassen den Rechner über eine einzige ausgehende Verbindung. Dateien werden niemals verändert, verschoben oder konvertiert.

Muss ich einen Port öffnen oder ein VPN einrichten?

Nein. Der Agent stellt eine ausgehende Verbindung über Port 443 her, über die sowohl Anfragen als auch Datensätze übertragen werden. Wenn ausgehende HTTPS-Verbindungen funktionieren, funktioniert auch dies.

Kann sich der Ordner auf einer Netzwerkfreigabe, in OneDrive oder Dropbox befinden?

Yes. Type a share as \\server\share\folder, because the Agent runs as a service and cannot see drives mapped at your login. On Windows, store a login for the server if the share lets in only named people; without one the Agent reads as its own service account. On Linux or a Mac, mount the share first. A synced OneDrive or Dropbox folder works when its files are stored on the computer: set the folder to Dieses Gerät immer eingeschaltet lassenDer Agent lädt keine Dateien herunter, die ausschließlich in der Cloud gespeichert sind.

Der Ordner enthält mehrere Dateitypen. Ein oder zwei Konnektoren?

Ein Konnektor liest jeweils einen Dateityp. Ein Ordner mit CSV- und Parquet-Dateien benötigt zwei Konnektoren im selben Stammverzeichnis, einen pro Dateityp. Dateien, die nicht dem Einschlussmuster entsprechen, werden ignoriert, nicht beiseitegelegt.

Gibt es eine Schaltfläche zum erneuten Scannen?

Nein. Der Agent scannt auf dem Scanintervallreagiert auf Veränderungen, wenn Ordner überwachen Wenn Sie diese Option aktivieren, kann vor der Beantwortung einer Anfrage ein erneuter Scan durchgeführt werden. Bearbeiten Sie den Konnektor, um eine der drei Einstellungen zu ändern.

Ist das im kostenlosen Tarif wirklich enthalten?

Ja. „Kostenlos“ ist ein dauerhafter Tarif, keine befristete Testphase. Ordnerkonnektoren haben keine eigene Dateigrößenbeschränkung; die Zeilen werden wie bei jedem anderen Konnektor auf Ihren Datenbereich angerechnet. Die Details der einzelnen Tarife finden Sie hier: Preisseite.

Andere Ordner, die Abfrageströme verarbeiten, werden in Tabellen umgewandelt.Wie man einen Ordner mit Dateien mit SQL abfragt Alle Dateisatz-Anleitungen

Immer noch festgefahren? Öffnen Unterstützung Bitte geben Sie in Query Streams an, bei welchem Schritt Sie sich befinden und was Sie sehen. Wir stellen dann die Verbindung her.

Setup trouble?

Agent shows Offline, or Test connection and Browse are greyed out? Check that the Agent is online → Is the Agent online?