Categorieën bekijken

Hoe een SQL-query uit te voeren op een map met bestanden

Uw mappenGratis planQuery-stromenSQL-tabellen

Mappen → SQL-tabellen · met Query Streams

Met Query Streams wordt een map met bestanden omgezet in alleen-lezen SQL-tabellen: de bestanden blijven waar ze zijn, de Agent op die computer leest ze in een versleutelde lokale cache en houdt de tabellen actueel wanneer bestanden binnenkomen, wijzigen of verdwijnen. Er wordt niets geüpload en geen bestand gewijzigd. De eerste keer ongeveer vijftien minuten, en het Free-abonnement dekt dit.

Begin gratis
Isometrische stapel van drie bestandsbladen die met één lijn zijn verbonden met één tabeltegel
Loop je ergens vast? Vraag het ons gerust. Open Ondersteuning Ga naar Query Streams (menu rechtsboven → Ondersteuning) en stuur ons een bericht. Echte mensen lezen het, en "Ik weet niet wat er op dit scherm wordt gevraagd" is een volkomen terechte vraag.

Kies de handleiding voor uw bestanden.

CSV-mappictogramElke kaart hieronder is een connector en een handleiding. Elke handleiding doorloopt dezelfde vijf stappen: installeer de agent, wijs deze naar de map, controleer wat er gebouwd moet worden, kies hoe vaak er gescand moet worden en bekijk uw tabellen. Vervolgens worden de tabellen, query's en aandachtspunten getoond die specifiek zijn voor dat bestandstype. Weet u niet zeker welke handleiding van toepassing is? Kies dan in de portal de juiste optie. Bestanden in een mapDe agent doorzoekt de map en opent de juiste kaart voor u.

Bestandssysteem

Een opvraagbare inventaris van elk bestand in uw mappen, met groottes, datums, een wijzigingsgeschiedenis en de groei van de map, zonder de inhoud van de bestanden te lezen.

CSV-map

Alle CSV-bestanden in de map worden samengevoegd tot één tabel, of één tabel per lay-out, waarbij elke rij is voorzien van een label met het bestand waar deze vandaan komt.

Parquet-map

Een map met Parquet-bestanden als één getypte tabel, waarbij de kolommen en gegevenstypen zijn overgenomen uit de voetteksten van de bestanden.

Excel-map

De werkbladen van elk werkboek zijn samengevoegd tot één tabel per werkblad, bijvoorbeeld: data_orders, of één tabel per lay-out voor gemengde werkmappen.

SQLite-map

Meerdere SQLite-bestanden worden als één database opgevraagd, waarbij tabellen met dezelfde naam worden samengevoegd en elke rij wordt getagd met het bijbehorende bestand.

JSONL-map

JSON-regelsbestanden worden platgemaakt tot kolommen in één tabel, of één tabel per vorm.

CSV-bestand met meerdere records

één tabel per recordtype, bijvoorbeeld data_hdr en data_itm, koppelbaar op basis van bestand en volgnummer.

Machinelogboeken

CNC-, PLC- en robotlogboeken werden samengevoegd tot een evenementen tabel, plus alarm-, cyclus- en uitvaltijdtabellen voor ondersteunde controllers.

Webserverlogboeken

Eén regel per verzoek uit de logbestanden van nginx, Apache, IIS of Caddy, met client-IP-adres, pad, status en bytes als kolommen.

Containerlogboeken

De logregels van de Docker-container worden weergegeven als rijen, met de containernaam, stream en bericht als kolommen.

Toepassingslogboeken

JSON- en tekstapplicatielogboeken als rijen met niveau, logger en bericht, waarbij stacktraces bij de bijbehorende gebeurtenis worden bewaard.

Systeemlogboeken

Syslog- en journald-bestanden als rijen met host, programma, PID en bericht.

Aangepaste logboeken

Elk tekstlogboek wordt geanalyseerd en opgedeeld in de door u beschreven kolommen, waarbij de niet-geanalyseerde regels in een tabel met onbewerkte regels worden bewaard.

Hoe elke mapconnector werkt

WAAR DE BESTANDEN ZICH BEVINDENeen computer of bestandsdeling die de Agent kan openenUw mapvan bestandenbestanden blijven waar ze zijnQuery Streams Agentscant de map, bouwt tabellenin een lokale cache, voert de SQL uitAlleen SELECT, hier afgedwongenQuery-stromenéén uitgaande linkcontroleert wie wat mag zien · registreert elke zoekopdrachtWAAR JE HET GEBRUIKTelke computer, elke browserExcel · Google Sheets · NovaClaude · REST API · Automatiseringenzie de rijen, nooit de bestanden
De agent leest de map op zijn eigen computer, bewaart de rijen in een versleutelde lokale cache en voert elke query uit op die cache. Alleen de rijen die een query retourneert, worden via één uitgaande verbinding verzonden. Geen poort openen, geen VPN, geen upload.

Een databaseconnector verwijst naar een server die al tabellen bevat. Een mapconnector verwijst naar mappen op de computer van de agent. De agent leest de bestanden, selecteert een lay-out uit een voorbeeld van maximaal 64 bestanden en bouwt de tabellen in een versleutelde lokale cache (één DuckDB-schema, genaamd...). bestandenset) en vernieuwt ze volgens een door u gekozen schema. Bestanden die niet in de lay-out passen, worden apart gezet en gerapporteerd; ze worden nooit stilletjes verwijderd of aangepast. Eén connector leest één bestandstype; een map met CSV- en Parquet-bestanden bestaat uit twee connectors op dezelfde map.

Elke mapconnector bedient ook dezelfde boekhoudtabellen, allemaal in de bestandenset schema:

TafelWat het bevat
bestandenElk bestand dat zich momenteel in de map bevindt: pad, naam, extensie, grootte, aanmaak- en wijzigingsdatum, eerste en laatste keer gezien. Een overzicht van bestanden_huidig, die ook bestanden bewaart die verdwenen zijn.
bestanden_gebeurtenissenDe wijzigingsgeschiedenis: één regel per bestand dat verscheen, was gewijzigd, verdwenen, werd opzijgezet (drift) of was geweigerd, met de tijd in event_athoe het werd opgemerkt in gedetecteerd_door en de reden in detail.
mappen, map_snapshots, volumesHet aantal mappen en hun grootte, hoe ze zijn gegroeid en op welke schijven of gedeelde mappen de wortels voortleven.
_bronbestand, _rij_idElke gegevensrij bevat twee kolommen: het bestand waar de rij vandaan komt en een stabiele rij-ID binnen dat bestand. Groeperen op _bronbestand om bestanden te vergelijken.

Wat je nodig hebt

Een Query Streams-account

Mapkoppelingen zijn beschikbaar in alle abonnementen, ook in het gratis abonnement. Het gratis abonnement is een abonnement dat je behoudt, geen proefperiode die verloopt. Er is geen limiet aan het aantal bestanden dat een map kan bevatten.

De Agent, versie 2.6.0 of later

Geïnstalleerd op een computer die de map kan openen: de bestandsserver zelf, een kantoorcomputer of de machine waarop de bestanden terechtkomen. Een oudere versie van Agent toont de mapkaarten grijs weergegeven met een Agent 2.6.0+ badge. Windows, Mac of Linux.

Het pad van de map, zoals de agent het ziet.

Een lokaal pad, of een netwerkshare die als volgt is geschreven: \\server\share\folderDe agent draait als een service, waardoor hij geen toegang heeft tot de schijven die u bij uw aanmelding hebt toegewezen (zoals Z:). Op Windows kan de agent zich aanmelden bij een gedeelde map met een door u opgeslagen gebruikersnaam; op Linux of een Mac moet u de gedeelde map eerst koppelen (Linux onder /mnt of /mediaeen Mac onder /Volumes).

Waar vindt het werk plaats? Op de computer waarop de agent draait, scant deze de map en kopieert de rijen naar een versleutelde lokale cache (één schema, genaamd...). bestandenset) en voert elke query uit op die cache. Uw bestanden worden gelezen, nooit gewijzigd, verplaatst of geüpload.

Een bestand openen op een gedeelde netwerkmap

De agent opent bestanden als een achtergrondservice, niet als een gewone gebruiker. Daarom is er voor een bestand op een andere computer een extra stap nodig. Welke stap dat is, hangt af van de computer waarop de agent draait.

Windows

Typ het netwerkpad, bijvoorbeeld: \\server\share\foldernooit een toegewezen stationsletter zoals S:die de agent niet kan zien. Als de gedeelde map alleen toegang geeft aan benoemde personen, klik dan hier. Service-identiteit (de chip onder het pad, of een map) Referentie kolom) en sla een login voor die server op: een bedrijfsdomeinaccount of een account dat op de server zelf is aangemaakt met Domein leeggelaten. De agent meldt zich vervolgens aan bij die server en leest het bestand daar. Elke connector op die agent die dezelfde server leest, moet dezelfde aanmelding gebruiken. Zonder aanmelding leest de agent het bestand als zijn eigen serviceaccount, wat een bedrijfsdomein ziet als de computer zelf. Stapsgewijze handleiding voor Windows

Linux

De in de portal opgeslagen share-aanmeldingen worden niet gebruikt op Linux: een beheerder koppelt de share eerst op de computer van de agent, in een map onder /mnt of /mediaomdat de service van de agent dit niet kan zien /thuis of /run/userHoud in de connector de \\server\share pad, dat de Agent aan de mount koppelt, of typ in plaats daarvan het mountpad, bijvoorbeeld: /mnt/fileserver-shared/Accounts. Hoe koppel je een gedeelde map op Linux?

Mac

Aanmeldingen voor gedeelde mappen die in de portal zijn opgeslagen, worden niet gebruikt op een Mac: koppel de gedeelde map eerst via Terminal met sudo, in een map onder /Volumeszodat de achtergrondservice van de agent deze kan zien. Houd in de connector de volgende instellingen aan: \\server\share pad, dat de Agent aan de mount koppelt, of typ in plaats daarvan het mountpad, bijvoorbeeld: /Volumes/fileserver-shared/Accounts. Hoe koppel je een gedeelde map op een Mac?

Als de test het aandeel niet kan vinden, zoek dan in het resultaat naar de volgende woorden: onbereikbaar Dit betekent dat de computer van de agent geen antwoord van de server heeft ontvangen. Op Linux of een Mac, niet gemonteerd Dit betekent dat de gedeelde map nog moet worden aangekoppeld, en dat bericht bevat het exacte aankoppelcommando voor uw server.

Mappen op een gedeelde map? Op Windows dekt één aanmelding alle mappen die u vanaf dezelfde server toevoegt. Houd de map in de gaten voor wijzigingen. Het werkt ook op basis van een gedeelde database, naar beste vermogen; de geplande scan garandeert dat elke wijziging wordt gedetecteerd.

Hoe nieuwe, gewijzigde en verwijderde bestanden worden weergegeven

Nieuwe en gewijzigde bestanden

Op elke Scaninterval (of binnen enkele seconden met Bekijk map (on) een nieuw bestand dat aan de lay-out voldoet, krijgt zijn rijen toegevoegd en ontvangt een verscheen Een gewijzigd bestand wordt in één transactie opnieuw ingelezen: de oude rijen verdwijnen, de nieuwe rijen komen erbij en het bestand krijgt een nieuwe status. gewijzigd evenement.

Verwijderde bestanden

Een bestand dat verdwijnt, verwijdert standaard de bijbehorende rijen, of blijft gemarkeerd als verwijderd als je de optie 'verwijderd' hebt gekozen, en krijgt een verdwenen gebeurtenis. Als meer dan de helft van de bestanden tegelijk verdwijnt, wordt de scan geweigerd en blijft de vorige inventaris behouden: een offline gedeelde map ziet er precies zo uit.

Aparte bestanden

Een bestand dat niet in de lay-out past, niet geopend kan worden of een bepaalde limiet overschrijdt, wordt volledig aan de kant geschoven: geen van de rijen wordt geladen. bestanden_gebeurtenissen krijgt een drift De rij met de bestandsnaam en de kolomnaam worden gecorrigeerd. Het bestand wordt hersteld en opgeslagen; bij de volgende scan wordt het opnieuw geprobeerd.

Hoe vers is wat ik zie?

De query's worden beantwoord op basis van de laatste scan. Er is geen knop 'Opnieuw scannen' of 'Nu synchroniseren'; het scaninterval, de mapmonitor en Vernieuw de pagina voordat u een vraag beantwoordt. Dit zijn de drie bedieningselementen. MAX(laatst gezien_utc) vanaf bestanden_huidig Geeft aan wanneer de agent voor het laatst heeft gekeken.

Bestanden die apart zijn gezet.

Op de stap 'Controleren' en het tabblad 'Manifest' staan drie woorden. Ze hebben verschillende betekenissen:

Aan de kant zetten (parkeren)
Het bestand komt niet overeen met de vastgezette lay-out, of is onleesbaar, beschadigd, vergrendeld of te groot. Het is alles of niets per bestand: een geparkeerd bestand draagt nul rijen bij. bestanden_gebeurtenissen records een drift rij waarvan detail De bestandsnaam en de kolomnaam worden doorgegeven. Het bestand wordt overgeslagen zolang de grootte en de wijzigingstijd hetzelfde blijven, en opnieuw geprobeerd zodra deze wijzigen.
Onleesbaar
De agent kon het bestand niet openen of verwerken vanwege het type: geen echt werkblad, vergrendeld door een ander programma, een cloud-placeholder, onleesbare bytes. Het bestand wordt automatisch afgesloten en de rest van de map wordt wel verwerkt. Alleen een map met nul leesbare bestanden weigert de volledige set.
Geweigerd
De agent kon geen enkele lay-out vastzetten, bijvoorbeeld omdat bestanden het niet eens waren over een kolomtype. Er bestaat nog geen gegevenstabel. bestanden_gebeurtenissen krijgt een geweigerd rij met de reden in detailEn de agent probeert het bij elke scan opnieuw totdat een lay-out wordt vastgezet. Corrigeer of sluit het bestand uit dat wordt genoemd en de melding verdwijnt.

Waar te kijken: de amberkleurige banner op Rekening (Geef aan welke bestanden het betreft en waarom.), de connector Manifest tab daarna. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Gebruik de tabellen overal

De connector is een gegevensbron, net als elke andere in Query Streams. Sla een query eenmaal op in de Querybouwer (het dialect is DuckDB) en gebruik het vanuit:

Excel

De add-ons Een query streamen De rijen worden in een spreadsheet geplaatst en met een muisklik opnieuw uitgevoerd. SQL-query's uitvoeren in Excel.

Google formulieren

De Query Streamer De add-on vult een tabblad dat je selecteert. Power Query voor Google Sheets.

Claude, Cursor en andere AI-clients

Via de Query Streams MCP-server kent Claude het mapmodel, inclusief _bronbestand en bestanden_gebeurtenissen. CSV-map met Claude via MCP.

REST API

Elke opgeslagen query wordt een alleen-lezen eindpunt met een eigen sleutel, in elk plan. CSV-map REST API.

Nova

Stel uw vragen in begrijpelijke taal over het bedrijfsplan; Nova kent elke map, tabel en kolom dankzij de ingebouwde beschrijvingen.

Automatiseringen

Synchroniseer de rijen met Airtable, Smartsheet, Baserow, SeaTable of een spreadsheet volgens een planning. Automatiseringshandleidingen.

Maptabellen kunnen ook gekoppeld worden aan uw andere connectors: een gefedereerde query kan overeenkomsten vinden. _bronbestand namen of order-ID's in een map met CSV-bestanden vergelijken met een database op dezelfde agent.

Grenzen die het waard zijn om te kennen

Er is geen limiet aan het aantal mappen of bestanden in het abonnement. De rijen tellen wel mee voor uw Data Realm, net als bij elke andere connector. U kunt de standaardinstellingen van de connector verhogen of verlagen:

InstellingStandaardWat het doet
Maximale diepte8Hoeveel mapniveaus onder elke rootmap worden gescand (1–64).
Maximaal aantal bestanden per scan100,000Dossiers worden in één keer bekeken.
Maximale bestandsgrootte naar hash32 MiBHet gaat alleen om... Inhoud van het hashbestand op.
Bewaring van gebeurtenislogboeken30 dagenHoe lang bestanden_gebeurtenissen De rijen blijven behouden.
Scanparallellisme per wortel2Mappen worden per hoofdmap één keer gelezen.

Inhoudslimieten, die een bestand parkeren in plaats van het te verkleinen: 2.000.000 rijen of 512 MiB per bestand, 10.000.000 rijen of 2 GiB per scan. Een map kan maximaal 25 verschillende lay-outs bevatten. Eén tafel per lay-out modus.

Vragen die mensen stellen

Zijn mijn bestanden ergens geüpload?

Nee. De agent leest de gegevens op zijn eigen computer en bewaart de rijen in een versleutelde lokale cache. Een query wordt uitgevoerd op die cache en alleen de rijen die de query retourneert, verlaten de machine via één uitgaande verbinding. Bestanden worden nooit gewijzigd, verplaatst of geconverteerd.

Moet ik een poort openen of een VPN-verbinding gebruiken?

Nee. De agent maakt één uitgaande verbinding op poort 443 en zowel verzoeken als rijen worden via die poort verzonden. Als uitgaande HTTPS werkt, werkt dit ook.

Kan de map zich op een netwerkshare bevinden, of in OneDrive of Dropbox?

Ja. Typ een deel als \\server\share\folderOmdat de agent als een service draait en geen toegang heeft tot de schijven die aan uw account zijn gekoppeld, moet u op Windows een aanmelding voor de server opslaan als de gedeelde map alleen toegang biedt aan personen met een naam; zonder aanmelding leest de agent de gegevens als een eigen serviceaccount. Op Linux of een Mac moet u de gedeelde map eerst koppelen. Een gesynchroniseerde OneDrive- of Dropbox-map werkt wanneer de bestanden op de computer zijn opgeslagen: stel de map in op Bewaar dit apparaat altijd bij de hand.De agent downloadt geen bestanden die alleen in de cloud staan.

De map bevat meerdere bestandstypen. Eén connector of twee?

Eén connector leest één bestandstype. Een map met CSV- en Parquet-bestanden bestaat uit twee connectors op dezelfde root, één per type. Bestanden die niet overeenkomen met het include-patroon worden genegeerd, niet apart gehouden.

Is er een knop om opnieuw te scannen?

Nee. De agent scant op de Scanintervalreageert op veranderingen wanneer Bekijk map is ingeschakeld en kan opnieuw scannen voordat een query wordt beantwoord wanneer u deze functie inschakelt. Bewerk de connector om een van de drie instellingen te wijzigen.

Is dit echt inbegrepen bij het gratis abonnement?

Ja. Gratis is een abonnement dat je behoudt, geen proefperiode die verloopt. Mapconnectoren hebben geen eigen bestandslimiet; de rijen tellen mee voor je Data Realm, net als bij elke andere connector. Bekijk wat elk abonnement inhoudt op de website. prijspagina.

Zit je nog steeds vast? Open Ondersteuning Ga naar Query Streams en laat ons weten in welke stap u zich bevindt en wat u ziet. Dan zorgen wij ervoor dat u verbonden wordt.

Installatieproblemen?

  • Geeft de agent de status 'Offline' weer, of zijn 'Verbinding testen' en 'Bladeren' grijs weergegeven? Controleer of de agent online is → Is de agent online?
Geüpdatet op november 9, 2026

Mogelijk gemaakt door BetterDocs