Verander elke map met bestanden in SQL-tabellen die actueel blijven
Dertien mapconnectoren, één idee: wijs de Query Streams Agent naar een map op uw eigen netwerk en deze bouwt de tabellen, tagt elke rij met het bestand waar deze vandaan komt en houdt ze actueel naarmate bestanden binnenkomen, wijzigen of verdwijnen. U kunt ze opvragen vanuit Excel, Google Sheets, Nova, Claude of de REST API. Er wordt niets geüpload, geconverteerd of bewerkt.
Kies de handleiding voor uw bestanden.
Elke kaart hieronder is een connector en een handleiding. Elke handleiding doorloopt dezelfde vijf stappen: installeer de agent, wijs deze naar de map, controleer wat er gebouwd moet worden, kies hoe vaak er gescand moet worden en bekijk uw tabellen. Vervolgens worden de tabellen, query's en aandachtspunten getoond die specifiek zijn voor dat bestandstype. Weet u niet zeker welke handleiding van toepassing is? Kies dan in de portal de juiste optie. Bestanden in een mapDe agent doorzoekt de map en opent de juiste kaart voor u.
Bestandssysteem
Een opvraagbare inventaris van elk bestand in uw mappen, met groottes, datums, een wijzigingsgeschiedenis en de groei van de map, zonder de inhoud van de bestanden te lezen.
CSV-map
Alle CSV-bestanden in de map worden samengevoegd tot één tabel, of één tabel per lay-out, waarbij elke rij is voorzien van een label met het bestand waar deze vandaan komt.
Parquet-map
Een map met Parquet-bestanden als één getypte tabel, waarbij de kolommen en gegevenstypen zijn overgenomen uit de voetteksten van de bestanden.
Excel-map
De werkbladen van elk werkboek zijn samengevoegd tot één tabel per werkblad, bijvoorbeeld: data_orders, of één tabel per lay-out voor gemengde werkmappen.
SQLite-map
Meerdere SQLite-bestanden worden als één database opgevraagd, waarbij tabellen met dezelfde naam worden samengevoegd en elke rij wordt getagd met het bijbehorende bestand.
CSV-bestand met meerdere records
één tabel per recordtype, bijvoorbeeld data_hdr en data_itm, koppelbaar op basis van bestand en volgnummer.
Machinelogboeken
CNC-, PLC- en robotlogboeken werden samengevoegd tot een evenementen tabel, plus alarm-, cyclus- en uitvaltijdtabellen voor ondersteunde controllers.
Webserverlogboeken
Eén regel per verzoek uit de logbestanden van nginx, Apache, IIS of Caddy, met client-IP-adres, pad, status en bytes als kolommen.
Containerlogboeken
De logregels van de Docker-container worden weergegeven als rijen, met de containernaam, stream en bericht als kolommen.
Toepassingslogboeken
JSON- en tekstapplicatielogboeken als rijen met niveau, logger en bericht, waarbij stacktraces bij de bijbehorende gebeurtenis worden bewaard.
Aangepaste logboeken
Elk tekstlogboek wordt geanalyseerd en opgedeeld in de door u beschreven kolommen, waarbij de niet-geanalyseerde regels in een tabel met onbewerkte regels worden bewaard.
Hoe elke mapconnector werkt
Een databaseconnector verwijst naar een server die al tabellen bevat. Een mapconnector verwijst naar mappen op de computer van de agent. De agent leest de bestanden, selecteert een lay-out uit een voorbeeld van maximaal 64 bestanden en bouwt de tabellen in een versleutelde lokale cache (één DuckDB-schema, genaamd...). bestandenset) en vernieuwt ze volgens een door u gekozen schema. Bestanden die niet in de lay-out passen, worden apart gezet en gerapporteerd; ze worden nooit stilletjes verwijderd of aangepast. Eén connector leest één bestandstype; een map met CSV- en Parquet-bestanden bestaat uit twee connectors op dezelfde map.
Elke mapconnector bedient ook dezelfde boekhoudtabellen, allemaal in de bestandenset schema:
| Tafel | Wat het bevat |
|---|---|
bestanden | Elk bestand dat zich momenteel in de map bevindt: pad, naam, extensie, grootte, aanmaak- en wijzigingsdatum, eerste en laatste keer gezien. Een overzicht van bestanden_huidig, die ook bestanden bewaart die verdwenen zijn. |
bestanden_gebeurtenissen | De wijzigingsgeschiedenis: één regel per bestand dat verscheen, was gewijzigd, verdwenen, werd opzijgezet (drift) of was geweigerd, met de tijd in event_athoe het werd opgemerkt in gedetecteerd_door en de reden in detail. |
mappen, map_snapshots, volumes | Het aantal mappen en hun grootte, hoe ze zijn gegroeid en op welke schijven of gedeelde mappen de wortels voortleven. |
_bronbestand, _rij_id | Elke gegevensrij bevat twee kolommen: het bestand waar de rij vandaan komt en een stabiele rij-ID binnen dat bestand. Groeperen op _bronbestand om bestanden te vergelijken. |
Wat je nodig hebt
Een Query Streams-account
Mapkoppelingen zijn beschikbaar in alle abonnementen, ook in het gratis abonnement. Het gratis abonnement is een abonnement dat je behoudt, geen proefperiode die verloopt. Er is geen limiet aan het aantal bestanden dat een map kan bevatten.
De Agent, versie 2.6.0 of later
Geïnstalleerd op een computer die de map kan openen: de bestandsserver zelf, een kantoorcomputer of de machine waarop de bestanden terechtkomen. Een oudere versie van Agent toont de mapkaarten grijs weergegeven met een Agent 2.6.0+ badge. Windows, Mac of Linux.
Het pad van de map, zoals de agent het ziet.
Een lokaal pad, of een netwerkshare die als volgt is geschreven: \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt of /media, a Mac under /Volumes).
Waar vindt het werk plaats? Op de computer waarop de agent draait, scant deze de map en kopieert de rijen naar een versleutelde lokale cache (één schema, genaamd...). bestandenset) en voert elke query uit op die cache. Uw bestanden worden gelezen, nooit gewijzigd, verplaatst of geüpload.
Reaching a file on a network share
The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.
If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.
Folders on a share? On Windows, one login covers every folder you add from the same server. Houd de map in de gaten voor wijzigingen. works on a share too, on a best-effort basis; the scheduled scan is what guarantees every change is picked up.
Hoe nieuwe, gewijzigde en verwijderde bestanden worden weergegeven
Nieuwe en gewijzigde bestanden
Op elke Scaninterval (of binnen enkele seconden met Bekijk map (on) een nieuw bestand dat aan de lay-out voldoet, krijgt zijn rijen toegevoegd en ontvangt een verscheen Een gewijzigd bestand wordt in één transactie opnieuw ingelezen: de oude rijen verdwijnen, de nieuwe rijen komen erbij en het bestand krijgt een nieuwe status. gewijzigd evenement.
Verwijderde bestanden
Een bestand dat verdwijnt, verwijdert standaard de bijbehorende rijen, of blijft gemarkeerd als verwijderd als je de optie 'verwijderd' hebt gekozen, en krijgt een verdwenen gebeurtenis. Als meer dan de helft van de bestanden tegelijk verdwijnt, wordt de scan geweigerd en blijft de vorige inventaris behouden: een offline gedeelde map ziet er precies zo uit.
Aparte bestanden
Een bestand dat niet in de lay-out past, niet geopend kan worden of een bepaalde limiet overschrijdt, wordt volledig aan de kant geschoven: geen van de rijen wordt geladen. bestanden_gebeurtenissen krijgt een drift De rij met de bestandsnaam en de kolomnaam worden gecorrigeerd. Het bestand wordt hersteld en opgeslagen; bij de volgende scan wordt het opnieuw geprobeerd.
Hoe vers is wat ik zie?
De query's worden beantwoord op basis van de laatste scan. Er is geen knop 'Opnieuw scannen' of 'Nu synchroniseren'; het scaninterval, de mapmonitor en Vernieuw de pagina voordat u een vraag beantwoordt. Dit zijn de drie bedieningselementen. MAX(laatst gezien_utc) vanaf bestanden_huidig Geeft aan wanneer de agent voor het laatst heeft gekeken.
Bestanden die apart zijn gezet.
Op de stap 'Controleren' en het tabblad 'Manifest' staan drie woorden. Ze hebben verschillende betekenissen:
- Aan de kant zetten (parkeren)
- Het bestand komt niet overeen met de vastgezette lay-out, of is onleesbaar, beschadigd, vergrendeld of te groot. Het is alles of niets per bestand: een geparkeerd bestand draagt nul rijen bij.
bestanden_gebeurtenissenrecords eendriftrij waarvandetailDe bestandsnaam en de kolomnaam worden doorgegeven. Het bestand wordt overgeslagen zolang de grootte en de wijzigingstijd hetzelfde blijven, en opnieuw geprobeerd zodra deze wijzigen. - Onleesbaar
- De agent kon het bestand niet openen of verwerken vanwege het type: geen echt werkblad, vergrendeld door een ander programma, een cloud-placeholder, onleesbare bytes. Het bestand wordt automatisch afgesloten en de rest van de map wordt wel verwerkt. Alleen een map met nul leesbare bestanden weigert de volledige set.
- Geweigerd
- De agent kon geen enkele lay-out vastzetten, bijvoorbeeld omdat bestanden het niet eens waren over een kolomtype. Er bestaat nog geen gegevenstabel.
bestanden_gebeurtenissenkrijgt eengeweigerdrij met de reden indetailEn de agent probeert het bij elke scan opnieuw totdat een lay-out wordt vastgezet. Corrigeer of sluit het bestand uit dat wordt genoemd en de melding verdwijnt.
Waar te kijken: de amberkleurige banner op Rekening (Geef aan welke bestanden het betreft en waarom.), de connector Manifest tab daarna. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.
Gebruik de tabellen overal
De connector is een gegevensbron, net als elke andere in Query Streams. Sla een query eenmaal op in de Querybouwer (het dialect is DuckDB) en gebruik het vanuit:
Excel
De add-ons Een query streamen De rijen worden in een spreadsheet geplaatst en met een muisklik opnieuw uitgevoerd. SQL-query's uitvoeren in Excel.
Google formulieren
De Query Streamer De add-on vult een tabblad dat je selecteert. Power Query voor Google Sheets.
Claude, Cursor en andere AI-clients
Via de Query Streams MCP-server kent Claude het mapmodel, inclusief _bronbestand en bestanden_gebeurtenissen. CSV-map met Claude via MCP.
REST API
Elke opgeslagen query wordt een alleen-lezen eindpunt met een eigen sleutel, in elk plan. CSV-map REST API.
Nova
Stel uw vragen in begrijpelijke taal over het bedrijfsplan; Nova kent elke map, tabel en kolom dankzij de ingebouwde beschrijvingen.
Automatiseringen
Synchroniseer de rijen met Airtable, Smartsheet, Baserow, SeaTable of een spreadsheet volgens een planning. Automatiseringshandleidingen.
Maptabellen kunnen ook gekoppeld worden aan uw andere connectors: een gefedereerde query kan overeenkomsten vinden. _bronbestand namen of order-ID's in een map met CSV-bestanden vergelijken met een database op dezelfde agent.
Grenzen die het waard zijn om te kennen
Er is geen limiet aan het aantal mappen of bestanden in het abonnement. De rijen tellen wel mee voor uw Data Realm, net als bij elke andere connector. U kunt de standaardinstellingen van de connector verhogen of verlagen:
| Instelling | Standaard | Wat het doet |
|---|---|---|
| Maximale diepte | 8 | Hoeveel mapniveaus onder elke rootmap worden gescand (1–64). |
| Maximaal aantal bestanden per scan | 100,000 | Dossiers worden in één keer bekeken. |
| Maximale bestandsgrootte naar hash | 32 MiB | Het gaat alleen om... Inhoud van het hashbestand op. |
| Bewaring van gebeurtenislogboeken | 30 dagen | Hoe lang bestanden_gebeurtenissen De rijen blijven behouden. |
| Scanparallellisme per wortel | 2 | Mappen worden per hoofdmap één keer gelezen. |
Inhoudslimieten, die een bestand parkeren in plaats van het te verkleinen: 2.000.000 rijen of 512 MiB per bestand, 10.000.000 rijen of 2 GiB per scan. Een map kan maximaal 25 verschillende lay-outs bevatten. Eén tafel per lay-out modus.
Vragen die mensen stellen
Zijn mijn bestanden ergens geüpload?
Nee. De agent leest de gegevens op zijn eigen computer en bewaart de rijen in een versleutelde lokale cache. Een query wordt uitgevoerd op die cache en alleen de rijen die de query retourneert, verlaten de machine via één uitgaande verbinding. Bestanden worden nooit gewijzigd, verplaatst of geconverteerd.
Moet ik een poort openen of een VPN-verbinding gebruiken?
Nee. De agent maakt één uitgaande verbinding op poort 443 en zowel verzoeken als rijen worden via die poort verzonden. Als uitgaande HTTPS werkt, werkt dit ook.
Kan de map zich op een netwerkshare bevinden, of in OneDrive of Dropbox?
Yes. Type a share as \\server\share\folder, because the Agent runs as a service and cannot see drives mapped at your login. On Windows, store a login for the server if the share lets in only named people; without one the Agent reads as its own service account. On Linux or a Mac, mount the share first. A synced OneDrive or Dropbox folder works when its files are stored on the computer: set the folder to Bewaar dit apparaat altijd bij de hand.De agent downloadt geen bestanden die alleen in de cloud staan.
De map bevat meerdere bestandstypen. Eén connector of twee?
Eén connector leest één bestandstype. Een map met CSV- en Parquet-bestanden bestaat uit twee connectors op dezelfde root, één per type. Bestanden die niet overeenkomen met het include-patroon worden genegeerd, niet apart gehouden.
Is er een knop om opnieuw te scannen?
Nee. De agent scant op de Scanintervalreageert op veranderingen wanneer Bekijk map is ingeschakeld en kan opnieuw scannen voordat een query wordt beantwoord wanneer u deze functie inschakelt. Bewerk de connector om een van de drie instellingen te wijzigen.
Is dit echt inbegrepen bij het gratis abonnement?
Ja. Gratis is een abonnement dat je behoudt, geen proefperiode die verloopt. Mapconnectoren hebben geen eigen bestandslimiet; de rijen tellen mee voor je Data Realm, net als bij elke andere connector. Bekijk wat elk abonnement inhoudt op de website. prijspagina.
Setup trouble?
- Agent shows Offline, or Test connection and Browse are greyed out? Check that the Agent is online → Is the Agent online?
English 
Spanish 
German 
French 
Portuguese 
Japanese 
Korean 
Chinese 
Italian 
Dutch 
Indonesian 
Polish