Mappen → SQL-tabellen · met Query Streams
Met Query Streams wordt een map met bestanden omgezet in alleen-lezen SQL-tabellen: de bestanden blijven waar ze zijn, de Agent op die computer leest ze in een versleutelde lokale cache en houdt de tabellen actueel wanneer bestanden binnenkomen, wijzigen of verdwijnen. Er wordt niets geüpload en geen bestand gewijzigd. De eerste keer ongeveer vijftien minuten, en het Free-abonnement dekt dit.
Begin gratis
Kies de handleiding voor uw bestanden.
Elke kaart hieronder is een connector en een handleiding. Elke handleiding doorloopt dezelfde vijf stappen: installeer de agent, wijs deze naar de map, controleer wat er gebouwd moet worden, kies hoe vaak er gescand moet worden en bekijk uw tabellen. Vervolgens worden de tabellen, query's en aandachtspunten getoond die specifiek zijn voor dat bestandstype. Weet u niet zeker welke handleiding van toepassing is? Kies dan in de portal de juiste optie. Bestanden in een mapDe agent doorzoekt de map en opent de juiste kaart voor u.
Bestandssysteem
Een opvraagbare inventaris van elk bestand in uw mappen, met groottes, datums, een wijzigingsgeschiedenis en de groei van de map, zonder de inhoud van de bestanden te lezen.
CSV-map
Alle CSV-bestanden in de map worden samengevoegd tot één tabel, of één tabel per lay-out, waarbij elke rij is voorzien van een label met het bestand waar deze vandaan komt.
Parquet-map
Een map met Parquet-bestanden als één getypte tabel, waarbij de kolommen en gegevenstypen zijn overgenomen uit de voetteksten van de bestanden.
Excel-map
De werkbladen van elk werkboek zijn samengevoegd tot één tabel per werkblad, bijvoorbeeld: data_orders, of één tabel per lay-out voor gemengde werkmappen.
SQLite-map
Meerdere SQLite-bestanden worden als één database opgevraagd, waarbij tabellen met dezelfde naam worden samengevoegd en elke rij wordt getagd met het bijbehorende bestand.
CSV-bestand met meerdere records
één tabel per recordtype, bijvoorbeeld data_hdr en data_itm, koppelbaar op basis van bestand en volgnummer.
Machinelogboeken
CNC-, PLC- en robotlogboeken werden samengevoegd tot een evenementen tabel, plus alarm-, cyclus- en uitvaltijdtabellen voor ondersteunde controllers.
Webserverlogboeken
Eén regel per verzoek uit de logbestanden van nginx, Apache, IIS of Caddy, met client-IP-adres, pad, status en bytes als kolommen.
Containerlogboeken
De logregels van de Docker-container worden weergegeven als rijen, met de containernaam, stream en bericht als kolommen.
Toepassingslogboeken
JSON- en tekstapplicatielogboeken als rijen met niveau, logger en bericht, waarbij stacktraces bij de bijbehorende gebeurtenis worden bewaard.
Aangepaste logboeken
Elk tekstlogboek wordt geanalyseerd en opgedeeld in de door u beschreven kolommen, waarbij de niet-geanalyseerde regels in een tabel met onbewerkte regels worden bewaard.
Hoe elke mapconnector werkt
Een databaseconnector verwijst naar een server die al tabellen bevat. Een mapconnector verwijst naar mappen op de computer van de agent. De agent leest de bestanden, selecteert een lay-out uit een voorbeeld van maximaal 64 bestanden en bouwt de tabellen in een versleutelde lokale cache (één DuckDB-schema, genaamd...). bestandenset) en vernieuwt ze volgens een door u gekozen schema. Bestanden die niet in de lay-out passen, worden apart gezet en gerapporteerd; ze worden nooit stilletjes verwijderd of aangepast. Eén connector leest één bestandstype; een map met CSV- en Parquet-bestanden bestaat uit twee connectors op dezelfde map.
Elke mapconnector bedient ook dezelfde boekhoudtabellen, allemaal in de bestandenset schema:
| Tafel | Wat het bevat |
|---|---|
bestanden | Elk bestand dat zich momenteel in de map bevindt: pad, naam, extensie, grootte, aanmaak- en wijzigingsdatum, eerste en laatste keer gezien. Een overzicht van bestanden_huidig, die ook bestanden bewaart die verdwenen zijn. |
bestanden_gebeurtenissen | De wijzigingsgeschiedenis: één regel per bestand dat verscheen, was gewijzigd, verdwenen, werd opzijgezet (drift) of was geweigerd, met de tijd in event_athoe het werd opgemerkt in gedetecteerd_door en de reden in detail. |
mappen, map_snapshots, volumes | Het aantal mappen en hun grootte, hoe ze zijn gegroeid en op welke schijven of gedeelde mappen de wortels voortleven. |
_bronbestand, _rij_id | Elke gegevensrij bevat twee kolommen: het bestand waar de rij vandaan komt en een stabiele rij-ID binnen dat bestand. Groeperen op _bronbestand om bestanden te vergelijken. |
Wat je nodig hebt
Een Query Streams-account
Mapkoppelingen zijn beschikbaar in alle abonnementen, ook in het gratis abonnement. Het gratis abonnement is een abonnement dat je behoudt, geen proefperiode die verloopt. Er is geen limiet aan het aantal bestanden dat een map kan bevatten.
De Agent, versie 2.6.0 of later
Geïnstalleerd op een computer die de map kan openen: de bestandsserver zelf, een kantoorcomputer of de machine waarop de bestanden terechtkomen. Een oudere versie van Agent toont de mapkaarten grijs weergegeven met een Agent 2.6.0+ badge. Windows, Mac of Linux.
Het pad van de map, zoals de agent het ziet.
Een lokaal pad, of een netwerkshare die als volgt is geschreven: \\server\share\folderDe agent draait als een service, waardoor hij geen toegang heeft tot de schijven die u bij uw aanmelding hebt toegewezen (zoals Z:). Op Windows kan de agent zich aanmelden bij een gedeelde map met een door u opgeslagen gebruikersnaam; op Linux of een Mac moet u de gedeelde map eerst koppelen (Linux onder /mnt of /mediaeen Mac onder /Volumes).
Waar vindt het werk plaats? Op de computer waarop de agent draait, scant deze de map en kopieert de rijen naar een versleutelde lokale cache (één schema, genaamd...). bestandenset) en voert elke query uit op die cache. Uw bestanden worden gelezen, nooit gewijzigd, verplaatst of geüpload.
Een bestand openen op een gedeelde netwerkmap
De agent opent bestanden als een achtergrondservice, niet als een gewone gebruiker. Daarom is er voor een bestand op een andere computer een extra stap nodig. Welke stap dat is, hangt af van de computer waarop de agent draait.
Als de test het aandeel niet kan vinden, zoek dan in het resultaat naar de volgende woorden: onbereikbaar Dit betekent dat de computer van de agent geen antwoord van de server heeft ontvangen. Op Linux of een Mac, niet gemonteerd Dit betekent dat de gedeelde map nog moet worden aangekoppeld, en dat bericht bevat het exacte aankoppelcommando voor uw server.
Mappen op een gedeelde map? Op Windows dekt één aanmelding alle mappen die u vanaf dezelfde server toevoegt. Houd de map in de gaten voor wijzigingen. Het werkt ook op basis van een gedeelde database, naar beste vermogen; de geplande scan garandeert dat elke wijziging wordt gedetecteerd.
Hoe nieuwe, gewijzigde en verwijderde bestanden worden weergegeven
Nieuwe en gewijzigde bestanden
Op elke Scaninterval (of binnen enkele seconden met Bekijk map (on) een nieuw bestand dat aan de lay-out voldoet, krijgt zijn rijen toegevoegd en ontvangt een verscheen Een gewijzigd bestand wordt in één transactie opnieuw ingelezen: de oude rijen verdwijnen, de nieuwe rijen komen erbij en het bestand krijgt een nieuwe status. gewijzigd evenement.
Verwijderde bestanden
Een bestand dat verdwijnt, verwijdert standaard de bijbehorende rijen, of blijft gemarkeerd als verwijderd als je de optie 'verwijderd' hebt gekozen, en krijgt een verdwenen gebeurtenis. Als meer dan de helft van de bestanden tegelijk verdwijnt, wordt de scan geweigerd en blijft de vorige inventaris behouden: een offline gedeelde map ziet er precies zo uit.
Aparte bestanden
Een bestand dat niet in de lay-out past, niet geopend kan worden of een bepaalde limiet overschrijdt, wordt volledig aan de kant geschoven: geen van de rijen wordt geladen. bestanden_gebeurtenissen krijgt een drift De rij met de bestandsnaam en de kolomnaam worden gecorrigeerd. Het bestand wordt hersteld en opgeslagen; bij de volgende scan wordt het opnieuw geprobeerd.
Hoe vers is wat ik zie?
De query's worden beantwoord op basis van de laatste scan. Er is geen knop 'Opnieuw scannen' of 'Nu synchroniseren'; het scaninterval, de mapmonitor en Vernieuw de pagina voordat u een vraag beantwoordt. Dit zijn de drie bedieningselementen. MAX(laatst gezien_utc) vanaf bestanden_huidig Geeft aan wanneer de agent voor het laatst heeft gekeken.
Bestanden die apart zijn gezet.
Op de stap 'Controleren' en het tabblad 'Manifest' staan drie woorden. Ze hebben verschillende betekenissen:
- Aan de kant zetten (parkeren)
- Het bestand komt niet overeen met de vastgezette lay-out, of is onleesbaar, beschadigd, vergrendeld of te groot. Het is alles of niets per bestand: een geparkeerd bestand draagt nul rijen bij.
bestanden_gebeurtenissenrecords eendriftrij waarvandetailDe bestandsnaam en de kolomnaam worden doorgegeven. Het bestand wordt overgeslagen zolang de grootte en de wijzigingstijd hetzelfde blijven, en opnieuw geprobeerd zodra deze wijzigen. - Onleesbaar
- De agent kon het bestand niet openen of verwerken vanwege het type: geen echt werkblad, vergrendeld door een ander programma, een cloud-placeholder, onleesbare bytes. Het bestand wordt automatisch afgesloten en de rest van de map wordt wel verwerkt. Alleen een map met nul leesbare bestanden weigert de volledige set.
- Geweigerd
- De agent kon geen enkele lay-out vastzetten, bijvoorbeeld omdat bestanden het niet eens waren over een kolomtype. Er bestaat nog geen gegevenstabel.
bestanden_gebeurtenissenkrijgt eengeweigerdrij met de reden indetailEn de agent probeert het bij elke scan opnieuw totdat een lay-out wordt vastgezet. Corrigeer of sluit het bestand uit dat wordt genoemd en de melding verdwijnt.
Waar te kijken: de amberkleurige banner op Rekening (Geef aan welke bestanden het betreft en waarom.), de connector Manifest tab daarna. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.
Gebruik de tabellen overal
De connector is een gegevensbron, net als elke andere in Query Streams. Sla een query eenmaal op in de Querybouwer (het dialect is DuckDB) en gebruik het vanuit:
Excel
De add-ons Een query streamen De rijen worden in een spreadsheet geplaatst en met een muisklik opnieuw uitgevoerd. SQL-query's uitvoeren in Excel.
Google formulieren
De Query Streamer De add-on vult een tabblad dat je selecteert. Power Query voor Google Sheets.
Claude, Cursor en andere AI-clients
Via de Query Streams MCP-server kent Claude het mapmodel, inclusief _bronbestand en bestanden_gebeurtenissen. CSV-map met Claude via MCP.
REST API
Elke opgeslagen query wordt een alleen-lezen eindpunt met een eigen sleutel, in elk plan. CSV-map REST API.
Nova
Stel uw vragen in begrijpelijke taal over het bedrijfsplan; Nova kent elke map, tabel en kolom dankzij de ingebouwde beschrijvingen.
Automatiseringen
Synchroniseer de rijen met Airtable, Smartsheet, Baserow, SeaTable of een spreadsheet volgens een planning. Automatiseringshandleidingen.
Maptabellen kunnen ook gekoppeld worden aan uw andere connectors: een gefedereerde query kan overeenkomsten vinden. _bronbestand namen of order-ID's in een map met CSV-bestanden vergelijken met een database op dezelfde agent.
Grenzen die het waard zijn om te kennen
Er is geen limiet aan het aantal mappen of bestanden in het abonnement. De rijen tellen wel mee voor uw Data Realm, net als bij elke andere connector. U kunt de standaardinstellingen van de connector verhogen of verlagen:
| Instelling | Standaard | Wat het doet |
|---|---|---|
| Maximale diepte | 8 | Hoeveel mapniveaus onder elke rootmap worden gescand (1–64). |
| Maximaal aantal bestanden per scan | 100,000 | Dossiers worden in één keer bekeken. |
| Maximale bestandsgrootte naar hash | 32 MiB | Het gaat alleen om... Inhoud van het hashbestand op. |
| Bewaring van gebeurtenislogboeken | 30 dagen | Hoe lang bestanden_gebeurtenissen De rijen blijven behouden. |
| Scanparallellisme per wortel | 2 | Mappen worden per hoofdmap één keer gelezen. |
Inhoudslimieten, die een bestand parkeren in plaats van het te verkleinen: 2.000.000 rijen of 512 MiB per bestand, 10.000.000 rijen of 2 GiB per scan. Een map kan maximaal 25 verschillende lay-outs bevatten. Eén tafel per lay-out modus.
Vragen die mensen stellen
Zijn mijn bestanden ergens geüpload?
Nee. De agent leest de gegevens op zijn eigen computer en bewaart de rijen in een versleutelde lokale cache. Een query wordt uitgevoerd op die cache en alleen de rijen die de query retourneert, verlaten de machine via één uitgaande verbinding. Bestanden worden nooit gewijzigd, verplaatst of geconverteerd.
Moet ik een poort openen of een VPN-verbinding gebruiken?
Nee. De agent maakt één uitgaande verbinding op poort 443 en zowel verzoeken als rijen worden via die poort verzonden. Als uitgaande HTTPS werkt, werkt dit ook.
Kan de map zich op een netwerkshare bevinden, of in OneDrive of Dropbox?
Ja. Typ een deel als \\server\share\folderOmdat de agent als een service draait en geen toegang heeft tot de schijven die aan uw account zijn gekoppeld, moet u op Windows een aanmelding voor de server opslaan als de gedeelde map alleen toegang biedt aan personen met een naam; zonder aanmelding leest de agent de gegevens als een eigen serviceaccount. Op Linux of een Mac moet u de gedeelde map eerst koppelen. Een gesynchroniseerde OneDrive- of Dropbox-map werkt wanneer de bestanden op de computer zijn opgeslagen: stel de map in op Bewaar dit apparaat altijd bij de hand.De agent downloadt geen bestanden die alleen in de cloud staan.
De map bevat meerdere bestandstypen. Eén connector of twee?
Eén connector leest één bestandstype. Een map met CSV- en Parquet-bestanden bestaat uit twee connectors op dezelfde root, één per type. Bestanden die niet overeenkomen met het include-patroon worden genegeerd, niet apart gehouden.
Is er een knop om opnieuw te scannen?
Nee. De agent scant op de Scanintervalreageert op veranderingen wanneer Bekijk map is ingeschakeld en kan opnieuw scannen voordat een query wordt beantwoord wanneer u deze functie inschakelt. Bewerk de connector om een van de drie instellingen te wijzigen.
Is dit echt inbegrepen bij het gratis abonnement?
Ja. Gratis is een abonnement dat je behoudt, geen proefperiode die verloopt. Mapconnectoren hebben geen eigen bestandslimiet; de rijen tellen mee voor je Data Realm, net als bij elke andere connector. Bekijk wat elk abonnement inhoudt op de website. prijspagina.
Installatieproblemen?
- Geeft de agent de status 'Offline' weer, of zijn 'Verbinding testen' en 'Bladeren' grijs weergegeven? Controleer of de agent online is → Is de agent online?



