Een map met JSON-bestanden omzetten in SQL-tabellen

Mapconnector · JSONL-map

Converteer een map met JSON-bestanden naar SQL-tabellen Je kunt overal een zoekopdracht uitvoeren.

Wijs de Query Streams Agent naar de map. Deze leest de bestanden op zijn eigen computer, bouwt de tabellen op in een lokale cache en houdt ze actueel naarmate bestanden binnenkomen, wijzigen of verdwijnen. U kunt de tabellen vervolgens opvragen vanuit Excel, Google Sheets, Nova, Claude of de REST API. Er wordt niets geüpload en geen enkel bestand wordt geconverteerd of bewerkt.

Ongeveer 15 minuten Geen programmeerkennis vereist De bestanden blijven op uw netwerk. Het gratis abonnement dekt het.

Wat je uiteindelijk overhoudt

Je krijgt uiteindelijk één SQL-tabel, die je zelf een naam geeft, en die elke regel van elk JSONL-bestand in de map bevat. Als je die tabel zo noemt... evenementen, je vraag fileset.eventsGeneste objecten worden platgedrukt tot kolommen tot de door u gekozen diepte, diepere waarden worden bewaard als JSON-tekst en elke rij bevat _bronbestand Zo weet je uit welk bestand het afkomstig is. Als de map bestanden van verschillende formaten bevat, kun je in plaats daarvan één tabel per formaat gebruiken. De agent leest de map op zijn eigen computer en slaat de rijen daar op in een versleutelde lokale opslag. Vervolgens worden deze als SQL-query's aangeboden aan Excel, Google Sheets, de Query Builder of een andere client. De bestanden blijven op je netwerk staan.

Elke tabel bevindt zich in één schema met de naam bestandenset. Met Eén vastgezette lay-outStandaard krijg je één tabel met de naam die wordt gebruikt voor de Tabelnaam je typt bijvoorbeeld fileset.events, waarbij de rijen van elk overeenkomend bestand worden bewaard. Geneste objecten worden kolommen tot aan Vlakke diepte, standaard 2, en alles wat dieper gaat, wordt als JSON-tekst weergegeven. Elke rij bevat _bronbestand en een stabiele _rij_id.

Met Eén tafel per lay-outElke afzonderlijke vorm wordt een eigen tabel, tot maximaal 25, genoemd naar het gemeenschappelijke deel van de bestandsnamen, waarbij de achtervoegsels (nummers) worden verwijderd. Bestanden orders_2026_01.jsonl naar orders_2026_03.jsonl worden bestandenset.bestellingenAls er niets bruikbaars overblijft, wordt de tabelnaam gebruikt. Namen veranderen nooit zolang de lay-out is vastgezet, en er is geen automatische weergave die de lay-outs op elkaar stapelt.

Elke mapconnector biedt u ook de boekhoudtabellen. bestanden, bestanden_gebeurtenissen, mappen, map_snapshots en volumes.

Waar het zijn nut bewijst:

• Query-applicatiegebeurtenissen, exportbestanden of LLM-gesprekslogboeken die als JSON-regels zijn geschreven, in Excel of Google Sheets.
• Tel en filter gebeurtenissen in JSONL-bestanden van een hele dag zonder dat er voor elk bestand een apart script nodig is.
• Geef elk exporttype een eigen tabel wanneer een leverancier de velden die hij verzendt wijzigt.

Wat je nodig hebt

Een Query Streams-account

Mapkoppelingen zijn beschikbaar in alle abonnementen, ook in het gratis abonnement. Het gratis abonnement is een abonnement dat je behoudt, geen proefperiode die verloopt. Er is geen limiet aan het aantal bestanden dat een map kan bevatten.

De Agent, versie 2.6.0 of later

Geïnstalleerd op een computer die de map kan openen: de bestandsserver zelf, een kantoorcomputer of de machine waarop de bestanden terechtkomen. Een oudere versie van Agent toont de mapkaarten grijs weergegeven met een Agent 2.6.0+ badge. Windows, Mac of Linux.

Het pad van de map, zoals de agent het ziet.

Een lokaal pad, of een netwerkshare die als volgt is geschreven: \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt of /media, a Mac under /Volumes).

Stel het in vijf stappen in.

1. Installeer de agent op een computer die de map kan openen.

   Aanmelden, openen DownloadInstalleer de agent voor uw systeem op de computer die een map met JSON-bestanden kan openen: de bestandsserver of een andere computer die altijd aan staat en de gedeelde map kan bereiken. Dit duurt een minuut en start daarna automatisch. U hebt versie 2.6.0 of hoger nodig; de meest recente versie is altijd beschikbaar op de downloadpagina.

   Waarom een klein programma in plaats van een driver? De agent is een eenmalige installatie voor Windows, Mac of Linux (ongeveer 85 MB op Windows, iets meer dan 100 MB op Mac en Linux). Het opent één versleutelde uitgaande verbinding met Query Streams en dat is het enige netwerkpad dat nodig is: geen inkomende poort om te openen, geen VPN. Het leest de bestanden in de map waarin het zich bevindt, waardoor de bestanden op hun plaats blijven en alleen de rijen die een query retourneert via internet naar de add-in, browser of AI-client aan uw kant worden verzonden.

   De downloadpagina toont Uw toegangssleutelPlak het in de Agent wanneer daarom wordt gevraagd en wacht tot de badge is weergegeven. Verbonden met querystreamsDat is het enige wat je op de computer van de agent doet; al het andere gebeurt in je browser.

   Complete walkthroughs zijn beschikbaar als je die wilt: Windows, Mac, Linux.

2. Wijs het programma naar een map met JSON-linebestanden.

   Ga terug naar uw browser Gegevens → GegevensagentenZoek de agent die je zojuist hebt geïnstalleerd en klik erop. Connector toevoegen knop. Open de Bestanden en mappen pil en kies de JSONL-map kaart. Weet je niet zeker welke kaart past? Kies Bestanden in een map In plaats daarvan: de agent neemt een steekproef van de map, benoemt de inhoud op een pagina 'Wat we hebben gevonden' en opent de juiste, vooraf ingevulde kaart voor u.

   De tovenaar rent Mappen → Controleren → Instellingen → Realm → Controleren. Op Mappen:

   Hoofdmappen

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Scan submappen, maximale diepte

   Aan, en standaard 8 niveaus.

   Patronen opnemen, patronen uitsluiten

   Welke bestanden tellen mee? Het include-patroon begint met de juiste glob voor deze kaart. Eén connector leest één bestandstype: een map met CSV-bestanden. en Parquet-bestanden hebben twee connectors in dezelfde map, één per bestandstype.

   Volg symbolische links en junctions

   Standaard uitgeschakeld. De agent volgt geen snelkoppelingen of cloud-placeholders, tenzij u deze functie inschakelt.

   Installeer de Query Streams Agent op een computer die de map kan openen. Hiervoor is Agent 2.6.0 of later vereist. Vanuit die Agent... Connector toevoegen knop, openen Bestanden en mappen en kies de JSONL-map kaart.

   • Hoofdmappen: de mappen op de agentcomputer die gescand moeten worden, één per regel. Typ netwerkshares als \\server\share\folder, geen toegewezen stationsletter.
   • Voeg patronen toe begint als **/*.jsonlVoeg een patroon toe als uw bestanden een andere extensie gebruiken.
   • Tabelnaam is vereist. Typ een naam, bijvoorbeeld evenementen.
   • Vlakke diepte: hoeveel niveaus van geneste objecten als kolommen worden weergegeven. Standaard 2, bereik 1 tot 8. Diepere waarden worden als JSON-tekst weergegeven.
   • Tabelindeling: vertrekken Eén vastgezette lay-out (standaard) wanneer alle bestanden dezelfde lay-out delen, zoals bij terugkerende exporten. Kies Eén tafel per lay-out Voor mappen die mensen met de hand in elkaar zetten, waarbij elke afzonderlijke lay-out een eigen tabel krijgt, tot wel 25.

3. Bekijk wat het zal bouwen

   Op Rekening De agent leest een voorbeeld van maximaal 64 bestanden en laat zien wat er gebouwd zal worden. Er is nog niets aangemaakt. De knop geeft de volgende tekst weer: Testverbinding totdat er een vonnis is, dan Volgende; Test opnieuw Het voorbeeld wordt opnieuw uitgevoerd nadat u iets hebt gewijzigd. U ziet dan een van de vier volgende kopteksten:

   Klaar om te creëren

   Elk geselecteerd bestand past. De chips eronder geven aan hoeveel mappen bereikbaar waren, hoeveel bestanden en rijen er waren en welke tabellen er aanwezig waren.

   Klaar, met aantekeningen.

   Sommige bestanden worden opzijgezet, of de lay-outcontrole wordt geweigerd. Een oranje banner geeft precies aan welke: "{n} van {m} bestand(en) worden opzijgezet" met een Geef aan welke bestanden het betreft en waarom. lijst, en "Je kunt het sowieso aanmaken - de connector blijft controleren en rapporteert de reden op het tabblad Manifest."

   Vereist aandacht

   De agent is offline of er ontbreekt een map. Los dit op voordat u verdergaat; als de agent offline is, wordt dit wel aangegeven, maar kunt u toch verdergaan.

   “Deze map bevat {n} verschillende bestandsindelingen.” Een lichtblauw paneel betekent dat de geselecteerde bestanden niet allemaal dezelfde set kolommen delen. Tabelindeling standaardwaarde Eén vastgezette lay-out, wat verwacht dat elk bestand overeenkomt. Klik Schakel over naar één tabel per lay-out. en elke lay-out wordt in plaats daarvan een eigen tabel (tot 25).

   Een weigering of het terzijde leggen van bestanden blokkeert je nooit: klik hier. VolgendeVoltooi de wizard en repareer de afwijkende bestanden later. Alleen een offline agent of een ontbrekende map stopt de wizard.

   Op RekeningDe agent leest een steekproef van maximaal 64 bestanden en toont het aantal bestanden, de grootte, de geschatte rijgrootte en de tabel die zal worden opgebouwd. Er wordt nog niets aangemaakt. Wat deze bron het vaakst rapporteert, zijn gemengde vormen. Als de steekproef meerdere lay-outs bevat terwijl Tabelindeling Als het bestand nog steeds vastgepind is, verschijnt er een blauw paneel met de tekst "Deze map bevat 3 verschillende bestandsindelingen" en wordt uitgelegd dat één vastgepinde indeling vereist dat elk bestand dezelfde indeling deelt. Klik Schakel over naar één tabel per lay-out. en elke vorm wordt een eigen tabel. Bestanden die de agent niet als JSONL kon lezen, verschijnen onder Geef aan welke bestanden het betreft en waarom. als apart gezet, en de rest laadt nog steeds. Je kunt de connector op beide manieren maken; hij blijft controleren en rapporteert de reden op zijn scherm. Manifest tab.

4. Kies hoe vaak er gescand moet worden en maak het vervolgens aan.

   De standaardinstellingen op Instellingen Geschikt voor een map die dagelijks een paar bestanden ontvangt. Vier zaken die je wellicht wilt wijzigen:

   Scaninterval

   Elk uur Standaardinstelling; kies een frequentie van elke 5 minuten tot dagelijks. Elke scan vergelijkt de grootte en de wijzigingstijd om nieuwe, gewijzigde en verdwenen bestanden te vinden.

   Houd de map in de gaten voor wijzigingen (vrijwel in realtime).

   Standaard uitgeschakeld. Ingeschakeld reageert de agent binnen enkele seconden op lokale schijven; op netwerkshares werkt deze naar beste vermogen en blijft de geplande scan de garantie. Rustperiode (15 seconden) wacht tot het schrijven van een bestand is voltooid.

   Vernieuw de pagina voordat u een vraag beantwoordt.

   Standaard uitgeschakeld. In deze stand wordt een zoekopdracht eerst opnieuw uitgevoerd als de laatste scan ouder is dan de ingestelde waarde. Verouderingsvenster (60 seconden), wachtend op maximaal de Wachtlimiet voor query's (5 seconden). Dit geldt voor personen en invoegingen, niet voor het peilen van waarschuwingen.

   Wanneer een bestand verdwijnt

   Verwijder de rijen standaard, of Behoud rijen, markeer verwijderd (grafsteen)De Verdwijningspercentage (0.5) weigert een scan die meer dan de helft van de bestanden tegelijk verliest en behoudt de vorige inventaris, wat overeenkomt met hoe een offline gedeelde map eruitziet.

   Kies vervolgens de Gegevensrijk Het aantal rijen telt mee, controleer Beoordeling en klik Connector makenDe eerste scan start direct. De connector Manifest Het tabblad laat zien wat er is gebouwd en welke bestanden er zijn opgeslagen.

5. Kijk naar je tafels

   Open de connector: de Manifest Het tabblad toont de tabellen die zijn aangemaakt. In de Querybouwer dezelfde tafels staan onder de bestandenset schema. Drie query's die vanaf dag één werken:

   Aantal rijen per JSONL-bestand

   SELECT _source_file, COUNT(*) AS row_count FROM fileset.events GROUP BY _source_file ORDER BY row_count DESC LIMIT 100

   Eén rij per bestand, zodat je kunt zien hoeveel regels elk JSONL-bestand heeft bijgedragen.

   Bestanden die de afgelopen dag zijn gewijzigd.

   SELECT relative_path, size_bytes, modified_utc FROM fileset.files WHERE modified_utc >= now() - INTERVAL 1 DAY ORDER BY modified_utc DESC LIMIT 100

   De bestanden die de agent heeft gezien, zijn sinds gisteren gewijzigd, de nieuwste eerst.

   Dossiers die opzij zijn gelegd of zijn afgewezen, en waarom.

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   Elk bestand waarvan regels zijn weggelaten, met een gedetailleerde uitleg van de reden, inclusief een bestand met een nieuwe structuur.

   Elke mapconnector bedient ook dezelfde boekhoudtabellen, allemaal in de bestandenset schema:

   Tafel	Wat het bevat
   bestanden	Elk bestand dat zich momenteel in de map bevindt: pad, naam, extensie, grootte, aanmaak- en wijzigingsdatum, eerste en laatste keer gezien. Een overzicht van bestanden_huidig, die ook bestanden bewaart die verdwenen zijn.
   bestanden_gebeurtenissen	De wijzigingsgeschiedenis: één regel per bestand dat verscheen, was gewijzigd, verdwenen, werd opzijgezet (drift) of was geweigerd, met de tijd in event_athoe het werd opgemerkt in gedetecteerd_door en de reden in detail.
   mappen, map_snapshots, volumes	Het aantal mappen en hun grootte, hoe ze zijn gegroeid en op welke schijven of gedeelde mappen de wortels voortleven.
   _bronbestand, _rij_id	Elke gegevensrij bevat twee kolommen: het bestand waar de rij vandaan komt en een stabiele rij-ID binnen dat bestand. Groeperen op _bronbestand om bestanden te vergelijken.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Mappen step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Gebruik het overal

De connector is een gegevensbron, net als elke andere in Query Streams. Sla een query eenmaal op in de Querybouwer (het dialect is DuckDB) en gebruik het vanuit:

Excel

De add-ons Een query streamen De rijen worden in een spreadsheet geplaatst en met een muisklik opnieuw uitgevoerd. SQL-query's uitvoeren in Excel.

Google formulieren

De Query Streamer De add-on vult een tabblad dat je selecteert. Power Query voor Google Sheets.

Claude, Cursor en andere AI-clients

Via de Query Streams MCP-server kent Claude het mapmodel, inclusief _bronbestand en bestanden_gebeurtenissen. JSONL-map met Claude via MCP.

REST API

Elke opgeslagen query wordt een alleen-lezen eindpunt met een eigen sleutel, in elk plan. JSONL Map REST API.

Nova

Stel uw vragen in begrijpelijke taal over het bedrijfsplan; Nova kent elke map, tabel en kolom dankzij de ingebouwde beschrijvingen.

Automatiseringen

Synchroniseer de rijen met Airtable, Smartsheet, Baserow, SeaTable of een spreadsheet volgens een planning. Automatiseringshandleidingen.

Maptabellen kunnen ook gekoppeld worden aan uw andere connectors: een gefedereerde query kan overeenkomsten vinden. _bronbestand namen of order-ID's in een map met JSON-bestanden worden vergeleken met een database op dezelfde agent.

Hoe nieuwe, gewijzigde en verwijderde bestanden worden weergegeven

Bestanden die apart zijn gezet.

Op de stap 'Controleren' en het tabblad 'Manifest' staan drie woorden. Ze hebben verschillende betekenissen:

Aan de kant zetten (parkeren)

Het bestand komt niet overeen met de vastgezette lay-out, of is onleesbaar, beschadigd, vergrendeld of te groot. Het is alles of niets per bestand: een geparkeerd bestand draagt nul rijen bij. bestanden_gebeurtenissen records een drift rij waarvan detail De bestandsnaam en de kolomnaam worden doorgegeven. Het bestand wordt overgeslagen zolang de grootte en de wijzigingstijd hetzelfde blijven, en opnieuw geprobeerd zodra deze wijzigen.

Onleesbaar

De agent kon het bestand niet openen of verwerken vanwege het type: geen echt werkblad, vergrendeld door een ander programma, een cloud-placeholder, onleesbare bytes. Het bestand wordt automatisch afgesloten en de rest van de map wordt wel verwerkt. Alleen een map met nul leesbare bestanden weigert de volledige set.

Geweigerd

De agent kon geen enkele lay-out vastzetten, bijvoorbeeld omdat bestanden het niet eens waren over een kolomtype. Er bestaat nog geen gegevenstabel. bestanden_gebeurtenissen krijgt een geweigerd rij met de reden in detailEn de agent probeert het bij elke scan opnieuw totdat een lay-out wordt vastgezet. Corrigeer of sluit het bestand uit dat wordt genoemd en de melding verdwijnt.

Waar te kijken: de amberkleurige banner op Rekening (Geef aan welke bestanden het betreft en waarom.), de connector Manifest tab daarna. In SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Grenzen die het waard zijn om te kennen

Er is geen limiet aan het aantal mappen of bestanden in het abonnement. De rijen tellen wel mee voor uw Data Realm, net als bij elke andere connector. U kunt de standaardinstellingen van de connector verhogen of verlagen:

Inhoudslimieten, die een bestand parkeren in plaats van het te verkleinen: 2.000.000 rijen of 512 MiB per bestand, 10.000.000 rijen of 2 GiB per scan. Een map kan maximaal 25 verschillende lay-outs bevatten. Eén tafel per lay-out modus.

Vragen die mensen stellen

• Bestandssysteem
• CSV-map
• Parquet-map
• Excel-map
• SQLite-map
• CSV-bestand met meerdere records
• Machinelogboeken
• Webserverlogboeken
• Containerlogboeken
• Toepassingslogboeken
• Systeemlogboeken
• Aangepaste logboeken