Maak van CSV Folder doorzoekbare tabellen.

Waar de kolommen vandaan komen

• Gebaseerd op steekproeven, niet op aannames — de agent inspecteert echte bestanden in plaats van af te gaan op de eerste rij van het eerste bestand.
• Coderingen worden ondersteund — UTF-8, UTF-16, Windows-1252 en Latin-1, zodat namen met accenten en Europese exports niet als onleesbare tekst verschijnen.
• Geld blijft geld — een kolom die altijd decimalen bevat, wordt opgeslagen als een exact decimaal getal en niet als een drijvendekommagetal, zodat totalen niet met een cent afwijken.
• Een kolom die slechts in sommige bestanden voorkomt, wordt in de andere bestanden leeg, in plaats van een reden voor een foutmelding te zijn.

-- De hele map als één tabel, vervolgens per bestand SELECT _source_file, COUNT(*) AS rows, SUM(total) AS revenue FROM data GROUP BY _source_file ORDER BY revenue DESC

Wanneer een bestand het er niet mee eens is

Als de allereerste bestanden elkaar tegenspreken — twee verschillende scheidingstekens, of een kolom die in het ene bestand een datum is en in het andere vrije tekst — weigert de connector iets vast te zetten en laat hij je weten welke bestanden en welke kolommen niet overeenkomen. Hij zal niet stilletjes een winnaar aanwijzen en je dat pas aan het einde van de maand laten ontdekken.

• Daarna wordt één foutief bestand achtergehouden in plaats van de tabel te beschadigen: een gewijzigde koptekst, een extra kolom, een waarde die niet past of een afgekorte laatste regel.
• De betreffende rijen blijven buiten beschouwing, en files_events registreert precies welk bestand en welke kolom de oorzaak was.
• Alle andere bestanden in de map laden nog steeds. Eén mislukte export zorgt er niet voor dat het rapport offline gaat.

Eén tafel, of één per indeling.

Terugkerende exports van hetzelfde rapport horen in één tabel thuis, en dat is de standaardinstelling. Als de map daadwerkelijk verschillende CSV-bestanden bevat – bijvoorbeeld een klantenlijst naast een orderoverzicht – schakel dan over naar de modus per lay-out. Elke afzonderlijke lay-out krijgt dan een eigen tabel, tot maximaal 25 tabellen.

Elke mapconnector biedt u ook de mogelijkheid om...

• files_current — een actuele inventaris: elk bestand dat de connector op dit moment kan zien, met het pad, de grootte en de wijzigingsdatum.
• files_events — het auditspoor: wat is verschenen, gewijzigd of verdwenen, en wat eventueel is achtergehouden, met de bestandsnaam en de reden.
• directories and volumes — totalen per map, dagelijkse groeigeschiedenis en hoeveel ruimte er nog op de schijf is.
• Alleen bestanden die daadwerkelijk zijn gewijzigd, worden bij elke synchronisatie opnieuw ingelezen. Een map met 50.000 bestanden wordt dus niet opnieuw verwerkt omdat er één nieuwe export is binnengekomen.

Goed om te weten

• Alleen-lezen, afgedwongen — één statement tegelijk, alleen SELECT en vergelijkbare opdrachten. Je bestanden worden nooit geschreven, verplaatst of hernoemd.
• Er wordt niets geüpload — de gegevens worden versleuteld in de cache opgeslagen op je eigen computer, naast de agent. Alleen het resultaat van een query verlaat je netwerk.
• Verstandige standaardinstellingen — maximaal 250.000 bestanden, 16 mappen diep, 512 MB per bestand; alles is aanpasbaar. Prullenbakken, .git en node_modules worden altijd overgeslagen.
• Het SQL-dialect is DuckDB — dezelfde SQL die je voor elke andere connector zou schrijven.