Ubah CSV Folder menjadi tabel yang dapat dikueri.

Dari mana kolom-kolom itu berasal?

• Berdasarkan sampel, bukan asumsi — agent memeriksa file yang sebenarnya, bukan hanya mengandalkan baris pertama dari file pertama.
• Encoding ditangani — UTF-8, UTF-16, Windows-1252, dan Latin-1, sehingga nama beraksen dan ekspor Eropa tidak muncul sebagai teks yang kacau.
• Nilai uang tetap akurat — kolom yang selalu berisi nilai desimal disimpan sebagai desimal presisi, bukan angka floating-point, sehingga total tidak meleset satu sen.
• Kolom yang hanya ada pada beberapa file akan menjadi kolom kosong pada file lainnya, bukan menjadi alasan untuk gagal.

-- Seluruh folder sebagai satu tabel, kemudian per file SELECT _source_file, COUNT(*) AS rows, SUM(total) AS revenue FROM data GROUP BY _source_file ORDER BY revenue DESC

Ketika sebuah berkas tidak sesuai

Jika berkas-berkas pertama saling bertentangan — dua pembatas yang berbeda, atau kolom yang berisi tanggal dalam satu berkas dan teks bebas di berkas lain — konektor menolak untuk menetapkan apa pun dan memberi tahu Anda berkas dan kolom mana yang tidak sesuai. Konektor tidak akan diam-diam memilih pemenang dan membiarkan Anda mengetahuinya di akhir bulan.

• Setelah itu, satu file yang bermasalah akan ditahan alih-alih merusak tabel: header yang diubah, kolom tambahan, nilai yang tidak sesuai, atau baris terakhir yang terpotong.
• Baris-barisnya tetap ada, dan files_events mencatat dengan tepat file dan kolom mana yang menyebabkannya.
• Semua file lain di folder tersebut masih dapat dimuat. Satu ekspor yang rusak tidak pernah menyebabkan laporan tersebut tidak berfungsi.

Satu meja, atau satu per tata letak

Ekspor berulang dari laporan yang sama sebaiknya berada dalam satu tabel, dan itu adalah pengaturan default. Jika folder tersebut benar-benar berisi file CSV yang berbeda — misalnya daftar pelanggan berada di samping data pesanan — beralihlah ke mode per-layout dan setiap layout yang berbeda akan mendapatkan tabelnya sendiri, hingga 25 tabel.

Setiap konektor folder juga memberi Anda

• files_current — inventaris langsung: setiap file yang dapat dilihat konektor saat ini, beserta jalur, ukuran, dan tanggal modifikasinya.
• files_events — jejak audit: apa yang muncul, berubah, menghilang, dan ditahan, beserta nama file dan alasannya.
• direktori dan volume — total per folder, riwayat pertumbuhan harian, dan sisa ruang di drive.
• Hanya file yang benar-benar berubah yang dibaca ulang pada setiap sinkronisasi, jadi folder berisi 50.000 file tidak akan diurai ulang hanya karena ada satu ekspor baru yang masuk.

Bagus untuk diketahui

• Hanya-baca, diberlakukan — satu pernyataan setiap kali, hanya SELECT dan sejenisnya. File Anda tidak pernah ditulis, dipindahkan, atau diganti namanya.
• Tidak ada yang diunggah — data di-cache dan dienkripsi di komputer Anda sendiri, di samping agent. Hanya hasil kueri yang keluar dari jaringan Anda.
• Pengaturan default yang wajar — hingga 250.000 file, kedalaman 16 folder, 512 MB per file; semuanya dapat disesuaikan. Recycle bin, .git, dan node_modules selalu dilewati.
• Dialek SQL-nya adalah DuckDB — SQL yang sama seperti yang akan Anda gunakan untuk konektor lain.