Folder CSV → tabel SQL · dengan Query Streams
Dengan Query Streams, folder berisi file CSV menjadi tabel SQL hanya-baca: file tetap berada di tempatnya, Agent di komputer tersebut membacanya ke cache lokal terenkripsi dan menjaga tabel tetap mutakhir saat file ditambahkan, diubah, atau hilang. Tidak ada yang diunggah dan tidak ada file yang diubah. Sekitar lima belas menit untuk pertama kali, dan paket Gratis mencakupnya.
Mulai gratis
Inilah hasil akhirnya
Pada akhirnya Anda akan memiliki satu tabel SQL, misalnya. fileset.penjualan, yang menyimpan baris dari setiap file CSV di dalam folder, dengan berkas sumber Kolom pada setiap baris menyebutkan nama file asalnya. Ketika ekspor baru masuk atau file lama dikoreksi, tabel akan diperbarui pada pemindaian berikutnya tanpa impor ulang. Agen membaca file di komputer tempat ia dijalankan dan menyimpan baris di sana, sehingga file CSV tetap berada di jaringan Anda.
berkas yang tiba secara bertahap
| sales_2026_07.csv |
| sales_2026_08.csv |
| penjualan_2026_09.csv |
Setiap baris file, satu tabel.
| berkas sumber | jumlah_baris | id_baris_pertama |
|---|---|---|
| sales_2026_07.csv | … | … |
| sales_2026_08.csv | … | … |
| penjualan_2026_09.csv | … | … |
Semuanya berada dalam satu skema DuckDB yang disebut kumpulan file, disimpan dalam cache di komputer Agen. Tabel data mengambil nama yang Anda ketikkan. Nama tabelKolom-kolomnya berasal dari header CSV, ditambah berkas sumber dan _id_baris di setiap baris.
| Meja | Apa yang terkandung di dalamnya |
|---|---|
fileset.penjualan | Dengan Satu tata letak yang disematkan, satu tabel yang diberi nama oleh Anda Nama tabel, yang menyimpan baris-baris dari setiap CSV yang cocok. |
kumpulan file pesanan, kumpulan file.mengembalikan | Dengan Satu meja per tata letak, satu tabel per tata letak, diberi nama berdasarkan bagian nama file yang sama dengan angka di belakangnya dihilangkan: orders_2026_01.csv ke orders_2026_03.csv menjadi pesanan. Bentrok nama akan menambahkan akhiran pendek. Nama tidak akan pernah berubah selama tata letak tetap disematkan, dan tidak ada tampilan gabungan otomatis di seluruh tata letak. |
Setiap konektor folder juga memberi Anda berkas, file_kejadian, direktori, cuplikan direktori dan volume, yang mencantumkan file CSV itu sendiri, riwayat perubahannya, dan ukuran foldernya.
Di sinilah letak keberhasilannya:
Yang Anda butuhkan
Akun Query Streams
Konektor folder tersedia di semua paket, termasuk paket Gratis. Paket Gratis adalah paket permanen, bukan uji coba yang akan berakhir. Tidak ada batasan jumlah file yang dapat ditampung oleh sebuah folder.
Agen, versi 2.6.0 atau lebih baru
Diinstal pada komputer yang dapat membuka folder: server file itu sendiri, komputer kantor, atau mesin tempat file tersebut berada. Agen versi lama menampilkan kartu folder berwarna abu-abu dengan tanda centang. Agen 2.6.0+ Lencana. Windows, Mac, atau Linux.
Jalur folder, seperti yang dilihat oleh Agen.
Jalur lokal, atau berbagi jaringan yang ditulis sebagai \\server\share\folderAgen berjalan sebagai layanan, jadi ia tidak dapat melihat drive yang Anda petakan saat login (Z: dan sejenisnya). Di Windows, ia dapat masuk ke share dengan login yang Anda simpan; di Linux atau Mac, pasang share terlebih dahulu (Linux di bawah /mnt atau /media, sebuah Mac di bawah /Jilid).
Di mana pekerjaan itu dilakukan? Pada komputer yang menjalankan Agen. Komputer tersebut memindai folder, menyalin baris ke dalam cache lokal terenkripsi di sana (satu skema, bernama kumpulan file) dan menjalankan setiap kueri terhadap cache tersebut. File Anda hanya dibaca, tidak pernah dimodifikasi, dipindahkan, atau diunggah.
Siapkan dalam lima langkah
Instal Agen pada komputer yang dapat membuka folder tersebut.



Masuk, buka UnduhKemudian instal Agen untuk sistem Anda di komputer yang dapat membuka folder file CSV: server file, atau komputer mana pun yang selalu aktif dan dapat mengakses folder bersama tersebut. Proses ini hanya membutuhkan waktu satu menit dan akan berjalan secara otomatis setelah itu. Anda memerlukan versi 2.6.0 atau yang lebih baru; halaman Unduhan selalu menyediakan versi terbaru.
Mengapa menggunakan program kecil alih-alih driver? Agent ini merupakan instalasi tunggal untuk Windows, Mac, atau Linux (sekitar 85 MB di Windows, sedikit lebih dari 100 MB di Mac dan Linux). Agent ini membuka satu koneksi terenkripsi keluar ke Query Streams dan hanya itu jalur jaringan yang dibutuhkannya: tidak ada port masuk yang perlu dibuka, tidak ada VPN. Agent ini membaca folder tempatnya berada, sehingga file tetap di tempatnya dan hanya baris yang dikembalikan oleh kueri yang dikirim melalui internet ke add-in, browser, atau klien AI di sisi Anda.
Halaman Unduhan menampilkan Kunci Akses AndaTempelkan ke dalam Agent saat diminta, dan tunggu hingga badge terbaca. Terhubung ke Aliran KueriItulah satu-satunya hal yang Anda lakukan di komputer Agen; semua hal lainnya terjadi di browser Anda.
Panduan lengkap jika Anda menginginkannya: Windows, Mac, Linux.
-
Arahkan ke folder berisi file CSV.
Kembali ke browser Anda, buka Data → Agen Data, temukan Agen yang baru saja Anda instal dan klik Agen tersebut. Tambahkan konektor tombol. Buka Berkas & Folder pil dan pilih Folder CSV kartu. Tidak yakin kartu mana yang cocok? Pilih Berkas dalam sebuah folder Sebagai gantinya: Agen akan mengambil sampel folder, menyebutkan isinya di halaman "Apa yang kami temukan" dan membuka kartu yang tepat untuk Anda, yang sudah terisi sebelumnya.
Penyihir itu berlari Folder → Periksa → Pengaturan → Realm → Tinjau. Pada Folder:
- Folder akar
- Satu jalur per baris, seperti yang dilihat oleh komputer Agen. Setiap folder menampilkan status (dapat dijangkau, ditolak, hilang, tidak dapat dijangkau, kredensial tidak valid, atau tidak terpasang) segera setelah Anda menambahkannya. Pada Agen Windows, sebuah share yang membutuhkan login akan mendapatkannya dari folder tersebut. Mandat kolom, disimpan sekali per server; di Linux atau Mac, pasang share terlebih dahulu.
- Pindai subfolder, Kedalaman maksimum
- Aktif, dan 8 level, secara default.
- Sertakan pola, Kecualikan pola
- File mana yang dihitung. Pola penyertaan dimulai dengan glob yang tepat untuk kartu ini. Satu konektor membaca satu jenis file: folder dengan CSV. dan File Parquet memiliki dua konektor pada folder yang sama, satu untuk setiap tipe.
- Ikuti symlink dan junction
- Secara default, fitur ini dinonaktifkan. Agen tidak mengikuti pintasan atau placeholder cloud kecuali Anda mengaktifkannya.
Mulailah dari Tambahkan konektor Tombol pada Agen yang dapat membuka folder. Buka Berkas & Folder lalu klik Folder CSV kartu.
- Folder akar: satu folder per baris, sebagai jalur pada komputer Agen. Ketikkan nama folder bersama jaringan sebagai
\\server\share\folder, bukan sebagai huruf drive yang dipetakan. - Sertakan pola dimulai sebagai
**/*.csv. Pindai subfolder sedang aktif. - Ketik a Nama tabel, Misalnya
penjualanIni wajib dicantumkan pada kartu ini. - Pilih Tata letak tabel. Satu tata letak yang disematkan (default) sesuai untuk ekspor berulang yang semuanya memiliki satu header yang sama. Satu meja per tata letak Map dokumen yang dirakit secara manual, dapat memuat hingga 25 tata letak.
- Sebuah folder yang juga berisi file Parquet atau Excel memerlukan konektor kedua pada folder yang sama. Satu konektor hanya membaca satu jenis file.
-
Periksa apa yang akan dibangunnya.
Pada Memeriksa Agen membaca sampel hingga 64 file dan menunjukkan apa yang akan dibangun. Belum ada yang dibuat. Tombol bertuliskan Uji koneksi sampai ada putusan, maka Berikutnya; Coba lagi Program ini akan menjalankan ulang sampel setelah Anda mengubah sesuatu. Anda akan melihat salah satu dari empat judul berita berikut:
- Siap untuk membuat
- Setiap berkas yang diambil sampelnya akan muat. Chip di bawahnya menunjukkan berapa banyak folder yang dapat diakses, berapa banyak berkas dan baris, serta tabel mana yang akan ada.
- Siap, dengan catatan
- Beberapa berkas akan disisihkan, atau pendeteksian tata letak ditolak. Sebuah spanduk berwarna kuning menunjukkan dengan tepat yang mana: “{n} dari {m} berkas akan disisihkan” dengan Tunjukkan file mana dan mengapa. daftar, dan “Anda tetap dapat membuatnya — konektor akan terus memeriksa ulang dan melaporkan alasannya pada tab Manifest-nya.”
- Membutuhkan perhatian
- Agen sedang offline atau ada folder yang hilang. Perbaiki itu sebelum melanjutkan; jika Agen sedang offline, halaman akan menampilkannya dan tetap memungkinkan Anda untuk melanjutkan.
“Folder ini berisi {n} tata letak file yang berbeda.” Panel berwarna biru langit berarti bahwa berkas yang diambil sampelnya tidak semuanya memiliki kumpulan kolom yang sama. Tata letak tabel defaultnya adalah Satu tata letak yang disematkan, yang mengharapkan setiap file cocok. Klik Beralih ke satu tabel per tata letak. dan setiap tata letak menjadi tabel tersendiri (hingga 25).
Penolakan atau berkas yang disisihkan tidak akan pernah menghalangi Anda: klik saja. Berikutnya, selesaikan wizard dan perbaiki file yang bermasalah nanti. Hanya Agent yang offline atau folder yang hilang yang menghentikan wizard.
Pada MemeriksaAgen membaca sampel hingga 64 file dan menampilkan jumlah file, perkiraan baris, dan tabel yang akan dibuat. Belum ada yang dibuat. Jika folder tersebut berisi beberapa header, Tata letak tabel masih terpasang, panel berwarna biru langit bertuliskan “Folder ini berisi {n} tata letak file yang berbeda” menawarkan Beralih ke satu tabel per tata letak.Sebuah spanduk kuning bertuliskan “{n} dari {m} berkas akan disisihkan” mencantumkan berkas-berkas yang tidak muat; buka Tunjukkan file mana dan mengapa. untuk melihat setiap alasannya. Anda tetap dapat membuat konektornya, dan sistem akan terus memeriksa ulang dan melaporkan alasannya. Tampak tab.
-
Pilih seberapa sering pemindaian dilakukan, lalu buatlah.
Pengaturan default pada Pengaturan Cocok untuk folder yang hanya menerima beberapa file per hari. Empat hal yang mungkin ingin Anda ubah:
- Interval pemindaian
- Setiap jam Secara default; pilih dari setiap 5 menit hingga harian. Setiap pemindaian membandingkan ukuran dan waktu modifikasi untuk menemukan file baru, yang diubah, dan yang hilang.
- Pantau folder untuk perubahan (hampir secara real-time)
- Secara default nonaktif. Jika diaktifkan, Agent akan bereaksi dalam hitungan detik pada disk lokal; pada berbagi jaringan, prosesnya dilakukan secara bertahap dan pemindaian terjadwal tetap menjadi jaminan. Periode tenang (15 detik) menunggu hingga penulisan berkas selesai.
- Segarkan halaman sebelum menjawab pertanyaan.
- Nonaktif secara default. Jika diaktifkan, kueri akan melakukan pemindaian ulang pertama kali ketika pemindaian terakhir lebih lama dari Jendela basi (60 detik), menunggu paling lama Batas tunggu kueri (5 detik). Ini berlaku untuk orang dan add-in, bukan untuk polling peringatan.
- Ketika sebuah file hilang
- Hilangkan barisnya secara default, atau Pertahankan baris, tandai sebagai terhapus (batu nisan). Itu Rasio penjaga menghilang (0.5) menolak pemindaian yang menghilangkan lebih dari setengah file sekaligus dan mempertahankan inventaris sebelumnya, yang merupakan tampilan berbagi offline.
Kemudian pilih Ranah Data Jumlah baris dihitung, periksa Tinjauan lalu klik Buat konektorPemindaian pertama dimulai segera. Konektornya Tampak Tab tersebut menunjukkan apa yang telah dibangun dan file apa saja yang telah disisihkan.
-
Lihatlah tabel Anda
Buka konektornya: Tampak Tab tersebut mencantumkan tabel yang telah dibuat. Di dalam Pembuat Kueri meja yang sama berada di bawah
kumpulan fileskema. Tiga kueri yang berfungsi sejak hari pertama:Berapa banyak baris yang disumbangkan oleh setiap file CSV?SELECT _source_file, COUNT(*) AS row_count, MIN(_row_id) AS first_row_id FROM fileset.sales GROUP BY _source_file ORDER BY row_count DESC LIMIT 100
Memastikan setiap file yang Anda harapkan ada di tabel yang digabungkan, dan menunjukkan ekspor mana yang terbesar.
File CSV mana saja yang ada di folder saat ini?SELECT relative_path, size_bytes, modified_utc FROM fileset.files ORDER BY modified_utc DESC LIMIT 100
Menampilkan daftar setiap file yang dapat dilihat oleh Agen, dengan perubahan terbaru terlebih dahulu, sehingga Anda dapat menemukan ekspor yang hilang atau kedaluwarsa.
File mana yang disisihkan, dan mengapa?SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20Menyebutkan nama file mana pun yang barisnya terlewatkan dan memberikan alasannya, seperti kolom yang tidak sesuai dengan tata letak yang disematkan.
Setiap konektor folder juga melayani tabel pembukuan yang sama, semuanya di dalam
kumpulan fileskema:Meja Apa yang terkandung di dalamnya berkasSetiap file yang saat ini ada di dalam folder: jalur, nama, ekstensi, ukuran, waktu pembuatan dan modifikasi, waktu pertama dan terakhir dilihat. Tampilan keseluruhan. file_saat ini, yang juga menyimpan file-file yang telah hilang.file_kejadianRiwayat perubahan: satu baris per file yang muncul, adalahdimodifikasi,menghilang, disisihkan (melayang) atau adalahditolak, dengan waktu diacara_pada, bagaimana hal itu diperhatikan diterdeteksi olehdan alasannyadetail.direktori,cuplikan direktori,volumeJumlah dan ukuran folder, bagaimana pertumbuhannya, dan cakram atau lembaran tempat akar-akarnya berada. berkas sumber,_id_barisDua kolom pada setiap baris data: dari file mana baris tersebut berasal, dan ID baris tetap di dalam file tersebut. Kelompokkan berdasarkan berkas sumberuntuk membandingkan file.
Itu saja. Seret file baru ke dalam folder dan, setelah pemindaian berikutnya, file tersebut akan muncul di dalam tabel. File-file tersebut tidak pernah meninggalkan komputer tempat file tersebut berada.
Mengakses file di berbagi jaringan.
Agen membuka file sebagai layanan latar belakang, bukan sebagai Anda, jadi file di komputer lain memerlukan satu langkah tambahan. Langkah mana yang diperlukan bergantung pada komputer tempat Agen dijalankan.
Jika pengujian tidak dapat menemukan bagian tersebut, cari kata-kata berikut dalam hasilnya: tidak terjangkau Artinya, komputer Agen tidak menerima jawaban dari server. Pada Linux atau Mac, tidak terpasang Artinya, share tersebut masih perlu dipasang (mounted), dan pesan tersebut menyertakan perintah pemasangan (mount) yang tepat untuk server Anda.
Folder di dalam sebuah share? Di Windows, satu login mencakup semua folder yang Anda tambahkan dari server yang sama. Pantau folder untuk perubahan. Berfungsi juga pada folder bersama, dengan upaya terbaik; pemindaian terjadwal adalah yang menjamin setiap perubahan terdeteksi.
Ketika sebuah folder tidak dapat diakses
Setiap folder di Folder Langkah ini menampilkan status segera setelah Anda menambahkannya. Arahkan kursor ke status untuk membaca pesan Agen; kata-kata pertamanya menunjukkan kasus apa itu.
| Status atau pesan | Apa artinya | Apa yang harus dilakukan? |
|---|---|---|
| ditolak | Akses ke server bersama tersebut tidak diizinkan. Tanpa informasi login yang tersimpan, Windows Agent terbaca sebagai akun layanannya, yang oleh domain perusahaan dianggap sebagai komputer itu sendiri. | Windows: klik Identitas layanan di dalam folder Mandat kolom dan simpan login yang dapat membaca share tersebut, atau minta siapa pun yang menjalankan server untuk memberikan akses baca pada login yang tersimpan. Linux atau Mac: share sudah terpasang, tetapi izinnya mencegah Agen masuk; periksa bagaimana share tersebut terpasang (Linux, Mac). |
| kredensial tidak valid, atau Kredensial yang tersimpan untuk \\server ditolak. | Server menolak login yang tersimpan: kesalahan pengetikan, domain yang salah, atau kata sandi yang diubah. Agen menunggu satu menit sebelum mencoba login tersebut lagi, sehingga akun tidak terkunci. | Klik nama akun di Mandat kolom dan ketikkan kembali informasi login. Untuk akun yang dibuat langsung di server, biarkan saja. Domain kosong. |
| hilang | Tidak ada folder di jalur tersebut. Di Windows, nama server yang tidak dapat ditemukan, atau folder bersama yang tidak dimiliki server, juga akan ditampilkan sebagai hilang. | Periksa nama-nama tersebut, atau pilih folder dengan Tambahkan folder dari agen alih-alih mengetiknya. |
| tidak terjangkau, atau Server tidak menjawab | Tidak ada respons dari server: server sedang mati, nama server salah, atau firewall memblokir berbagi file. | Buka yang sama \\server\share periksa jalur di komputer Agen. Jika itu juga gagal, berarti ada masalah jaringan. |
| tidak terpasang (Linux atau Mac) | Folder bersama tersebut tidak terpasang di komputer Agen. Arahkan kursor ke status, atau Tidak terpasang chip di dalam Mandat kolom, untuk perintah pemasangan yang tepat. | Naikkan bagiannya (Linux, Mac), lalu uji folder tersebut lagi. |
| Konektor lain pada agen ini sudah masuk ke \\server sebagai … | Windows hanya mengizinkan satu akun per server file di setiap komputer, dan konektor lain pada Agen ini menggunakan akun yang berbeda. | Gunakan login yang sama dengan konektor tersebut, atau ubah login di setiap konektor yang membaca server ini. |
| Windows sudah memiliki mekanisme masuk ke \\server untuk … | Ada perangkat lain di komputer Agen yang masuk ke server tersebut dengan akun lain, dan Agen tidak pernah menutup sesi masuk yang bukan merupakan proses masuknya. | Ikuti pesannya: pesan tersebut menyebutkan akun Windows yang digunakan Agen untuk berjalan dan menyatakan apakah Gunakan identitas layanan akan membaca unggahan tersebut melalui akun yang sudah ada. |
| Versi agen ini tidak dapat masuk ke \\server menggunakan kredensial yang tersimpan. | Agen lama yang tidak dapat menggunakan login berbagi tersimpan. | Perbarui Agen, lalu uji lagi. |
Gunakan di mana saja
Konektor ini merupakan sumber data seperti sumber data lainnya di Query Streams. Simpan kueri sekali saja di dalam Pembuat Kueri (dialeknya adalah DuckDB) dan gunakan dari:
Excel
Add-in tersebut Mengalirkan Kueri Menampilkan baris-baris tersebut ke dalam sebuah lembar kerja dan menjalankannya kembali dengan sekali klik. Menjalankan SQL di Excel.
Lembar Kerja Google
Itu Pengalir Kueri Add-on ini mengisi tab yang Anda pilih. Kueri Daya untuk Google Spreadsheet.
Claude, Cursor, dan klien AI lainnya
Melalui server Query Streams MCP; Claude mengetahui model folder, termasuk berkas sumber dan file_kejadian. Folder CSV dengan Claude melalui MCP.
API REST
Setiap kueri yang tersimpan akan menjadi titik akhir hanya baca dengan kunci tersendiri, pada setiap rencana. API REST Folder CSV.
Nova
Tanyakan dengan bahasa yang mudah dipahami pada paket Bisnis; Nova mengetahui setiap folder, tabel, dan kolom dari deskripsi bawaannya.
Otomatisasi
Sinkronkan baris ke Airtable, Smartsheet, Baserow, SeaTable, atau lembar kerja sesuai jadwal. Panduan otomatisasi.
Tabel folder juga terhubung ke konektor Anda yang lain: kueri gabungan dapat mencocokkan berkas sumber nama atau ID pesanan dalam folder file CSV terhadap basis data pada Agen yang sama.
Bagaimana file baru, yang diubah, dan yang dihapus ditampilkan
Berkas baru dan yang diubah
Pada setiap Interval pemindaian (atau dalam hitungan detik dengan Folder pantauan (pada) sebuah berkas baru yang sesuai dengan tata letak akan ditambahkan barisnya dan mendapatkan muncul Suatu peristiwa. Sebuah berkas yang diubah dibaca ulang dalam satu transaksi: baris-baris lamanya hilang, baris-baris barunya masuk, dan berkas tersebut mendapatkan perubahan. dimodifikasi peristiwa.
File yang dihapus
Berkas yang hilang akan menghapus baris-barisnya secara default, atau tetap menandainya sebagai terhapus jika Anda memilih opsi "batu nisan", dan akan mendapatkan menghilang Jika lebih dari separuh file hilang sekaligus, pemindaian ditolak dan inventaris sebelumnya tetap ada: berbagi offline terlihat persis seperti itu.
File yang disisihkan
Berkas yang tidak sesuai dengan tata letak, tidak dapat dibuka, atau melebihi batas ukuran akan disisihkan secara keseluruhan: tidak ada barisnya yang dimuat, dan file_kejadian mendapat melayang Baris tersebut memberi nama file dan kolomnya. Perbaiki file dan simpan; pemindaian berikutnya akan mencoba lagi.
Seberapa segar yang saya lihat?
Kueri dijawab dari pemindaian terakhir. Tidak ada tombol Pindai Ulang atau Sinkronkan sekarang; interval pemindaian, pengawas folder, dan Segarkan halaman sebelum menjawab pertanyaan. adalah tiga kontrol tersebut. MAX(last_seen_utc) mulai dari file_saat ini memberi tahu Anda kapan terakhir kali Agen tersebut memeriksa.
Berkas yang disisihkan
Tiga kata muncul pada langkah Periksa dan tab Manifest. Ketiga kata tersebut memiliki arti yang berbeda:
- Disisihkan (diparkir)
- Berkas tersebut tidak sesuai dengan tata letak yang disematkan, atau tidak dapat dibaca, robek, terkunci, atau tertutup oleh huruf kapital. Semuanya atau tidak sama sekali per berkas: berkas yang diparkir tidak memberikan kontribusi baris apa pun.
file_kejadianmencatat sebuahmelayangbaris yangdetailmenyebutkan nama file dan kolomnya. File dilewati selama ukuran dan waktu modifikasinya tetap sama, dan dicoba lagi segera setelah berubah. - Tidak terbaca
- Agen tidak dapat membuka atau menguraikan file tersebut karena tipenya: bukan buku kerja sungguhan, terkunci oleh program lain, placeholder cloud, byte yang tidak dapat diuraikan. File tersebut berhenti sendiri dan sisa folder berlanjut. Hanya folder dengan nol file yang dapat dibaca yang menolak seluruh rangkaian file.
- Ditolak
- Agen tidak dapat menyematkan tata letak apa pun, misalnya karena file tidak sesuai pada tipe kolom. Belum ada tabel data yang tersedia.
file_kejadianmendapatditolakbaris dengan alasan didetail, dan Agen mencoba lagi pada setiap pemindaian hingga tata letak ditemukan. Perbaiki atau kecualikan file yang disebutkan dan pesan akan hilang.
Di mana harus melihat: spanduk kuning di Memeriksa (Tunjukkan file mana dan mengapa.), konektornya Tampak tab setelahnya. Dalam SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.
Untuk folder berisi file CSV yang biasanya terlihat seperti ini: File CSV yang datang dengan kolom tambahan dalam mode tersemat akan disisihkan secara keseluruhan, dan files_events mencatat baris penyimpangan yang detailnya menyebutkan nama file dan kolom yang tidak cocok; dalam mode per-layout, file dengan header yang tidak terlihat akan disisihkan dengan detail “tata letak baru — edit opsi driver konektor atau penggantian manifes (setiap perubahan pada opsi tersebut akan di-sniff ulang) untuk menambahkannya sebagai tabel baru”.
Batasan yang perlu diketahui
Tidak ada batasan paket untuk folder atau jumlah file. Baris tetap dihitung dalam Data Realm Anda seperti konektor lainnya. Pengaturan default yang dapat Anda naikkan atau turunkan pada konektor:
| Pengaturan | Bawaan | Apa fungsinya? |
|---|---|---|
| Kedalaman maksimum | 8 | Berapa banyak level folder di bawah setiap root yang dipindai (1–64). |
| Jumlah file maksimum per pemindaian | 100,000 | Berkas-berkas dipertimbangkan dalam satu kali pemeriksaan. |
| Ukuran file maksimum yang akan di-hash | 32 MiB | Hanya penting dengan Isi file hash pada. |
| Retensi log peristiwa | 30 hari | Berapa lama file_kejadian Baris-baris tersebut dipertahankan. |
| Paralelisme pemindaian per akar | 2 | Folder dibaca sekaligus per root. |
Batasan konten, yang memarkir file alih-alih memotongnya: 2.000.000 baris atau 512 MiB per file, 10.000.000 baris atau 2 GiB per pemindaian. Sebuah folder dapat menampung paling banyak 25 tata letak berbeda. Satu meja per tata letak mode.
Pertanyaan yang diajukan orang
Apa yang terjadi pada file CSV yang memiliki kolom berbeda dari yang lain?
Dengan Satu tata letak yang disematkan, maka bagian tersebut disisihkan dan tidak ada satu pun barisnya yang dimuat. file_kejadian mendapat melayang Baris yang memberi nama file dan kolom. Beralih Tata letak tabel ke Satu meja per tata letak dan setiap layout mendapatkan tabelnya sendiri, yang diberi nama sesuai dengan bagian yang sama dari nama file-nya.
Jika saya mengedit file CSV, apakah akan ada baris duplikat?
Tidak. Baris lama pada file yang diubah akan dihapus dan file dibaca ulang secara keseluruhan dalam satu langkah, sehingga tabel tidak pernah menyimpan dua versi file. Secara default, perubahan dideteksi dari ukuran dan waktu modifikasi. Aktifkan Isi file hash untuk menangkap suntingan yang mempertahankan cap waktu.
Bisakah saya menggabungkan file CSV dengan header yang berbeda ke dalam satu tabel?
Tidak secara otomatis. Satu meja per tata letak Memberikan setiap header tabelnya sendiri, hingga 25 tabel, dan tidak ada tampilan gabungan bawaan di seluruh tabel tersebut. Tulis sebuah BERSATU SEMUA Lakukan query pada tabel yang ingin Anda gabungkan, dan pilih kolom yang sama di antara tabel tersebut.
Seberapa cepat file CSV baru muncul, dan apakah ada tombol refresh?
Tidak ada tombol refresh. Agen tersebut memindai folder pada Interval pemindaian, setiap jam secara default, dan file baru akan mendapatkan muncul baris di file_kejadian dengan baris-baris yang ditambahkan jika sesuai dengan tata letak. Pantau folder untuk perubahan (hampir secara real-time) Bereaksi dalam hitungan detik pada disk lokal dan merupakan upaya terbaik pada berbagi jaringan.
Apakah ada batasan jumlah file CSV atau baris yang dapat saya gabungkan?
Tidak ada batasan jumlah file per folder dan tidak ada batasan paket untuk folder. Agen mengambil sampel hingga 64 file untuk menetapkan tata letak, dan batasan konten lanjutan secara default adalah 2.000.000 baris dan 512 MiB per file, serta 10.000.000 baris dan 2 GiB per sinkronisasi.
Apakah file saya sudah diunggah di suatu tempat?
Tidak. Agen membaca data tersebut di komputernya sendiri dan menyimpan baris-baris tersebut dalam cache lokal terenkripsi di sana. Sebuah kueri dijalankan terhadap cache tersebut dan hanya baris-baris yang dikembalikan yang meninggalkan mesin, melalui satu koneksi keluar. File tidak pernah dimodifikasi, dipindahkan, atau dikonversi.
Apakah saya perlu membuka port atau menjalankan VPN?
Tidak. Agen membuat satu koneksi keluar pada port 443 dan baik permintaan maupun baris data dikirim melalui koneksi tersebut. Jika HTTPS keluar berfungsi, maka ini juga berfungsi.
Apakah folder tersebut dapat berada di jaringan bersama, atau di OneDrive atau Dropbox?
Ya. Ketikkan "bagikan" sebagai \\server\share\folderKarena Agent berjalan sebagai layanan dan tidak dapat melihat drive yang dipetakan saat Anda masuk. Di Windows, simpan login untuk server jika share hanya mengizinkan orang yang bernama; tanpa login, Agent akan membaca sebagai akun layanannya sendiri. Di Linux atau Mac, pasang share terlebih dahulu. Folder OneDrive atau Dropbox yang disinkronkan berfungsi saat file-nya disimpan di komputer: atur folder tersebut ke Selalu aktifkan perangkat ini.Agen tersebut tidak mengunduh file yang hanya tersedia di cloud.
Folder tersebut berisi lebih dari satu jenis file. Satu konektor atau dua?
Satu konektor membaca satu tipe file. Sebuah folder dengan file CSV dan Parquet membutuhkan dua konektor pada root yang sama, satu untuk setiap tipe. File yang tidak sesuai dengan pola penyertaan akan diabaikan, bukan disisihkan.
Apakah ada tombol Pindai Ulang?
Tidak. Agen memindai pada Interval pemindaian, bereaksi terhadap perubahan ketika Folder pantauan aktif, dan dapat memindai ulang sebelum menjawab kueri saat Anda mengaktifkannya. Edit konektor untuk mengubah salah satu dari ketiganya.
Apakah paket gratis benar-benar mencakup hal ini?
Ya. Gratis adalah paket yang dapat Anda pertahankan, bukan uji coba yang akan berakhir. Konektor folder tidak memiliki batasan jumlah file sendiri; jumlah baris dihitung terhadap Data Realm Anda seperti konektor lainnya. Lihat apa saja yang termasuk dalam setiap paket di halaman berikut. halaman harga.
Setiap panduan untuk CSV Folder
Apakah pengaturan Anda kurang tepat?
- Apakah berkas Anda mencampur berbagai jenis baris, dengan kode di satu kolom yang menunjukkan jenis setiap baris? CSV multi-rekaman memberikan setiap jenis tabelnya sendiri → Multi-record
- Hanya butuh daftar file beserta ukuran, tanggal, dan perubahannya? Sistem File dapat melakukannya tanpa membaca file → File System
Mengalami masalah saat pengaturan?
- Agen mengatakan file atau folder tidak ada, atau akses ditolak? Drive yang dipetakan, berbagi jaringan, OneDrive, dan folder beranda Linux masing-masing membutuhkan satu perbaikan → Di mana Agen dapat membaca file dari
- Agen menunjukkan Offline, atau Uji koneksi dan Jelajahi berwarna abu-abu? Periksa apakah Agen sedang online → Apakah agennya sedang online?




