View Categories

Menggabungkan Beberapa File CSV Menjadi Satu Tabel

CSVPaket gratisAliran KueriTabel SQL

Folder CSV → tabel SQL · dengan Query Streams

Dengan Query Streams, folder berisi file CSV menjadi tabel SQL hanya-baca: file tetap berada di tempatnya, Agent di komputer tersebut membacanya ke cache lokal terenkripsi dan menjaga tabel tetap mutakhir saat file ditambahkan, diubah, atau hilang. Tidak ada yang diunggah dan tidak ada file yang diubah. Sekitar lima belas menit untuk pertama kali, dan paket Gratis mencakupnya.

Mulai gratis
Tumpukan isometrik tiga lembar file yang dihubungkan satu garis ke satu ubin tabel
Mengalami kesulitan di suatu titik? Tanyakan saja pada kami. Membuka Dukungan Di Query Streams (menu kanan atas → Dukungan) dan kirimkan pesan kepada kami. Ada orang sungguhan yang membacanya, dan "Saya tidak tahu apa yang diminta layar ini" adalah pertanyaan yang sangat wajar.

Inilah hasil akhirnya

Ikon Folder CSVPada akhirnya Anda akan memiliki satu tabel SQL, misalnya. fileset.penjualan, yang menyimpan baris dari setiap file CSV di dalam folder, dengan berkas sumber Kolom pada setiap baris menyebutkan nama file asalnya. Ketika ekspor baru masuk atau file lama dikoreksi, tabel akan diperbarui pada pemindaian berikutnya tanpa impor ulang. Agen membaca file di komputer tempat ia dijalankan dan menyimpan baris di sana, sehingga file CSV tetap berada di jaringan Anda.

Semuanya berada dalam satu skema DuckDB yang disebut kumpulan file, disimpan dalam cache di komputer Agen. Tabel data mengambil nama yang Anda ketikkan. Nama tabelKolom-kolomnya berasal dari header CSV, ditambah berkas sumber dan _id_baris di setiap baris.

MejaApa yang terkandung di dalamnya
fileset.penjualanDengan Satu tata letak yang disematkan, satu tabel yang diberi nama oleh Anda Nama tabel, yang menyimpan baris-baris dari setiap CSV yang cocok.
kumpulan file pesanan, kumpulan file.mengembalikanDengan Satu meja per tata letak, satu tabel per tata letak, diberi nama berdasarkan bagian nama file yang sama dengan angka di belakangnya dihilangkan: orders_2026_01.csv ke orders_2026_03.csv menjadi pesanan. Bentrok nama akan menambahkan akhiran pendek. Nama tidak akan pernah berubah selama tata letak tetap disematkan, dan tidak ada tampilan gabungan otomatis di seluruh tata letak.

Setiap konektor folder juga memberi Anda berkas, file_kejadian, direktori, cuplikan direktori dan volume, yang mencantumkan file CSV itu sendiri, riwayat perubahannya, dan ukuran foldernya.

DI MANA BERKAS-BERKAS ITU TERSIMPANkomputer atau berbagi file yang dapat dibuka oleh Agen.Folder Andadari fileberkas tetap berada di tempatnyaAgen Aliran KueriMemindai folder, membuat tabeldi dalam cache lokal, menjalankan SQL.Hanya PILIH, diberlakukan di siniAliran Kuerisatu tautan keluarMemeriksa siapa yang boleh melihat apa · Mencatat setiap kueriDI MANA ANDA MENGGUNAKANNYAkomputer apa pun, peramban apa punExcel · Google Sheets · NovaClaude · REST API · OtomatisasiLihat barisnya, jangan pernah melihat berkasnya.
Agen membaca folder di komputernya sendiri, menyimpan baris-baris tersebut dalam cache lokal terenkripsi di sana, dan menjalankan setiap kueri terhadap cache tersebut. Hanya baris-baris yang dikembalikan oleh kueri yang dikirim keluar, melalui satu koneksi keluar. Tidak perlu membuka port, tidak perlu VPN, tidak perlu unggah.

Di sinilah letak keberhasilannya:

Yang Anda butuhkan

Akun Query Streams

Konektor folder tersedia di semua paket, termasuk paket Gratis. Paket Gratis adalah paket permanen, bukan uji coba yang akan berakhir. Tidak ada batasan jumlah file yang dapat ditampung oleh sebuah folder.

Agen, versi 2.6.0 atau lebih baru

Diinstal pada komputer yang dapat membuka folder: server file itu sendiri, komputer kantor, atau mesin tempat file tersebut berada. Agen versi lama menampilkan kartu folder berwarna abu-abu dengan tanda centang. Agen 2.6.0+ Lencana. Windows, Mac, atau Linux.

Jalur folder, seperti yang dilihat oleh Agen.

Jalur lokal, atau berbagi jaringan yang ditulis sebagai \\server\share\folderAgen berjalan sebagai layanan, jadi ia tidak dapat melihat drive yang Anda petakan saat login (Z: dan sejenisnya). Di Windows, ia dapat masuk ke share dengan login yang Anda simpan; di Linux atau Mac, pasang share terlebih dahulu (Linux di bawah /mnt atau /media, sebuah Mac di bawah /Jilid).

Di mana pekerjaan itu dilakukan? Pada komputer yang menjalankan Agen. Komputer tersebut memindai folder, menyalin baris ke dalam cache lokal terenkripsi di sana (satu skema, bernama kumpulan file) dan menjalankan setiap kueri terhadap cache tersebut. File Anda hanya dibaca, tidak pernah dimodifikasi, dipindahkan, atau diunggah.

Siapkan dalam lima langkah

  1. Instal Agen pada komputer yang dapat membuka folder tersebut.

    Masuk, buka UnduhKemudian instal Agen untuk sistem Anda di komputer yang dapat membuka folder file CSV: server file, atau komputer mana pun yang selalu aktif dan dapat mengakses folder bersama tersebut. Proses ini hanya membutuhkan waktu satu menit dan akan berjalan secara otomatis setelah itu. Anda memerlukan versi 2.6.0 atau yang lebih baru; halaman Unduhan selalu menyediakan versi terbaru.

    Mengapa menggunakan program kecil alih-alih driver? Agent ini merupakan instalasi tunggal untuk Windows, Mac, atau Linux (sekitar 85 MB di Windows, sedikit lebih dari 100 MB di Mac dan Linux). Agent ini membuka satu koneksi terenkripsi keluar ke Query Streams dan hanya itu jalur jaringan yang dibutuhkannya: tidak ada port masuk yang perlu dibuka, tidak ada VPN. Agent ini membaca folder tempatnya berada, sehingga file tetap di tempatnya dan hanya baris yang dikembalikan oleh kueri yang dikirim melalui internet ke add-in, browser, atau klien AI di sisi Anda.

    Halaman Unduhan menampilkan Kunci Akses AndaTempelkan ke dalam Agent saat diminta, dan tunggu hingga badge terbaca. Terhubung ke Aliran KueriItulah satu-satunya hal yang Anda lakukan di komputer Agen; semua hal lainnya terjadi di browser Anda.

    Panduan lengkap jika Anda menginginkannya: Windows, Mac, Linux.

  2. Arahkan ke folder berisi file CSV.

    Kembali ke browser Anda, buka Data → Agen Data, temukan Agen yang baru saja Anda instal dan klik Agen tersebut. Tambahkan konektor tombol. Buka Berkas & Folder pil dan pilih Folder CSV kartu. Tidak yakin kartu mana yang cocok? Pilih Berkas dalam sebuah folder Sebagai gantinya: Agen akan mengambil sampel folder, menyebutkan isinya di halaman "Apa yang kami temukan" dan membuka kartu yang tepat untuk Anda, yang sudah terisi sebelumnya.

    Penyihir itu berlari Folder → Periksa → Pengaturan → Realm → Tinjau. Pada Folder:

    Folder akar
    Satu jalur per baris, seperti yang dilihat oleh komputer Agen. Setiap folder menampilkan status (dapat dijangkau, ditolak, hilang, tidak dapat dijangkau, kredensial tidak valid, atau tidak terpasang) segera setelah Anda menambahkannya. Pada Agen Windows, sebuah share yang membutuhkan login akan mendapatkannya dari folder tersebut. Mandat kolom, disimpan sekali per server; di Linux atau Mac, pasang share terlebih dahulu.
    Pindai subfolder, Kedalaman maksimum
    Aktif, dan 8 level, secara default.
    Sertakan pola, Kecualikan pola
    File mana yang dihitung. Pola penyertaan dimulai dengan glob yang tepat untuk kartu ini. Satu konektor membaca satu jenis file: folder dengan CSV. dan File Parquet memiliki dua konektor pada folder yang sama, satu untuk setiap tipe.
    Ikuti symlink dan junction
    Secara default, fitur ini dinonaktifkan. Agen tidak mengikuti pintasan atau placeholder cloud kecuali Anda mengaktifkannya.

    Mulailah dari Tambahkan konektor Tombol pada Agen yang dapat membuka folder. Buka Berkas & Folder lalu klik Folder CSV kartu.

    • Folder akar: satu folder per baris, sebagai jalur pada komputer Agen. Ketikkan nama folder bersama jaringan sebagai \\server\share\folder, bukan sebagai huruf drive yang dipetakan.
    • Sertakan pola dimulai sebagai **/*.csv. Pindai subfolder sedang aktif.
    • Ketik a Nama tabel, Misalnya penjualanIni wajib dicantumkan pada kartu ini.
    • Pilih Tata letak tabel. Satu tata letak yang disematkan (default) sesuai untuk ekspor berulang yang semuanya memiliki satu header yang sama. Satu meja per tata letak Map dokumen yang dirakit secara manual, dapat memuat hingga 25 tata letak.
    • Sebuah folder yang juga berisi file Parquet atau Excel memerlukan konektor kedua pada folder yang sama. Satu konektor hanya membaca satu jenis file.
  3. Periksa apa yang akan dibangunnya.

    Pada Memeriksa Agen membaca sampel hingga 64 file dan menunjukkan apa yang akan dibangun. Belum ada yang dibuat. Tombol bertuliskan Uji koneksi sampai ada putusan, maka Berikutnya; Coba lagi Program ini akan menjalankan ulang sampel setelah Anda mengubah sesuatu. Anda akan melihat salah satu dari empat judul berita berikut:

    Siap untuk membuat
    Setiap berkas yang diambil sampelnya akan muat. Chip di bawahnya menunjukkan berapa banyak folder yang dapat diakses, berapa banyak berkas dan baris, serta tabel mana yang akan ada.
    Siap, dengan catatan
    Beberapa berkas akan disisihkan, atau pendeteksian tata letak ditolak. Sebuah spanduk berwarna kuning menunjukkan dengan tepat yang mana: “{n} dari {m} berkas akan disisihkan” dengan Tunjukkan file mana dan mengapa. daftar, dan “Anda tetap dapat membuatnya — konektor akan terus memeriksa ulang dan melaporkan alasannya pada tab Manifest-nya.”
    Membutuhkan perhatian
    Agen sedang offline atau ada folder yang hilang. Perbaiki itu sebelum melanjutkan; jika Agen sedang offline, halaman akan menampilkannya dan tetap memungkinkan Anda untuk melanjutkan.

    “Folder ini berisi {n} tata letak file yang berbeda.” Panel berwarna biru langit berarti bahwa berkas yang diambil sampelnya tidak semuanya memiliki kumpulan kolom yang sama. Tata letak tabel defaultnya adalah Satu tata letak yang disematkan, yang mengharapkan setiap file cocok. Klik Beralih ke satu tabel per tata letak. dan setiap tata letak menjadi tabel tersendiri (hingga 25).

    Penolakan atau berkas yang disisihkan tidak akan pernah menghalangi Anda: klik saja. Berikutnya, selesaikan wizard dan perbaiki file yang bermasalah nanti. Hanya Agent yang offline atau folder yang hilang yang menghentikan wizard.

    Pada MemeriksaAgen membaca sampel hingga 64 file dan menampilkan jumlah file, perkiraan baris, dan tabel yang akan dibuat. Belum ada yang dibuat. Jika folder tersebut berisi beberapa header, Tata letak tabel masih terpasang, panel berwarna biru langit bertuliskan “Folder ini berisi {n} tata letak file yang berbeda” menawarkan Beralih ke satu tabel per tata letak.Sebuah spanduk kuning bertuliskan “{n} dari {m} berkas akan disisihkan” mencantumkan berkas-berkas yang tidak muat; buka Tunjukkan file mana dan mengapa. untuk melihat setiap alasannya. Anda tetap dapat membuat konektornya, dan sistem akan terus memeriksa ulang dan melaporkan alasannya. Tampak tab.

  4. Pilih seberapa sering pemindaian dilakukan, lalu buatlah.

    Pengaturan default pada Pengaturan Cocok untuk folder yang hanya menerima beberapa file per hari. Empat hal yang mungkin ingin Anda ubah:

    Interval pemindaian
    Setiap jam Secara default; pilih dari setiap 5 menit hingga harian. Setiap pemindaian membandingkan ukuran dan waktu modifikasi untuk menemukan file baru, yang diubah, dan yang hilang.
    Pantau folder untuk perubahan (hampir secara real-time)
    Secara default nonaktif. Jika diaktifkan, Agent akan bereaksi dalam hitungan detik pada disk lokal; pada berbagi jaringan, prosesnya dilakukan secara bertahap dan pemindaian terjadwal tetap menjadi jaminan. Periode tenang (15 detik) menunggu hingga penulisan berkas selesai.
    Segarkan halaman sebelum menjawab pertanyaan.
    Nonaktif secara default. Jika diaktifkan, kueri akan melakukan pemindaian ulang pertama kali ketika pemindaian terakhir lebih lama dari Jendela basi (60 detik), menunggu paling lama Batas tunggu kueri (5 detik). Ini berlaku untuk orang dan add-in, bukan untuk polling peringatan.
    Ketika sebuah file hilang
    Hilangkan barisnya secara default, atau Pertahankan baris, tandai sebagai terhapus (batu nisan). Itu Rasio penjaga menghilang (0.5) menolak pemindaian yang menghilangkan lebih dari setengah file sekaligus dan mempertahankan inventaris sebelumnya, yang merupakan tampilan berbagi offline.

    Kemudian pilih Ranah Data Jumlah baris dihitung, periksa Tinjauan lalu klik Buat konektorPemindaian pertama dimulai segera. Konektornya Tampak Tab tersebut menunjukkan apa yang telah dibangun dan file apa saja yang telah disisihkan.

  5. Lihatlah tabel Anda

    Buka konektornya: Tampak Tab tersebut mencantumkan tabel yang telah dibuat. Di dalam Pembuat Kueri meja yang sama berada di bawah kumpulan file skema. Tiga kueri yang berfungsi sejak hari pertama:

    Berapa banyak baris yang disumbangkan oleh setiap file CSV?
    SELECT _source_file, COUNT(*) AS row_count, MIN(_row_id) AS first_row_id FROM fileset.sales GROUP BY _source_file ORDER BY row_count DESC LIMIT 100

    Memastikan setiap file yang Anda harapkan ada di tabel yang digabungkan, dan menunjukkan ekspor mana yang terbesar.

    File CSV mana saja yang ada di folder saat ini?
    SELECT relative_path, size_bytes, modified_utc FROM fileset.files ORDER BY modified_utc DESC LIMIT 100

    Menampilkan daftar setiap file yang dapat dilihat oleh Agen, dengan perubahan terbaru terlebih dahulu, sehingga Anda dapat menemukan ekspor yang hilang atau kedaluwarsa.

    File mana yang disisihkan, dan mengapa?
    SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

    Menyebutkan nama file mana pun yang barisnya terlewatkan dan memberikan alasannya, seperti kolom yang tidak sesuai dengan tata letak yang disematkan.

    Setiap konektor folder juga melayani tabel pembukuan yang sama, semuanya di dalam kumpulan file skema:

    MejaApa yang terkandung di dalamnya
    berkasSetiap file yang saat ini ada di dalam folder: jalur, nama, ekstensi, ukuran, waktu pembuatan dan modifikasi, waktu pertama dan terakhir dilihat. Tampilan keseluruhan. file_saat ini, yang juga menyimpan file-file yang telah hilang.
    file_kejadianRiwayat perubahan: satu baris per file yang muncul, adalah dimodifikasi, menghilang, disisihkan (melayang) atau adalah ditolak, dengan waktu di acara_pada, bagaimana hal itu diperhatikan di terdeteksi oleh dan alasannya detail.
    direktori, cuplikan direktori, volumeJumlah dan ukuran folder, bagaimana pertumbuhannya, dan cakram atau lembaran tempat akar-akarnya berada.
    berkas sumber, _id_barisDua kolom pada setiap baris data: dari file mana baris tersebut berasal, dan ID baris tetap di dalam file tersebut. Kelompokkan berdasarkan berkas sumber untuk membandingkan file.

Itu saja. Seret file baru ke dalam folder dan, setelah pemindaian berikutnya, file tersebut akan muncul di dalam tabel. File-file tersebut tidak pernah meninggalkan komputer tempat file tersebut berada.

Mengakses file di berbagi jaringan.

Agen membuka file sebagai layanan latar belakang, bukan sebagai Anda, jadi file di komputer lain memerlukan satu langkah tambahan. Langkah mana yang diperlukan bergantung pada komputer tempat Agen dijalankan.

Windows

Ketik jalur jaringan, seperti \\server\share\folder, tidak pernah berupa huruf drive yang dipetakan seperti S:, yang tidak dapat dilihat oleh Agen. Jika berbagi hanya mengizinkan orang-orang yang namanya tercantum, klik Identitas layanan (chip di bawah jalur, atau folder) Mandat kolom) dan menyimpan informasi login untuk server tersebut: akun domain perusahaan, atau akun yang dibuat di server itu sendiri dengan Domain dibiarkan kosong. Agen kemudian masuk ke server tersebut dan membaca file di sana, dan setiap konektor pada Agen tersebut yang membaca server yang sama harus menggunakan login yang sama. Tanpa login, ia membaca sebagai akun layanannya sendiri, yang oleh domain perusahaan dilihat sebagai komputer itu sendiri. Langkah demi langkah di Windows

Linux

Informasi login yang tersimpan di Portal tidak digunakan di Linux: administrator memasang share tersebut terlebih dahulu di komputer Agen, di dalam folder di bawah /mnt atau /media, karena layanan Agen tidak dapat melihat /rumah atau /jalankan/penggunaDi dalam konektor, simpan \\server\share jalur, yang dipetakan oleh Agen ke dudukan, atau ketik jalur dudukan sebagai gantinya, misalnya /mnt/fileserver-shared/Akun. Cara memasang share di Linux

Mac

Informasi login yang tersimpan di Portal tidak digunakan di Mac: pasang share terlebih dahulu dari Terminal dengan sudo, di dalam folder di bawah /Jilid, sehingga layanan latar belakang Agen dapat melihatnya. Di konektor, pertahankan \\server\share jalur, yang dipetakan oleh Agen ke dudukan, atau ketik jalur dudukan sebagai gantinya, misalnya /Volume/fileserver-shared/Akun. Cara memasang share di Mac

Jika pengujian tidak dapat menemukan bagian tersebut, cari kata-kata berikut dalam hasilnya: tidak terjangkau Artinya, komputer Agen tidak menerima jawaban dari server. Pada Linux atau Mac, tidak terpasang Artinya, share tersebut masih perlu dipasang (mounted), dan pesan tersebut menyertakan perintah pemasangan (mount) yang tepat untuk server Anda.

Folder di dalam sebuah share? Di Windows, satu login mencakup semua folder yang Anda tambahkan dari server yang sama. Pantau folder untuk perubahan. Berfungsi juga pada folder bersama, dengan upaya terbaik; pemindaian terjadwal adalah yang menjamin setiap perubahan terdeteksi.

Ketika sebuah folder tidak dapat diakses

Setiap folder di Folder Langkah ini menampilkan status segera setelah Anda menambahkannya. Arahkan kursor ke status untuk membaca pesan Agen; kata-kata pertamanya menunjukkan kasus apa itu.

Status atau pesanApa artinyaApa yang harus dilakukan?
ditolakAkses ke server bersama tersebut tidak diizinkan. Tanpa informasi login yang tersimpan, Windows Agent terbaca sebagai akun layanannya, yang oleh domain perusahaan dianggap sebagai komputer itu sendiri.Windows: klik Identitas layanan di dalam folder Mandat kolom dan simpan login yang dapat membaca share tersebut, atau minta siapa pun yang menjalankan server untuk memberikan akses baca pada login yang tersimpan. Linux atau Mac: share sudah terpasang, tetapi izinnya mencegah Agen masuk; periksa bagaimana share tersebut terpasang (Linux, Mac).
kredensial tidak valid, atau Kredensial yang tersimpan untuk \\server ditolak.Server menolak login yang tersimpan: kesalahan pengetikan, domain yang salah, atau kata sandi yang diubah. Agen menunggu satu menit sebelum mencoba login tersebut lagi, sehingga akun tidak terkunci.Klik nama akun di Mandat kolom dan ketikkan kembali informasi login. Untuk akun yang dibuat langsung di server, biarkan saja. Domain kosong.
hilangTidak ada folder di jalur tersebut. Di Windows, nama server yang tidak dapat ditemukan, atau folder bersama yang tidak dimiliki server, juga akan ditampilkan sebagai hilang.Periksa nama-nama tersebut, atau pilih folder dengan Tambahkan folder dari agen alih-alih mengetiknya.
tidak terjangkau, atau Server tidak menjawabTidak ada respons dari server: server sedang mati, nama server salah, atau firewall memblokir berbagi file.Buka yang sama \\server\share periksa jalur di komputer Agen. Jika itu juga gagal, berarti ada masalah jaringan.
tidak terpasang (Linux atau Mac)Folder bersama tersebut tidak terpasang di komputer Agen. Arahkan kursor ke status, atau Tidak terpasang chip di dalam Mandat kolom, untuk perintah pemasangan yang tepat.Naikkan bagiannya (Linux, Mac), lalu uji folder tersebut lagi.
Konektor lain pada agen ini sudah masuk ke \\server sebagai …Windows hanya mengizinkan satu akun per server file di setiap komputer, dan konektor lain pada Agen ini menggunakan akun yang berbeda.Gunakan login yang sama dengan konektor tersebut, atau ubah login di setiap konektor yang membaca server ini.
Windows sudah memiliki mekanisme masuk ke \\server untuk …Ada perangkat lain di komputer Agen yang masuk ke server tersebut dengan akun lain, dan Agen tidak pernah menutup sesi masuk yang bukan merupakan proses masuknya.Ikuti pesannya: pesan tersebut menyebutkan akun Windows yang digunakan Agen untuk berjalan dan menyatakan apakah Gunakan identitas layanan akan membaca unggahan tersebut melalui akun yang sudah ada.
Versi agen ini tidak dapat masuk ke \\server menggunakan kredensial yang tersimpan.Agen lama yang tidak dapat menggunakan login berbagi tersimpan.Perbarui Agen, lalu uji lagi.

Gunakan di mana saja

Konektor ini merupakan sumber data seperti sumber data lainnya di Query Streams. Simpan kueri sekali saja di dalam Pembuat Kueri (dialeknya adalah DuckDB) dan gunakan dari:

Excel

Add-in tersebut Mengalirkan Kueri Menampilkan baris-baris tersebut ke dalam sebuah lembar kerja dan menjalankannya kembali dengan sekali klik. Menjalankan SQL di Excel.

Lembar Kerja Google

Itu Pengalir Kueri Add-on ini mengisi tab yang Anda pilih. Kueri Daya untuk Google Spreadsheet.

Claude, Cursor, dan klien AI lainnya

Melalui server Query Streams MCP; Claude mengetahui model folder, termasuk berkas sumber dan file_kejadian. Folder CSV dengan Claude melalui MCP.

API REST

Setiap kueri yang tersimpan akan menjadi titik akhir hanya baca dengan kunci tersendiri, pada setiap rencana. API REST Folder CSV.

Nova

Tanyakan dengan bahasa yang mudah dipahami pada paket Bisnis; Nova mengetahui setiap folder, tabel, dan kolom dari deskripsi bawaannya.

Otomatisasi

Sinkronkan baris ke Airtable, Smartsheet, Baserow, SeaTable, atau lembar kerja sesuai jadwal. Panduan otomatisasi.

Tabel folder juga terhubung ke konektor Anda yang lain: kueri gabungan dapat mencocokkan berkas sumber nama atau ID pesanan dalam folder file CSV terhadap basis data pada Agen yang sama.

Bagaimana file baru, yang diubah, dan yang dihapus ditampilkan

Berkas baru dan yang diubah

Pada setiap Interval pemindaian (atau dalam hitungan detik dengan Folder pantauan (pada) sebuah berkas baru yang sesuai dengan tata letak akan ditambahkan barisnya dan mendapatkan muncul Suatu peristiwa. Sebuah berkas yang diubah dibaca ulang dalam satu transaksi: baris-baris lamanya hilang, baris-baris barunya masuk, dan berkas tersebut mendapatkan perubahan. dimodifikasi peristiwa.

File yang dihapus

Berkas yang hilang akan menghapus baris-barisnya secara default, atau tetap menandainya sebagai terhapus jika Anda memilih opsi "batu nisan", dan akan mendapatkan menghilang Jika lebih dari separuh file hilang sekaligus, pemindaian ditolak dan inventaris sebelumnya tetap ada: berbagi offline terlihat persis seperti itu.

File yang disisihkan

Berkas yang tidak sesuai dengan tata letak, tidak dapat dibuka, atau melebihi batas ukuran akan disisihkan secara keseluruhan: tidak ada barisnya yang dimuat, dan file_kejadian mendapat melayang Baris tersebut memberi nama file dan kolomnya. Perbaiki file dan simpan; pemindaian berikutnya akan mencoba lagi.

Seberapa segar yang saya lihat?

Kueri dijawab dari pemindaian terakhir. Tidak ada tombol Pindai Ulang atau Sinkronkan sekarang; interval pemindaian, pengawas folder, dan Segarkan halaman sebelum menjawab pertanyaan. adalah tiga kontrol tersebut. MAX(last_seen_utc) mulai dari file_saat ini memberi tahu Anda kapan terakhir kali Agen tersebut memeriksa.

Berkas yang disisihkan

Tiga kata muncul pada langkah Periksa dan tab Manifest. Ketiga kata tersebut memiliki arti yang berbeda:

Disisihkan (diparkir)
Berkas tersebut tidak sesuai dengan tata letak yang disematkan, atau tidak dapat dibaca, robek, terkunci, atau tertutup oleh huruf kapital. Semuanya atau tidak sama sekali per berkas: berkas yang diparkir tidak memberikan kontribusi baris apa pun. file_kejadian mencatat sebuah melayang baris yang detail menyebutkan nama file dan kolomnya. File dilewati selama ukuran dan waktu modifikasinya tetap sama, dan dicoba lagi segera setelah berubah.
Tidak terbaca
Agen tidak dapat membuka atau menguraikan file tersebut karena tipenya: bukan buku kerja sungguhan, terkunci oleh program lain, placeholder cloud, byte yang tidak dapat diuraikan. File tersebut berhenti sendiri dan sisa folder berlanjut. Hanya folder dengan nol file yang dapat dibaca yang menolak seluruh rangkaian file.
Ditolak
Agen tidak dapat menyematkan tata letak apa pun, misalnya karena file tidak sesuai pada tipe kolom. Belum ada tabel data yang tersedia. file_kejadian mendapat ditolak baris dengan alasan di detail, dan Agen mencoba lagi pada setiap pemindaian hingga tata letak ditemukan. Perbaiki atau kecualikan file yang disebutkan dan pesan akan hilang.

Di mana harus melihat: spanduk kuning di Memeriksa (Tunjukkan file mana dan mengapa.), konektornya Tampak tab setelahnya. Dalam SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Untuk folder berisi file CSV yang biasanya terlihat seperti ini: File CSV yang datang dengan kolom tambahan dalam mode tersemat akan disisihkan secara keseluruhan, dan files_events mencatat baris penyimpangan yang detailnya menyebutkan nama file dan kolom yang tidak cocok; dalam mode per-layout, file dengan header yang tidak terlihat akan disisihkan dengan detail “tata letak baru — edit opsi driver konektor atau penggantian manifes (setiap perubahan pada opsi tersebut akan di-sniff ulang) untuk menambahkannya sebagai tabel baru”.

Batasan yang perlu diketahui

Tidak ada batasan paket untuk folder atau jumlah file. Baris tetap dihitung dalam Data Realm Anda seperti konektor lainnya. Pengaturan default yang dapat Anda naikkan atau turunkan pada konektor:

PengaturanBawaanApa fungsinya?
Kedalaman maksimum8Berapa banyak level folder di bawah setiap root yang dipindai (1–64).
Jumlah file maksimum per pemindaian100,000Berkas-berkas dipertimbangkan dalam satu kali pemeriksaan.
Ukuran file maksimum yang akan di-hash32 MiBHanya penting dengan Isi file hash pada.
Retensi log peristiwa30 hariBerapa lama file_kejadian Baris-baris tersebut dipertahankan.
Paralelisme pemindaian per akar2Folder dibaca sekaligus per root.

Batasan konten, yang memarkir file alih-alih memotongnya: 2.000.000 baris atau 512 MiB per file, 10.000.000 baris atau 2 GiB per pemindaian. Sebuah folder dapat menampung paling banyak 25 tata letak berbeda. Satu meja per tata letak mode.

Pertanyaan yang diajukan orang

Apa yang terjadi pada file CSV yang memiliki kolom berbeda dari yang lain?

Dengan Satu tata letak yang disematkan, maka bagian tersebut disisihkan dan tidak ada satu pun barisnya yang dimuat. file_kejadian mendapat melayang Baris yang memberi nama file dan kolom. Beralih Tata letak tabel ke Satu meja per tata letak dan setiap layout mendapatkan tabelnya sendiri, yang diberi nama sesuai dengan bagian yang sama dari nama file-nya.

Jika saya mengedit file CSV, apakah akan ada baris duplikat?

Tidak. Baris lama pada file yang diubah akan dihapus dan file dibaca ulang secara keseluruhan dalam satu langkah, sehingga tabel tidak pernah menyimpan dua versi file. Secara default, perubahan dideteksi dari ukuran dan waktu modifikasi. Aktifkan Isi file hash untuk menangkap suntingan yang mempertahankan cap waktu.

Bisakah saya menggabungkan file CSV dengan header yang berbeda ke dalam satu tabel?

Tidak secara otomatis. Satu meja per tata letak Memberikan setiap header tabelnya sendiri, hingga 25 tabel, dan tidak ada tampilan gabungan bawaan di seluruh tabel tersebut. Tulis sebuah BERSATU SEMUA Lakukan query pada tabel yang ingin Anda gabungkan, dan pilih kolom yang sama di antara tabel tersebut.

Seberapa cepat file CSV baru muncul, dan apakah ada tombol refresh?

Tidak ada tombol refresh. Agen tersebut memindai folder pada Interval pemindaian, setiap jam secara default, dan file baru akan mendapatkan muncul baris di file_kejadian dengan baris-baris yang ditambahkan jika sesuai dengan tata letak. Pantau folder untuk perubahan (hampir secara real-time) Bereaksi dalam hitungan detik pada disk lokal dan merupakan upaya terbaik pada berbagi jaringan.

Apakah ada batasan jumlah file CSV atau baris yang dapat saya gabungkan?

Tidak ada batasan jumlah file per folder dan tidak ada batasan paket untuk folder. Agen mengambil sampel hingga 64 file untuk menetapkan tata letak, dan batasan konten lanjutan secara default adalah 2.000.000 baris dan 512 MiB per file, serta 10.000.000 baris dan 2 GiB per sinkronisasi.

Apakah file saya sudah diunggah di suatu tempat?

Tidak. Agen membaca data tersebut di komputernya sendiri dan menyimpan baris-baris tersebut dalam cache lokal terenkripsi di sana. Sebuah kueri dijalankan terhadap cache tersebut dan hanya baris-baris yang dikembalikan yang meninggalkan mesin, melalui satu koneksi keluar. File tidak pernah dimodifikasi, dipindahkan, atau dikonversi.

Apakah saya perlu membuka port atau menjalankan VPN?

Tidak. Agen membuat satu koneksi keluar pada port 443 dan baik permintaan maupun baris data dikirim melalui koneksi tersebut. Jika HTTPS keluar berfungsi, maka ini juga berfungsi.

Apakah folder tersebut dapat berada di jaringan bersama, atau di OneDrive atau Dropbox?

Ya. Ketikkan "bagikan" sebagai \\server\share\folderKarena Agent berjalan sebagai layanan dan tidak dapat melihat drive yang dipetakan saat Anda masuk. Di Windows, simpan login untuk server jika share hanya mengizinkan orang yang bernama; tanpa login, Agent akan membaca sebagai akun layanannya sendiri. Di Linux atau Mac, pasang share terlebih dahulu. Folder OneDrive atau Dropbox yang disinkronkan berfungsi saat file-nya disimpan di komputer: atur folder tersebut ke Selalu aktifkan perangkat ini.Agen tersebut tidak mengunduh file yang hanya tersedia di cloud.

Folder tersebut berisi lebih dari satu jenis file. Satu konektor atau dua?

Satu konektor membaca satu tipe file. Sebuah folder dengan file CSV dan Parquet membutuhkan dua konektor pada root yang sama, satu untuk setiap tipe. File yang tidak sesuai dengan pola penyertaan akan diabaikan, bukan disisihkan.

Apakah ada tombol Pindai Ulang?

Tidak. Agen memindai pada Interval pemindaian, bereaksi terhadap perubahan ketika Folder pantauan aktif, dan dapat memindai ulang sebelum menjawab kueri saat Anda mengaktifkannya. Edit konektor untuk mengubah salah satu dari ketiganya.

Apakah paket gratis benar-benar mencakup hal ini?

Ya. Gratis adalah paket yang dapat Anda pertahankan, bukan uji coba yang akan berakhir. Konektor folder tidak memiliki batasan jumlah file sendiri; jumlah baris dihitung terhadap Data Realm Anda seperti konektor lainnya. Lihat apa saja yang termasuk dalam setiap paket di halaman berikut. halaman harga.

Masih bingung? Membuka Dukungan Di Query Streams, beri tahu kami Anda berada di langkah mana dan apa yang Anda lihat. Kami akan menghubungkan Anda.

Setiap panduan untuk CSV Folder

Apakah pengaturan Anda kurang tepat?

  • Apakah berkas Anda mencampur berbagai jenis baris, dengan kode di satu kolom yang menunjukkan jenis setiap baris? CSV multi-rekaman memberikan setiap jenis tabelnya sendiri → Multi-record
  • Hanya butuh daftar file beserta ukuran, tanggal, dan perubahannya? Sistem File dapat melakukannya tanpa membaca file → File System

Mengalami masalah saat pengaturan?

  • Agen mengatakan file atau folder tidak ada, atau akses ditolak? Drive yang dipetakan, berbagi jaringan, OneDrive, dan folder beranda Linux masing-masing membutuhkan satu perbaikan → Di mana Agen dapat membaca file dari
  • Agen menunjukkan Offline, atau Uji koneksi dan Jelajahi berwarna abu-abu? Periksa apakah Agen sedang online → Apakah agennya sedang online?
Updated on November 9, 2026

Powered by BetterDocs