Meng querying File CSV Multi-Record dengan SQL

Konektor folder · Multi-rekaman

Ubah file CSV yang mencampur beberapa jenis data menjadi Tabel SQL Anda dapat melakukan kueri di mana saja.

Arahkan Query Streams Agent ke folder tersebut. Agen ini membaca file di komputernya sendiri, membangun tabel di cache lokal di sana, dan memperbaruinya secara berkala saat file datang, berubah, atau hilang. Anda dapat melakukan query dari Excel, Google Sheets, Nova, Claude, atau REST API. Tidak ada yang diunggah dan tidak ada file yang dikonversi atau diedit.

Sekitar 15 menit Tidak perlu coding. File tetap berada di jaringan Anda. Paket gratis mencakup hal tersebut.

Inilah hasil akhirnya

Pada akhirnya, Anda akan memiliki satu tabel SQL untuk setiap tipe data. Sebuah file CSV yang baris-barisnya diberi tag HDR, ITM, dan TRL menjadi... fileset.data_hdr, fileset.data_itm dan fileset.data_trl, masing-masing menyimpan tipe catatan tersebut dari setiap file di dalam folder. Kolom diberi nomor berdasarkan posisinya, bidang_1 ke bidang_N, dan setiap baris membawa berkas sumber dan _seqSehingga Anda dapat menggabungkan header dengan detailnya menggunakan dua kolom. Agen membaca folder di komputernya sendiri, menyimpan baris-baris tersebut di penyimpanan lokal terenkripsi, dan menyajikannya sebagai SQL ke Excel, Google Sheets, Query Builder, atau klien lainnya. File-file tersebut tetap berada di jaringan Anda.

Setiap tabel berada dalam satu skema bernama kumpulan fileTabel-tabel tersebut diberi nama untuk Anda, satu per tag catatan: data_<tag>, jadi tag HDR menjadi fileset.data_hdr. Dengan Cakupan tabel diatur ke Satu tabel untuk setiap ekstensi file dan tag., nama tersebut menjadi data_<ekstensi>_<tag>, yang memisahkan tag yang sama dari berbagai jenis file. Kolomnya adalah bidang_1 ke bidang_N berdasarkan posisi, dengan kolom tag dihilangkan. Setiap baris juga memuat _seq, kemunculan berbasis 0 dari tag tersebut di dalam file dan kunci penghubung antara tipe rekaman, ditambah berkas sumber dan sebuah _id_baris dari bentuk path:line.

Setiap konektor folder juga memberi Anda tabel pembukuan. berkas, file_kejadian, direktori, cuplikan direktori dan volume.

Di sinilah letak keberhasilannya:

• Mengakses berkas batch dari bank, penggajian, atau EDI yang menggabungkan baris header, detail, dan trailer.
• Rekonsiliasikan total trailer setiap file dengan baris detailnya dalam satu kueri.
• Muat file batch yang masuk ke dalam Excel atau Google Sheets sebagai tabel yang tepat, alih-alih memisahkannya secara manual.

Yang Anda butuhkan

Akun Query Streams

Konektor folder tersedia di semua paket, termasuk paket Gratis. Paket Gratis adalah paket permanen, bukan uji coba yang akan berakhir. Tidak ada batasan jumlah file yang dapat ditampung oleh sebuah folder.

Agen, versi 2.6.0 atau lebih baru

Diinstal pada komputer yang dapat membuka folder: server file itu sendiri, komputer kantor, atau mesin tempat file tersebut berada. Agen versi lama menampilkan kartu folder berwarna abu-abu dengan tanda centang. Agen 2.6.0+ Lencana. Windows, Mac, atau Linux.

Jalur folder, seperti yang dilihat oleh Agen.

Jalur lokal, atau berbagi jaringan yang ditulis sebagai \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt atau /media, a Mac under /Volumes).

Siapkan dalam lima langkah

1. Instal Agen pada komputer yang dapat membuka folder tersebut.

   Masuk, buka UnduhKemudian instal Agen untuk sistem Anda di komputer yang dapat membuka file CSV yang menggabungkan beberapa tipe data: server file, atau komputer yang selalu aktif dan dapat mengakses folder bersama. Proses ini hanya membutuhkan waktu satu menit dan akan berjalan secara otomatis setelah itu. Anda memerlukan versi 2.6.0 atau yang lebih baru; halaman Unduhan selalu menyediakan versi terbaru.

   Mengapa menggunakan program kecil alih-alih driver? Agent ini merupakan instalasi tunggal untuk Windows, Mac, atau Linux (sekitar 85 MB di Windows, sedikit lebih dari 100 MB di Mac dan Linux). Agent ini membuka satu koneksi terenkripsi keluar ke Query Streams dan hanya itu jalur jaringan yang dibutuhkannya: tidak ada port masuk yang perlu dibuka, tidak ada VPN. Agent ini membaca folder tempatnya berada, sehingga file tetap di tempatnya dan hanya baris yang dikembalikan oleh kueri yang dikirim melalui internet ke add-in, browser, atau klien AI di sisi Anda.

   Halaman Unduhan menampilkan Kunci Akses AndaTempelkan ke dalam Agent saat diminta, dan tunggu hingga badge terbaca. Terhubung ke Aliran KueriItulah satu-satunya hal yang Anda lakukan di komputer Agen; semua hal lainnya terjadi di browser Anda.

   Panduan lengkap jika Anda menginginkannya: Windows, Mac, Linux.

2. Arahkan ke file CSV yang mencampur beberapa jenis data.

   Kembali ke browser Anda, buka Data → Agen Data, temukan Agen yang baru saja Anda instal dan klik Agen tersebut. Tambahkan konektor tombol. Buka Berkas & Folder pil dan pilih CSV multi-rekaman kartu. Tidak yakin kartu mana yang cocok? Pilih Berkas dalam sebuah folder Sebagai gantinya: Agen akan mengambil sampel folder, menyebutkan isinya di halaman "Apa yang kami temukan" dan membuka kartu yang tepat untuk Anda, yang sudah terisi sebelumnya.

   Penyihir itu berlari Folder → Periksa → Pengaturan → Realm → Tinjau. Pada Folder:

   Folder akar

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Pindai subfolder, Kedalaman maksimum

   Aktif, dan 8 level, secara default.

   Sertakan pola, Kecualikan pola

   File mana yang dihitung. Pola penyertaan dimulai dengan glob yang tepat untuk kartu ini. Satu konektor membaca satu jenis file: folder dengan CSV. dan File Parquet memiliki dua konektor pada folder yang sama, satu untuk setiap tipe.

   Ikuti symlink dan junction

   Secara default, fitur ini dinonaktifkan. Agen tidak mengikuti pintasan atau placeholder cloud kecuali Anda mengaktifkannya.

   Instal Query Streams Agent (versi 2.6.0 atau lebih baru) pada komputer yang dapat membuka folder tersebut. Dari Agent tersebut... Tambahkan konektor tombol, buka Berkas & Folder dan pilih CSV multi-rekaman kartu.

   • Folder akar: folder-folder di komputer Agen yang akan dipindai, satu per baris. Ketik berbagi jaringan sebagai \\server\share\folder, bukan huruf drive yang dipetakan.
   • Sertakan pola dimulai sebagai **/*.csv.
   • Tata letak file, Kolom tag catatan (nomor) dan Pembatas: kolom mana yang menyimpan tag rekaman dan apa yang memisahkan kolom-kolom tersebut.
   • Cakupan tabelBiarkan pengaturan default untuk satu tabel per tag. Pilih Satu tabel untuk setiap ekstensi file dan tag. untuk menyimpan tag yang sama dari berbagai jenis file dalam tabel terpisah.

   Tidak ada Nama tabel lapangan dan tidak Tata letak tabel pilihan. Tabel diberi nama data_<tag>Sebuah catatan menjelaskan bahwa semua file yang cocok harus memiliki satu tata letak yang sama, yang diambil dari sampel pada sinkronisasi pertama; file yang kemudian tidak sesuai akan disisihkan dan dilaporkan.

3. Periksa apa yang akan dibangunnya.

   Pada Memeriksa Agen membaca sampel hingga 64 file dan menunjukkan apa yang akan dibangun. Belum ada yang dibuat. Tombol bertuliskan Uji koneksi sampai ada putusan, maka Berikutnya; Coba lagi Program ini akan menjalankan ulang sampel setelah Anda mengubah sesuatu. Anda akan melihat salah satu dari empat judul berita berikut:

   Siap untuk membuat

   Setiap berkas yang diambil sampelnya akan muat. Chip di bawahnya menunjukkan berapa banyak folder yang dapat diakses, berapa banyak berkas dan baris, serta tabel mana yang akan ada.

   Siap, dengan catatan

   Beberapa berkas akan disisihkan, atau pendeteksian tata letak ditolak. Sebuah spanduk berwarna kuning menunjukkan dengan tepat yang mana: “{n} dari {m} berkas akan disisihkan” dengan Tunjukkan file mana dan mengapa. daftar, dan “Anda tetap dapat membuatnya — konektor akan terus memeriksa ulang dan melaporkan alasannya pada tab Manifest-nya.”

   Membutuhkan perhatian

   Agen sedang offline atau ada folder yang hilang. Perbaiki itu sebelum melanjutkan; jika Agen sedang offline, halaman akan menampilkannya dan tetap memungkinkan Anda untuk melanjutkan.

   Penolakan atau berkas yang disisihkan tidak akan pernah menghalangi Anda: klik saja. Berikutnya, selesaikan wizard dan perbaiki file yang bermasalah nanti. Hanya Agent yang offline atau folder yang hilang yang menghentikan wizard.

   Pada MemeriksaAgen membaca sampel hingga 64 file dan menampilkan jumlah file, ukuran, perkiraan baris, dan tabel yang akan dibuatnya, satu per tag rekaman yang ditemukannya, dalam sebuah chip seperti “3 tabel: data_hdr, data_itm, data_trl”. Belum ada yang dibuat. Jika kolom tag diatur salah, tag yang dicantumkan Agen tidak akan terlihat seperti tipe rekaman Anda, yang merupakan isyarat bagi Anda untuk kembali dan mengubahnya. Kolom tag catatan (nomor) atau PembatasFile yang tidak dapat dibaca oleh Agen sebagai CSV muncul di bawah ini. Tunjukkan file mana dan mengapa. sebagai file yang disisihkan, dengan spanduk "1 dari 12 file akan disisihkan", dan sisanya masih dimuat. Anda dapat membuat konektor dengan cara apa pun; sistem akan terus memeriksa ulang dan melaporkan alasannya. Tampak tab.

4. Pilih seberapa sering pemindaian dilakukan, lalu buatlah.

   Pengaturan default pada Pengaturan Cocok untuk folder yang hanya menerima beberapa file per hari. Empat hal yang mungkin ingin Anda ubah:

   Interval pemindaian

   Setiap jam Secara default; pilih dari setiap 5 menit hingga harian. Setiap pemindaian membandingkan ukuran dan waktu modifikasi untuk menemukan file baru, yang diubah, dan yang hilang.

   Pantau folder untuk perubahan (hampir secara real-time)

   Secara default nonaktif. Jika diaktifkan, Agent akan bereaksi dalam hitungan detik pada disk lokal; pada berbagi jaringan, prosesnya dilakukan secara bertahap dan pemindaian terjadwal tetap menjadi jaminan. Periode tenang (15 detik) menunggu hingga penulisan berkas selesai.

   Segarkan halaman sebelum menjawab pertanyaan.

   Nonaktif secara default. Jika diaktifkan, kueri akan melakukan pemindaian ulang pertama kali ketika pemindaian terakhir lebih lama dari Jendela basi (60 detik), menunggu paling lama Batas tunggu kueri (5 detik). Ini berlaku untuk orang dan add-in, bukan untuk polling peringatan.

   Ketika sebuah file hilang

   Hilangkan barisnya secara default, atau Pertahankan baris, tandai sebagai terhapus (batu nisan). Itu Rasio penjaga menghilang (0.5) menolak pemindaian yang menghilangkan lebih dari setengah file sekaligus dan mempertahankan inventaris sebelumnya, yang merupakan tampilan berbagi offline.

   Kemudian pilih Ranah Data Jumlah baris dihitung, periksa Tinjauan lalu klik Buat konektorPemindaian pertama dimulai segera. Konektornya Tampak Tab tersebut menunjukkan apa yang telah dibangun dan file apa saja yang telah disisihkan.

5. Lihatlah tabel Anda

   Buka konektornya: Tampak Tab tersebut mencantumkan tabel yang telah dibuat. Di dalam Pembuat Kueri meja yang sama berada di bawah kumpulan file skema. Tiga kueri yang berfungsi sejak hari pertama:

   Catatan header, sesuai urutan file.

   SELECT _source_file, _seq, field_1, field_2 FROM fileset.data_hdr ORDER BY _source_file, _seq LIMIT 100

   Setiap baris header dari setiap file, beserta file asalnya dan posisinya di antara header dalam file tersebut.

   Header setiap file di samping trailernya.

   SELECT h._source_file, h._seq, h.field_1 AS header_field_1, t.field_1 AS trailer_field_1 FROM fileset.data_hdr AS h JOIN fileset.data_trl AS t ON t._source_file = h._source_file AND t._seq = h._seq ORDER BY h._source_file, h._seq LIMIT 100

   Menggabungkan dua tipe data berdasarkan dua kolom yang sama, _source_file dan _seq, sehingga header ke-n bertemu dengan trailer ke-n dalam file yang sama.

   Berkas disisihkan untuk tag yang tidak dikenal atau lebar yang salah.

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   Setiap berkas yang barisnya dihilangkan, beserta alasannya secara detail.

   Setiap konektor folder juga melayani tabel pembukuan yang sama, semuanya di dalam kumpulan file skema:

   Meja	Apa yang terkandung di dalamnya
   berkas	Setiap file yang saat ini ada di dalam folder: jalur, nama, ekstensi, ukuran, waktu pembuatan dan modifikasi, waktu pertama dan terakhir dilihat. Tampilan keseluruhan. file_saat ini, yang juga menyimpan file-file yang telah hilang.
   file_kejadian	Riwayat perubahan: satu baris per file yang muncul, adalah dimodifikasi, menghilang, disisihkan (melayang) atau adalah ditolak, dengan waktu di acara_pada, bagaimana hal itu diperhatikan di terdeteksi oleh dan alasannya detail.
   direktori, cuplikan direktori, volume	Jumlah dan ukuran folder, bagaimana pertumbuhannya, dan cakram atau lembaran tempat akar-akarnya berada.
   berkas sumber, _id_baris	Dua kolom pada setiap baris data: dari file mana baris tersebut berasal, dan ID baris tetap di dalam file tersebut. Kelompokkan berdasarkan berkas sumber untuk membandingkan file.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Folder step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Gunakan di mana saja

Konektor ini merupakan sumber data seperti sumber data lainnya di Query Streams. Simpan kueri sekali saja di dalam Pembuat Kueri (dialeknya adalah DuckDB) dan gunakan dari:

Excel

Add-in tersebut Mengalirkan Kueri Menampilkan baris-baris tersebut ke dalam sebuah lembar kerja dan menjalankannya kembali dengan sekali klik. Menjalankan SQL di Excel.

Lembar Kerja Google

Itu Pengalir Kueri Add-on ini mengisi tab yang Anda pilih. Kueri Daya untuk Google Spreadsheet.

Claude, Cursor, dan klien AI lainnya

Melalui server Query Streams MCP; Claude mengetahui model folder, termasuk berkas sumber dan file_kejadian. Rekaman ganda dengan Claude melalui MCP.

API REST

Setiap kueri yang tersimpan akan menjadi titik akhir hanya baca dengan kunci tersendiri, pada setiap rencana. API REST multi-rekaman.

Nova

Tanyakan dengan bahasa yang mudah dipahami pada paket Bisnis; Nova mengetahui setiap folder, tabel, dan kolom dari deskripsi bawaannya.

Otomatisasi

Sinkronkan baris ke Airtable, Smartsheet, Baserow, SeaTable, atau lembar kerja sesuai jadwal. Panduan otomatisasi.

Tabel folder juga terhubung ke konektor Anda yang lain: kueri gabungan dapat mencocokkan berkas sumber nama atau ID pesanan dalam file CSV yang mencampur beberapa jenis catatan terhadap basis data pada Agen yang sama.

Bagaimana file baru, yang diubah, dan yang dihapus ditampilkan

Berkas yang disisihkan

Tiga kata muncul pada langkah Periksa dan tab Manifest. Ketiga kata tersebut memiliki arti yang berbeda:

Disisihkan (diparkir)

Berkas tersebut tidak sesuai dengan tata letak yang disematkan, atau tidak dapat dibaca, robek, terkunci, atau tertutup oleh huruf kapital. Semuanya atau tidak sama sekali per berkas: berkas yang diparkir tidak memberikan kontribusi baris apa pun. file_kejadian mencatat sebuah melayang baris yang detail menyebutkan nama file dan kolomnya. File dilewati selama ukuran dan waktu modifikasinya tetap sama, dan dicoba lagi segera setelah berubah.

Tidak terbaca

Agen tidak dapat membuka atau menguraikan file tersebut karena tipenya: bukan buku kerja sungguhan, terkunci oleh program lain, placeholder cloud, byte yang tidak dapat diuraikan. File tersebut berhenti sendiri dan sisa folder berlanjut. Hanya folder dengan nol file yang dapat dibaca yang menolak seluruh rangkaian file.

Ditolak

Agen tidak dapat menyematkan tata letak apa pun, misalnya karena file tidak sesuai pada tipe kolom. Belum ada tabel data yang tersedia. file_kejadian mendapat ditolak baris dengan alasan di detail, dan Agen mencoba lagi pada setiap pemindaian hingga tata letak ditemukan. Perbaiki atau kecualikan file yang disebutkan dan pesan akan hilang.

Di mana harus melihat: spanduk kuning di Memeriksa (Tunjukkan file mana dan mengapa.), konektornya Tampak tab setelahnya. Dalam SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Batasan yang perlu diketahui

Tidak ada batasan paket untuk folder atau jumlah file. Baris tetap dihitung dalam Data Realm Anda seperti konektor lainnya. Pengaturan default yang dapat Anda naikkan atau turunkan pada konektor:

Batasan konten, yang memarkir file alih-alih memotongnya: 2.000.000 baris atau 512 MiB per file, 10.000.000 baris atau 2 GiB per pemindaian. Sebuah folder dapat menampung paling banyak 25 tata letak berbeda. Satu meja per tata letak mode.

Pertanyaan yang diajukan orang

• Sistem Berkas
• Folder CSV
• Folder Parket
• Folder Excel
• Folder SQLite
• Folder JSONL
• Catatan Mesin
• Log Server Web
• Log Kontainer
• Log Aplikasi
• Log Sistem
• Log Kustom