Cara Meng querying Folder File dengan SQL: 13 Konektor Folder

Konektor Set File · panduan keluarga

Ubah folder file apa pun menjadi Tabel SQL yang tetap relevan

Tiga belas konektor folder, satu ide: arahkan Query Streams Agent ke folder di jaringan Anda sendiri dan agen tersebut akan membuat tabel, memberi tag pada setiap baris dengan file asalnya, dan memperbaruinya saat file datang, berubah, atau hilang. Lakukan kueri dari Excel, Google Sheets, Nova, Claude, atau REST API. Tidak ada yang diunggah, dikonversi, atau diedit.

13 jenis folder Tidak perlu coding. File tetap berada di jaringan Anda. Paket gratis mencakup hal tersebut.

Mengalami kesulitan di suatu titik? Tanyakan saja pada kami. Membuka Dukungan Di Query Streams (menu kanan atas → Dukungan) dan kirimkan pesan kepada kami. Ada orang sungguhan yang membacanya, dan "Saya tidak tahu apa yang diminta layar ini" adalah pertanyaan yang sangat wajar.

Pilih panduan untuk file Anda.

Setiap kartu di bawah ini adalah satu konektor dan satu panduan. Setiap panduan mengikuti lima langkah yang sama — instal Agen, arahkan ke folder, periksa apa yang akan dibuat, pilih seberapa sering pemindaian dilakukan, lihat tabel Anda — dan kemudian menunjukkan tabel, kueri, dan hal-hal yang perlu diperhatikan yang spesifik untuk jenis file tersebut. Tidak yakin mana yang sesuai? Di Portal, pilih Berkas dalam sebuah folderAgen akan memeriksa folder dan membuka kartu yang tepat untuk Anda.

Sistem Berkas

Inventaris yang dapat diakses untuk setiap file di dalam folder Anda, lengkap dengan ukuran, tanggal, riwayat perubahan, dan pertumbuhan folder, tanpa perlu membaca isi file.

Folder CSV

Semua file CSV dalam folder digabungkan menjadi satu tabel, atau satu tabel per tata letak, dengan setiap baris diberi tag sesuai dengan file asalnya.

Folder Parket

sebuah folder berisi file Parquet sebagai satu tabel yang diketik, dengan kolom dan tipe yang diambil dari footer file.

Folder Excel

Semua lembar kerja dalam buku kerja digabungkan menjadi satu tabel per lembar, seperti pesanan_dataatau satu tabel per tata letak untuk buku kerja campuran.

Folder SQLite

Banyak file SQLite yang diakses sebagai satu basis data, dengan tabel yang memiliki nama sama digabungkan dan setiap baris diberi tag sesuai dengan file-nya.

Folder JSONL

File baris JSON diratakan menjadi kolom dalam satu tabel, atau satu tabel per bentuk.

CSV multi-rekaman

satu tabel per tipe data, seperti data_hdr dan data_itm, dapat digabungkan berdasarkan nomor berkas dan nomor urut.

Catatan Mesin

CNC, PLC, dan robot mencatat detailnya menjadi sebuah acara tabel, ditambah tabel alarm, siklus, dan waktu henti untuk pengontrol yang didukung.

Log Server Web

Satu baris per permintaan dari log nginx, Apache, IIS, atau Caddy, dengan IP klien, jalur, status, dan byte sebagai kolom.

Log Kontainer

Baris log kontainer Docker sebagai baris, dengan nama kontainer, aliran data, dan pesan sebagai kolom.

Log Aplikasi

Log aplikasi dalam format JSON dan teks sebagai baris yang berisi level, logger, dan pesan, dengan jejak tumpukan (stack trace) yang disimpan bersama dengan kejadiannya.

Log Sistem

File syslog dan journald sebagai baris dengan host, program, PID, dan pesan.

Log Kustom

Setiap log teks diuraikan ke dalam kolom yang Anda tentukan, dengan baris yang tidak diuraikan disimpan dalam tabel baris mentah.

Cara kerja setiap konektor folder

Agen membaca folder di komputernya sendiri, menyimpan baris-baris tersebut dalam cache lokal terenkripsi di sana, dan menjalankan setiap kueri terhadap cache tersebut. Hanya baris-baris yang dikembalikan oleh kueri yang dikirim keluar, melalui satu koneksi keluar. Tidak perlu membuka port, tidak perlu VPN, tidak perlu unggah.

Konektor basis data mengarah ke server yang sudah memiliki tabel. Konektor folder mengarah ke folder di komputer Agen. Agen membaca file, menyematkan tata letak dari sampel hingga 64 file, membangun tabel dalam cache lokal terenkripsi (satu skema DuckDB, bernama kumpulan file) dan memperbaruinya sesuai jadwal yang Anda pilih. File yang tidak sesuai dengan tata letak akan disisihkan dan dilaporkan, tidak pernah dihapus secara diam-diam atau diubah bentuknya. Satu konektor membaca satu jenis file; sebuah folder dengan file CSV dan Parquet adalah dua konektor pada folder yang sama.

Setiap konektor folder juga melayani tabel pembukuan yang sama, semuanya di dalam kumpulan file skema:

Meja	Apa yang terkandung di dalamnya
`berkas`	Setiap file yang saat ini ada di dalam folder: jalur, nama, ekstensi, ukuran, waktu pembuatan dan modifikasi, waktu pertama dan terakhir dilihat. Tampilan keseluruhan. `file_saat ini`, yang juga menyimpan file-file yang telah hilang.
`file_kejadian`	Riwayat perubahan: satu baris per file yang `muncul`, adalah `dimodifikasi`, `menghilang`, disisihkan (`melayang`) atau adalah `ditolak`, dengan waktu di `acara_pada`, bagaimana hal itu diperhatikan di `terdeteksi oleh` dan alasannya `detail`.
`direktori`, `cuplikan direktori`, `volume`	Jumlah dan ukuran folder, bagaimana pertumbuhannya, dan cakram atau lembaran tempat akar-akarnya berada.
`berkas sumber`, `_id_baris`	Dua kolom pada setiap baris data: dari file mana baris tersebut berasal, dan ID baris tetap di dalam file tersebut. Kelompokkan berdasarkan `berkas sumber` untuk membandingkan file.

Yang Anda butuhkan

Akun Query Streams

Konektor folder tersedia di semua paket, termasuk paket Gratis. Paket Gratis adalah paket permanen, bukan uji coba yang akan berakhir. Tidak ada batasan jumlah file yang dapat ditampung oleh sebuah folder.

Agen, versi 2.6.0 atau lebih baru

Diinstal pada komputer yang dapat membuka folder: server file itu sendiri, komputer kantor, atau mesin tempat file tersebut berada. Agen versi lama menampilkan kartu folder berwarna abu-abu dengan tanda centang. Agen 2.6.0+ Lencana. Windows, Mac, atau Linux.

Jalur folder, seperti yang dilihat oleh Agen.

Jalur lokal, atau berbagi jaringan yang ditulis sebagai \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt atau /media, a Mac under /Volumes).

Di mana pekerjaan itu dilakukan? Pada komputer yang menjalankan Agen. Komputer tersebut memindai folder, menyalin baris ke dalam cache lokal terenkripsi di sana (satu skema, bernama kumpulan file) dan menjalankan setiap kueri terhadap cache tersebut. File Anda hanya dibaca, tidak pernah dimodifikasi, dipindahkan, atau diunggah.

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

Folders on a share? On Windows, one login covers every folder you add from the same server. Pantau folder untuk perubahan. works on a share too, on a best-effort basis; the scheduled scan is what guarantees every change is picked up.

Bagaimana file baru, yang diubah, dan yang dihapus ditampilkan

Berkas baru dan yang diubah

Pada setiap Interval pemindaian (atau dalam hitungan detik dengan Folder pantauan (pada) sebuah berkas baru yang sesuai dengan tata letak akan ditambahkan barisnya dan mendapatkan muncul Suatu peristiwa. Sebuah berkas yang diubah dibaca ulang dalam satu transaksi: baris-baris lamanya hilang, baris-baris barunya masuk, dan berkas tersebut mendapatkan perubahan. dimodifikasi peristiwa.

File yang dihapus

Berkas yang hilang akan menghapus baris-barisnya secara default, atau tetap menandainya sebagai terhapus jika Anda memilih opsi "batu nisan", dan akan mendapatkan menghilang Jika lebih dari separuh file hilang sekaligus, pemindaian ditolak dan inventaris sebelumnya tetap ada: berbagi offline terlihat persis seperti itu.

File yang disisihkan

Berkas yang tidak sesuai dengan tata letak, tidak dapat dibuka, atau melebihi batas ukuran akan disisihkan secara keseluruhan: tidak ada barisnya yang dimuat, dan file_kejadian mendapat melayang Baris tersebut memberi nama file dan kolomnya. Perbaiki file dan simpan; pemindaian berikutnya akan mencoba lagi.

Seberapa segar yang saya lihat?

Kueri dijawab dari pemindaian terakhir. Tidak ada tombol Pindai Ulang atau Sinkronkan sekarang; interval pemindaian, pengawas folder, dan Segarkan halaman sebelum menjawab pertanyaan. adalah tiga kontrol tersebut. MAX(last_seen_utc) mulai dari file_saat ini memberi tahu Anda kapan terakhir kali Agen tersebut memeriksa.

Berkas yang disisihkan

Tiga kata muncul pada langkah Periksa dan tab Manifest. Ketiga kata tersebut memiliki arti yang berbeda:

Disisihkan (diparkir): Berkas tersebut tidak sesuai dengan tata letak yang disematkan, atau tidak dapat dibaca, robek, terkunci, atau tertutup oleh huruf kapital. Semuanya atau tidak sama sekali per berkas: berkas yang diparkir tidak memberikan kontribusi baris apa pun. file_kejadian mencatat sebuah melayang baris yang detail menyebutkan nama file dan kolomnya. File dilewati selama ukuran dan waktu modifikasinya tetap sama, dan dicoba lagi segera setelah berubah.
Tidak terbaca: Agen tidak dapat membuka atau menguraikan file tersebut karena tipenya: bukan buku kerja sungguhan, terkunci oleh program lain, placeholder cloud, byte yang tidak dapat diuraikan. File tersebut berhenti sendiri dan sisa folder berlanjut. Hanya folder dengan nol file yang dapat dibaca yang menolak seluruh rangkaian file.
Ditolak: Agen tidak dapat menyematkan tata letak apa pun, misalnya karena file tidak sesuai pada tipe kolom. Belum ada tabel data yang tersedia. file_kejadian mendapat ditolak baris dengan alasan di detail, dan Agen mencoba lagi pada setiap pemindaian hingga tata letak ditemukan. Perbaiki atau kecualikan file yang disebutkan dan pesan akan hilang.

Di mana harus melihat: spanduk kuning di Memeriksa (Tunjukkan file mana dan mengapa.), konektornya Tampak tab setelahnya. Dalam SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Gunakan tabel di mana saja.

Konektor ini merupakan sumber data seperti sumber data lainnya di Query Streams. Simpan kueri sekali saja di dalam Pembuat Kueri (dialeknya adalah DuckDB) dan gunakan dari:

Excel

Add-in tersebut Mengalirkan Kueri Menampilkan baris-baris tersebut ke dalam sebuah lembar kerja dan menjalankannya kembali dengan sekali klik. Menjalankan SQL di Excel.

Lembar Kerja Google

Itu Pengalir Kueri Add-on ini mengisi tab yang Anda pilih. Kueri Daya untuk Google Spreadsheet.

Claude, Cursor, dan klien AI lainnya

Melalui server Query Streams MCP; Claude mengetahui model folder, termasuk berkas sumber dan file_kejadian. Folder CSV dengan Claude melalui MCP.

API REST

Setiap kueri yang tersimpan akan menjadi titik akhir hanya baca dengan kunci tersendiri, pada setiap rencana. API REST Folder CSV.

Nova

Tanyakan dengan bahasa yang mudah dipahami pada paket Bisnis; Nova mengetahui setiap folder, tabel, dan kolom dari deskripsi bawaannya.

Otomatisasi

Sinkronkan baris ke Airtable, Smartsheet, Baserow, SeaTable, atau lembar kerja sesuai jadwal. Panduan otomatisasi.

Tabel folder juga terhubung ke konektor Anda yang lain: kueri gabungan dapat mencocokkan berkas sumber nama atau ID pesanan dalam folder file CSV terhadap basis data pada Agen yang sama.

Batasan yang perlu diketahui

Tidak ada batasan paket untuk folder atau jumlah file. Baris tetap dihitung dalam Data Realm Anda seperti konektor lainnya. Pengaturan default yang dapat Anda naikkan atau turunkan pada konektor:

Pengaturan	Bawaan	Apa fungsinya?
Kedalaman maksimum	8	Berapa banyak level folder di bawah setiap root yang dipindai (1–64).
Jumlah file maksimum per pemindaian	100,000	Berkas-berkas dipertimbangkan dalam satu kali pemeriksaan.
Ukuran file maksimum yang akan di-hash	32 MiB	Hanya penting dengan Isi file hash pada.
Retensi log peristiwa	30 hari	Berapa lama `file_kejadian` Baris-baris tersebut dipertahankan.
Paralelisme pemindaian per akar	2	Folder dibaca sekaligus per root.

Batasan konten, yang memarkir file alih-alih memotongnya: 2.000.000 baris atau 512 MiB per file, 10.000.000 baris atau 2 GiB per pemindaian. Sebuah folder dapat menampung paling banyak 25 tata letak berbeda. Satu meja per tata letak mode.

Pertanyaan yang diajukan orang

Apakah file saya sudah diunggah di suatu tempat?

Tidak. Agen membaca data tersebut di komputernya sendiri dan menyimpan baris-baris tersebut dalam cache lokal terenkripsi di sana. Sebuah kueri dijalankan terhadap cache tersebut dan hanya baris-baris yang dikembalikan yang meninggalkan mesin, melalui satu koneksi keluar. File tidak pernah dimodifikasi, dipindahkan, atau dikonversi.

Apakah saya perlu membuka port atau menjalankan VPN?

Tidak. Agen membuat satu koneksi keluar pada port 443 dan baik permintaan maupun baris data dikirim melalui koneksi tersebut. Jika HTTPS keluar berfungsi, maka ini juga berfungsi.

Apakah folder tersebut dapat berada di jaringan bersama, atau di OneDrive atau Dropbox?

Yes. Type a share as \\server\share\folder, because the Agent runs as a service and cannot see drives mapped at your login. On Windows, store a login for the server if the share lets in only named people; without one the Agent reads as its own service account. On Linux or a Mac, mount the share first. A synced OneDrive or Dropbox folder works when its files are stored on the computer: set the folder to Selalu aktifkan perangkat ini.Agen tersebut tidak mengunduh file yang hanya tersedia di cloud.

Folder tersebut berisi lebih dari satu jenis file. Satu konektor atau dua?

Satu konektor membaca satu tipe file. Sebuah folder dengan file CSV dan Parquet membutuhkan dua konektor pada root yang sama, satu untuk setiap tipe. File yang tidak sesuai dengan pola penyertaan akan diabaikan, bukan disisihkan.

Apakah ada tombol Pindai Ulang?

Tidak. Agen memindai pada Interval pemindaian, bereaksi terhadap perubahan ketika Folder pantauan aktif, dan dapat memindai ulang sebelum menjawab kueri saat Anda mengaktifkannya. Edit konektor untuk mengubah salah satu dari ketiganya.

Apakah paket gratis benar-benar mencakup hal ini?

Ya. Gratis adalah paket yang dapat Anda pertahankan, bukan uji coba yang akan berakhir. Konektor folder tidak memiliki batasan jumlah file sendiri; jumlah baris dihitung terhadap Data Realm Anda seperti konektor lainnya. Lihat apa saja yang termasuk dalam setiap paket di halaman berikut. halaman harga.

Folder lain yang diubah Query Streams menjadi tabelCara melakukan query pada folder berisi file menggunakan SQL.Semua panduan File Set

Masih bingung? Membuka Dukungan Di Query Streams, beri tahu kami Anda berada di langkah mana dan apa yang Anda lihat. Kami akan menghubungkan Anda.

Setup trouble?

Agent shows Offline, or Test connection and Browse are greyed out? Check that the Agent is online → Is the Agent online?