Ubah Custom Logs menjadi tabel yang dapat dikueri.
Sebagian log ditulis oleh perangkat lunak yang hanya dijalankan perusahaan Anda. Tentukan sekali saja di mana rekaman dimulai, tata bahasa yang digunakan, lokasi stempel waktu, dan nama kolomnya — maka log itu menjadi tabel seperti tabel lainnya.
Gunakan hasilnya di Excel, Google Sheets, alat AI, dan aplikasi Anda melalui Database REST API.
Semua jenis konektor tersedia di paket Free. Mulai dengan 2 sumber data dan 1 agen.
Baca, atur, dan kueri di mesin Anda.
Kueri hanya-baca · koneksi keluarFile sumber tetap di tempatnya. Alat Anda menerima hasil kueri.
Query Streams membaca log teks apa pun, termasuk yang ditulis oleh perangkat lunak yang hanya dijalankan perusahaan Anda, lalu mengubah folder menjadi tabel SQL aktif yang dapat dibaca dari Microsoft Excel, Google Sheets, asisten AI melalui MCP, REST API, dan Power BI. Anda cukup menjelaskan formatnya sekali — batas rekaman, tata bahasa, stempel waktu, kolom, dan rotasi — lalu agent mempertahankan deskripsi tersebut. Tersedia enam tata bahasa: berbatas, key = value, grok, JSON lines, direktif header #Fields, dan lebar tetap. Baris yang tidak cocok dengan deskripsi akan disimpan sebagai baris mentah, bukan dibuang, sehingga format yang tak terduga tidak merugikan Anda.
- Enam tata bahasa, cukup dijelaskan sekali
- Baris yang tidak cocok tetap disimpan, tidak pernah dibuang
- Tidak ada data yang dikirim ke luar untuk ditafsirkan
Hubungkan Custom Logs dengan pengaturan yang tepat.
Pertahankan koneksi pada Network Agent. Berikut detail khusus untuk Custom Logs.
- Map
- Folder log teks apa pun — disk lokal atau share jaringan yang ditulis sebagai \\server\share (jangan pernah menggunakan huruf drive yang dipetakan; di Linux atau Mac, lakukan mount terlebih dahulu); termasuk subfolder, mendukung pola penyertaan dan pengecualian
- Tata Bahasa
- Delimited, key = value, grok, JSON lines, direktif header #Fields, dan lebar tetap
- Batas rekor
- Anda yang menentukan — satu baris per rekaman, atau pola, jumlah tetap, baris kosong, atau penanda sentinel, agar rekaman multi-baris tetap utuh
- Stempel waktu
- Posisi dan format dijelaskan; jika tahun tidak tercantum pada baris, tahun dapat diambil dari waktu modifikasi file's atau nama filenya
- Rotasi
- Sepuluh pola rotasi bernama ditambah file biasa yang tidak dirotasi; arsip terkompresi dibaca langsung
- Baris yang tidak cocok
- Disimpan apa adanya dalam events_raw_lines, tidak pernah dibuang
- Kredensial
- Tidak ada—tidak ada server; agen membaca file di lokasi aslinya
Ini satu-satunya profil log yang dapat Anda edit, dan memang itulah tujuannya: semua profil lainnya dikunci oleh kami agar tidak berubah. Konsekuensinya, kebenaran deskripsi kustom tidak dapat dibuktikan sebelumnya seperti profil bawaan — sebagai gantinya, tersedia pratinjau yang menerapkan deskripsi Anda pada file Anda sendiri dan menampilkan baris-barisnya sebelum apa pun diterapkan.
Dirancang sesuai cara kerja Custom Logs.
Lima bagian dalam sebuah format
Profil yang dikunci menetapkan semua ini untuk Anda. Profil Custom menampilkan kelima bagian, dan itulah keseluruhan deskripsinya — tidak ada hal lain yang perlu dikonfigurasi dan tidak ada yang tersembunyi.
- Batas rekaman — tempat satu rekaman berakhir dan rekaman berikutnya dimulai, yang memastikan stack trace multi-baris tetap berada dalam satu baris.
- Tata bahasa — delimited, key = value, grok, JSON lines, direktif header #Fields, atau lebar tetap.
- Stempel waktu — lokasinya dan format penulisannya, termasuk sumber tahun jika tahun tidak tercantum pada baris.
- Kolom — nama dan tipe setiap field, agar angka diurutkan sebagai angka dan tanggal difilter sebagai tanggal.
- Model pertumbuhan — bagaimana file bertambah dan dirotasi, sehingga arsip kemarin dan file aktif hari ini menjadi satu tabel.
-- Apa pun nama yang Anda berikan pada kolom, ini hanyalah SQL
SELECT file_name, severity, COUNT(*) AS lines
FROM fileset.events
WHERE severity IN ('WARN','ERROR')
GROUP BY file_name, severity
ORDER BY lines DESCCoba profil bawaan terlebih dahulu
Test connection mencocokkan temuannya dengan profil yang disertakan, lalu menawarkan yang paling mendekati. Ini adalah pencocokan sidik jari, bukan model yang membaca log Anda—tidak ada data tentang file Anda yang dikirim ke mana pun untuk ditafsirkan. Jika ada profil bawaan yang cocok, gunakan profil itu: profil yang disematkan lebih mudah dipelihara daripada deskripsi buatan sendiri. Buat deskripsi sendiri jika tidak ada yang cocok, dan mintalah profil bawaan kepada kami jika Anda lebih memilih menggunakannya.
Format dan perilakunya, secara terperinci.
Buka referensi yang Anda perlukan untuk Custom Logs.
Jika berupa file teks, maka bisa berupa tabel.
Jika berupa file teks, maka bisa berupa tabel.
Tiga file dengan bentuk yang sama sekali berbeda—satu ditulis oleh aplikasi lini bisnis, satu oleh tugas batch, satu oleh mesin yang tidak pernah didukung siapa pun sejak 2011. Deskripsikan masing-masing sekali dan kolom yang Anda beri nama itulah kolom yang dapat Anda kueri. Tidak perlu menjalankan collector, memelihara indeks, atau membuat salinan data kedua.
Rotasi, arsip terkompresi, dan file yang dibaca ulang — ditangani
PILIH nama_berkas, tingkat keparahan,
menghitung(*) AS garis
DARI kumpulan file.kejadian
DI MANA kerasnya DI DALAM ('MEMPERINGATKAN','KESALAHAN')
KELOMPOKKAN BERDASARKAN nama_file, tingkat keparahan
PESAN OLEH garis DESCAda sebuah kerasnya kolom karena Anda bilang ada satu
Angka ilustratif — gambaran bentuk jawaban, bukan tolok ukur
Enam cara untuk mengatakan apa arti sebuah baris
Enam cara untuk mengatakan apa arti sebuah baris
Hampir setiap catatan teks yang pernah ditulis memiliki salah satu dari enam bentuk ini. Temukan bentuk catatan Anda di bawah ini, dan contoh kalimat biasanya akan memperjelasnya lebih cepat daripada membaca deskripsinya.
Tata bahasa yang dapat Anda pilih
6 tata bahasa- Tentukan pemisahnya—koma, tab, titik koma, pipa, apa pun yang digunakan file
- Kolom yang dikutip akan dihormati, jadi koma di dalam pesan akan tetap berada di dalamnya.
- Baris header dapat memberi nama kolom untuk Anda tanpa perlu mengetiknya.
- Anda dapat mengatur pemisah desimal, untuk file yang menggunakan koma sebagai pemisah.
- Kunci dalam baris menjadi kolom—Anda tidak perlu menyatakannya kembali
- Kedua pemisah tersebut adalah milik Anda: apa yang berada di antara kunci dan nilai, dan di antara pasangan.
- Awalan sebelum pasangan—stempel waktu, tag—dapat dilewati
- Umum ditemukan dalam log aplikasi dan mesin yang ditulis untuk diuraikan.
- Capture bernama menjadi kolom—jalan keluar saat tidak ada opsi lain yang cocok
- Pustaka pola di balik profil bawaan tersedia untuk dipinjam.
- Beberapa pola dapat dicoba secara berurutan, untuk file yang memiliki lebih dari satu bentuk garis.
- Nilai default awal—satu
pesankolom, lalu Anda mempersempitnya
- Bidang menjadi kolom, dan Anda memilih mana yang sebenarnya Anda inginkan.
- Objek bersarang tetap dipertahankan utuh sebagai JSON, bukan diratakan atau dihilangkan.
- Pembungkus runtime container dapat dibuka agar Anda dapat mengueri record di dalamnya
- Inilah yang ditulis sebagian besar pustaka pencatatan modern ketika diperintahkan untuk distrukturkan.
- Sebuah baris di dekat bagian atas menunjukkan bidang-bidang (fields), dan kolom-kolom (columns) mengikutinya.
- Format W3C yang diperluas, dan segala sesuatu yang meminjam ide tersebut.
- Anda yang menentukan arahannya, jadi tidak perlu dieja.
#Lapangan - Tidak ada yang perlu disinkronkan—file adalah sumber daftar kolom
- Beri setiap kolom nama, posisi awal, dan panjang—tanpa perlu pemisah
- Jawaban yang tepat untuk file di mana sebuah field dapat berisi pembatas
- Namun, apa yang ditulis oleh komputer mainframe, pengontrol, dan banyak peralatan industri tetap sama.
- Pengemasan dipangkas, sehingga barang tidak sampai dalam keadaan terbungkus spasi.
Mendeskripsikannya sendiri adalah cara tercepat. Jika format ini digunakan banyak orang, kami lebih memilih menyediakannya sebagai profil bawaan yang disematkan Agent untuk semua orang—konektor menautkan langsung ke permintaan, dan profil tersebut hadir bersama pembaruan Agent.
Deskripsikan sekali, gunakan di mana pun Anda menjalankannya
Jelaskan sekali saja, gunakan di mana pun Anda berlari
Deskripsi adalah bagian dari konektor, bukan bagian dari mesin. Lima bagian yang sama yang membaca file audit di kantor pusat juga membacanya di pabrik dan di region kedua—dan setiap lokasi menjalankan Network Agent yang membaca file di tempatnya berada lalu membuat koneksi keluar ke Query Streams. Bagi firewall Anda, ini adalah koneksi keluar biasa, jadi tidak ada yang perlu dibuka dan tidak perlu membangun VPN.
Tiga koneksi keluar, satu tempat untuk menguerinya — tanpa port masuk, tanpa VPN, tanpa perubahan firewall
Anda yang menentukan identitasnya
Setiap baris diberi label yang menunjukkan asalnya. Secara default, label tersebut adalah nama file. Jika mesin atau lokasi merupakan kolom dalam baris—atau bagian dari nama file—Anda dapat menggunakan itu sebagai label dan mengelompokkan berdasarkan label tersebut.
nama file · kolom · bagian dari nama file
Tidak ada yang bisa dibuka
Agent membuat satu koneksi keluar terenkripsi, dan permintaan keluar serta baris yang kembali sama-sama melewatinya. Tidak ada port masuk, tidak ada VPN, tidak perlu meminta perubahan firewall — dan tidak ada daemon pengumpul yang ditambahkan ke server yang sudah menjalankan daemon.
satu koneksi, dua arah
Satu kueri lintas wilayah
Setiap sumber dalam sebuah kueri terfederasi menamai Agent-nya sendiri, sehingga satu pernyataan dapat menempatkan log khusus di samping database yang menjelaskannya—file batch di sebelah pesanan yang terkait dengannya. Termasuk dalam Business dan Enterprise.
1 log + 1 database → 1 set hasil
Ditulis sekali, bukan per situs.
Proses mendeskripsikan suatu format adalah proses sekali saja. Folder kedua dengan bentuk yang sama merupakan konektor kedua dengan deskripsi yang sama, sehingga peluncurannya ke lokasi lain merupakan langkah penyiapan, bukan investigasi lain.
1 deskripsi → setiap folder dengan format serupa
Empat pertanyaan yang tidak dapat dijawab oleh berkas teks.
Empat pertanyaan yang tidak dapat dijawab oleh berkas teks.
Menganalisis baris tersebut adalah bagian yang mudah. Ini adalah hal-hal yang tidak diberitahukan oleh file log tentang dirinya sendiri, dan masing-masing merupakan sesuatu yang Anda nyatakan sendiri, bukan sesuatu yang kami duga.
Di mana sebuah rekaman dimulai dan berakhir
Stack trace adalah satu kejadian yang melintasi dua puluh baris, dan membacanya sebagai dua puluh kejadian akan menghasilkan angka yang salah. Ada enam cara untuk menandai batasnya: satu baris, pola yang membuka sebuah record, baris kosong, penanda pembuka dan penutup, aturan kelanjutan, atau hitungan tetap.
1 rekaman tidak selalu berarti 1 baris
Pengkodean tidak memiliki nilai default.
Ini satu-satunya kolom yang sengaja dibiarkan kosong. Mengasumsikan UTF-8 untuk file Latin-1 tidak akan menyebabkan kegagalan—semua karakter beraksen akan diam-diam rusak, dan Anda baru mengetahuinya berbulan-bulan kemudian. Karena itu, kolom ini ditanyakan sekali sebelum sinkronisasi pertama, bukan ditebak.
dipilih, tidak pernah diasumsikan
Tahun ketika garis itu tidak ada
Banyak format hanya mencetak bulan dan hari. Ada tiga cara menentukannya: tahun tercantum dalam baris, diambil dari waktu modifikasi file, atau dibaca dari nama file—tempat arsip bertanggal biasanya menyimpannya.
di dalam baris · dari file · dari nama
Tidak ada yang dihitung dua kali.
Sidik jari setiap file dibuat berdasarkan 4 KB pertamanya, sehingga file yang diganti namanya atau dirotasi dikenali alih-alih dibaca ulang dari awal. Sepuluh pola rotasi dikenali berdasarkan nama—ditambah opsi tanpa rotasi, untuk file yang hanya terus bertambah.
hash prefiks 4 KB · jendela 20.000 rekaman
Lima bagian, dan kemudian menjadi sebuah tabel.
Lima bagian, dan kemudian menjadi sebuah tabel.
Inilah seluruh hal yang perlu Anda isi. Setiap profil bawaan di halaman log lainnya terdiri dari lima bagian yang sama, kami yang mengisinya dan Agent yang menyematkannya—di sini, Anda yang mengisinya.
pesan satu kolom per baris, dengan waktu peristiwa diambil dari waktu modifikasi file. Itu sudah cukup agar sinkronisasi pertama berhasil pada hampir semua file—lalu sempurnakan berdasarkan pratinjau sampai kolomnya sesuai keinginan. Setiap baris juga mencantumkan file asalnya, dan semuanya masuk ke satu tabel, kumpulan file.kejadian.Apa yang sengaja tidak dilakukan oleh hal ini
Apa yang sengaja tidak dilakukan oleh hal ini
Sebutkan yang paling besar terlebih dahulu: Cobalah profil bawaan sebelum menggunakan ini.. Jalankan Test connection dan Agent akan menawarkan profil bawaan terdekat yang dikenali—profil bawaan disematkan oleh Agent dan telah diuji dengan file nyata, sedangkan deskripsi yang Anda tulis sore ini belum. Preset ini adalah jalan keluar untuk format yang tidak digunakan orang lain, bukan titik awal default.
Tidak ada yang membaca log Anda untuk mengetahui formatnya. Tawaran kecocokan terdekat itu membandingkan bentuk file Anda dengan profil yang disertakan—pencocokan pola terhadap format yang dikenal, bukan model yang membaca data Anda. Jika tidak ada yang cocok, Anda perlu menulis deskripsinya sendiri, lalu memeriksanya melalui pratinjau.
Ini bukan live tail. Query Streams membaca file sebagaimana adanya di disk saat Anda menjalankan kueri, sehingga pekerjaan yang gagal akan muncul sebagai baris, bukan sebagai aliran data yang Anda pantau. Jika Anda memerlukan peringatan kurang dari satu detik pada sebuah baris saat dicetak, pipeline log adalah alat yang tepat untuk pekerjaan tersebut.
Fitur ini membaca teks, dan hanya teks. Arsip dan database biner di dalam folder— .ritsleting, .taksi, file jurnal mentah—dibiarkan begitu saja, bukan dibuka dan ditebak isinya. Rotasi log teks yang dikompresi akan dibaca; container yang berisi hal lain tidak.
Dan deskripsinya bisa salah, itulah mengapa tidak ada yang dibuang. Baris yang tata bahasanya tidak sesuai disimpan sebagai baris mentah dengan alasan yang terlampir, sehingga kesalahan muncul sebagai sesuatu yang dapat Anda lihat dan tanyakan, bukan sebagai celah yang tidak terlihat. Perbaiki deskripsi dan sinkronkan ulang. Sisanya mengikuti desain biasa: Agen terhubung keluar dan membaca file, tidak ada yang diinstal di server, tidak ada yang ditulis kembali, dan aksesnya hanya baca.
Dari koneksi hingga hasil yang bermanfaat.
- Pasang Network Agent di lokasi yang dapat mengakses folder, lalu arahkan konektor ke sana.
- Jalankan Test connection terlebih dahulu. Agent membuat sidik jari dari file yang ditemukan dan menawarkan profil bawaan terdekat—jika ada yang cocok, gunakan saja dan Anda tidak perlu mendeskripsikan apa pun.
- Jika tidak ada yang cocok, deskripsikan sendiri formatnya: di mana record dimulai, mana dari enam tata bahasa yang digunakan, di mana stempel waktunya, dan apa nama kolomnya.
- Pilih pola rotasi dan, untuk format yang stempel waktunya tidak mencantumkan tahun, tentukan sumber tahunnya. Deskripsi tersebut kemudian disematkan.
- Lakukan kueri. Tabel ini berfungsi persis seperti tabel dari konektor log lainnya karena driver yang sama membaca format yang Anda berikan, bukan format yang kami sertakan.
Manfaatkan hasil Custom Logs Anda.
Satu koneksi melayani spreadsheet, aplikasi, dan alat AI Anda. Bagikan izin untuk menjalankan kueri tersimpan; penerima hanya melihat hasil yang diizinkan, sementara SQL dan login sumber tetap tersembunyi.
Untuk tim, vendor, dan mitra Anda
Tarik hasil Custom Logs secara langsung ke lembar kerja dan perbarui sesuai permintaan — Excel desktop, Excel Online, Microsoft 365.
Jelajahi ExcelJalankan kueri Custom Logs tersimpan dari bilah sisi dan masukkan baris-barisnya ke lembar kerja. Kolaborator bersama dapat memperbaruinya sendiri.
Jelajahi Google SheetsAjukan pertanyaan dalam bahasa Inggris biasa. Nova sudah memahami tabel Custom Logs Anda, menulis dan menjalankan SQL, menjelaskan jawabannya, lalu membuat diagram — tanpa perlu menulis kueri atau memberikan kredensial.
Cara kerja NovaBagikan hasil Custom Logs langsung kepada siapa saja — kolega, vendor, mitra — sebagai kisi yang dapat ditandai dan menjalankan ulang kueri untuk mengambil data terbaru saat dibuka, di ponsel, tablet, atau desktop. Mereka hanya melihat hasilnya, bukan SQL atau filenya.
Cara kerja Penampil DataUntuk aplikasi dan sistem
Publikasikan kueri Custom Logs sebagai endpoint JSON terautentikasi yang dapat dipanggil oleh aplikasi apa pun, dengan spesifikasi OpenAPI 3.1 serta koleksi Postman, Insomnia, dan Hoppscotch siap pakai. Tidak ada port database yang dibuka.
Jelajahi REST APITempel Power Query M yang dibuat ke Advanced Editor Power BI dan laporan akan membaca hasil Custom Logs secara langsung melalui HTTPS — tanpa driver ODBC dan tanpa membuka port database.
Jelajahi Power BISinkronkan baris Custom Logs ke basis Airtable sesuai jadwal, atau ambil baris tersebut dalam skrip otomatisasi Airtable.
Jelajahi AirtableIsi tabel Baserow dari Custom Logs melalui endpoint REST — di-host sendiri atau di cloud Baserow.
Jelajahi BaserowPastikan basis SeaTable selalu diperbarui dengan data Custom Logs tanpa mengekspor file atau mengekspos database.
Jelajahi SeaTableKirim hasil Custom Logs ke kisi Smartsheet agar rencana dan laporan membaca data dari sistem sumber, bukan dari ekspor minggu lalu'.
Jelajahi SmartsheetDukung aplikasi Python Anvil dengan Custom Logs melalui endpoint REST, alih-alih menyematkan kredensial database di aplikasi.
Jelajahi AnvilUntuk alat AI
Berikan asisten AI akses hanya-baca ke Custom Logs beserta skema yang dibutuhkannya untuk menulis SQL yang benar — tanpa kredensial di dalam obrolan.
Jelajahi MCPDikirimkan kepada orang-orang
Jadwalkan kueri Custom Logs dan kirim baris-barisnya ke Slack, Discord, email, atau webhook bertanda tangan — atau tahan pesan hingga jumlah baris, ambang batas, atau perubahan persentase melewati batas yang Anda tetapkan.
Cara kerja peringatan dan laporanGabungkan Custom Logs dengan data Anda yang lain.
Satukan basis data, API bisnis, file, dan log dalam satu kueri hanya-baca. Setiap konektor mendukung Federated Queries.
Sebutkan koneksi dan tabel. Query Streams menangani kueri ke sumber dan menggabungkan hasilnya.
Jelajahi Federated Queries-- tidak ada yang disalin, tidak ada yang digabungkan, tidak ada yang dijadwalkan
PILIH c.region, COUNT(*) AS orders, SUM(i.amount_due) AS invoiced
DARI customlogs.fileset.orders1 f
GABUNG pg_crmpelanggan umum2 c ON c.id = f.customer_id
GABUNG penagihan.stripe.faktur3 i ON i.customer = c.stripe_id
KELOMPOKKAN BERDASARKAN c.wilayah
PESAN OLEH ditagih DESC;Gunakan nama koneksi, skema, tabel, dan kolom Anda sendiri.
Berlaku untuk seluruh rangkaian konektor.
Setiap konektor log juga menyediakan
- events — satu baris untuk setiap baris yang diurai, dengan stempel waktu, kolom yang dinamai oleh tata bahasa, dan _source_file yang menunjukkan nama file asalnya.
- events_raw_lines — baris yang tidak cocok dengan tata bahasa, disimpan apa adanya alih-alih dibuang, sehingga format yang tidak Anda antisipasi tetap bisa ditanyakan.
- files_current dan files_events — inventaris aktif dan jejak audit: apa yang muncul, apa yang dirotasi, apa yang menghilang, dan apa pun yang ditahan, beserta nama file dan alasannya.
- Rotasi dipahami, bukan diakali — sepuluh pola rotasi bernama ditambah file biasa yang tidak dirotasi, sehingga log kemarin dan arsip terkompresinya menjadi tabel yang sama dengan log hari ini.
Bagus untuk diketahui
- Hanya-baca, diberlakukan — satu pernyataan setiap kali, hanya SELECT dan perintah sejenis. Log Anda tidak pernah kami tulis, pindahkan, rotasi, atau potong.
- Tidak ada yang diunggah — baris diurai dan di-cache dalam keadaan terenkripsi, di mesin Anda sendiri, di samping agent. Hanya hasil kueri yang keluar dari jaringan Anda.
- Hanya byte baru yang dibaca — agent melanjutkan dari posisi terakhir di setiap file, bukan membacanya ulang, sehingga log yang sibuk tidak makin membebani setiap hari.
- Dialek SQL-nya adalah DuckDB — SQL yang sama seperti yang akan Anda gunakan untuk konektor lain.
Pertanyaan tentang Custom Logs
Di mana saya dapat menggunakan hasil kueri Custom Logs?
Gunakan hasil Custom Logs di Excel, Google Sheets, Data Viewer, aplikasi Anda melalui Database REST API, dan alat AI melalui MCP atau Nova. Hasil tersimpan juga dapat digunakan oleh tujuan Automation, laporan, dan peringatan yang didukung. Ketersediaan tujuan dan kuota bergantung pada paket Anda.
Apakah saya perlu membuka port masuk untuk Custom Logs?
Tidak. Instal Network Agent di mesin yang dapat menjangkau Custom Logs. Agent terhubung keluar ke Query Streams; tidak diperlukan port masuk atau VPN. Sumber Anda tetap harus mengizinkan mesin Agent untuk terhubung sesuai aturan aksesnya sendiri.
Apakah file Custom Logs saya diunggah?
Network Agent membaca file di lokasi asalnya dan menyimpan cache di mesin agen. File sumber tidak diunggah, dipindahkan, atau ditulis ulang. Hanya hasil kueri yang diminta yang keluar dari jaringan Anda melalui koneksi terenkripsi keluar.
Apa yang saya perlukan untuk menghubungkan Custom Logs?
Folder: Folder apa pun yang berisi log teks — disk lokal atau berbagi jaringan yang ditulis sebagai \\server\share (jangan gunakan huruf drive yang dipetakan; di Linux atau Mac, pasang terlebih dahulu); subfolder disertakan, pola penyertaan dan pengecualian didukung. Tata bahasa: Delimited, key = value, grok, baris JSON, direktif header #Fields, dan lebar tetap. Batas rekaman: Anda yang menentukan — satu baris per rekaman, atau pola, jumlah tetap, baris kosong, atau penanda, sehingga rekaman multibaris tetap utuh. Stempel waktu: Posisi dan format dijelaskan; jika baris tidak mencantumkan tahun, tahun dapat diambil dari waktu modifikasi file atau nama filenya.
Dapatkah saya menggabungkan Custom Logs dengan sumber lain yang terhubung?
Ya. Federated Queries mendukung semua jenis konektor, termasuk basis data, API bisnis, file, dan log. Sebutkan koneksi dan tabel dalam satu kueri hanya-baca. Query Streams menerjemahkan bagian kueri untuk sumber sesuai kebutuhan dan menggabungkan hasilnya. Lihat cara kerja Federated Queries.
Kapan saya harus menggunakan ini sebagai pengganti profil bawaan?
Untuk situasi ketika pilihan lain tidak cocok. Profil bawaan mencakup pengendali mesin, server web, kontainer, kerangka kerja aplikasi, dan log sistem. Masing-masing ditulis dan diuji menggunakan file nyata — jadi, jika log Anda termasuk salah satunya, memilih profil tersebut lebih mudah dan pengujiannya lebih menyeluruh daripada mendeskripsikannya sendiri.
Jalankan Uji koneksi sebelum Anda memutuskan. Agen membandingkan bentuk file Anda dengan profil yang dikirimkan dan menawarkan profil terdekat yang dikenalinya, sehingga jawabannya berasal dari file Anda yang sebenarnya, bukan dari tebakan. Gunakan deskripsi jika tidak ada hasil yang ditemukan.
Apakah saya perlu mengetahui ekspresi reguler?
Biasanya tidak. Lima dari enam tata bahasa tidak memerlukan pola sama sekali: file yang dipisahkan oleh pembatas memerlukan pemisah, file key=value menjelaskan dirinya sendiri, baris JSON menjelaskan dirinya sendiri, arahan header menamai kolomnya sendiri, dan lebar tetap memerlukan awal dan panjang per kolom.
Grok adalah pilihan keenam, sekaligus jalan keluar untuk baris yang benar-benar rumit. Bahkan dalam kasus itu, Anda hanya perlu merangkai bagian-bagian bernama — stempel waktu, tingkat keparahan, sisanya — dan pustaka pola di balik profil bawaan bisa digunakan sebagai referensi, alih-alih memulai dari baris kosong.
Apakah saya harus memberikan deskripsi yang tepat sejak pertama kali?
Tidak, dan pengaturan default sudah diatur sedemikian rupa sehingga Anda tidak perlu melakukannya. Secara default, sinkronisasi pertama berhasil pada hampir semua file teks: satu pesan Satu kolom per baris, dengan waktu kejadian diambil dari waktu modifikasi file. Hasilnya, Anda mendapatkan tabel berfungsi yang bisa langsung dilihat.
Setelah itu, Anda dapat menyempurnakannya. Pratinjau menunjukkan hasil penerapan deskripsi Anda pada baris-baris sendiri, sehingga Anda dapat memisahkan tingkat keparahan atau nomor pekerjaan ke kolom tersendiri dan melihat hasilnya sebelum menerapkannya. Ubah deskripsi itu nanti dan sinkronkan ulang — tidak ada yang hilang sementara itu.
Peristiwa yang saya alami mencakup beberapa baris. Bisakah sistem menangani jejak tumpukan (stack trace)?
Ya, dan inilah pengaturan yang paling sering dibutuhkan. Rekaman tidak harus berupa satu baris: Anda dapat menentukan bahwa rekaman dimulai setiap kali sebuah baris cocok dengan pola — biasanya stempel waktu di margin kiri — dan semua yang muncul setelahnya menjadi bagian dari rekaman tersebut hingga kecocokan berikutnya.
Ada lima cara lain untuk menggambar batas jika bentuknya bukan itu: garis kosong di antara catatan, penanda pembuka dan penutup, aturan untuk menentukan apa yang dianggap sebagai garis lanjutan, atau sejumlah garis tetap. Pengecualian dua puluh baris kemudian muncul sebagai satu baris dengan seluruh jejak di dalamnya.
Bagaimana jika baris-baris tersebut tidak memiliki cap waktu sama sekali?
Itulah kasus default, dan cara kerjanya baik. Jika tidak ada kolom yang ditetapkan sebagai waktu, waktu kejadian diambil dari waktu modifikasi file — jadi baris tetap dapat diurutkan dan tetap mematuhi periode retensi, hanya saja waktunya akurat berdasarkan file, bukan barisnya.
Jika waktu tercantum dalam baris tetapi terbagi ke dua kolom — kolom tanggal dan kolom waktu, yang umum pada file lebar tetap dan delimited — Anda dapat menentukan keduanya agar digabung menjadi satu stempel waktu.
Pengkodean mana yang harus saya pilih?
UTF-8 adalah jawaban yang tepat untuk sebagian besar berkas yang ditulis dekade ini. Ini adalah satu-satunya bidang yang tidak memiliki nilai default, dan itu disengaja: menganggap UTF-8 pada berkas Latin-1 tidak menimbulkan kesalahan, tetapi secara diam-diam akan merusak setiap karakter beraksen, dan kerusakan yang terjadi secara diam-diam jauh lebih buruk daripada pertanyaan yang diajukan sekali saja.
Jika ragu, lihat pratinjau — pengodean yang salah akan langsung terlihat sebagai mojibake pada baris sampel. Perangkat lunak Windows lama dan perangkat industri biasanya menjadi alasan penggunaan pengodean selain UTF-8.
Bisakah Anda menambahkan format saya sebagai fitur bawaan saja?
Hubungi kami. Jika format tersebut digunakan oleh cukup banyak orang — produk komersial, kerangka kerja umum, atau perangkat industri — kami lebih memilih menyediakannya sebagai profil bawaan daripada meminta setiap pelanggan mendeskripsikan hal yang sama. Konektor ini tertaut langsung ke formulir permintaan.
Solusi bawaan lebih baik bagi Anda maupun kami: solusi ini dikunci oleh Agen, diuji terhadap tangkapan data nyata, dan tiba di server Anda bersamaan dengan pembaruan Agen, tanpa perlu campur tangan siapa pun untuk memasang konektor.
Apa yang terjadi pada baris yang tidak cocok?
Data tersebut disimpan, bukan dihapus. Baris yang tata bahasanya tidak sesuai akan dipertahankan sebagai baris mentah dengan alasan yang terlampir, sehingga entri yang aneh, format yang berubah di bawah pengawasan Anda, atau deskripsi yang belum sepenuhnya tepat akan muncul sebagai sesuatu yang dapat Anda lihat dan periksa, bukan sebagai celah yang tidak terlihat dalam data Anda.
Inilah jaring pengaman yang membuat penyempurnaan deskripsi menjadi masuk akal. Anda tidak perlu memilih antara parser ketat yang membuang data dan parser longgar yang menghasilkan dinding teks — baris yang diurai memiliki tipe, dan apa pun yang tidak berhasil diurai tetap tersedia di sampingnya.
Hadirkan Custom Logs di tempat pekerjaan berlangsung.
Mulai dengan Free: semua jenis konektor, 2 sumber data, dan 1 Network Agent. Tambahkan kuota paket seiring bertambahnya kebutuhan Anda.

