Ubah System Logs menjadi tabel yang dapat dikueri.

Lihatlah awal sebuah baris di /var/log/syslog atau /var/log/pesan. 10 Sep 04:11:07 — itu adalah RFC 3164, dan format inilah yang masih ditulis secara default oleh sebagian besar server Linux. Jika diawali angka di dalam tanda kurung siku sudut, diikuti stempel waktu ISO 8601 lengkap, itu adalah RFC 5424.

Anda tidak perlu yakin sebelum memulai. Laporan koneksi uji akan menunjukkan profil mana yang dikenali dan seberapa banyak bagian file yang cocok, sehingga jawabannya berasal dari file Anda yang sebenarnya, bukan dari tebakan.

Tidak. Kedua format didukung, jadi pilih format yang sudah ditulis oleh server Anda — dan format default klasik adalah format yang paling banyak diuji.

Satu perubahan yang patut dipertimbangkan tidak terkait dengan format: jika Anda sudah meneruskan log dari beberapa mesin ke satu pengumpul, arahkan Agent ke folder pengumpul tersebut dan Anda akan mendapatkan semua host dalam satu konektor, karena setiap baris memuat host asalnya.

Tahun diambil dari waktu modifikasi file. Arsip rotasi yang terakhir ditulis pada bulan Desember dibaca sebagai bulan Desember, alih-alih setiap baris dimasukkan ke tahun berjalan seperti yang akan dilakukan parser sederhana.

Ada batasan yang perlu diketahui: jika stempel waktu file telah diseragamkan — dipulihkan dari cadangan yang tidak mempertahankan stempel tersebut, atau disalin dengan cara yang mengatur ulangnya — inferensi menggunakan informasi yang diberikan oleh sistem file. Teks aslinya selalu disimpan bersama nilai yang diurai, sehingga Anda dapat melihat apa yang sebenarnya tertulis pada baris.

Tidak, dan ini adalah langkah penyiapan yang sering dilewati orang. Jurnal pada disk adalah basis data biner, dan Query Streams tidak membukanya. Yang dibacanya adalah format ekspor: journalctl -o export > journal.export, di folder mana pun yang dapat dibaca oleh Agen.

Dalam praktiknya, ini berarti membuat tugas terjadwal kecil di server — timer atau entri cron yang menulis ekspor ke lokasi yang sudah dipantau Agent. Setelah itu, semuanya otomatis, dan ekspor gzip juga dapat dibaca.

Keduanya tidak memiliki profil di sini. Tiga format di halaman ini adalah format Linux dan Unix, dan kami lebih memilih menyebutkan kekurangan itu daripada membiarkan istilah “system logs” menyiratkan cakupan yang sebenarnya tidak tersedia.

Namun, ada cara untuk menangani kasus Windows. Membaca Event Log secara langsung berbeda dengan membaca file teks — Event Log adalah kanal terstruktur, bukan folder berisi baris-baris — dan memerlukan konektor terpisah, bukan konektor ini. Namun, jika Anda sudah mengekspor peristiwa tersebut ke teks atau CSV secara terjadwal, folder itu sudah dapat dibaca sekarang: jelaskan tata letaknya sekali dengan sebuah log kustom konektor dan ekspornya menjadi tabel seperti hal lainnya di halaman ini.

Ya, dan ada baiknya mempertimbangkan hal ini sebelum Anda mengirimkan pertanyaan, bukan setelahnya. log otentikasi adalah catatan tentang siapa yang terhubung dari mana, yang merupakan data pribadi di sebagian besar yurisdiksi, dan pesan syslog adalah teks bebas yang dapat berisi apa pun yang dipilih program untuk dicetak.

Query Streams tidak mengubah isi file, jadi penjelasan yang tepat adalah bahwa tabel mewarisi sensitivitas file tersebut. Ada dua hal yang membantu: kueri tersimpan membagikan hasil, bukan koneksi, sehingga penerima tidak pernah mendapatkan seluruh log; dan filter memungkinkan Anda mempersempit kueri ke program yang memang dibutuhkan seseorang sebelum membagikannya.

Itulah kasus yang paling cocok ditangani fitur ini. Ketiga format menyertakan host sebagai kolom — dua format syslog mengambilnya dari baris, sedangkan ekspor jurnal mengambilnya dari kolom nama hostnya sendiri — jadi folder yang dikumpulkan dari empat puluh mesin menjadi satu konektor, dan pengelompokan berdasarkan host merupakan hal yang biasa KELOMPOKKAN BERDASARKAN.

Server di gedung atau wilayah yang berbeda juga berfungsi. Setiap lokasi menjalankan Agennya sendiri, dan kueri gabungan dapat membaca data dari semua lokasi tersebut dalam satu pernyataan pada paket Bisnis dan Perusahaan.

Data tersebut dipertahankan, bukan dihapus. Baris yang tidak sesuai dengan format yang disematkan akan tetap disimpan sebagai baris mentah dengan alasan yang terlampir, sehingga entri yang salah format atau perubahan format yang tidak terduga akan muncul sebagai sesuatu yang dapat Anda lihat dan periksa, bukan sebagai celah tersembunyi dalam angka Anda.

Hal yang sama berlaku untuk nilai jurnal yang ditandai formatnya sebagai biner: nilai tersebut ditempatkan di samping entri yang sesuai dengan alasannya, bukan ditebak, dan entri itu sendiri tetap utuh.