Menghubungkan Log Sistem ke Excel, Spreadsheet, dan AI

Lihatlah awal sebuah baris di /var/log/syslog atau /var/log/pesanJika bulannya diawali dengan tiga huruf — 10 Sep 04:11:07 — itu adalah RFC 3164, dan itulah yang masih ditulis oleh sebagian besar server Linux secara default. Jika diawali dengan angka dalam tanda kurung siku diikuti oleh stempel waktu ISO 8601 lengkap, itu adalah RFC 5424.

Anda tidak perlu yakin sebelum memulai. Laporan koneksi uji akan menunjukkan profil mana yang dikenali dan seberapa banyak bagian file yang cocok, sehingga jawabannya berasal dari file Anda yang sebenarnya, bukan dari tebakan.

Tidak. Kedua format tersebut didukung, jadi format mana pun yang sudah digunakan server Anda adalah format yang harus dipilih — dan format default klasik adalah format yang paling banyak diuji.

Satu perubahan yang perlu dipertimbangkan tidak terkait dengan format: jika Anda sudah meneruskan log dari beberapa mesin ke satu kolektor, arahkan Agen ke folder kolektor tersebut dan Anda akan mendapatkan setiap host dalam satu konektor, karena setiap baris membawa host asalnya.

Tahun diambil dari waktu modifikasi file. Arsip yang dirotasi dan terakhir ditulis pada bulan Desember dibaca sebagai Desember, bukan setiap baris dimasukkan ke tahun berjalan seperti yang dilakukan oleh parser sederhana.

Batasan ini perlu diketahui: jika stempel waktu suatu file telah diratakan — dipulihkan dari cadangan yang tidak menyimpannya, atau disalin dengan cara yang mengatur ulang stempel waktu tersebut — inferensi bekerja berdasarkan apa yang dikatakan sistem file. Teks asli selalu disimpan di samping nilai yang diuraikan, sehingga Anda dapat melihat apa yang sebenarnya ada di baris tersebut.

Tidak, dan ini adalah langkah penyiapan yang sering dilewati orang. Jurnal pada disk adalah basis data biner, dan Query Streams tidak membukanya. Yang dibacanya adalah format ekspor: journalctl -o export > journal.export, di folder mana pun yang dapat dibaca oleh Agen.

Dalam praktiknya, itu berarti tugas terjadwal kecil di server — pengatur waktu atau entri cron yang menulis ekspor ke suatu tempat yang sudah dicari oleh Agen. Semua hal setelah itu otomatis, dan ekspor yang dikompresi dengan gzip juga dibaca.

Tidak ada satu pun yang memiliki profil di sini. Tiga format di halaman ini adalah Linux dan Unix, dan kami lebih memilih untuk menyebutkan celah tersebut daripada membiarkan kata-kata "log sistem" menyiratkan cakupan yang sebenarnya tidak ada.

Meskipun demikian, ada solusi untuk kasus Windows. Membaca Log Peristiwa langsung adalah masalah yang berbeda dari membaca file teks — ini adalah saluran terstruktur, bukan folder berisi baris — dan termasuk dalam konektor terpisah, bukan konektor ini. Tetapi jika Anda sudah mengekspor peristiwa tersebut ke teks atau CSV sesuai jadwal, folder tersebut dapat dibaca hari ini: jelaskan tata letaknya sekali dengan log kustom konektor dan ekspornya menjadi tabel seperti hal lainnya di halaman ini.

Ya, dan ada baiknya mempertimbangkan hal ini sebelum Anda mengirimkan pertanyaan, bukan setelahnya. log otentikasi adalah catatan tentang siapa yang terhubung dari mana, yang merupakan data pribadi di sebagian besar yurisdiksi, dan pesan syslog adalah teks bebas yang dapat berisi apa pun yang dipilih program untuk dicetak.

Query Streams tidak mengubah isi file, jadi penjelasan yang jujur adalah bahwa tabel tersebut mewarisi sensitivitas file. Dua hal yang membantu: kueri yang tersimpan membagikan hasilnya, bukan koneksinya, sehingga penerima tidak pernah mendapatkan seluruh log; dan filter memungkinkan Anda mempersempit kueri ke program yang benar-benar dibutuhkan seseorang sebelum Anda membagikannya kepada mereka.

Dalam kasus inilah format ini paling baik. Ketiga format tersebut membawa host sebagai kolom — dua format syslog membacanya dari baris, dan ekspor jurnal mengambilnya dari kolom nama host-nya sendiri — sehingga folder yang dikumpulkan dari empat puluh mesin adalah satu konektor, dan pengelompokan berdasarkan host adalah hal yang biasa. KELOMPOKKAN BERDASARKAN.

Server di gedung atau wilayah yang berbeda juga berfungsi. Setiap lokasi menjalankan Agennya sendiri, dan kueri gabungan dapat membaca data dari semua lokasi tersebut dalam satu pernyataan pada paket Bisnis dan Perusahaan.

Data tersebut dipertahankan, bukan dihapus. Baris yang tidak sesuai dengan format yang disematkan akan tetap disimpan sebagai baris mentah dengan alasan yang terlampir, sehingga entri yang salah format atau perubahan format yang tidak terduga akan muncul sebagai sesuatu yang dapat Anda lihat dan periksa, bukan sebagai celah tersembunyi dalam angka Anda.

Hal yang sama berlaku untuk nilai jurnal yang ditandai formatnya sebagai biner: nilai tersebut ditempatkan di samping entri yang sesuai dengan alasannya, bukan ditebak, dan entri itu sendiri tetap utuh.