nginx, Apache, IIS Baru

Menghubungkan Log Server Web ke Excel, Spreadsheet, dan AI

Q: Apa yang terjadi pada log yang telah dirotasi dan dikompresi?

File-file tersebut dibaca. Query Streams memahami tiga gaya rotasi yang digunakan server-server ini - pengacakan bernomor logrotate, file baru per hari menurut tanggal baru IIS, dan pengguliran berdasarkan stempel waktu Caddy - dan membaca arsip .gz di tempat tanpa Anda perlu mendekompresinya. File dicocokkan berdasarkan hash dari 4 KB pertama file tersebut, bukan berdasarkan nama, sehingga file yang dirotasi dikenali sebagai file yang sudah pernah dilihat sebelumnya. Itulah yang mencegah rotasi kehilangan satu hari atau menghitung dua kali satu hari.

Q: Log saya tersimpan di beberapa server. Bisakah saya mengakses log tersebut secara bersamaan?

Ya. Setiap baris berisi kolom situs, jadi satu kueri dapat mencakup beberapa host dan mengelompokkan berdasarkan apa pun yang Anda inginkan. Anda dapat menerapkan Agen per lingkungan atau per wilayah, dan semuanya menampilkan folder mereka dalam daftar yang sama. Karena ini adalah SQL biasa, Anda dapat melangkah lebih jauh dan menggabungkan log permintaan ke basis data sungguhan - mencocokkan lonjakan kode kesalahan 500 dengan tabel penerapan, atau permintaan checkout yang lambat dengan pesanan yang terkait.

Log akses Anda sudah berupa tabel — mulailah melakukan kueri. nginx, Apache, Caddy, dan IIS menulis setiap permintaan ke disk dalam format yang telah stabil selama beberapa dekade — dan kemudian hampir tidak ada yang melakukan kueri. Arahkan Query Streams ke folder log dan file-file tersebut akan menjadi tabel SQL: kode status, waktu respons, IP klien, jalur, agen pengguna. Rotasi dan .gz Arsip disertakan, tidak ada perantara pengiriman kayu.

Mulai gratis 11 destinasi

1koneksi

0port masuk

hanya bacadiberlakukan

4 format blog web nginx · Apache · Caddy · IIS Rotasi dan arsip .gz disertakan. Hanya baca · tidak ada yang terpasang di server

Ide besar

Folder log akan berubah menjadi tabel yang dapat Anda kelompokkan dan gabungkan.

Query Streams membaca file yang sudah ditulis oleh server web Anda, menetapkan formatnya, dan memberi Anda kolom bertipe. Tidak ada agen di server, tidak ada jalur pengiriman, tidak ada indeks yang perlu dipelihara — dan baris yang tidak dapat dibaca oleh parser akan tetap disimpan sebagai baris dengan alasan, bukan dihilangkan secara diam-diam.

Folder logpada host

log aksesCaddy

akses.log.2.gznginx

u_ex260909.logIIS

Rotasi, arsip terkompresi, dan pembacaan ulang file — ditangani.

kesalahan lambat.sqlSQL

PILIH jalur,
       menghitung(*) AS pukulan,
       bulat(rata-rata(durasi_detik) * 1000) AS MS
DARI   kumpulan file.kejadian
DI MANA  status >= 500
KELOMPOKKAN BERDASARKAN jalur
PESAN OLEH pukulan DESC

Hasil5xx berdasarkan jalur

jalurpukulanMS

/api/ekspor4128,140

/api/laporan963,502

/check-out311,208

/mencari7944

Gabungkan dengan basis data aplikasi Anda dalam kueri yang sama.

File yang sudah ditulis oleh server Anda, kini menjadi tabel yang dapat Anda gunakan untuk membuat laporan.

Server

Empat server, empat format, tanpa konfigurasi.

Setiap kartu menyebutkan file persis yang dibaca Query Streams di server tersebut dan lokasi file-file tersebut. Anda tidak perlu mengubah konfigurasi pencatatan log agar ini berfungsi — format default adalah format yang didukung.

Log server web yang didukung

4 format · 4 server

nginxAkses dan kesalahan

log akses format gabungan default
error.log level, pid, koneksi, dan pesan
Biasanya /var/log/nginx
Lampiran; rotasi bernomor diikuti

Server HTTP ApacheAkses

log akses format gabungan dan umum
Satu parser mencakup Apache dan nginx — format aksesnya sama.
/var/log/apache2, atau httpd di RHEL
Lampiran; rotasi bernomor diikuti

CaddyCaddy 2 JSON

log akses satu objek JSON per permintaan
Nama server TLS, versi, dan pemulihan sesi disertakan.
Durasi respons hingga mikrodetik
Gulungan ke akses-<cap waktu>.log.gz; setiap anggota membaca sekali

Microsoft IISW3C diperpanjang

u_ex*.log Format diperluas W3C
Itu #Bidang: Header menentukan kolom, jadi pilihan field Anda akan diikuti.
C:\inetpub\logs\LogFiles\W3SVC<situs>
Satu file baru bertanggal setiap hari, tidak pernah diganti namanya.

Lebih banyak yang datang.Ini baru permulaan, bukan batas atas.

Format log server web dan proxy baru ditambahkan dengan setiap rilis Agent. Karena Agent selalu memperbarui diri, format yang ditambahkan belakangan akan muncul di konektor Anda tanpa perlu ada yang menyentuh server.

Keempat parser tersebut dibangun dan diuji terhadap berkas log asli yang diambil, termasuk rotasi dan arsip terkompresi — profil Caddy diuji terhadap log yang diambil langsung dari host produksi kami sendiri.

Setiap wilayah

Log akses dari setiap edge, baca di mana mereka mendarat

Suatu permintaan tidak selalu mencapai benua yang sama dua kali. Titik akses Anda berada di satu wilayah, titik asal Anda di wilayah lain, dan sesuatu yang lebih lama masih berjalan di kantor. Setiap lokasi menjalankan Agen Jaringan yang membaca file log di tempat mereka berada dan melakukan panggilan keluar ke Aliran Kueri. Sejauh yang diketahui firewall Anda, itu adalah koneksi keluar biasa — tidak ada yang perlu dibuka, tidak ada VPN yang perlu dibangun, dan tidak ada pengirim log yang perlu dipertahankan.

Uni Eropa Barat Caddy di edge, log akses JSON bergulir berdasarkan stempel waktu. menelepon keluar

AS-Timur nginx origin di belakangnya, logrotate dan .gz arsip menelepon keluar

Kantor pusat Sebuah server IIS masih melayani satu aplikasi internal. menelepon keluar

Tiga koneksi keluar, satu tempat untuk menanyakan koneksi tersebut — tanpa port masuk, tanpa VPN, tanpa perubahan firewall.

Satu agen per lokasi

Agen mencakup seluruh lokasi, bukan hanya satu file log, dan di dalam satu lokasi, struktur folder dari banyak host merupakan satu konektor tunggal — setiap baris membawa informasinya sendiri. lokasiPaket gratis hanya menjalankan satu Agen, sedangkan paket yang lebih tinggi menjalankan lebih banyak Agen.

1 wilayah = 1 Agen = banyak host

Tidak ada yang bisa dibuka

Agen tersebut membuat satu koneksi keluar terenkripsi, dan permintaan keluar serta baris data yang kembali sama-sama melewati koneksi tersebut. Tidak ada port masuk, tidak ada VPN, tidak ada perubahan firewall yang perlu diminta — dan tidak ada yang meneruskan log Anda ke pihak ketiga di antaranya.

satu koneksi, dua arah

Satu kueri lintas wilayah

Setiap sumber dalam sebuah kueri terfederasi Ia menamai dirinya sendiri sebagai Agen, sehingga satu pernyataan dapat menempatkan titik akses di satu wilayah di samping titik asal di wilayah lain, atau menggabungkan salah satunya ke basis data aplikasi Anda. Termasuk dalam paket Bisnis dan Perusahaan.

2 wilayah → 1 set hasil

Mereka selalu memperbarui pengetahuan mereka.

Agen memperbarui diri secara otomatis, sehingga format log yang ditambahkan pada rilis selanjutnya menjangkau setiap wilayah tanpa perlu penyebaran sendiri. Itulah yang membuat batasan di atas menjadi titik awal, bukan daftar tetap.

Format baru hadir bersama Agen.

Bagian tersulit

Rotasi inilah yang menyebabkan ini bukan sekadar impor CSV.

Log web tidak diam saja. Log tersebut dirotasi, diganti namanya, dikompresi, dan dibuat ulang di bawah pengawasan Anda. Menangani hal itu dengan benar — tanpa celah dan tanpa menghitung baris dua kali — adalah sebagian besar pekerjaan.

Rotasi bernomor

Pengacakan logrotate klasik: file hari ini mempertahankan namanya dan file kemarin bergeser ke bawah satu nomor. Query Streams mengikuti konten, bukan nama.

access.log → access.log.1 → access.log.2.gz

Nama file berdasarkan tanggal

IIS tidak pernah mengganti nama apa pun — ia membuka file baru setiap hari dengan tanggal di dalam namanya. File lama tetap persis seperti semula, sehingga hanya dibaca sekali dan dibiarkan begitu saja.

u_ex260909.log · u_ex260910.log

Arsip terkompresi

Log yang dirotasi biasanya dikompresi menggunakan gzip. Query Streams membaca .gz anggota tetap di tempatnya — Anda tidak perlu mengendurkan apa pun atau memindahkannya ke tempat lain terlebih dahulu.

akses-2026-09-08T03-00-00.000.log.gz

Tidak ada yang dihitung dua kali.

Setiap berkas diberi sidik jari berdasarkan 4 KB pertamanya, sehingga berkas yang diganti namanya dikenali sebagai berkas yang sama. Jendela duplikasi bergulir menangkap tumpang tindih ketika penulis memutar ulang bagian akhir berkas.

Hash awalan 4 KB · jendela 20.000 catatan

Skema

Kolom yang sebenarnya Anda dapatkan

Bukan sekadar gumpalan teks dengan stempel waktu di sampingnya. Setiap format diuraikan menjadi kolom bertipe yang dapat Anda filter, kelompokkan, dan agregasi secara langsung.

Log akses gabungannginx · Apache

alamat IP klienotorisasimetodejalurhttp_versionstatusbyteperujukagen

Log kesalahannginx

tingkatpidpasang surutkoneksipesan

Log akses JSONCaddy 2

alamat IP klienIP jarak jauhport_jarak jauhmetodejalurhttp_versionstatusbytebyte_bacadurasi_detiknama_server_tlsversi_tlstls_dilanjutkanID penggunatingkatpencatatpesandata

Catatan lengkap W3CMicrosoft IIS

menyesapc_ipolahragacs_methodcs_uri_stemkueri_uri_csnama_pengguna csagen_pengguna_csstatus_scsc_substatussc_win32_statuswaktu yang dibutuhkan

Setiap baris juga membawa waktu_acara dan lokasi, sehingga satu kueri dapat mencakup beberapa host dan file asalnya tidak pernah diragukan.

Power Query M

Tempelkan Power Query M yang dihasilkan ke dalam Power BI Advanced Editor dan laporan akan membaca hasil log server web langsung melalui HTTPS — tanpa driver ODBC, tanpa port basis data yang dibuka.

Cara kerja Power BI

Didukung

Log server web, peringatan, dan laporan

Slack · Discord · Email · Webhook

Atur jadwal untuk menjalankan kueri log server web dan kirimkan baris-baris data ke Slack, Discord, email, atau webhook yang ditandatangani — atau tahan pesan hingga jumlah baris, ambang batas, atau perubahan persentase melampaui batas yang Anda tetapkan.

Cara kerja peringatan dan laporan

Kartu peringatan adalah yang perlu diperhatikan lebih detail untuk log: kueri terjadwal terhadap jumlah 5xx Anda tidak memerlukan kehadiran siapa pun, sehingga lonjakan akan mencapai Slack dengan sendirinya. Panduan langkah demi langkah khusus log belum ditulis — halaman yang ditautkan menjelaskan cara kerja setiap antarmuka.

Apa yang sengaja tidak kita baca

Log akses produksi memuat lebih banyak informasi daripada yang Anda inginkan dalam tabel pelaporan. Format JSON Caddy mencatat peta header permintaan dan respons lengkap, dan secara rutin berisi cookie sesi dan token bearer. Profil Caddy mengecualikan permintaan.header dan header respons Melalui deklarasi — bukan melalui filter yang harus Anda ingat untuk diaktifkan, dan bukan setelahnya. Kolom-kolom tersebut tidak pernah diuraikan, sehingga tidak pernah sampai ke tabel, ekspor, atau spreadsheet.

Bagian desain lainnya mengikuti prinsip yang sama. Agen terhubung keluar dan membaca file; tidak ada yang diinstal pada server web, tidak ada yang ditulis kembali ke server tersebut, dan aksesnya hanya untuk membaca.

Cara kerjanya

Tiga langkah, dan tidak ada yang terinstal di server web.

Arahkan kursor ke folder log.

Berikan akses baca kepada Query Streams Agent ke folder tempat server Anda sudah mencatat log — /var/log/nginx, /var/log/caddy, sebuah IIS Berkas Log direktori, atau folder bersama tempat Anda menyinkronkannya.

Sistem mengenali format tersebut.

Query Streams mengidentifikasi format dari isi baris, bukan nama file — jadi file dengan nama yang aneh tetap dapat dibaca, dan file yang tidak sesuai dengan format yang ditetapkan akan dihentikan sementara dengan alasan tertentu, alih-alih merusak tabel.

Lakukan query, atau gabungkan

Jalankan SQL dari portal, terapkan langsung di Microsoft Excel atau Google Sheets, atau gunakan kueri gabungan untuk menggabungkan log permintaan dengan pengguna dan pesanan di basis data aplikasi Anda — dalam satu pernyataan.

Pertanyaan yang Sering Diajukan (FAQ) tentang log server web

Apakah saya perlu mengubah konfigurasi pencatatan log saya?

Tidak. Setiap format yang didukung adalah format default untuk server tersebut: log akses gabungan untuk nginx dan Apache, log akses JSON untuk Caddy 2, dan format W3C yang diperluas untuk IIS. Jika Anda belum pernah mengubah format log Anda, Anda sudah memiliki format yang didukung.

IIS adalah kasus yang fleksibel, dan ditangani dengan benar — #Bidang: Direktif di bagian atas file W3C memberi nama kolom-kolomnya, jadi kolom mana pun yang Anda pilih di IIS Manager adalah kolom yang Anda dapatkan.

Apakah ini waktu nyata?

Ini berbasis permintaan (on-demand) dan bukan streaming. Query Streams membaca file sebagaimana adanya di disk saat Anda menjalankan kueri, sehingga permintaan baru muncul saat server Anda menuliskannya dan file tersebut diambil — bukan berdasarkan jadwal tetap setiap malam, tetapi juga bukan secara terus-menerus (live tail).

Jika Anda memerlukan peringatan kurang dari satu detik untuk sebuah permintaan saat terjadi, pipeline log adalah alat yang tepat. Namun, jika Anda hanya ingin menanyakan data lalu lintas beberapa minggu terakhir dan mendapatkan jawabannya dalam spreadsheet, ini jauh lebih sederhana.

Apa yang terjadi pada log yang telah dirotasi dan dikompresi?

Data tersebut dibaca. Query Streams memahami tiga gaya rotasi yang digunakan server ini — pengacakan bernomor logrotate, file baru per hari menurut tanggal baru IIS, dan pengguliran berdasarkan stempel waktu Caddy — dan membacanya. .gz arsip tetap berada di tempatnya tanpa Anda perlu mengekstraknya.

Berkas dicocokkan berdasarkan hash dari 4 KB pertama, bukan berdasarkan nama, sehingga berkas yang dirotasi dikenali sebagai berkas yang sudah pernah dilihat sebelumnya. Itulah yang mencegah rotasi kehilangan satu hari atau menghitung dua kali satu hari.

Log saya tersimpan di beberapa server. Bisakah saya mengakses log tersebut secara bersamaan?

Ya. Setiap baris memuat lokasi kolom, sehingga satu kueri dapat mencakup host dan mengelompokkan berdasarkan apa pun yang Anda inginkan. Anda dapat menerapkan Agen per lingkungan atau per wilayah, dan semuanya menampilkan folder mereka dalam daftar yang sama.

Karena ini adalah SQL biasa, Anda dapat melangkah lebih jauh dan menggabungkan log permintaan ke basis data sungguhan — mencocokkan lonjakan kode kesalahan 500 dengan tabel penyebaran, atau permintaan checkout yang lambat dengan pesanan yang terkait.

Apakah aplikasi ini membaca cookie atau header otorisasi?

Tidak. Format JSON Caddy adalah satu-satunya dari keempat format tersebut yang mencatat header map, dan profil tersebut mengecualikannya. permintaan.header dan header respons berdasarkan deklarasi, sehingga tidak pernah diuraikan menjadi kolom. Format gabungan, kesalahan, dan W3C pada awalnya tidak mengandung header.

Alamat IP klien dan agen pengguna diuraikan, karena itulah inti dari log akses — perlakukan tabel yang dihasilkan dengan kehati-hatian yang sama seperti file log asalnya.

Bagaimana dengan baris yang tidak dapat dibaca oleh parser?

Data tersebut dipertahankan, bukan dihapus. Baris yang tidak sesuai dengan format yang disematkan akan tetap disimpan sebagai baris mentah dengan alasan yang terlampir, sehingga entri yang salah format atau perubahan format yang tidak terduga akan muncul sebagai sesuatu yang dapat Anda lihat dan periksa, bukan sebagai celah tersembunyi dalam angka Anda.

Data lalu lintas Anda sudah tersimpan di disk.

Hubungkan folder log dan jalankan kueri pertama Anda terhadapnya dalam beberapa menit. Tingkat gratis, tanpa kartu kredit, tidak ada yang diinstal di server web.

Mulai Gratis Lihat semua konektor

Hanya baca · koneksi keluar saja · log Anda tetap berada di server Anda