接続する ウェブサーバーログ Excel、Sheets、AIへ

いいえ。サポートされている各フォーマットは、そのサーバーのデフォルトフォーマットです。nginxとApacheの場合は結合アクセスログ、Caddy 2の場合はJSONアクセスログ、IISの場合はW3C拡張フォーマットです。ログフォーマットを一度も変更したことがない場合は、既にサポートされているフォーマットが使用されています。

IIS は柔軟なケースであり、適切に処理されます。 #フィールド: W3Cファイルの先頭にあるディレクティブによって列名が指定されるため、IISマネージャーで選択したフィールドがそのまま列として表示されます。

これはストリーミングではなくオンデマンド方式です。Query Streamsは、クエリ実行時にディスク上のファイルをそのまま読み込むため、サーバーがファイルを書き込み、ファイルが取得されると、新しいリクエストが表示されます。これは、毎晩決まったスケジュールで実行されるわけでも、リアルタイムで処理されるわけでもありません。

リクエストが発生した瞬間に1秒未満のアラートが必要な場合は、ログパイプラインが最適なツールです。過去数週間のトラフィックに関する質問をし、スプレッドシートで回答を得たいだけであれば、ログパイプラインの方がはるかに少ないシステムで済みます。

それらは読み取られます。Query Streams は、これらのサーバーが使用する 3 つのローテーション スタイル (logrotate の番号付きシャッフル、IIS の new-dated-file-per-day、Caddy のタイムスタンプ付きロール) を理解し、それらを読み取ります。 .gz 解凍しなくてもアーカイブはそのまま残ります。

ファイルはファイル名ではなく、最初の4KBのハッシュ値によって照合されるため、ローテーションされたファイルは既に確認済みのファイルとして認識されます。これにより、ローテーションによって日付が失われたり、二重にカウントされたりするのを防ぎます。

はい。各列には サイト 列を使用するため、1つのクエリでホストをまたいで、必要な項目でグループ化できます。環境ごと、またはリージョンごとにエージェントをデプロイでき、すべてのエージェントが同じリストにフォルダを表示します。

通常のSQLなので、さらに進んでリクエストログを実際のデータベースと結合することも可能です。例えば、500エラーの急増をデプロイメントテーブルと照合したり、遅いチェックアウトリクエストをそれらが属する注文と照合したりできます。

いいえ。CaddyのJSON形式は、4つの中で唯一ヘッダーマップを記録する形式であり、プロファイルは リクエストヘッダー そして resp_headers 宣言によって指定されているため、列として解析されることはありません。結合形式、エラー形式、およびW3C形式には、そもそもヘッダーが含まれていません。

クライアントのIPアドレスとユーザーエージェントは、アクセスログの要となる情報であるため解析されます。結果として得られるテーブルは、元のログファイルと同様に慎重に取り扱ってください。

削除されるのではなく、保持されます。固定されたフォーマットと一致しない行は、理由が付加された生の行として保持されるため、不正な入力や予期しないフォーマット変更は、数値の空白としてではなく、確認および照会可能な形で表示されます。