SQLを使用してnginx、Apache、IISのログを照会する

フォルダーコネクタ · ウェブログ

nginx、Apache、IIS、またはCaddyのアクセスログを SQLテーブル どこからでも問い合わせできます

Query Streams Agent を該当のフォルダに指定してください。エージェントは自身のコンピュータ上でログファイルを読み込み、ローカルキャッシュにテーブルを作成し、ファイルの到着、変更、削除に応じて常に最新の状態に保ちます。Excel、Google Sheets、Nova、Claude、または REST API からクエリを実行できます。ファイルのアップロードや変換、編集は一切行われません。

約15分 コーディングは不要です ファイルはネットワーク上に残ります 無料プランでカバーされます

最終的に手に入るもの

最終的に、次のようなテーブルが得られます。 イベント において ファイルセット スキーマには、nginx、Apache、IIS、またはCaddyアクセスログからのリクエストごとに1行が格納されます。nginxとApacheを組み合わせたプロファイルでは、列は次のようになります。 サイト, クライアントIP, 認証, 方法, パス, http_version, ステータス, バイト, 紹介者 そして エージェントプラス イベント時間Excel、Google スプレッドシート、ダッシュボード、またはクエリ ストリームに対応するツールから SQL を使用してクエリを実行できます。ログ ファイルは、エージェントが実行されているコンピューターから外部に送信されることはありません。

リクエストは イベントまたは テーブル名 あなたが設定します。各行には _stream_id （ログファイルごとに1つ、ローテーション後も保持） _行番号, イベント時間, イベント時間_生データ識別列 サイトプロファイルのリクエスト列、 _ソースファイル そして _row_idブラウザ文字列は エージェントIIS W3C ログは、次のような独自の名前を保持します。 c_ip, cs_method, cs_uri_stem そして sc_status常に並べ替える イベント時間.

すべてのフォルダーコネクタには、 ファイル, ファイルイベント, ディレクトリ, ディレクトリスナップショット そして ボリューム.

その価値を発揮する場所：

• スキャンごとに更新されるダッシュボードで、パスごとの4xxおよび5xxの発生率を追跡します。
• nginxまたはIISの1週間分のトラフィックデータをGoogleスプレッドシートに取り込んで、簡単なレポートを作成しましょう。
• サードパーティサービスにログを送信せずに、最も多くのリクエストを送信しているクライアントIPアドレスを特定します。

必要なもの

クエリストリームアカウント

フォルダコネクタは、無料プランを含むすべてのプランで利用できます。無料プランは、期限付きの試用期間ではなく、継続して利用できるプランです。フォルダに保存できるファイル数に制限はありません。

エージェント、バージョン2.6.0以降

フォルダーを開くことができるコンピューター（ファイルサーバー自体、オフィスコンピューター、またはファイルが保存されるマシン）にインストールします。古いエージェントではフォルダーカードがグレー表示され、 エージェント 2.6.0+ バッジ。Windows、Mac、Linuxに対応。

エージェントから見たフォルダのパス

ローカルパス、または次のように記述されるネットワーク共有 \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /月 または /メディア, a Mac under /Volumes).

5つのステップで設定できます

1. フォルダを開くことができるコンピュータにエージェントをインストールしてください。

   サインインして開く ダウンロードnginx、Apache、IIS、またはCaddyのアクセスログを開くことができるコンピューター（ファイルサーバー、または共有フォルダにアクセスできる常時稼働のコンピューターなど）に、お使いのシステム用のエージェントをインストールしてください。インストールには1分ほどかかり、その後は自動的に起動します。バージョン2.6.0以降が必要です。ダウンロードページには常に最新バージョンが掲載されています。

   ドライバではなく、なぜ小さなプログラムを使うのか？ エージェントは、Windows、Mac、Linux 用の単一のインストールで済みます（Windows では約 85 MB、Mac と Linux では 100 MB 強）。Query Streams への暗号化されたアウトバウンド接続を 1 つだけ開き、ネットワーク パスはそれだけで済みます。受信ポートを開く必要も、VPN も不要です。エージェントは、自身が配置されているフォルダを読み込むため、ファイルは元の場所に保持され、クエリが返す行のみがインターネット経由でユーザー側のアドイン、ブラウザ、または AI クライアントに送信されます。

   ダウンロードページには アクセスキーエージェントに求められたら貼り付け、バッジが読み取るまで待ちます。 クエリ ストリームに接続しましたエージェントのコンピューターで行うのはそれだけです。それ以外の操作はすべてブラウザ上で行われます。

   ご希望であれば、完全攻略ガイドもご用意しています。 Windows, マック, Linux.

2. nginx、Apache、IIS、またはCaddyのアクセスログを指定してください。

   ブラウザに戻って データ → データエージェント先ほどインストールしたエージェントを見つけてクリックします コネクタを追加する ボタン。 ファイルとフォルダ 錠剤を選んで ウェブサーバーログ カード。どのカードが合うか分からない？ フォルダ内のファイル 代わりに、エージェントがフォルダをサンプリングし、「検出されたもの」ページにフォルダの内容を表示し、適切なカードを事前に入力した状態で開きます。

   魔法使いが走る フォルダー → チェック → 設定 → レルム → レビュー。 の上 フォルダー:

   ルートフォルダ

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   サブフォルダーのスキャン、最大深度

   デフォルトでは、オンで8段階のレベル設定が可能です。

   パターンを含める、パターンを除外する

   どのファイルがカウントされるか。インクルードパターンはこのカードの適切なグロブから始まります。1つのコネクタは1つのファイルタイプ（CSVファイルを含むフォルダ）を読み取ります。 そして Parquetファイルは、同じフォルダ内に2つのコネクタがあり、それぞれファイルの種類ごとに1つずつあります。

   シンボリックリンクとジャンクションをたどる

   デフォルトでは無効になっています。この設定を有効にしない限り、エージェントはショートカットやクラウドプレースホルダーを追跡しません。

   ログフォルダを開くことができるエージェントで、 コネクタを追加する、 開ける ファイルとフォルダ そして ウェブサーバーログ カード。保存すると、コネクタリストに次のように表示されます。 ログファイル.

   • 説明 コネクタの名前。
   • ルートフォルダ — エージェントコンピュータ上のフォルダを1行に1つずつ入力します。共有を次のように入力します。 \\server\share\folderマッピングされたドライブレターではありません。
   • パターンを含める — 開始する **/access*.log*, **/error*.log* そして **/*。ログ.
   • ログタイプ — サーバーのプロファイルを選択してください。プロファイルによって列が異なるため、ログ形式ごとにコネクタを 1 つ使用してください。リストは組み込まれています。 カスタムログフォルダ フォーマットを定義できます。
   • テーブル名 — オプション、デフォルトは イベント.
   • 埋め戻し（日数） — 30. イベントをN日間保持する — 60。

3. 何が作られるか確認してください

   の上 チェック エージェントは最大64個のファイルのサンプルを読み込み、構築するものを表示します。まだ何も作成されていません。ボタンには次のように表示されます。 接続テスト 判決が出るまでは、 次のページ; もう一度テストしてください 変更を加えると、サンプルが再実行されます。次の4つの見出しのうちの1つが表示されます。

   作成準備完了

   サンプリングされたファイルはすべて収まります。その下のチップには、アクセス可能なフォルダの数、ファイルと行の数、そして存在するテーブルが示されています。

   準備完了、メモ付き

   一部のファイルは保留されるか、レイアウトスニッフが拒否されます。琥珀色のバナーには、どのファイルが保留されるかが正確に表示されます。「{m} 個のファイルのうち {n} 個が保留されます」 どのファイルとその理由を表示する リストが表示され、「それでも作成することは可能です。コネクタは再チェックを続け、マニフェストタブに理由を報告します。」と表示されます。

   これらのファイルはこのログタイプではありません

   サンプルはこのカードのログ形式として解析されませんでした。正しいカードを選択したか確認するか、 カスタムログフォルダ カードを作成し、その形式を説明してください。

   拒否や保留されたファイルによってブロックされることはありません: クリック 次のページウィザードを完了させ、後で不要なファイルを修正してください。エージェントがオフラインの場合、またはフォルダが見つからない場合にのみ、ウィザードが停止します。

   サンプルが選択したログタイプと一致しない場合、 チェック 見出しには「これらのファイルは」と表示され、その後に種類が続きます。 エージェントによる完全な報告書 理由を確認するには、別のものを選んでください ログタイプ そしてクリック もう一度テストしてください拒否や保留されたファイルがあっても、あなたは止まりません。引き続きクリックできます。 次のページ そしてコネクタを作成します。再チェックを繰り返し、その理由を報告します。 マニフェスト タブ。

4. スキャン頻度を選択してから作成します。

   デフォルト設定 設定 1日に数個のファイルを受信するフォルダに適しています。変更したい4つの項目：

   スキャン間隔

   毎時 デフォルトでは、5分ごとから毎日まで選択できます。各スキャンでは、ファイルサイズと更新日時を比較して、新規作成、変更、および削除されたファイルを検出します。

   変更を監視するフォルダ（ほぼリアルタイム）

   デフォルトでは無効になっています。有効にすると、エージェントはローカルディスク上では数秒以内に反応します。ネットワーク共有上ではベストエフォート型となり、スケジュールされたスキャンが保証されます。 静穏期 （15秒）ファイルの書き込みが完了するまで待機します。

   質問に回答する前にページを更新してください

   デフォルトではオフ。オンにすると、クエリは、前回のスキャンが次のスキャンよりも古い場合に最初に再スキャンします。 陳腐化期間 （60秒）待つ時間は最大で クエリ待機制限 （5秒）。これはユーザーとアドインに適用され、アラートのポーリングには適用されません。

   ファイルが消えたとき

   行を削除する デフォルトでは、または 行を保持し、削除済みとしてマークする（墓石マーク）。. バニッシュガード比率 （0.5）は、一度に半分以上のファイルを失うスキャンを拒否し、以前のインベントリを保持します。これはオフライン共有の状態です。

   次に データ領域 行数はカウントされます、チェック レビュー そしてクリック コネクタを作成する最初のスキャンがすぐに開始されます。コネクタの マニフェスト タブには、作成されたものや保存されたファイルが表示されます。

5. テーブルを見てください

   コネクタを開く: マニフェスト タブには、作成したテーブルと ファイル ダイアログには、すべてのログ ファイルとその状態が表示されます。 クエリビルダー 同じテーブルが下に置かれている ファイルセット スキーマ。初日から使える3つのクエリ：

   過去7日間で404件のアクセスがあった上位パス

   SELECT path, COUNT(*) AS hits FROM fileset.events WHERE status = 404 AND event_time >= now() - INTERVAL 7 DAY GROUP BY path ORDER BY hits DESC LIMIT 20

   今週最もリクエストの多かった欠落ページ一覧です。スプレッドシートまたはExcelのクエリに貼り付けると、スキャンするたびに更新されます。

   5xx エラーの背後にあるクライアント IP アドレスと、提供されたバイト数

   SELECT client_ip, COUNT(*) AS error_count, SUM(bytes) AS total_bytes, MAX(event_time) AS last_seen FROM fileset.events WHERE status >= 500 GROUP BY client_ip ORDER BY error_count DESC LIMIT 100

   どのクライアントが最も頻繁にサーバーエラーを発生させたか、またそれらが最後に確認されたのはいつだったか。エージェントにフィルターを追加して、ボットとブラウザを区別する。

   今週ローテーションまたは保留されたログファイルはどれですか？

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('rotated', 'truncated', 'rewritten', 'drift', 'refused') AND event_at >= now() - INTERVAL 7 DAY ORDER BY event_at DESC LIMIT 100

   今週のファイルレベルの履歴：ローテーション、切り捨て、および保留されたファイルとその詳細な理由。

   すべてのフォルダー コネクタは、同じ簿記テーブルも提供します。 ファイルセット スキーマ:

   テーブル	中身
   ファイル	現在フォルダ内にあるすべてのファイル：パス、名前、拡張子、サイズ、作成日時と変更日時、最初と最後に閲覧された日時。 files_currentまた、消失したファイルも保存している。
   ファイルイベント	変更履歴: ファイルごとに 1 行 現れた、 だった 修正済み, 消えた、は除外された（ドリフト）または 拒否した時間が経つにつれて イベント_atどのように注目されたか 検出された そしてその理由は 詳細.
   ディレクトリ, ディレクトリスナップショット, ボリューム	フォルダの数とサイズ、それらの成長過程、そしてルートフォルダが存在するディスクまたは共有フォルダ。
   _ソースファイル, _row_id	各データ行には2つの列があります。1つは行の由来となるファイル、もう1つはそのファイル内の安定した行IDです。グループ化基準 _ソースファイル ファイルを比較する。

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the フォルダー step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

どこでも使ってください

コネクタは、クエリ ストリーム内の他のデータ ソースと同様です。クエリを一度保存すると、 クエリビルダー （方言はDuckDBです）そして、以下から使用します。

エクセル

アドインの クエリをストリーミングする 行をシートにドロップし、クリックすると再実行します。 ExcelでSQLを実行する.

グーグル シート

の クエリストリーマー アドオンは、選択したタブに自動的に追加されます。 パワー・クエリ・フォー・グーグル・シート.

Claude、Cursor、その他のAIクライアント

Query Streams MCPサーバーを介して、Claudeはフォルダーモデルを知っています。 _ソースファイル そして ファイルイベント. MCP経由でクロードと交わすウェブログ.

REST API

保存されたクエリはすべて、プランごとに固有のキーを持つ読み取り専用エンドポイントになります。 WebログREST API.

ノヴァ

ビジネスプランについて、分かりやすい言葉で質問してください。Novaは、組み込みの説明からすべてのフォルダ、テーブル、列を把握しています。

自動化

行をAirtable、Smartsheet、Baserow、SeaTable、またはスケジュールに基づいてシートに同期します。 自動化ガイド.

フォルダー テーブルは他のコネクタにも結合します。フェデレーション クエリは一致させることができます _ソースファイル nginx、Apache、IIS、またはCaddyのアクセスログに、同じエージェント上のデータベースに対する名前または注文IDが記録されていることを確認します。

新規ファイル、変更ファイル、削除ファイルがどのように表示されるか

脇に置かれたファイル

「チェック」ステップと「マニフェスト」タブには3つの単語が表示されます。それぞれ意味が異なります。

駐車スペースを確保

ファイルが固定レイアウトと一致しないか、読み取り不能、破損、ロックされている、またはキャップを超えています。ファイルごとに処理は全行または全行のどちらかになります。つまり、保留中のファイルは行数をゼロとします。 ファイルイベント 記録する ドリフト 行の 詳細 ファイル名と列名を指定します。ファイルのサイズと更新日時が同じ間はスキップされ、変更があった場合はすぐに再試行されます。

判読不能

エージェントは、ファイルの種類（実際のワークブックではない、別のプログラムによってロックされている、クラウドのプレースホルダー、デコードできないバイトなど）に基づいて、ファイルを開くことも解析することもできませんでした。エージェントは自動的に待機し、残りのフォルダの処理を続行します。読み取り可能なファイルがゼロのフォルダのみが、フォルダ全体の処理を拒否します。

拒否した

エージェントはレイアウトを一切固定できませんでした。例えば、ファイル間で列の型が一致していない、データテーブルがまだ存在しない、といった理由が考えられます。 ファイルイベント 手に入れる 拒否した 理由付き行 詳細エージェントはレイアウトが固定されるまで、スキャンごとに再試行します。指定されたファイルを修正または除外すると、メッセージが消えます。

どこを探せばよいか: チェック (どのファイルとその理由を表示する）、コネクタの マニフェスト その後タブ、ログコネクタの場合は ファイル ダイアログには、理由とともに保存されたファイルが一覧表示されます。 最後のエラーSQLでは： SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

知っておくべき限界

フォルダ数やファイル数にプラン上の制限はありません。行数は他のコネクタと同様にデータレルムの容量にカウントされます。コネクタで上げ下げできるデフォルト値は以下のとおりです。

コンテンツキャップは、ファイルを切り捨てるのではなく、一時的に保存します。ファイルあたり2,000,000行または512 MiB、スキャンあたり10,000,000行または2 GiBです。フォルダには最大25種類のレイアウトを格納できます。 レイアウトごとにテーブル1つ モード。

人々が尋ねる質問

• ファイルシステム
• CSVフォルダ
• 寄木細工のフォルダー
• Excelフォルダ
• SQLiteフォルダ
• JSONLフォルダ
• 複数レコードのCSV
• マシンログ
• コンテナログ
• アプリケーションログ
• システムログ
• カスタムログ