SQLを使用してLinux Syslogファイルを照会する

フォルダーコネクタ · システムログ

Linux および Unix システムログを SQLテーブル どこからでも問い合わせできます

Query Streams Agent を該当のフォルダに指定してください。エージェントは自身のコンピュータ上でログファイルを読み込み、ローカルキャッシュにテーブルを作成し、ファイルの到着、変更、削除に応じて常に最新の状態に保ちます。Excel、Google Sheets、Nova、Claude、または REST API からクエリを実行できます。ファイルのアップロードや変換、編集は一切行われません。

約15分 コーディングは不要です ファイルはネットワーク上に残ります 無料プランでカバーされます

最終的に手に入るもの

システムログは、syslog、messages、auth.logなどのLinux syslogファイルとjournaldエクスポートファイルを読み込み、各行をテーブルの行に変換します。 イベント各行には ホスト, プログラム, pid そして メッセージ 行から取得されるため、grepやjournalctlに入力するような質問が、Excel、Googleスプレッドシート、またはダッシュボードから実行できるSQLになります。ファイルはエージェントを実行しているコンピューター上に保存されます。

解析された行は ファイルセット.イベントまたは テーブル名 選択したとおりです。エージェントは行をエージェントコンピュータ上のローカルキャッシュにコピーし、SQLとして提供します。以下の列は、デフォルトのRFC 3164ログタイプから取得されます。ファシリティまたは重大度列はありません。

すべてのフォルダーコネクタには、 ファイル, ファイルイベント, ディレクトリ, ディレクトリスナップショット そして ボリューム、ログコネクタを追加する ログカーソル 各ファイルの読み取り位置とともに。常に イベント時間順に並べ替え.

その価値を発揮する場所：

• ホストごと、送信元アドレスごとに、SSHログインの失敗回数をスプレッドシートに記録する。
• プログラムごとのログボリュームをグラフ化して、ループが発生しているサービスを特定します。
• logrotateで圧縮された後も、auth.logの60日間分をクエリ可能な状態に保つ。

必要なもの

クエリストリームアカウント

フォルダコネクタは、無料プランを含むすべてのプランで利用できます。無料プランは、期限付きの試用期間ではなく、継続して利用できるプランです。フォルダに保存できるファイル数に制限はありません。

エージェント、バージョン2.6.0以降

フォルダーを開くことができるコンピューター（ファイルサーバー自体、オフィスコンピューター、またはファイルが保存されるマシン）にインストールします。古いエージェントではフォルダーカードがグレー表示され、 エージェント 2.6.0+ バッジ。Windows、Mac、Linuxに対応。

エージェントから見たフォルダのパス

ローカルパス、または次のように記述されるネットワーク共有 \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /月 または /メディア, a Mac under /Volumes).

5つのステップで設定できます

1. フォルダを開くことができるコンピュータにエージェントをインストールしてください。

   サインインして開く ダウンロードLinuxおよびUnixシステムログを開くことができるコンピューター（ファイルサーバー、または共有フォルダにアクセスできる常時稼働のコンピューターなど）に、お使いのシステム用のエージェントをインストールしてください。インストールには1分ほどかかり、その後は自動的に起動します。バージョン2.6.0以降が必要です。ダウンロードページには常に最新バージョンが掲載されています。

   ドライバではなく、なぜ小さなプログラムを使うのか？ エージェントは、Windows、Mac、Linux 用の単一のインストールで済みます（Windows では約 85 MB、Mac と Linux では 100 MB 強）。Query Streams への暗号化されたアウトバウンド接続を 1 つだけ開き、ネットワーク パスはそれだけで済みます。受信ポートを開く必要も、VPN も不要です。エージェントは、自身が配置されているフォルダを読み込むため、ファイルは元の場所に保持され、クエリが返す行のみがインターネット経由でユーザー側のアドイン、ブラウザ、または AI クライアントに送信されます。

   ダウンロードページには アクセスキーエージェントに求められたら貼り付け、バッジが読み取るまで待ちます。 クエリ ストリームに接続しましたエージェントのコンピューターで行うのはそれだけです。それ以外の操作はすべてブラウザ上で行われます。

   ご希望であれば、完全攻略ガイドもご用意しています。 Windows, マック, Linux.

2. LinuxおよびUnixシステムのログを指定してください。

   ブラウザに戻って データ → データエージェント先ほどインストールしたエージェントを見つけてクリックします コネクタを追加する ボタン。 ファイルとフォルダ 錠剤を選んで システムログ カード。どのカードが合うか分からない？ フォルダ内のファイル 代わりに、エージェントがフォルダをサンプリングし、「検出されたもの」ページにフォルダの内容を表示し、適切なカードを事前に入力した状態で開きます。

   魔法使いが走る フォルダー → チェック → 設定 → レルム → レビュー。 の上 フォルダー:

   ルートフォルダ

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   サブフォルダーのスキャン、最大深度

   デフォルトでは、オンで8段階のレベル設定が可能です。

   パターンを含める、パターンを除外する

   どのファイルがカウントされるか。インクルードパターンはこのカードの適切なグロブから始まります。1つのコネクタは1つのファイルタイプ（CSVファイルを含むフォルダ）を読み取ります。 そして Parquetファイルは、同じフォルダ内に2つのコネクタがあり、それぞれファイルの種類ごとに1つずつあります。

   シンボリックリンクとジャンクションをたどる

   デフォルトでは無効になっています。この設定を有効にしない限り、エージェントはショートカットやクラウドプレースホルダーを追跡しません。

   ポータルで、フォルダーを表示できるエージェントを開き、クリックします。 コネクタを追加する。 下 ファイルとフォルダ 選ぶ システムログ作成後は、コネクタリストに次のように表示されます。 ログファイル.

   • ログフォルダを以下に追加します ルートフォルダ、 例えば /var/logLinuxでは、共有をマウントするには、 /月 または /メディア.
   • パターンを含める から始める **/syslog*, **/メッセージ* そして **/auth.log*ログドライバの一般的なデフォルト設定は次のとおりです。 **/*。ログ そして **/*。TXT.
   • 選ぶ ログタイプシステムログは、組み込みのタイプに限定されています。必要なタイプがリストにない場合は、「リストにないログタイプが必要ですか？サポートリクエストを送信していただければ、数日以内に追加いたします。」というメッセージが表示されます。
   • テーブル名 オプションであり、デフォルトは イベント.
   • 埋め戻し（日数） 30歳です。 イベントをN日間保持する デフォルト値は60です。

3. 何が作られるか確認してください

   の上 チェック エージェントは最大64個のファイルのサンプルを読み込み、構築するものを表示します。まだ何も作成されていません。ボタンには次のように表示されます。 接続テスト 判決が出るまでは、 次のページ; もう一度テストしてください 変更を加えると、サンプルが再実行されます。次の4つの見出しのうちの1つが表示されます。

   作成準備完了

   サンプリングされたファイルはすべて収まります。その下のチップには、アクセス可能なフォルダの数、ファイルと行の数、そして存在するテーブルが示されています。

   準備完了、メモ付き

   一部のファイルは保留されるか、レイアウトスニッフが拒否されます。琥珀色のバナーには、どのファイルが保留されるかが正確に表示されます。「{m} 個のファイルのうち {n} 個が保留されます」 どのファイルとその理由を表示する リストが表示され、「それでも作成することは可能です。コネクタは再チェックを続け、マニフェストタブに理由を報告します。」と表示されます。

   これらのファイルはこのログタイプではありません

   サンプルはこのカードのログ形式として解析されませんでした。正しいカードを選択したか確認するか、 カスタムログフォルダ カードを作成し、その形式を説明してください。

   拒否や保留されたファイルによってブロックされることはありません: クリック 次のページウィザードを完了させ、後で不要なファイルを修正してください。エージェントがオフラインの場合、またはフォルダが見つからない場合にのみ、ウィザードが停止します。

   の上 チェックエージェントはサンプルを読み込み、構築するものを表示します。まだ何も作成されていません。サンプルが選択したログタイプと似ていない場合、見出しには次のように表示されます。 これらのファイルは そのタイプの後に、琥珀色のバナーに「スキーマスニッフィングが拒否されました」という理由が表示されます。 どのファイルとその理由を表示する ファイルと理由グリッドを表示するには。通常の修正方法は別の ログタイプ例えば、RFC 3164 の代わりに RFC 5424 を使用するなど、より厳密な パターンを含める、そして もう一度テストしてくださいとにかく作成することもできます。コネクタは再チェックを続け、その理由を報告します。 マニフェスト タブ。

4. スキャン頻度を選択してから作成します。

   デフォルト設定 設定 1日に数個のファイルを受信するフォルダに適しています。変更したい4つの項目：

   スキャン間隔

   毎時 デフォルトでは、5分ごとから毎日まで選択できます。各スキャンでは、ファイルサイズと更新日時を比較して、新規作成、変更、および削除されたファイルを検出します。

   変更を監視するフォルダ（ほぼリアルタイム）

   デフォルトでは無効になっています。有効にすると、エージェントはローカルディスク上では数秒以内に反応します。ネットワーク共有上ではベストエフォート型となり、スケジュールされたスキャンが保証されます。 静穏期 （15秒）ファイルの書き込みが完了するまで待機します。

   質問に回答する前にページを更新してください

   デフォルトではオフ。オンにすると、クエリは、前回のスキャンが次のスキャンよりも古い場合に最初に再スキャンします。 陳腐化期間 （60秒）待つ時間は最大で クエリ待機制限 （5秒）。これはユーザーとアドインに適用され、アラートのポーリングには適用されません。

   ファイルが消えたとき

   行を削除する デフォルトでは、または 行を保持し、削除済みとしてマークする（墓石マーク）。. バニッシュガード比率 （0.5）は、一度に半分以上のファイルを失うスキャンを拒否し、以前のインベントリを保持します。これはオフライン共有の状態です。

   次に データ領域 行数はカウントされます、チェック レビュー そしてクリック コネクタを作成する最初のスキャンがすぐに開始されます。コネクタの マニフェスト タブには、作成されたものや保存されたファイルが表示されます。

5. テーブルを見てください

   コネクタを開く: マニフェスト タブには、作成したテーブルと ファイル ダイアログには、すべてのログ ファイルとその状態が表示されます。 クエリビルダー 同じテーブルが下に置かれている ファイルセット スキーマ。初日から使える3つのクエリ：

   過去24時間におけるホストごとのSSHログイン失敗回数

   SELECT host, COUNT(*) AS attempts FROM fileset.events WHERE program = 'sshd' AND message LIKE 'Failed password%' AND event_time >= now() - INTERVAL 24 HOUR GROUP BY host ORDER BY attempts DESC LIMIT 100

   フィルター プログラム そして始まりは メッセージ、次にカウント ホスト.

   過去1時間におけるホストごとの最も視聴率の高い番組

   SELECT host, program, COUNT(*) AS lines FROM fileset.events WHERE event_time >= now() - INTERVAL 1 HOUR GROUP BY host, program ORDER BY lines DESC LIMIT 100

   どのプログラムがどのマシンでログを生成しているかを示します。

   解析できなかった行、理由

   SELECT reason, COUNT(*) AS lines, MIN(line) AS example FROM fileset.events_raw_lines GROUP BY reason ORDER BY lines DESC

   読む イベント_生の行大きな 文法に一致しない カウントは通常、間違っていることを意味します ログタイプ 一部のファイルについて。

   すべてのフォルダー コネクタは、同じ簿記テーブルも提供します。 ファイルセット スキーマ:

   テーブル	中身
   ファイル	現在フォルダ内にあるすべてのファイル：パス、名前、拡張子、サイズ、作成日時と変更日時、最初と最後に閲覧された日時。 files_currentまた、消失したファイルも保存している。
   ファイルイベント	変更履歴: ファイルごとに 1 行 現れた、 だった 修正済み, 消えた、は除外された（ドリフト）または 拒否した時間が経つにつれて イベント_atどのように注目されたか 検出された そしてその理由は 詳細.
   ディレクトリ, ディレクトリスナップショット, ボリューム	フォルダの数とサイズ、それらの成長過程、そしてルートフォルダが存在するディスクまたは共有フォルダ。
   _ソースファイル, _row_id	各データ行には2つの列があります。1つは行の由来となるファイル、もう1つはそのファイル内の安定した行IDです。グループ化基準 _ソースファイル ファイルを比較する。

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the フォルダー step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

どこでも使ってください

コネクタは、クエリ ストリーム内の他のデータ ソースと同様です。クエリを一度保存すると、 クエリビルダー （方言はDuckDBです）そして、以下から使用します。

エクセル

アドインの クエリをストリーミングする 行をシートにドロップし、クリックすると再実行します。 ExcelでSQLを実行する.

グーグル シート

の クエリストリーマー アドオンは、選択したタブに自動的に追加されます。 パワー・クエリ・フォー・グーグル・シート.

Claude、Cursor、その他のAIクライアント

Query Streams MCPサーバーを介して、Claudeはフォルダーモデルを知っています。 _ソースファイル そして ファイルイベント. ClaudeによるMCP経由のシステムログ.

REST API

保存されたクエリはすべて、プランごとに固有のキーを持つ読み取り専用エンドポイントになります。 システムログREST API.

ノヴァ

ビジネスプランについて、分かりやすい言葉で質問してください。Novaは、組み込みの説明からすべてのフォルダ、テーブル、列を把握しています。

自動化

行をAirtable、Smartsheet、Baserow、SeaTable、またはスケジュールに基づいてシートに同期します。 自動化ガイド.

フォルダー テーブルは他のコネクタにも結合します。フェデレーション クエリは一致させることができます _ソースファイル LinuxおよびUnixシステムのログにある名前または注文IDを、同じエージェント上のデータベースと照合します。

新規ファイル、変更ファイル、削除ファイルがどのように表示されるか

脇に置かれたファイル

「チェック」ステップと「マニフェスト」タブには3つの単語が表示されます。それぞれ意味が異なります。

駐車スペースを確保

ファイルが固定レイアウトと一致しないか、読み取り不能、破損、ロックされている、またはキャップを超えています。ファイルごとに処理は全行または全行のどちらかになります。つまり、保留中のファイルは行数をゼロとします。 ファイルイベント 記録する ドリフト 行の 詳細 ファイル名と列名を指定します。ファイルのサイズと更新日時が同じ間はスキップされ、変更があった場合はすぐに再試行されます。

判読不能

エージェントは、ファイルの種類（実際のワークブックではない、別のプログラムによってロックされている、クラウドのプレースホルダー、デコードできないバイトなど）に基づいて、ファイルを開くことも解析することもできませんでした。エージェントは自動的に待機し、残りのフォルダの処理を続行します。読み取り可能なファイルがゼロのフォルダのみが、フォルダ全体の処理を拒否します。

拒否した

エージェントはレイアウトを一切固定できませんでした。例えば、ファイル間で列の型が一致していない、データテーブルがまだ存在しない、といった理由が考えられます。 ファイルイベント 手に入れる 拒否した 理由付き行 詳細エージェントはレイアウトが固定されるまで、スキャンごとに再試行します。指定されたファイルを修正または除外すると、メッセージが消えます。

どこを探せばよいか: チェック (どのファイルとその理由を表示する）、コネクタの マニフェスト その後タブ、ログコネクタの場合は ファイル ダイアログには、理由とともに保存されたファイルが一覧表示されます。 最後のエラーSQLでは： SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

知っておくべき限界

フォルダ数やファイル数にプラン上の制限はありません。行数は他のコネクタと同様にデータレルムの容量にカウントされます。コネクタで上げ下げできるデフォルト値は以下のとおりです。

コンテンツキャップは、ファイルを切り捨てるのではなく、一時的に保存します。ファイルあたり2,000,000行または512 MiB、スキャンあたり10,000,000行または2 GiBです。フォルダには最大25種類のレイアウトを格納できます。 レイアウトごとにテーブル1つ モード。

人々が尋ねる質問

• ファイルシステム
• CSVフォルダ
• 寄木細工のフォルダー
• Excelフォルダ
• SQLiteフォルダ
• JSONLフォルダ
• 複数レコードのCSV
• マシンログ
• ウェブサーバーログ
• コンテナログ
• アプリケーションログ
• カスタムログ