SQLを使用して複数レコードのCSVファイルをクエリする

フォルダコネクタ・複数レコード

複数のレコードタイプが混在するCSVファイルを SQLテーブル どこからでも問い合わせできます

Query Streams Agent を該当のフォルダに指定してください。エージェントは自身のコンピュータ上でファイルを読み込み、ローカルキャッシュにテーブルを作成し、ファイルの到着、変更、削除に応じて常に最新の状態に保ちます。Excel、Google Sheets、Nova、Claude、または REST API からクエリを実行できます。ファイルのアップロードや変換、編集は一切行われません。

約15分 コーディングは不要です ファイルはネットワーク上に残ります 無料プランでカバーされます

最終的に手に入るもの

レコードタイプごとに 1 つの SQL テーブルが作成されます。行に HDR、ITM、TRL のタグが付いた CSV ファイルは、 ファイルセット.data_hdr, ファイルセット.data_itm そして ファイルセット.data_trlそれぞれがフォルダ内のすべてのファイルからそのレコードタイプを保持します。列は位置によって番号が付けられます。 フィールド1 ～へ フィールドN、そして各行には _ソースファイル そして _seqそのため、ヘッダーと詳細を2列で結合できます。エージェントは自身のコンピューター上のフォルダーを読み込み、暗号化されたローカルストレージに行をキャッシュし、Excel、Googleスプレッドシート、クエリビルダー、またはその他のクライアントにSQLとして提供します。ファイルはネットワーク上に保持されます。

すべてのテーブルは、1 つのスキーマに格納されます。 ファイルセットテーブルにはレコードタグごとに名前が付けられています。 データ_<タグ>そのため、タグHDRは ファイルセット.data_hdr。 と テーブルスコープ 設定 ファイル拡張子とタグごとに1つのテーブル名前は データ_<拡張子>_<タグ>異なるファイルの種類から同じタグを分離します。列は フィールド1 ～へ フィールドN 位置によって、タグ列は除外されます。各行には、 _seqファイル内のそのタグの0から始まる出現回数とレコードタイプ間の結合キー、さらに _ソースファイル そして _row_id 形式は path:line です。

すべてのフォルダーコネクタには、簿記テーブルも含まれています。 ファイル, ファイルイベント, ディレクトリ, ディレクトリスナップショット そして ボリューム.

その価値を発揮する場所：

• ヘッダー、明細、トレーラー行が混在する銀行、給与計算、またはEDI形式のバッチファイルを照会します。
• 各ファイルのトレーラー合計と詳細行を、1つのクエリで照合します。
• 受信したバッチファイルを、手動で分割するのではなく、適切なテーブルとしてExcelまたはGoogleスプレッドシートに読み込む。

必要なもの

クエリストリームアカウント

フォルダコネクタは、無料プランを含むすべてのプランで利用できます。無料プランは、期限付きの試用期間ではなく、継続して利用できるプランです。フォルダに保存できるファイル数に制限はありません。

エージェント、バージョン2.6.0以降

フォルダーを開くことができるコンピューター（ファイルサーバー自体、オフィスコンピューター、またはファイルが保存されるマシン）にインストールします。古いエージェントではフォルダーカードがグレー表示され、 エージェント 2.6.0+ バッジ。Windows、Mac、Linuxに対応。

エージェントから見たフォルダのパス

ローカルパス、または次のように記述されるネットワーク共有 \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /月 または /メディア, a Mac under /Volumes).

5つのステップで設定できます

1. フォルダを開くことができるコンピュータにエージェントをインストールしてください。

   サインインして開く ダウンロード複数のレコードタイプが混在するCSVファイルを開くことができるコンピューター（ファイルサーバー、または共有フォルダにアクセスできる常時稼働のコンピューターなど）に、システム用のエージェントをインストールしてください。インストールには1分ほどかかり、その後は自動的に起動します。バージョン2.6.0以降が必要です。ダウンロードページには常に最新バージョンが掲載されています。

   ドライバではなく、なぜ小さなプログラムを使うのか？ エージェントは、Windows、Mac、Linux 用の単一のインストールで済みます（Windows では約 85 MB、Mac と Linux では 100 MB 強）。Query Streams への暗号化されたアウトバウンド接続を 1 つだけ開き、ネットワーク パスはそれだけで済みます。受信ポートを開く必要も、VPN も不要です。エージェントは、自身が配置されているフォルダを読み込むため、ファイルは元の場所に保持され、クエリが返す行のみがインターネット経由でユーザー側のアドイン、ブラウザ、または AI クライアントに送信されます。

   ダウンロードページには アクセスキーエージェントに求められたら貼り付け、バッジが読み取るまで待ちます。 クエリ ストリームに接続しましたエージェントのコンピューターで行うのはそれだけです。それ以外の操作はすべてブラウザ上で行われます。

   ご希望であれば、完全攻略ガイドもご用意しています。 Windows, マック, Linux.

2. 複数のレコードタイプが混在するCSVファイルを指定してください。

   ブラウザに戻って データ → データエージェント先ほどインストールしたエージェントを見つけてクリックします コネクタを追加する ボタン。 ファイルとフォルダ 錠剤を選んで 複数レコードのCSV カード。どのカードが合うか分からない？ フォルダ内のファイル 代わりに、エージェントがフォルダをサンプリングし、「検出されたもの」ページにフォルダの内容を表示し、適切なカードを事前に入力した状態で開きます。

   魔法使いが走る フォルダー → チェック → 設定 → レルム → レビュー。 の上 フォルダー:

   ルートフォルダ

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   サブフォルダーのスキャン、最大深度

   デフォルトでは、オンで8段階のレベル設定が可能です。

   パターンを含める、パターンを除外する

   どのファイルがカウントされるか。インクルードパターンはこのカードの適切なグロブから始まります。1つのコネクタは1つのファイルタイプ（CSVファイルを含むフォルダ）を読み取ります。 そして Parquetファイルは、同じフォルダ内に2つのコネクタがあり、それぞれファイルの種類ごとに1つずつあります。

   シンボリックリンクとジャンクションをたどる

   デフォルトでは無効になっています。この設定を有効にしない限り、エージェントはショートカットやクラウドプレースホルダーを追跡しません。

   フォルダーを開くことができるコンピューターに Query Streams Agent (2.6.0 以降) をインストールします。その Agent から コネクタを追加する ボタン、開く ファイルとフォルダ そして 複数レコードのCSV カード。

   • ルートフォルダ: エージェントコンピュータ上のスキャン対象フォルダを1行に1つずつ入力します。ネットワーク共有を次のように入力します。 \\server\share\folderマッピングされたドライブレターではありません。
   • パターンを含める 始まりは **/*.csv.
   • ファイルレイアウト, レコードタグ列（番号） そして デリミタ: レコードタグが格納されている列と、フィールドを区切る要素は何ですか。
   • テーブルスコープタグごとにテーブルが1つになるようにデフォルトのままにします。 ファイル拡張子とタグごとに1つのテーブル 異なるファイルの種類から取得した同じタグを、別々のテーブルに保持するため。

   ありません テーブル名 フィールドとなし テーブルレイアウト 選択肢。テーブルには名前が付けられています。 データ_<タグ>注記には、一致するすべてのファイルは、最初の同期時にサンプルから固定された単一のレイアウトを共有する必要があること、後で一致しないファイルは隔離され、報告されることが説明されています。

3. 何が作られるか確認してください

   の上 チェック エージェントは最大64個のファイルのサンプルを読み込み、構築するものを表示します。まだ何も作成されていません。ボタンには次のように表示されます。 接続テスト 判決が出るまでは、 次のページ; もう一度テストしてください 変更を加えると、サンプルが再実行されます。次の4つの見出しのうちの1つが表示されます。

   作成準備完了

   サンプリングされたファイルはすべて収まります。その下のチップには、アクセス可能なフォルダの数、ファイルと行の数、そして存在するテーブルが示されています。

   準備完了、メモ付き

   一部のファイルは保留されるか、レイアウトスニッフが拒否されます。琥珀色のバナーには、どのファイルが保留されるかが正確に表示されます。「{m} 個のファイルのうち {n} 個が保留されます」 どのファイルとその理由を表示する リストが表示され、「それでも作成することは可能です。コネクタは再チェックを続け、マニフェストタブに理由を報告します。」と表示されます。

   注意が必要

   エージェントがオフラインになっているか、フォルダが見つかりません。先に進む前に問題を解決してください。エージェントがオフラインの場合、ページにその旨が表示され、操作は続行できます。

   拒否や保留されたファイルによってブロックされることはありません: クリック 次のページウィザードを完了させ、後で不要なファイルを修正してください。エージェントがオフラインの場合、またはフォルダが見つからない場合にのみ、ウィザードが停止します。

   の上 チェックエージェントは最大64個のファイルのサンプルを読み込み、ファイル数、サイズ、行数の推定値、および見つかったレコードタグごとに作成されるテーブルを、「3つのテーブル：data_hdr、data_itm、data_trl」のような形式で表示します。この時点では何も作成されていません。タグ列の設定が間違っている場合、エージェントが表示するタグはレコードタイプと一致しません。これは、戻って変更する必要があることを示しています。 レコードタグ列（番号） または デリミタエージェントがCSVとして読み取れなかったファイルは以下に表示されます。 どのファイルとその理由を表示する 指定されたファイルのうち 1 つが「12 個中 1 個が指定されます」というバナーとともに指定され、残りは引き続き読み込まれます。コネクタはどちらの方法でも作成できます。コネクタは再チェックを続け、その理由を報告します。 マニフェスト タブ。

4. スキャン頻度を選択してから作成します。

   デフォルト設定 設定 1日に数個のファイルを受信するフォルダに適しています。変更したい4つの項目：

   スキャン間隔

   毎時 デフォルトでは、5分ごとから毎日まで選択できます。各スキャンでは、ファイルサイズと更新日時を比較して、新規作成、変更、および削除されたファイルを検出します。

   変更を監視するフォルダ（ほぼリアルタイム）

   デフォルトでは無効になっています。有効にすると、エージェントはローカルディスク上では数秒以内に反応します。ネットワーク共有上ではベストエフォート型となり、スケジュールされたスキャンが保証されます。 静穏期 （15秒）ファイルの書き込みが完了するまで待機します。

   質問に回答する前にページを更新してください

   デフォルトではオフ。オンにすると、クエリは、前回のスキャンが次のスキャンよりも古い場合に最初に再スキャンします。 陳腐化期間 （60秒）待つ時間は最大で クエリ待機制限 （5秒）。これはユーザーとアドインに適用され、アラートのポーリングには適用されません。

   ファイルが消えたとき

   行を削除する デフォルトでは、または 行を保持し、削除済みとしてマークする（墓石マーク）。. バニッシュガード比率 （0.5）は、一度に半分以上のファイルを失うスキャンを拒否し、以前のインベントリを保持します。これはオフライン共有の状態です。

   次に データ領域 行数はカウントされます、チェック レビュー そしてクリック コネクタを作成する最初のスキャンがすぐに開始されます。コネクタの マニフェスト タブには、作成されたものや保存されたファイルが表示されます。

5. テーブルを見てください

   コネクタを開く: マニフェスト タブには、作成したテーブルが表示されます。 クエリビルダー 同じテーブルが下に置かれている ファイルセット スキーマ。初日から使える3つのクエリ：

   ヘッダーレコード（ファイル順）

   SELECT _source_file, _seq, field_1, field_2 FROM fileset.data_hdr ORDER BY _source_file, _seq LIMIT 100

   各ファイルの各ヘッダー行、そのヘッダー行の由来となるファイル、およびそのファイル内のヘッダー行における位置。

   各ファイルのヘッダーとそのトレーラーの横

   SELECT h._source_file, h._seq, h.field_1 AS header_field_1, t.field_1 AS trailer_field_1 FROM fileset.data_hdr AS h JOIN fileset.data_trl AS t ON t._source_file = h._source_file AND t._seq = h._seq ORDER BY h._source_file, h._seq LIMIT 100

   2 つのレコードタイプを、共有列である _source_file と _seq で結合し、n 番目のヘッダーと n 番目のトレーラーが同じファイル内で一致するようにします。

   不明なタグまたは間違った幅のために確保されたファイル

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   行が除外されたすべてのファイルと、その理由の詳細。

   すべてのフォルダー コネクタは、同じ簿記テーブルも提供します。 ファイルセット スキーマ:

   テーブル	中身
   ファイル	現在フォルダ内にあるすべてのファイル：パス、名前、拡張子、サイズ、作成日時と変更日時、最初と最後に閲覧された日時。 files_currentまた、消失したファイルも保存している。
   ファイルイベント	変更履歴: ファイルごとに 1 行 現れた、 だった 修正済み, 消えた、は除外された（ドリフト）または 拒否した時間が経つにつれて イベント_atどのように注目されたか 検出された そしてその理由は 詳細.
   ディレクトリ, ディレクトリスナップショット, ボリューム	フォルダの数とサイズ、それらの成長過程、そしてルートフォルダが存在するディスクまたは共有フォルダ。
   _ソースファイル, _row_id	各データ行には2つの列があります。1つは行の由来となるファイル、もう1つはそのファイル内の安定した行IDです。グループ化基準 _ソースファイル ファイルを比較する。

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the フォルダー step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

どこでも使ってください

コネクタは、クエリ ストリーム内の他のデータ ソースと同様です。クエリを一度保存すると、 クエリビルダー （方言はDuckDBです）そして、以下から使用します。

エクセル

アドインの クエリをストリーミングする 行をシートにドロップし、クリックすると再実行します。 ExcelでSQLを実行する.

グーグル シート

の クエリストリーマー アドオンは、選択したタブに自動的に追加されます。 パワー・クエリ・フォー・グーグル・シート.

Claude、Cursor、その他のAIクライアント

Query Streams MCPサーバーを介して、Claudeはフォルダーモデルを知っています。 _ソースファイル そして ファイルイベント. MCP経由でClaudeと複数レコードを録音.

REST API

保存されたクエリはすべて、プランごとに固有のキーを持つ読み取り専用エンドポイントになります。 複数レコード対応REST API.

ノヴァ

ビジネスプランについて、分かりやすい言葉で質問してください。Novaは、組み込みの説明からすべてのフォルダ、テーブル、列を把握しています。

自動化

行をAirtable、Smartsheet、Baserow、SeaTable、またはスケジュールに基づいてシートに同期します。 自動化ガイド.

フォルダー テーブルは他のコネクタにも結合します。フェデレーション クエリは一致させることができます _ソースファイル 同じエージェント上のデータベースに対して、複数のレコードタイプが混在するCSVファイル内の名前または注文ID。

新規ファイル、変更ファイル、削除ファイルがどのように表示されるか

脇に置かれたファイル

「チェック」ステップと「マニフェスト」タブには3つの単語が表示されます。それぞれ意味が異なります。

駐車スペースを確保

ファイルが固定レイアウトと一致しないか、読み取り不能、破損、ロックされている、またはキャップを超えています。ファイルごとに処理は全行または全行のどちらかになります。つまり、保留中のファイルは行数をゼロとします。 ファイルイベント 記録する ドリフト 行の 詳細 ファイル名と列名を指定します。ファイルのサイズと更新日時が同じ間はスキップされ、変更があった場合はすぐに再試行されます。

判読不能

エージェントは、ファイルの種類（実際のワークブックではない、別のプログラムによってロックされている、クラウドのプレースホルダー、デコードできないバイトなど）に基づいて、ファイルを開くことも解析することもできませんでした。エージェントは自動的に待機し、残りのフォルダの処理を続行します。読み取り可能なファイルがゼロのフォルダのみが、フォルダ全体の処理を拒否します。

拒否した

エージェントはレイアウトを一切固定できませんでした。例えば、ファイル間で列の型が一致していない、データテーブルがまだ存在しない、といった理由が考えられます。 ファイルイベント 手に入れる 拒否した 理由付き行 詳細エージェントはレイアウトが固定されるまで、スキャンごとに再試行します。指定されたファイルを修正または除外すると、メッセージが消えます。

どこを探せばよいか: チェック (どのファイルとその理由を表示する）、コネクタの マニフェスト 後にタブを置きます。SQLでは： SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

知っておくべき限界

フォルダ数やファイル数にプラン上の制限はありません。行数は他のコネクタと同様にデータレルムの容量にカウントされます。コネクタで上げ下げできるデフォルト値は以下のとおりです。

コンテンツキャップは、ファイルを切り捨てるのではなく、一時的に保存します。ファイルあたり2,000,000行または512 MiB、スキャンあたり10,000,000行または2 GiBです。フォルダには最大25種類のレイアウトを格納できます。 レイアウトごとにテーブル1つ モード。

人々が尋ねる質問

• ファイルシステム
• CSVフォルダ
• 寄木細工のフォルダー
• Excelフォルダ
• SQLiteフォルダ
• JSONLフォルダ
• マシンログ
• ウェブサーバーログ
• コンテナログ
• アプリケーションログ
• システムログ
• カスタムログ