SQLを使用してParquetファイルのフォルダをクエリする

フォルダーコネクター・パーケットフォルダー

Parquet ファイルのフォルダーを SQLテーブル どこからでも問い合わせできます

Query Streams Agent を該当のフォルダに指定してください。エージェントは自身のコンピュータ上でファイルを読み込み、ローカルキャッシュにテーブルを作成し、ファイルの到着、変更、削除に応じて常に最新の状態に保ちます。Excel、Google Sheets、Nova、Claude、または REST API からクエリを実行できます。ファイルのアップロードや変換、編集は一切行われません。

約15分 コーディングは不要です ファイルはネットワーク上に残ります 無料プランでカバーされます

最終的に手に入るもの

結果として、例えば次のような型付きSQLテーブルが1つできます。 ファイルセット.注文フォルダ内のすべての Parquet ファイルの行を保持し、列タイプはファイル フッターから読み取られ、 _ソースファイル 各行の取得元ファイルを示す列です。Parquetビューアをインストールしたり、DuckDBを自分で設定したりする必要はありません。エージェントは実行中のコンピュータ上のファイルを読み込み、行をキャッシュしてSQLとして提供するため、ファイルはネットワーク上に残ります。

すべては、DuckDB スキーマに格納されます。 ファイルセットエージェントコンピュータにキャッシュされます。データテーブルは、 テーブル名列と型はParquetフッターから取得されます。ファイルによっては列が追加または省略される場合があります。テーブルには検出されたすべての列が保持され、ファイルに存在しない列はNULLとして読み込まれます。

Parquetにはレイアウトごとのモードはありません。一致するすべてのファイルは1つのレイアウトを共有する必要があり、ファイル間でタイプが異なる列があるとピンが停止します。すべてのフォルダーコネクタには、 ファイル, ファイルイベント, ディレクトリ, ディレクトリスナップショット そして ボリュームこれらは、Parquetファイル自体、その変更履歴、およびフォルダサイズを一覧表示します。

その価値を発揮する場所：

• データレイクのエクスポート：パイプラインが日次のParquetデータを年/月ごとのフォルダに書き込み、アナリストはノートブックを使用せずにそれらを1つのテーブルとしてクエリします。
• ベンダードロップ：パートナーがParquet形式の抽出ファイルを共有フォルダに配信し、ユーザーはそれを他の場所にロードする前に、ファイルごとの行数をチェックします。
• アーカイブ検索：数年分のParquet履歴がNASに保存されており、以前はスクリプトが必要だった質問に、たった1つのSQLクエリで答えることができる。

必要なもの

クエリストリームアカウント

フォルダコネクタは、無料プランを含むすべてのプランで利用できます。無料プランは、期限付きの試用期間ではなく、継続して利用できるプランです。フォルダに保存できるファイル数に制限はありません。

エージェント、バージョン2.6.0以降

フォルダーを開くことができるコンピューター（ファイルサーバー自体、オフィスコンピューター、またはファイルが保存されるマシン）にインストールします。古いエージェントではフォルダーカードがグレー表示され、 エージェント 2.6.0+ バッジ。Windows、Mac、Linuxに対応。

エージェントから見たフォルダのパス

ローカルパス、または次のように記述されるネットワーク共有 \\server\share\folder. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /月 または /メディア, a Mac under /Volumes).

5つのステップで設定できます

1. フォルダを開くことができるコンピュータにエージェントをインストールしてください。

   サインインして開く ダウンロードお使いのシステム用のエージェントを、Parquet ファイルのフォルダを開くことができるコンピュータ（ファイルサーバー、または共有フォルダにアクセスできる常時稼働のコンピュータなど）にインストールしてください。インストールには 1 分ほどかかり、その後は自動的に起動します。バージョン 2.6.0 以降が必要です。ダウンロードページには常に最新バージョンが掲載されています。

   ドライバではなく、なぜ小さなプログラムを使うのか？ エージェントは、Windows、Mac、Linux 用の単一のインストールで済みます（Windows では約 85 MB、Mac と Linux では 100 MB 強）。Query Streams への暗号化されたアウトバウンド接続を 1 つだけ開き、ネットワーク パスはそれだけで済みます。受信ポートを開く必要も、VPN も不要です。エージェントは、自身が配置されているフォルダを読み込むため、ファイルは元の場所に保持され、クエリが返す行のみがインターネット経由でユーザー側のアドイン、ブラウザ、または AI クライアントに送信されます。

   ダウンロードページには アクセスキーエージェントに求められたら貼り付け、バッジが読み取るまで待ちます。 クエリ ストリームに接続しましたエージェントのコンピューターで行うのはそれだけです。それ以外の操作はすべてブラウザ上で行われます。

   ご希望であれば、完全攻略ガイドもご用意しています。 Windows, マック, Linux.

2. Parquetファイルが入っているフォルダを指定してください。

   ブラウザに戻って データ → データエージェント先ほどインストールしたエージェントを見つけてクリックします コネクタを追加する ボタン。 ファイルとフォルダ 錠剤を選んで 寄木細工のフォルダー カード。どのカードが合うか分からない？ フォルダ内のファイル 代わりに、エージェントがフォルダをサンプリングし、「検出されたもの」ページにフォルダの内容を表示し、適切なカードを事前に入力した状態で開きます。

   魔法使いが走る フォルダー → チェック → 設定 → レルム → レビュー。 の上 フォルダー:

   ルートフォルダ

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   サブフォルダーのスキャン、最大深度

   デフォルトでは、オンで8段階のレベル設定が可能です。

   パターンを含める、パターンを除外する

   どのファイルがカウントされるか。インクルードパターンはこのカードの適切なグロブから始まります。1つのコネクタは1つのファイルタイプ（CSVファイルを含むフォルダ）を読み取ります。 そして Parquetファイルは、同じフォルダ内に2つのコネクタがあり、それぞれファイルの種類ごとに1つずつあります。

   シンボリックリンクとジャンクションをたどる

   デフォルトでは無効になっています。この設定を有効にしない限り、エージェントはショートカットやクラウドプレースホルダーを追跡しません。

   から始めましょう コネクタを追加する フォルダを開くことができるエージェントのボタン。 ファイルとフォルダ そしてクリックします 寄木細工のフォルダー カード。

   • ルートフォルダ: エージェント コンピューター上のパスとして、1 行に 1 つのフォルダーを入力します。ネットワーク共有を次のように入力します。 \\server\share\folderマッピングされたドライブレターとしてではなく。
   • パターンを含める 始まりは **/*.parquet. サブフォルダーをスキャンする 進行中 最大深度 8. パーティション化されたフォルダツリーが読み込まれます。
   • タイプA テーブル名、 例えば オーダーこのカードでは必須です。
   • ありません テーブルレイアウト 選択肢。注記には、一致するすべてのファイルは1つのレイアウトを共有する必要があること、最初の同期でサンプルからレイアウトが固定されること、そして後で一致しないファイルは隔離され報告されることが説明されています。

3. 何が作られるか確認してください

   の上 チェック エージェントは最大64個のファイルのサンプルを読み込み、構築するものを表示します。まだ何も作成されていません。ボタンには次のように表示されます。 接続テスト 判決が出るまでは、 次のページ; もう一度テストしてください 変更を加えると、サンプルが再実行されます。次の4つの見出しのうちの1つが表示されます。

   作成準備完了

   サンプリングされたファイルはすべて収まります。その下のチップには、アクセス可能なフォルダの数、ファイルと行の数、そして存在するテーブルが示されています。

   準備完了、メモ付き

   一部のファイルは保留されるか、レイアウトスニッフが拒否されます。琥珀色のバナーには、どのファイルが保留されるかが正確に表示されます。「{m} 個のファイルのうち {n} 個が保留されます」 どのファイルとその理由を表示する リストが表示され、「それでも作成することは可能です。コネクタは再チェックを続け、マニフェストタブに理由を報告します。」と表示されます。

   注意が必要

   エージェントがオフラインになっているか、フォルダが見つかりません。先に進む前に問題を解決してください。エージェントがオフラインの場合、ページにその旨が表示され、操作は続行できます。

   拒否や保留されたファイルによってブロックされることはありません: クリック 次のページウィザードを完了させ、後で不要なファイルを修正してください。エージェントがオフラインの場合、またはフォルダが見つからない場合にのみ、ウィザードが停止します。

   の上 チェックエージェントは最大 64 個のファイルをサンプリングし、ファイル数、サイズ、行数の推定値、および構築するテーブルを表示します。まだ何も作成されていません。サンプル全体で型が一致している必要があります。エージェントは多数決で固定することはありません。2 つのファイルで列の型が異なる場合、見出しは 準備完了、メモ付き オレンジ色のバナーには「スキーマ スニッフィングが拒否されました: {reason}」と表示され、不一致のファイル名が示されます。それでもコネクタを作成できます。コネクタは再チェックを繰り返し、その理由をそのバナーに表示します。 マニフェスト ファイルを修正または除外するまでタブキーを押してください。

4. スキャン頻度を選択してから作成します。

   デフォルト設定 設定 1日に数個のファイルを受信するフォルダに適しています。変更したい4つの項目：

   スキャン間隔

   毎時 デフォルトでは、5分ごとから毎日まで選択できます。各スキャンでは、ファイルサイズと更新日時を比較して、新規作成、変更、および削除されたファイルを検出します。

   変更を監視するフォルダ（ほぼリアルタイム）

   デフォルトでは無効になっています。有効にすると、エージェントはローカルディスク上では数秒以内に反応します。ネットワーク共有上ではベストエフォート型となり、スケジュールされたスキャンが保証されます。 静穏期 （15秒）ファイルの書き込みが完了するまで待機します。

   質問に回答する前にページを更新してください

   デフォルトではオフ。オンにすると、クエリは、前回のスキャンが次のスキャンよりも古い場合に最初に再スキャンします。 陳腐化期間 （60秒）待つ時間は最大で クエリ待機制限 （5秒）。これはユーザーとアドインに適用され、アラートのポーリングには適用されません。

   ファイルが消えたとき

   行を削除する デフォルトでは、または 行を保持し、削除済みとしてマークする（墓石マーク）。. バニッシュガード比率 （0.5）は、一度に半分以上のファイルを失うスキャンを拒否し、以前のインベントリを保持します。これはオフライン共有の状態です。

   次に データ領域 行数はカウントされます、チェック レビュー そしてクリック コネクタを作成する最初のスキャンがすぐに開始されます。コネクタの マニフェスト タブには、作成されたものや保存されたファイルが表示されます。

5. テーブルを見てください

   コネクタを開く: マニフェスト タブには、作成したテーブルが表示されます。 クエリビルダー 同じテーブルが下に置かれている ファイルセット スキーマ。初日から使える3つのクエリ：

   Parquetファイルが追加する行数

   SELECT _source_file, COUNT(*) AS row_count, MAX(_row_id) AS last_row_id FROM fileset.orders GROUP BY _source_file ORDER BY row_count DESC LIMIT 100

   テーブルの背後にあるすべての部品ファイルと、それぞれの部品がどれだけ貢献しているかを表示します。

   フォルダをサイズと最新ファイルで分割する

   SELECT path, subtree_file_count, subtree_bytes, newest_file_utc FROM fileset.directories ORDER BY newest_file_utc DESC LIMIT 100

   どのパーティションフォルダに最近ファイルが追加され、それぞれのファイルサイズがどれだけ大きくなったかを表示します。

   拒否または保留されたファイルはありましたか？また、その理由は？

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   拒否された行とは、レイアウトを固定できなかったことを意味します。ドリフト行とは、行が除外されたファイルの名前です。

   すべてのフォルダー コネクタは、同じ簿記テーブルも提供します。 ファイルセット スキーマ:

   テーブル	中身
   ファイル	現在フォルダ内にあるすべてのファイル：パス、名前、拡張子、サイズ、作成日時と変更日時、最初と最後に閲覧された日時。 files_currentまた、消失したファイルも保存している。
   ファイルイベント	変更履歴: ファイルごとに 1 行 現れた、 だった 修正済み, 消えた、は除外された（ドリフト）または 拒否した時間が経つにつれて イベント_atどのように注目されたか 検出された そしてその理由は 詳細.
   ディレクトリ, ディレクトリスナップショット, ボリューム	フォルダの数とサイズ、それらの成長過程、そしてルートフォルダが存在するディスクまたは共有フォルダ。
   _ソースファイル, _row_id	各データ行には2つの列があります。1つは行の由来となるファイル、もう1つはそのファイル内の安定した行IDです。グループ化基準 _ソースファイル ファイルを比較する。

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the フォルダー step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

どこでも使ってください

コネクタは、クエリ ストリーム内の他のデータ ソースと同様です。クエリを一度保存すると、 クエリビルダー （方言はDuckDBです）そして、以下から使用します。

エクセル

アドインの クエリをストリーミングする 行をシートにドロップし、クリックすると再実行します。 ExcelでSQLを実行する.

グーグル シート

の クエリストリーマー アドオンは、選択したタブに自動的に追加されます。 パワー・クエリ・フォー・グーグル・シート.

Claude、Cursor、その他のAIクライアント

Query Streams MCPサーバーを介して、Claudeはフォルダーモデルを知っています。 _ソースファイル そして ファイルイベント. パーケットフォルダー（MCP経由、クロードとの共著）.

REST API

保存されたクエリはすべて、プランごとに固有のキーを持つ読み取り専用エンドポイントになります。 ParquetフォルダREST API.

ノヴァ

ビジネスプランについて、分かりやすい言葉で質問してください。Novaは、組み込みの説明からすべてのフォルダ、テーブル、列を把握しています。

自動化

行をAirtable、Smartsheet、Baserow、SeaTable、またはスケジュールに基づいてシートに同期します。 自動化ガイド.

フォルダー テーブルは他のコネクタにも結合します。フェデレーション クエリは一致させることができます _ソースファイル 同じエージェント上のデータベースに対して、Parquet ファイルのフォルダ内の名前または注文 ID。

新規ファイル、変更ファイル、削除ファイルがどのように表示されるか

脇に置かれたファイル

「チェック」ステップと「マニフェスト」タブには3つの単語が表示されます。それぞれ意味が異なります。

駐車スペースを確保

ファイルが固定レイアウトと一致しないか、読み取り不能、破損、ロックされている、またはキャップを超えています。ファイルごとに処理は全行または全行のどちらかになります。つまり、保留中のファイルは行数をゼロとします。 ファイルイベント 記録する ドリフト 行の 詳細 ファイル名と列名を指定します。ファイルのサイズと更新日時が同じ間はスキップされ、変更があった場合はすぐに再試行されます。

判読不能

エージェントは、ファイルの種類（実際のワークブックではない、別のプログラムによってロックされている、クラウドのプレースホルダー、デコードできないバイトなど）に基づいて、ファイルを開くことも解析することもできませんでした。エージェントは自動的に待機し、残りのフォルダの処理を続行します。読み取り可能なファイルがゼロのフォルダのみが、フォルダ全体の処理を拒否します。

拒否した

エージェントはレイアウトを一切固定できませんでした。例えば、ファイル間で列の型が一致していない、データテーブルがまだ存在しない、といった理由が考えられます。 ファイルイベント 手に入れる 拒否した 理由付き行 詳細エージェントはレイアウトが固定されるまで、スキャンごとに再試行します。指定されたファイルを修正または除外すると、メッセージが消えます。

どこを探せばよいか: チェック (どのファイルとその理由を表示する）、コネクタの マニフェスト 後にタブを置きます。SQLでは： SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

知っておくべき限界

フォルダ数やファイル数にプラン上の制限はありません。行数は他のコネクタと同様にデータレルムの容量にカウントされます。コネクタで上げ下げできるデフォルト値は以下のとおりです。

コンテンツキャップは、ファイルを切り捨てるのではなく、一時的に保存します。ファイルあたり2,000,000行または512 MiB、スキャンあたり10,000,000行または2 GiBです。フォルダには最大25種類のレイアウトを格納できます。 レイアウトごとにテーブル1つ モード。

人々が尋ねる質問

• ファイルシステム
• CSVフォルダ
• Excelフォルダ
• SQLiteフォルダ
• JSONLフォルダ
• 複数レコードのCSV
• マシンログ
• ウェブサーバーログ
• コンテナログ
• アプリケーションログ
• システムログ
• カスタムログ