CSV Folderをクエリ可能なテーブルに変換します。

コラムの出典元

• 推測ではなくサンプリング — 最初のファイルの先頭行を鵜呑みにせず、エージェントが実際のファイルを調べます。
• さまざまなエンコーディングに対応 — UTF-8、UTF-16、Windows-1252、Latin-1に対応しているため、アクセント付きの名前や欧州形式のエクスポートも文字化けしません。
• 金額は金額のまま — 常に小数を含む列は浮動小数点数ではなく正確な小数として保存されるため、合計額に1セントの誤差が生じません。
• 一部のファイルにのみ存在する列は、他のファイルでは空の列となるため、エラーの原因とはならない。

-- フォルダ全体を 1 つのテーブルとして、次にファイルごとに SELECT _source_file, COUNT(*) AS rows, SUM(total) AS revenue FROM data GROUP BY _source_file ORDER BY revenue DESC

ファイルが一致しない場合

最初のファイル同士に矛盾がある場合（区切り文字が異なっていたり、あるファイルでは日付、別のファイルでは自由形式のテキストになっている列があったりする場合）、コネクタは何も固定せず、どのファイルとどの列に矛盾があるかを通知します。末日まで結果を待たせるようなことはしません。

• その後、テーブルを破損させる代わりに、1つの不良ファイル（変更されたヘッダー、余分な列、収まらない値、または切り捨てられた最終行など）が保留されます。
• その行は除外されたままになり、files_eventsにはどのファイルとどの列が原因だったかが正確に記録されます。
• フォルダ内の他のファイルはすべて正常に読み込まれます。エクスポートが1つ失敗しただけで、レポートがダウンすることはありません。

テーブル1つ、またはレイアウトごとに1つ

同じレポートを繰り返しエクスポートする場合は、単一のテーブルにまとめるのがデフォルト設定です。フォルダ内に顧客リストと注文データなど、異なるCSVファイルが含まれている場合は、レイアウトごとのモードに切り替えると、それぞれのレイアウトごとに最大25個のテーブルが作成されます。

すべてのフォルダーコネクタには、

• files_current — ライブインベントリ：コネクタが現在認識できるすべてのファイルと、そのパス、サイズ、更新日。
• files_events — 監査証跡：追加、変更、消失したもの、および保留されたものを、ファイル名と理由とともに記録します。
• ディレクトリとボリューム — フォルダーごとの合計、日ごとの増加履歴、ドライブの空き容量。
• 同期のたびに再読み込みされるのは実際に変更されたファイルのみであるため、50,000個のファイルを含むフォルダは、新しいエクスポートが1つ追加されたからといって再解析されることはありません。

知っておくと良い

• 読み取り専用を徹底 — 一度に実行できるのは1つのステートメントのみで、SELECTなどに限られます。ファイルへの書き込み、移動、名前変更は一切行いません。
• データはアップロードされません — エージェントのそばにあるお使いのマシン上で、データは暗号化してキャッシュされます。ネットワークの外に出るのはクエリの結果だけです。
• 妥当なデフォルト設定 — 最大250,000ファイル、深さ16フォルダー、ファイルあたり512 MB。いずれも変更できます。ごみ箱、.git、node_modulesは常にスキップされます。
• SQL方言はDuckDBです — 他のコネクタに対して書くのと同じSQLを使用します。