使用 SQL 查询多记录 CSV 文件

文件夹连接器 · 多记录

将包含多种记录类型的 CSV 文件转换为 SQL 表 您可以在任何地方进行查询

将查询流代理指向该文件夹。它会在自己的计算机上读取文件，并在本地缓存中构建表，并随着文件的到达、更改或删除而保持表的更新。您可以从 Excel、Google Sheets、Nova、Claude 或 REST API 查询这些表。无需上传任何文件，也无需转换或编辑任何文件。

大约15分钟 无需编程 文件保留在您的网络上 免费计划涵盖了它

你最终会得到什么

最终，每种记录类型都会生成一个 SQL 表。一个 CSV 文件，其行分别标记为 HDR、ITM 和 TRL，会变成 文件集.data_hdr, 文件集.data_itm 和 文件集.data_trl每个列都包含文件夹中每个文件的该类型记录。列按位置编号。 字段1 至 字段_N每一行都包含 源文件 和 _seq这样，您就可以使用两列将标题与其详细信息连接起来。代理程序会读取其计算机上的文件夹，将行缓存到加密的本地存储中，并将其作为 SQL 提供给 Excel、Google Sheets、查询生成器或任何其他客户端。文件保留在您的网络中。

每个表都位于一个名为“schema”的模式中。 文件集表格已为您命名，每个记录标签对应一个表格： data_<tag>因此，HDR 标签变为 文件集.data_hdr。 和 表格范围 设置为 每个文件扩展名和标签对应一个表格名称变为 data_<扩展名>_<标签>这样就能将不同文件类型中的相同标签区分开来。列是 字段1 至 字段_N 按位置排列，省略标签列。每一行还包含 _seq文件中该标签的出现次数（从 0 开始计数）以及记录类型之间的连接键，加上 源文件 和 _row_id 表单路径：行。

每个文件夹连接器还会提供记账表格。 文件, 文件事件, 目录, 目录快照 和 卷.

它的价值所在：

• 查询混合了抬头、明细和尾行的银行、工资或 EDI 式批处理文件。
• 在一次查询中，将每个文件的尾部总计与其详细信息行进行核对。
• 将传入的批处理文件作为正确的表格加载到 Excel 或 Google Sheets 中，而不是手动拆分它们。

你需要准备什么

查询流帐户

所有套餐（包括免费套餐）都包含文件夹连接器。免费套餐是永久有效的，并非试用期。文件夹可容纳的文件数量没有上限。

代理程序，2.6.0 或更高版本

安装在可以打开该文件夹的计算机上：文件服务器本身、办公计算机或文件所在的计算机。旧版代理程序会将文件夹卡片显示为灰色并带有“显示错误”字样。 代理 2.6.0+ 徽章。支持 Windows、Mac 或 Linux 系统。

代理程序看到的文件夹路径

本地路径或网络共享，写作 \\服务器\共享\文件夹. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt 或 /媒体, a Mac under /Volumes).

分五步完成设置

1. 在可以打开该文件夹的计算机上安装代理程序

   登录，打开 下载然后在能够打开包含多种记录类型的 CSV 文件的计算机上安装系统代理：例如文件服务器，或者任何可以访问共享文件的始终在线的计算机。安装过程只需一分钟，安装完成后即可自动运行。您需要 2.6.0 或更高版本；下载页面始终提供最新版本。

   为什么使用小型程序而不是驱动程序？ 该代理程序只需安装一次，即可在 Windows、Mac 或 Linux 系统上运行（Windows 系统下约 85 MB，Mac 和 Linux 系统下略超过 100 MB）。它会打开一个与查询流的加密出站连接，这是它唯一需要的网络路径：无需打开入站端口，也无需 VPN。它会读取自身所在的文件夹，因此文件不会移动，只有查询返回的行数据才会通过互联网传输到您端的插件、浏览器或 AI 客户端。

   下载页面显示 您的访问密钥当代理提示时，将其粘贴到代理中，然后等待徽章读取。 已连接到查询流这是你在代理人的电脑上唯一要做的事情；其他所有操作都在你的浏览器中进行。

   完整攻略（如果您需要）： Windows, 苹果, Linux.

2. 指向混合了多种记录类型的 CSV 文件

   返回浏览器打开 数据 → 数据代理找到您刚刚安装的代理，然后单击其 添加连接器 按钮。打开 文件和文件夹 药丸和选择 多记录 CSV 卡片。不确定哪张卡片合适？选择一张。 文件夹中的文件 相反：代理程序会扫描文件夹，在“我们发现了什么”页面上列出文件夹的内容，并为您打开预先填充好的正确卡片。

   巫师跑 文件夹 → 检查 → 设置 → Realm → 查看。 在 文件夹:

   根文件夹

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   扫描子文件夹，最大深度

   默认情况下，开启并有 8 个级别。

   包含模式，排除模式

   哪些文件有效？包含模式以该卡的正确通配符开头。一个连接器读取一种文件类型：包含 CSV 文件的文件夹。 和 Parquet 文件是同一个文件夹中有两个连接器，每种类型一个。

   跟随符号链接和连接点

   默认关闭。除非您启用此功能，否则代理程序不会遵循快捷方式或云端占位符。

   在可以打开该文件夹的计算机上安装 Query Streams Agent（2.6.0 或更高版本）。从该 Agent 的…… 添加连接器 按钮，打开 文件和文件夹 并选择 多记录 CSV 卡片。

   • 根文件夹：代理计算机上要扫描的文件夹，每行一个。网络共享类型为 \\服务器\共享\文件夹不是映射的驱动器盘符。
   • 包含模式 开始时 **/*.csv.
   • 文件布局, 记录标签列（编号） 和 分隔符：哪一列包含记录标签，以及字段之间是如何分隔的。
   • 表格范围：保留默认设置，每个标签对应一个表格。选择 每个文件扩展名和标签对应一个表格 将不同文件类型中的相同标签保存在不同的表中。

   没有 表名 领域和无 表格布局 选择。表格已命名 data_<tag>注释解释说，所有匹配的文件必须共享一个布局，该布局是在第一次同步时从样本中固定下来的；之后出现不一致的文件将被搁置并报告。

3. 查看它将建造什么

   在 查看 代理程序读取最多 64 个文件的样本，并显示它将要构建的内容。目前尚未创建任何内容。按钮显示： 测试连接 在判决结果出来之前， 下一页; 再次测试 更改设置后，程序会重新运行样本。您将看到以下四个标题之一：

   准备创建

   每个抽样文件都符合要求。文件下方的芯片显示了可访问的文件夹数量、文件和行数，以及将要存在的表。

   准备好了，附上笔记

   部分文件将被搁置，或者布局嗅探将被拒绝。琥珀色横幅会明确指出具体是哪些文件：“{n} 个文件（共 {m} 个）将被搁置”。 找出需要哪些文件以及原因 列表中，“您仍然可以创建它——连接器将不断重新检查并在其清单选项卡上报告原因。”

   需要关注

   代理程序离线或缺少文件夹。请先解决此问题再继续；代理程序离线时，页面会显示此提示，但您仍然可以继续操作。

   被拒绝或搁置的文件不会阻止您：点击 下一页完成向导后，稍后再修复异常文件。只有代理程序离线或文件夹缺失才会导致向导停止。

   在 查看代理程序会读取最多 64 个文件的样本，并在类似“3 个表：data_hdr、data_itm、data_trl”这样的信息框中显示文件数量、大小、预估行数以及它将要构建的表（每个记录标签对应一个表）。此时尚未创建任何数据。如果标签列设置错误，代理程序列出的标签将与您的记录类型不符，这表明您需要返回并进行更改。 记录标签列（编号） 或 分隔符代理无法读取的 CSV 文件显示在下方。 找出需要哪些文件以及原因 文件被搁置，并显示“12 个文件中有 1 个将被搁置”的横幅，其余文件仍在加载。您可以通过两种方式创建连接器；它会不断重新检查并在其页面上报告原因。 显现 标签。

4. 选择扫描频率，然后创建它

   默认值 设置 适用于每天接收少量文件的文件夹。以下四点您可能需要更改：

   扫描间隔

   每小时 默认情况下，扫描频率为每 5 分钟一次，也可选择每天一次。每次扫描都会比较文件大小和修改时间，以查找新增、已更改和已消失的文件。

   监视文件夹更改（近乎实时）

   默认关闭。启用后，代理程序会在几秒内响应本地磁盘；对于网络共享，响应速度会尽力而为，计划扫描仍是保证响应速度的手段。 静默期 （15 秒）等待文件写入完成。

   请刷新页面后再回答查询

   默认关闭。开启后，如果上次扫描时间早于查询时间，查询将首先重新扫描。 陈旧窗口 （60秒），最多等待 查询等待限制 （5 秒）。这适用于人员和插件，不适用于警报轮询。

   文件消失时

   删除它的行 默认情况下，或者 保留行，标记已删除（墓碑标记）。 这 消失的保护比率 （0.5）拒绝一次性丢失一半以上文件的扫描，并保留之前的库存，这就是离线共享的样子。

   然后选择 数据领域 检查行数是否计入统计。 审查 并点击 创建连接器首次扫描立即开始。连接器的 显现 该选项卡显示它生成的内容以及它保存的任何文件。

5. 看看你的表格

   打开连接器： 显现 该选项卡列出了它创建的表格。 查询生成器 同样的桌子摆放在下面 文件集 模式。三个第一天就能运行的查询：

   文件头记录，按文件顺序

   SELECT _source_file, _seq, field_1, field_2 FROM fileset.data_hdr ORDER BY _source_file, _seq LIMIT 100

   每个文件的每个标题行，以及它来自的文件和它在该文件标题中的位置。

   每个文件的头部都位于其尾部旁边。

   SELECT h._source_file, h._seq, h.field_1 AS header_field_1, t.field_1 AS trailer_field_1 FROM fileset.data_hdr AS h JOIN fileset.data_trl AS t ON t._source_file = h._source_file AND t._seq = h._seq ORDER BY h._source_file, h._seq LIMIT 100

   将两种记录类型通过两个共享列 _source_file 和 _seq 连接起来，使同一文件中的第 n 个标题与第 n 个标题相遇。

   文件因标签未知或宽度错误而被搁置

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   省略所有行的文件，并详细说明省略原因。

   每个文件夹连接器也都服务于相同的记账表，所有这些表都在…… 文件集 模式：

   桌子	它包含什么
   文件	文件夹中当前所有文件的概览：路径、名称、扩展名、大小、创建和修改时间、首次和最后访问时间。 files_current它还会保留已消失的文件。
   文件事件	变更历史记录：每行记录一个文件。 出现， 曾是 修改的, 消失了被搁置一旁（漂移）或曾是 拒绝，随着时间推移 事件以及它是如何被注意到的 检测到 原因在于 细节.
   目录, 目录快照, 卷	文件夹数量和大小、它们的增长方式，以及根目录所在的磁盘或共享文件夹。
   源文件, _row_id	每行数据包含两列：该行数据来自哪个文件，以及该文件内的一个固定行 ID。按以下方式分组 源文件 比较文件。

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the 文件夹 step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

到处使用

连接器是查询流中的数据源，与其他数据源类似。只需在查询流中保存一次即可。 查询生成器 （该数据库方言为 DuckDB），并可从以下位置使用它：

在 Excel

该插件的 流式查询 将行拖放到工作表中，然后单击即可重新运行。 在 Excel 中运行 SQL.

谷歌工作表

这 查询流 插件会填充您选择的标签页。 用于 Google Sheets 的 Power Query.

Claude、Cursor 和其他人工智能客户端

通过 Query Streams MCP 服务器，Claude 了解文件夹模型，包括 源文件 和 文件事件. 通过 MCP 与 Claude 进行多轨录音.

REST API

在每个计划中，任何已保存的查询都会成为一个具有自己键的只读端点。 多记录 REST API.

诺瓦

请用通俗易懂的英语询问商业计划书；Nova 可以根据其内置描述识别每个文件夹、表格和列。

自动化

按计划将行同步到 Airtable、Smartsheet、Baserow、SeaTable 或工作表。 自动化指南.

文件夹表也可以连接到您的其他连接器：联合查询可以匹配 源文件 CSV 文件中的名称或订单 ID 混合了针对同一代理上数据库的多种记录类型。

新建、更改和删除的文件如何显示

被搁置的文件

在“检查”步骤和“清单”选项卡上会出现三个词。它们的含义各不相同：

停放在一旁（停放）

文件与固定布局不符，或者文件无法读取、撕裂、锁定或超出限制。每个文件要么全部占用，要么全部不占用：已停放的文件不贡献任何行。 文件事件 记录 漂移 行 细节 指定文件名和列名。如果文件大小和修改时间保持不变，则跳过该文件；一旦文件大小和修改时间发生变化，则立即重试。

无法阅读

代理程序无法打开或解析该文件，因为它的类型是：不是真正的工作簿，被其他程序锁定，是云端占位符，或是无法解码的字节。它自行停止运行，文件夹的其他部分继续处理。只有当文件夹内没有任何可读文件时，代理程序才会拒绝整个文件夹的处理。

拒绝

代理程序无法固定任何布局，例如，因为文件对列类型存在冲突。目前尚无数据表。 文件事件 获得 拒绝 与原因争吵 细节代理程序会在每次扫描时重试，直到布局固定为止。修复或排除它所指的文件，消息就会消失。

在哪里看：琥珀色的横幅 查看 (找出需要哪些文件以及原因），连接器的 显现 后面跟着制表符。在 SQL 中： SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

值得了解的界限

文件夹数量或文件数量没有计划限制。与其他连接器一样，这些行也会计入您的数据域。您可以提高或降低连接器的默认设置：

内容上限是指文件会被暂存而不是截断：每个文件最多 2,000,000 行或 512 MiB，每次扫描最多 10,000,000 行或 2 GiB。一个文件夹最多可以容纳 25 种不同的布局。 每个布局一张桌子 模式。

人们提出的问题

• 文件系统
• CSV文件夹
• 镶木地板文件夹
• Excel文件夹
• SQLite文件夹
• JSONL文件夹
• 机器日志
• Web服务器日志
• 容器日志
• 应用程序日志
• 系统日志
• 自定义日志