Query Streams 是一个安全、实时的数据集成平台,可将您的数据库和 API 源连接到您的团队已经使用的电子表格、平台和 AI 工具。 了解更多信息,请访问 QueryStreams.com 和 免费注册 几分钟内即可开始集成您的数据源。
什么是数据集成平台?
数据集成平台是一种软件,它连接不同的数据源(例如数据库、API、SaaS 应用和文件系统),并将数据传输到需要使用的工具。其目标是消除手动导出、复制粘贴工作流程以及在模式更改或凭据轮换时会失效的临时脚本。
实际上,大多数组织会将关键数据存储在多个系统中:销售数据存储在 SQL Server 数据库中,营销指标存储在 Google Analytics 中,客户记录存储在 HubSpot 等 CRM 系统中,财务交易记录存储在 Stripe 中。如果没有数据集成平台,访问这些数据就意味着需要分别登录每个系统,运行导出程序,重新格式化文件,然后将结果粘贴到电子表格中。等到生成报告时,数据可能已经过时了。
一个设计完善的数据集成平台通过提供一个位于数据源和输出目标之间的单一层来解决这个问题。您只需定义所需数据,平台便会负责连接、安全、格式转换和交付。最终实现按需或定时数据访问,无需再依赖脆弱的手动流程。
数据集成类型
数据集成是一个涵盖多种不同方法的广泛领域。每种方法在复杂性、延迟、成本以及最适合的工作流程类型方面各有优劣。了解这些方法有助于您为特定用例选择合适的工具。
ETL(提取、转换、加载) 这是传统的企业级方法。数据从源系统提取,在暂存区进行转换(清洗、映射、聚合),然后加载到 Snowflake、BigQuery 或 Redshift 等数据仓库中。ETL 管道功能强大,适用于大规模分析,但需要数据工程师构建和维护转换逻辑。Informatica、Talend 和 SSIS 等工具在该领域占据主导地位。
ELT(提取、加载、转换) 这种方法颠倒了顺序:原始数据直接加载到云数据仓库中,然后使用 SQL 进行原地转换。这种方法充分利用了现代云数据仓库的计算能力,并通过 Fivetran、Airbyte 和 dbt 等工具而广受欢迎。它的设置速度比传统的 ETL 更快,但仍然需要数据仓库和 SQL 方面的专业知识来定义转换规则。
CDC(变更数据采集) 通过监控数据库事务日志,近乎实时地捕获数据变更。Debezium、Kafka Connect 和 Oracle GoldenGate 是常用的变更数据捕获 (CDC) 工具。这种方法非常适合事件驱动架构和流式分析,但需要大量的基础设施(消息代理、流处理器)和运维专业知识才能可靠地进行管理。
基于 API 的/按需集成 查询流直接在需要时查询数据源,无需预先准备或数据仓库。数据在需要时立即从源传输到目标,从而保持结果的实时性,而无需持续的管道开销。查询流采用这种模型——安装在数据库附近的代理负责连接和安全,而查询则按需或按计划执行。
比较集成方法
这些方法都不是普遍意义上的“最佳”方案。ETL 和 ELT 适用于数据仓库用例。CDC 适用于实时事件流处理。按需集成适用于需要在现有工具中获取实时数据的团队,而无需构建和维护数据仓库或管道基础设施。正确的选择取决于您需要数据的用途以及数据的传输路径。
查询流如何进行数据集成
Query Streams 的构建基于一个简单的模型:在数据库附近安装一个轻量级代理,定义数据连接,然后从任何受支持的输出目标(Excel、Google Sheets、Airtable、Smartsheet、Baserow、SeaTable 或 Nova AI 分析界面)访问该数据。
无需部署数据仓库,无需配置转换管道,也无需管理暂存表。代理程序直接针对您的实时数据库运行 SQL 查询,并将结果流式传输到请求端点。对于 Stripe 和 HubSpot 等 API 数据源,代理程序的 API 桥接器会将数据本地同步到 DuckDB 缓存中,然后您可以使用标准 SQL 查询该缓存。效果相同:编写查询,将结果发送到目标位置。
这并非 ETL 的替代方案。 如果您需要将来自数十个数据源的TB级数据整合到一个中央数据仓库中进行复杂的转换,Query Streams 可能并不适合您。但如果您的工作流程是“我需要将数据库中的实时数据按需或按计划导入到我的电子表格中,并与我的团队共享”,那么 Query Streams 正是为此而设计的,它只需极少的设置,无需定期维护数据管道。
该代理程序可在 Windows、Linux 和 macOS 上运行。您可以将多个代理程序部署到整个基础架构中,包括本地服务器、AWS EC2 实例、Azure 虚拟机、Google Cloud 或任何全球环境。每个代理程序都可自行维护。 自动更新所有代理的所有数据源都会在查询构建器中以统一的下拉列表形式显示。用户无需知道数据源托管在哪个代理或服务器上,即可从可用数据源中进行选择。
完整的连接器矩阵
这是完整的集成图:查询流可以连接的每个数据源、连接代理以及可以交付数据的每个目标位置。
查询流集成图
代理人
数据库连接器
关系型数据库 构成 Query Streams 连接的核心。代理程序可原生连接到 Microsoft SQL Server(使用 T-SQL)、PostgreSQL、MySQL、MariaDB、SQLite 和 Microsoft Access。每个连接器都使用数据库的原生协议,因此您可以获得完整的 SQL 方言支持,包括数据库特定的函数、CTE、窗口函数以及存储过程(如适用)。
企业和云数据库 所有方案均得到同等支持。Oracle、Snowflake 和 Google BigQuery 连接器可处理企业级数据源。DuckDB 为本地数据集提供高性能分析查询功能,并作为 API Bridge 数据的存储引擎。AWS RDS、Azure SQL 数据库和 Google Cloud SQL 上的云托管数据库通过同一代理运行——为获得最佳性能,请将其部署在与数据库相同的网络或区域中。
API 源
特工的 API桥接 连接到 SaaS 平台,并将其数据同步到本地 DuckDB 缓存中。然后,您可以使用标准 SQL 查询这些数据,就像查询任何其他数据库一样。目前支持的平台包括:Stripe(支付、订阅、发票)、HubSpot(联系人、交易、公司)、Shopify(订单、产品、客户)、Google Analytics(会话、页面浏览量、转化率)、Google Search Console(搜索查询、展示次数、点击率)和 iTick(实时市场数据、外汇、加密货币、股票)。
由于 API 数据缓存在 DuckDB 中,您可以将其与其他连接器的数据连接起来。例如,您可以运行一个查询,将 Stripe 支付数据与您的 PostgreSQL 客户表连接起来,或者将 HubSpot 交易阶段与您的 SQL Server ERP 数据进行交叉引用。代理程序会处理连接,您只需编写 SQL 语句即可。
输出目的地
电子表格 是主要输出通道。 Microsoft Excel 加载项 和 Google Sheets 插件 用户可以选择已保存的查询,调整交互式筛选器,并按需运行,将实时数据直接导入电子表格。查询流支持并行执行——用户可以同时在五个不同的工作表标签页中启动五个查询,代理程序会同时处理每个查询,而无需考虑结果大小。
平台集成 将数据传输扩展到电子表格之外。定期安排查询,将结果同步到 Airtable、Smartsheet、Baserow 或 SeaTable。这会将任何 SQL 查询转换为…… 自动化数据管道 — 数据库数据无需人工干预即可到达您的项目管理工具、无代码应用程序或协作平台。
新星人工智能 是内置的 商业智能和人工智能分析 界面简洁易懂。您可以用自然语言提问,Nova 会生成经过验证且符合方言规范的 SQL 语句,并将其应用于您的实时数据库,然后返回包含自动生成的图表和自然语言分析的结果。Nova 生成的任何查询语句都可以保存,并通过与手动编写的查询语句相同的 Excel 和 Sheets 渠道进行共享。
工作原理
从零到实时交付数据只需四个步骤。无需数据仓库配置、无需管道配置、也无需任何专有培训。
步骤 1:安装代理。 下载代理程序 并将其安装在任何可以访问数据库的机器上——本地服务器、云虚拟机或您的工作站。该代理程序可在 Windows、Linux(Debian/Ubuntu)和 macOS(Intel 和 Apple Silicon)上运行。它只建立出站连接,因此无需更改防火墙设置或开放入站端口。
步骤 2:连接数据源。 通过代理的本地 Web 界面添加数据库和 API 连接器。为数据库提供连接字符串,或使用 OAuth 对 API 源进行身份验证。代理会验证每个连接,并将 Nova AI 和查询构建器的架构元数据缓存起来。
步骤 3:编写或生成查询。 使用 基于网页的查询构建器 您可以手动编写 SQL,也可以让 Nova AI 根据纯英文生成查询。定义交互式筛选器,以便最终用户无需修改 SQL 即可调整参数(日期范围、地区、产品类别)。查询流会自动检测可筛选值,并允许您在查询的“属性”选项卡中进行配置。
第四步:将数据发送到任何目的地。 您可以随时从 Excel 或 Google Sheets 运行查询,安排自动同步到 Airtable 或 Smartsheet,或者与团队成员和外部合作伙伴共享查询。接收者可以独立于自己的电子表格运行共享查询,并使用自己的筛选条件,而无需查看 SQL 或数据库凭据。
这适用于哪些人
Query Streams 专为需要将数据从数据库迁移到员工实际使用的工具中的团队和组织而设计。在这些工作流程中,按需数据集成能够发挥最大价值。
数据分析师
无需配置 ODBC 驱动程序或学习 BI 工具,即可直接从 Excel 或 Google Sheets 查询数据库。可按需运行带有交互式筛选器的实时查询。
财务团队
将ERP和会计数据库中的实时财务数据导入电子表格,用于预算编制、预测和报告。无需导出过时的CSV文件,也无需手动刷新。
运营经理
使用熟悉的工具访问客户关系管理 (CRM)、库存和供应链数据。设置定期同步到 Airtable 或 Smartsheet,以创建项目跟踪仪表板。
IT管理员
为业务用户提供受控的数据库访问权限,无需暴露凭据或授予直接数据库登录权限。仅出站代理可确保您的防火墙规则不受影响。
小型企业
企业级数据集成,无需企业级成本或复杂性。免费套餐助您轻松入门;付费方案可根据您的需求灵活扩展,无需按用户付费。
外部合作伙伴
共享运行查询的交互式功能,而非 SQL 代码或凭据。合作伙伴、客户和供应商可以随时从他们自己的电子表格运行共享查询。
谁应该另寻他处
诚实的定位至关重要。Query Streams 是一个功能强大的数据集成平台,适用于数据库到终端的工作流,但它并非适用于所有集成场景。如果您的需求符合以下某种模式,那么其他类型的工具可能更适合您。
实时流媒体(亚秒级 CDC) — 如果您需要实时捕获和处理数据库的每一行更改,请考虑使用 Debezium、Kafka Connect 或 AWS DMS。查询流是按需或按计划执行查询,而不是作为持续的变更流。
大型数据转换管道 — 如果您的工作流程需要复杂的多步骤转换、数据清洗、去重以及跨数十个数据源的协调,请考虑使用 Fivetran、Airbyte 或 dbt。Query Streams 直接提供查询结果(包含 SQL 级别的转换),而不是 ETL 管道协调。
PB级数据仓库 如果您要从零开始构建集中式数据仓库,Informatica、Talend 或 Matillion 等工具正是为此类规模而设计的。Query Streams 查询的是现有数据库,而不是整合它们。
零安装云原生集成 — Query Streams 需要在您的基础架构上安装代理。如果您无法在任何服务器或虚拟机上安装软件,那么完全云托管的连接器平台可能更适合您。
安全与架构
对于数据集成而言,安全性并非一个可选项,而是架构本身。Query Streams 从一开始就秉持着这样的原则:数据库凭据绝不应离开您的网络,防火墙也绝不需要打开任何入站端口。
代理程序仅与 Query Streams 云服务建立出站连接。不涉及入站端口、VPN 隧道或反向代理。数据库凭据存储在代理程序本地,绝不会传输到 Query Streams 服务器。当用户或计划任务请求数据时,云服务会通过现有的出站连接将查询发送给代理程序,代理程序针对本地数据库执行查询,并将结果流式传输回本地。代理程序默认强制执行只读访问——它只执行 SELECT 查询,不执行任何修改操作。
这种架构意味着您的 IT 团队可以完全控制哪些数据可以访问,而业务用户则可以通过电子表格和协作工具自助访问这些数据。您可以在不同的网络段部署多个代理,每个代理都有自己的一组数据源和权限,所有这些都由一个统一的管理平台进行管理。 查询流门户.
常见问题
什么是数据集成平台? +
Query Streams 与 Fivetran 或 Airbyte 等 ETL 工具有何不同? +
Query Streams 支持哪些数据库? +
我可以集成哪些API源? +
我可以通过查询流将数据发送到哪里? +
我的数据安全吗? +
我的数据库服务器上需要安装什么软件吗? +
我可以在Linux或macOS上使用Query Streams吗? +
有免费套餐吗? +
我可以在不暴露数据库的情况下与外部合作伙伴共享数据吗? +
开始
连接您的数据库。随时随地传输数据。
注册一个免费帐户,将代理程序安装在数据库附近,即可开始向 Excel、Google Sheets、Airtable、Smartsheet 等提供实时数据——只需几分钟,而不是几周。
相关指南: Microsoft Excel 中的数据库 | Google Sheets 中的数据库 | 商业智能和人工智能数据分析 | 自动化与集成 | 将应用程序接口转换为 SQL
类别:文章
标签:数据集成平台、云数据集成、数据连接器、数据库集成、ETL替代方案、Excel数据库连接器、Google Sheets数据库、Airtable集成、Smartsheet数据同步、API到SQL、数据管道、实时数据、按需数据、跨平台代理
元描述:使用查询流将 10 多个数据库和 6 个以上的 API 连接到 Excel、Sheets、Airtable 等。

