Consultar una carpeta de archivos Parquet con SQL

Conector de carpetas · Carpeta Parquet

Convierta una carpeta de archivos Parquet en Tablas SQL Puedes consultar en cualquier lugar

Dirige el agente de Query Streams a la carpeta. Este lee los archivos en su propio ordenador, crea las tablas en una caché local y las mantiene actualizadas a medida que llegan, cambian o desaparecen archivos. Puedes consultarlas desde Excel, Google Sheets, Nova, Claude o la API REST. No se carga ningún archivo ni se convierte ni se edita.

Aproximadamente 15 minutos No se necesita programar Los archivos permanecen en tu red. El plan gratuito lo cubre

Lo que obtendrás al final

Al final, se obtiene una tabla SQL tipificada, por ejemplo. conjuntos de archivos.órdenes, que contiene las filas de cada archivo Parquet en la carpeta, con tipos de columna leídos de los pies de página de los archivos y un _archivo_fuente Columna que indica el archivo de origen de cada fila. No es necesario instalar ningún visor de Parquet ni configurar DuckDB. El agente lee los archivos en el equipo donde se ejecuta, almacena las filas en caché y las sirve como SQL, por lo que los archivos permanecen en la red.

Todo se encuentra en un esquema de DuckDB llamado conjunto de archivos, almacenado en caché en el equipo del Agente. La tabla de datos toma su Nombre de la tablaLas columnas y los tipos provienen de los pies de página de Parquet. Los archivos pueden agregar u omitir columnas: la tabla contiene todas las columnas que se ven, y una columna que le falta a un archivo se lee como NULL.

No existe un modo por diseño para Parquet: todos los archivos coincidentes deben compartir un diseño, y una columna cuyo tipo difiere entre archivos detiene el anclaje. Cada conector de carpeta también le proporciona archivos, eventos_de_archivos, directorios, instantáneas_de_directorio y volúmenes, que enumeran los propios archivos Parquet, su historial de cambios y el tamaño de las carpetas.

Donde justifica su coste:

• Exportación de datos del lago de datos: un proceso escribe diariamente partes en formato Parquet en carpetas de año/mes, y los analistas las consultan como una sola tabla sin necesidad de un cuaderno.
• Entrega por parte del proveedor: un socio entrega extractos de Parquet a una carpeta compartida, y usted verifica el número de filas por archivo antes de cargarlos en cualquier otro lugar.
• Consultas de archivo: años de historial de Parquet se almacenan en un NAS, y una sola consulta SQL responde a una pregunta que antes requería un script.

Lo que necesitarás

Una cuenta de Query Streams

Los conectores de carpetas están disponibles en todos los planes, incluido el gratuito. El plan gratuito es permanente, no una prueba que caduca. No hay límite en la cantidad de archivos que puede contener una carpeta.

El Agente, versión 2.6.0 o posterior

Instalado en un equipo que pueda abrir la carpeta: el propio servidor de archivos, un equipo de oficina o la máquina en la que se almacenan los archivos. Un agente anterior muestra las tarjetas de carpeta atenuadas con un Agente 2.6.0+ Insignia. Windows, Mac o Linux.

La ruta de la carpeta, tal como la ve el Agente.

Una ruta local o un recurso compartido de red escrito como \\servidor\recurso compartido\carpeta. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt o /medios de comunicación, a Mac under /Volumes).

Configúralo en cinco pasos.

1. Instale el agente en un ordenador que pueda abrir la carpeta.

   Iniciar sesión, abrir DescargarInstale el Agente para su sistema en el equipo que pueda abrir una carpeta de archivos Parquet: el servidor de archivos o cualquier equipo siempre activo con acceso a la carpeta compartida. El proceso tarda un minuto y se inicia automáticamente. Necesita la versión 2.6.0 o posterior; la página de descargas siempre tiene la versión más reciente.

   ¿Por qué un programa pequeño en lugar de un controlador? El agente se instala una sola vez en Windows, Mac o Linux (aproximadamente 85 MB en Windows y algo más de 100 MB en Mac y Linux). Abre una conexión cifrada saliente a Query Streams, siendo esta la única ruta de red que necesita: no requiere abrir ningún puerto de entrada ni usar VPN. Lee la carpeta donde se encuentra, por lo que los archivos permanecen en su lugar y solo las filas que devuelve una consulta se transmiten por internet al complemento, navegador o cliente de IA en su equipo.

   La página de descarga muestra Su clave de accesoPégalo en el Agente cuando te lo pida y espera a que aparezca la insignia. Conectado a flujos de consultaEso es lo único que debes hacer en el ordenador del agente; todo lo demás ocurre en tu navegador.

   Si lo deseas, aquí tienes las guías completas: Ventanas, Impermeable, Linux.

2. Apúntalo a una carpeta de archivos Parquet.

   Volver a abrir el navegador Datos → Agentes de datos, busque el Agente que acaba de instalar y haga clic en su Agregar conector botón. Abrir el Archivos y carpetas pastilla y elige la Carpeta de parquet tarjeta. ¿No estás seguro de qué tarjeta encaja? Elige Archivos en una carpeta En cambio, el agente analiza la carpeta, indica su contenido en una página de "Lo que encontramos" y abre la tarjeta correspondiente, que ya viene rellenada.

   El mago corre Carpetas → Comprobar → Configuración → Dominio → Revisar. En Carpetas:

   Carpetas raíz

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Escanear subcarpetas, Profundidad máxima

   Encendido y 8 niveles, por defecto.

   Incluir patrones, excluir patrones

   ¿Qué archivos cuentan? El patrón de inclusión comienza con el glob correcto para esta tarjeta. Un conector lee un tipo de archivo: una carpeta con CSV. y Los archivos Parquet constan de dos conectores en la misma carpeta, uno por tipo.

   Siga los enlaces simbólicos y las uniones.

   Desactivado por defecto. El agente no sigue los accesos directos ni los marcadores de posición en la nube a menos que actives esta opción.

   Comience desde el Agregar conector Botón de un agente que puede abrir la carpeta. Abrir Archivos y carpetas y haga clic en el Carpeta de parquet tarjeta.

   • Carpetas raíz: una carpeta por línea, como rutas en el equipo del agente. Escriba un recurso compartido de red como \\servidor\recurso compartido\carpeta, no como una letra de unidad asignada.
   • Incluir patrones comienza como **/*.parquet. Escanear subcarpetas está en marcha con Profundidad máxima 8, por lo que se leen los árboles de carpetas particionadas.
   • Escriba un Nombre de la tabla, Por ejemplo pedidosEs obligatorio en esta tarjeta.
   • No hay Diseño de la tabla Elección. Una nota explica que todos los archivos coincidentes deben compartir un mismo diseño, que la primera sincronización lo fija a partir de una muestra, y que los archivos que posteriormente no coinciden se apartan y se informan.

3. Comprueba lo que construirá

   En Controlar El agente lee una muestra de hasta 64 archivos y muestra lo que creará. Todavía no se ha creado nada. El botón dice: Probar la conexión hasta que exista un veredicto, entonces Siguiente; Inténtalo de nuevo Vuelve a ejecutar la muestra después de que hayas cambiado algo. Verás uno de cuatro encabezados:

   Listo para crear

   Todos los archivos muestreados encajan. Los chips que se encuentran debajo indican cuántas carpetas eran accesibles, cuántos archivos y filas hay, y qué tablas existirán.

   Listo, con notas

   Algunos archivos se apartarán o se rechazará la detección de diseño. Un banner ámbar indica exactamente cuál: “{n} de {m} archivo(s) se apartarán” con un Mostrar qué archivos y por qué lista, y “Puedes crearlo de todos modos; el conector seguirá comprobando e informará del motivo en su pestaña Manifiesto”.

   Necesita atención

   El agente está desconectado o falta una carpeta. Solucione esto antes de continuar; si el agente está desconectado, la página lo indicará y aun así le permitirá continuar.

   Un rechazo o archivos reservados nunca te bloquean: haz clic SiguienteFinaliza el asistente y corrige los archivos que falten más tarde. Solo un agente sin conexión o una carpeta faltante detiene el asistente.

   En ControlarEl agente toma muestras de hasta 64 archivos y muestra el número de archivos, el tamaño, la estimación de filas y la tabla que construirá. Aún no se ha creado nada. Los tipos deben coincidir en toda la muestra; el agente nunca fija por mayoría. Si dos archivos no coinciden en el tipo de una columna, el encabezado es Listo, con notas y el banner ámbar dice “El análisis del esquema rechazó: {motivo}”, nombrando el archivo que no está de acuerdo. De todos modos, puede crear el conector. Sigue volviendo a comprobar y muestra el motivo en su Manifiesto Presione la tecla Tab hasta que corrija o excluya el archivo.

4. Elige con qué frecuencia escanea y luego créalo.

   Los valores predeterminados en Configuración Adecuado para una carpeta que recibe pocos archivos al día. Cuatro que quizás quieras cambiar:

   Intervalo de escaneo

   Cada hora Por defecto, puede elegir entre cada 5 minutos o diariamente. Cada análisis compara el tamaño y la fecha de modificación para encontrar archivos nuevos, modificados o desaparecidos.

   Monitorear la carpeta para detectar cambios (casi en tiempo real)

   Desactivado por defecto. Activado, el agente reacciona en segundos en discos locales; en recursos compartidos de red, se realiza con el mejor esfuerzo posible y el análisis programado sigue siendo la garantía. Período tranquilo (15 segundos) espera a que termine de escribirse un archivo.

   Actualiza la página antes de responder a una consulta.

   Desactivado por defecto. Activado, una consulta vuelve a escanear primero cuando el último escaneo es anterior a la Ventana de estancamiento (60 segundos), esperando como máximo el Límite de espera de la consulta (5 segundos). Se aplica a personas y complementos, no a sondeos de alertas.

   Cuando un archivo desaparece

   Deja caer sus filas por defecto, o Conservar filas, marcar como eliminadas (lápida). El Relación de guarda de Vanish (0.5) rechaza un escaneo que pierde más de la mitad de los archivos a la vez y mantiene el inventario anterior, que es como se ve un recurso compartido sin conexión.

   Luego elige el Ámbito de los datos las filas cuentan contra, verifique Revisar y haga clic Crear conector. El primer escaneo comienza de inmediato. El conector Manifiesto La pestaña muestra lo que construyó y cualquier archivo que haya guardado.

5. Mira tus mesas

   Abra el conector: el Manifiesto La pestaña enumera las tablas que construyó. En el Generador de consultas Las mismas mesas se encuentran debajo de la conjunto de archivos Esquema. Tres consultas que funcionan desde el primer día:

   Cuántas filas añade cada archivo Parquet

   SELECCIONAR _source_file, COUNT(*) COMO row_count, MAX(_row_id) COMO last_row_id DE fileset.orders AGRUPAR POR _source_file ORDENAR POR row_count DESC LÍMITE 100

   Muestra cada archivo de piezas detrás de la mesa y cuánto contribuye cada uno.

   Particionar carpetas por tamaño y archivo más reciente

   SELECCIONAR ruta, subtree_file_count, subtree_bytes, newest_file_utc DE fileset.directories ORDENAR POR newest_file_utc DESC LIMIT 100

   Te indica qué carpetas de partición recibieron archivos más recientemente y cuánto ha crecido cada una.

   ¿Se rechazó o se dejó de lado algún expediente y por qué?

   SELECCIONAR ruta_relativa, tipo_evento, detectado_por, detalle, evento_en_tiempo FROM fileset.files_eventos WHERE tipo_evento IN ('refused', 'drift') ORDENAR POR evento_en_tiempo DESC LIMIT 20

   Una fila rechazada significa que no se pudo fijar ningún diseño; una fila de deriva indica un archivo cuyas filas se omitieron.

   Cada conector de carpeta también sirve a las mismas tablas de contabilidad, todas en el conjunto de archivos esquema:

   Mesa	Lo que contiene
   archivos	Cada archivo que se encuentra actualmente en la carpeta: ruta, nombre, extensión, tamaño, fechas de creación y modificación, primera y última vez que se vio. Una vista general archivos_actual, que también guarda archivos que han desaparecido.
   eventos_de_archivos	El historial de cambios: una fila por archivo que apareció, era modificado, desapareció, fue apartado (deriva) o era rechazado, con el tiempo en evento_en, cómo se notó en detectado_por y la razón en detalle.
   directorios, instantáneas_de_directorio, volúmenes	Cantidad y tamaño de las carpetas, cómo crecieron y en qué discos o carpetas compartidas se encuentran sus archivos raíz.
   _archivo_fuente, _row_id	Dos columnas en cada fila de datos: de qué archivo proviene la fila y un ID de fila estable dentro de ese archivo. Agrupar por _archivo_fuente para comparar archivos.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Carpetas step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Úsalo en todas partes

El conector es una fuente de datos como cualquier otra en Query Streams. Guarde una consulta una vez en el Generador de consultas (el dialecto es DuckDB) y úselo desde:

Excel

El complemento Transmitir una consulta Inserta las filas en una hoja de cálculo y las vuelve a ejecutar con un clic. Ejecutar SQL en Excel.

Hojas de cálculo de Google

El Transmisión de consultas El complemento ocupa la pestaña que usted seleccione. Power Query para Google Sheets.

Claude, Cursor y otros clientes de IA

A través del servidor MCP de Query Streams, Claude conoce el modelo de carpetas, incluyendo _archivo_fuente y eventos_de_archivos. Carpeta Parquet con Claude vía MCP.

API REST

Cualquier consulta guardada se convierte en un punto final de solo lectura con su propia clave, en todos los planes. API REST de carpetas Parquet.

Nova

Pregunte en lenguaje sencillo sobre el plan de negocios; Nova conoce cada carpeta, tabla y columna gracias a sus descripciones integradas.

Automatizaciones

Sincroniza las filas con Airtable, Smartsheet, Baserow, SeaTable o una hoja de cálculo según un cronograma. Guías de automatización.

Las tablas de carpetas también se unen a sus otros conectores: una consulta federada puede coincidir _archivo_fuente nombres o identificadores de pedido en una carpeta de archivos Parquet contra una base de datos en el mismo Agente.

Cómo se muestran los archivos nuevos, modificados y eliminados

Archivos que se apartan

En el paso de verificación y en la pestaña Manifiesto aparecen tres palabras. Significan cosas diferentes:

Apartado (estacionado)

El archivo no coincide con el diseño fijado, o bien es ilegible, está roto, bloqueado o cubierto por una tapa. Es un proceso de todo o nada para cada archivo: un archivo aparcado no aporta ninguna fila. eventos_de_archivos registra un deriva fila cuyo detalle Se especifica el nombre del archivo y de la columna. El archivo se omite mientras su tamaño y fecha de modificación permanezcan iguales, y se vuelve a intentar en cuanto cambien.

Ilegible

El agente no pudo abrir ni analizar el archivo debido a su tipo: no era un libro de trabajo real, estaba bloqueado por otro programa, era un marcador de posición en la nube o contenía bytes indecodificables. Se detiene automáticamente y el resto de la carpeta continúa. Solo una carpeta sin archivos legibles rechaza todo el conjunto.

Rechazado

El agente no pudo fijar ningún diseño, por ejemplo, porque los archivos no coinciden en el tipo de columna. Aún no existe ninguna tabla de datos. eventos_de_archivos obtiene un rechazado discusión con la razón en detalley el Agente vuelve a intentarlo en cada escaneo hasta que se fija un diseño. Corrija o excluya el archivo que menciona y el mensaje desaparecerá.

Dónde mirar: el banner ámbar en Controlar (Mostrar qué archivos y por qué), el conector Manifiesto tabulación después. En SQL: SELECCIONAR ruta_relativa, tipo_evento, detalle DE fileset.files_events DONDE tipo_evento EN ('deriva','refused') ORDENAR POR event_at DESC.

Límites que vale la pena conocer

No hay límite de carpetas ni de archivos en el plan. Las filas se contabilizan en su Data Realm como en cualquier otro conector. Valores predeterminados que puede aumentar o disminuir en el conector:

Límites de contenido, que almacenan un archivo en lugar de truncarlo: 2.000.000 de filas o 512 MiB por archivo, 10.000.000 de filas o 2 GiB por escaneo. Una carpeta puede contener como máximo 25 diseños distintos en Una mesa por diseño modo.

Preguntas que hace la gente

• Sistema de archivos
• Carpeta CSV
• Carpeta de Excel
• Carpeta SQLite
• Carpeta JSONL
• CSV de múltiples registros
• Registros de máquinas
• Registros del servidor web
• Registros de contenedores
• Registros de la aplicación
• Registros del sistema
• Registros personalizados