Consultar los registros de nginx, Apache e IIS con SQL

Conector de carpetas · Registros web

Convierta sus registros de acceso de nginx, Apache, IIS o Caddy en Tablas SQL Puedes consultar en cualquier lugar

Dirige el agente de Query Streams a la carpeta. Este lee los archivos de registro en su propio equipo, crea las tablas en una caché local y las mantiene actualizadas a medida que llegan, cambian o desaparecen archivos. Puedes consultarlas desde Excel, Google Sheets, Nova, Claude o la API REST. No se carga ningún archivo ni se convierte ni edita.

Aproximadamente 15 minutos No se necesita programar Los archivos permanecen en tu red. El plan gratuito lo cubre

Lo que obtendrás al final

Terminas con una tabla llamada eventos en el conjunto de archivos esquema, que contiene una fila por solicitud de sus registros de acceso de nginx, Apache, IIS o Caddy. Con el perfil combinado de nginx y Apache, las columnas son sitio, IP del cliente, autenticación, método, camino, http_version, estado, bytes, referente y agente, más tiempo_del_eventoPuedes consultarlo con SQL desde Excel, Google Sheets, un panel de control o cualquier herramienta compatible con Query Streams. Los archivos de registro nunca salen del equipo donde se ejecuta el agente.

Las solicitudes llegan a eventos, o el Nombre de la tabla tú configuras. Cada fila lleva _stream_id (uno por archivo de registro, conservado entre rotaciones), _número_de_línea, tiempo_del_evento, tiempo_evento_sin_certificar, la columna de identidad sitio, las columnas de solicitud del perfil, _archivo_fuente y _row_id. La cadena del navegador está en agenteLos registros W3C de IIS conservan sus propios nombres, como por ejemplo: c_ip, método_cs, cs_uri_stem y estado_scOrdenar siempre por tiempo_del_evento.

Cada conector de carpeta también te ofrece archivos, eventos_de_archivos, directorios, instantáneas_de_directorio y volúmenes.

Donde justifica su coste:

• Realice un seguimiento de las tasas de los vehículos 4xx y 5xx por ruta en un panel de control que se actualiza con cada escaneo.
• Extrae el tráfico de nginx o IIS de una semana a Google Sheets para obtener un informe rápido.
• Descubre qué direcciones IP de clientes envían la mayor cantidad de solicitudes sin enviar registros a un servicio de terceros.

Lo que necesitarás

Una cuenta de Query Streams

Los conectores de carpetas están disponibles en todos los planes, incluido el gratuito. El plan gratuito es permanente, no una prueba que caduca. No hay límite en la cantidad de archivos que puede contener una carpeta.

El Agente, versión 2.6.0 o posterior

Instalado en un equipo que pueda abrir la carpeta: el propio servidor de archivos, un equipo de oficina o la máquina en la que se almacenan los archivos. Un agente anterior muestra las tarjetas de carpeta atenuadas con un Agente 2.6.0+ Insignia. Windows, Mac o Linux.

La ruta de la carpeta, tal como la ve el Agente.

Una ruta local o un recurso compartido de red escrito como \\servidor\recurso compartido\carpeta. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt o /medios de comunicación, a Mac under /Volumes).

Configúralo en cinco pasos.

1. Instale el agente en un ordenador que pueda abrir la carpeta.

   Iniciar sesión, abrir DescargarInstale el Agente para su sistema en el equipo que pueda acceder a los registros de acceso de nginx, Apache, IIS o Caddy: el servidor de archivos o cualquier equipo que esté siempre encendido y pueda acceder al recurso compartido. La instalación tarda un minuto y, a partir de ese momento, se inicia automáticamente. Necesita la versión 2.6.0 o posterior; la página de descargas siempre tiene la versión más reciente.

   ¿Por qué un programa pequeño en lugar de un controlador? El agente se instala una sola vez en Windows, Mac o Linux (aproximadamente 85 MB en Windows y algo más de 100 MB en Mac y Linux). Abre una conexión cifrada saliente a Query Streams, siendo esta la única ruta de red que necesita: no requiere abrir ningún puerto de entrada ni usar VPN. Lee la carpeta donde se encuentra, por lo que los archivos permanecen en su lugar y solo las filas que devuelve una consulta se transmiten por internet al complemento, navegador o cliente de IA en su equipo.

   La página de descarga muestra Su clave de accesoPégalo en el Agente cuando te lo pida y espera a que aparezca la insignia. Conectado a flujos de consultaEso es lo único que debes hacer en el ordenador del agente; todo lo demás ocurre en tu navegador.

   Si lo deseas, aquí tienes las guías completas: Ventanas, Impermeable, Linux.

2. Dirígelo a tus registros de acceso de nginx, Apache, IIS o Caddy.

   Volver a abrir el navegador Datos → Agentes de datos, busque el Agente que acaba de instalar y haga clic en su Agregar conector botón. Abrir el Archivos y carpetas pastilla y elige la Registros del servidor web tarjeta. ¿No estás seguro de qué tarjeta encaja? Elige Archivos en una carpeta En cambio, el agente analiza la carpeta, indica su contenido en una página de "Lo que encontramos" y abre la tarjeta correspondiente, que ya viene rellenada.

   El mago corre Carpetas → Comprobar → Configuración → Dominio → Revisar. En Carpetas:

   Carpetas raíz

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   Escanear subcarpetas, Profundidad máxima

   Encendido y 8 niveles, por defecto.

   Incluir patrones, excluir patrones

   ¿Qué archivos cuentan? El patrón de inclusión comienza con el glob correcto para esta tarjeta. Un conector lee un tipo de archivo: una carpeta con CSV. y Los archivos Parquet constan de dos conectores en la misma carpeta, uno por tipo.

   Siga los enlaces simbólicos y las uniones.

   Desactivado por defecto. El agente no sigue los accesos directos ni los marcadores de posición en la nube a menos que actives esta opción.

   En el agente que puede abrir la carpeta de registro, haga clic Agregar conector, abierto Archivos y carpetas y elige el Registros del servidor web tarjeta. Una vez guardada, aparece en la lista de conectores como Archivos de registro.

   • Descripción — un nombre para el conector.
   • Carpetas raíz — las carpetas en el equipo del Agente, una por línea. Escriba un recurso compartido como \\servidor\recurso compartido\carpeta, no es una letra de unidad asignada.
   • Incluir patrones — empezar como **/access*.log*, **/error*.log* y **/*.registro.
   • Tipo de registro — seleccione el perfil para su servidor. Las columnas difieren según el perfil, así que utilice un conector por formato de registro. La lista está integrada; solo Carpeta de registro personalizada te permite definir un formato.
   • Nombre de la tabla — opcional, por defecto es eventos.
   • Relleno (días) — 30. Conservar eventos durante N días — 60.

3. Comprueba lo que construirá

   En Controlar El agente lee una muestra de hasta 64 archivos y muestra lo que creará. Todavía no se ha creado nada. El botón dice: Probar la conexión hasta que exista un veredicto, entonces Siguiente; Inténtalo de nuevo Vuelve a ejecutar la muestra después de que hayas cambiado algo. Verás uno de cuatro encabezados:

   Listo para crear

   Todos los archivos muestreados encajan. Los chips que se encuentran debajo indican cuántas carpetas eran accesibles, cuántos archivos y filas hay, y qué tablas existirán.

   Listo, con notas

   Algunos archivos se apartarán o se rechazará la detección de diseño. Un banner ámbar indica exactamente cuál: “{n} de {m} archivo(s) se apartarán” con un Mostrar qué archivos y por qué lista, y “Puedes crearlo de todos modos; el conector seguirá comprobando e informará del motivo en su pestaña Manifiesto”.

   Estos archivos no son de este tipo de registro.

   La muestra no se analizó como el formato de registro de esta tarjeta. Compruebe que ha seleccionado la tarjeta correcta o utilice la Carpeta de registro personalizada tarjeta y describir el formato.

   Un rechazo o archivos reservados nunca te bloquean: haz clic SiguienteFinaliza el asistente y corrige los archivos que falten más tarde. Solo un agente sin conexión o una carpeta faltante detiene el asistente.

   Si la muestra no coincide con el tipo de registro que seleccionó, Controlar El encabezado dice “Estos archivos no son” seguido del tipo. Abrir Informe completo del agente Para ver la razón, elige otro Tipo de registro y haga clic Inténtalo de nuevoUn rechazo o la reserva de archivos no te detiene: aún puedes hacer clic. Siguiente y crea el conector. Sigue volviendo a comprobar e informa del motivo en su Manifiesto pestaña.

4. Elige con qué frecuencia escanea y luego créalo.

   Los valores predeterminados en Configuración Adecuado para una carpeta que recibe pocos archivos al día. Cuatro que quizás quieras cambiar:

   Intervalo de escaneo

   Cada hora Por defecto, puede elegir entre cada 5 minutos o diariamente. Cada análisis compara el tamaño y la fecha de modificación para encontrar archivos nuevos, modificados o desaparecidos.

   Monitorear la carpeta para detectar cambios (casi en tiempo real)

   Desactivado por defecto. Activado, el agente reacciona en segundos en discos locales; en recursos compartidos de red, se realiza con el mejor esfuerzo posible y el análisis programado sigue siendo la garantía. Período tranquilo (15 segundos) espera a que termine de escribirse un archivo.

   Actualiza la página antes de responder a una consulta.

   Desactivado por defecto. Activado, una consulta vuelve a escanear primero cuando el último escaneo es anterior a la Ventana de estancamiento (60 segundos), esperando como máximo el Límite de espera de la consulta (5 segundos). Se aplica a personas y complementos, no a sondeos de alertas.

   Cuando un archivo desaparece

   Deja caer sus filas por defecto, o Conservar filas, marcar como eliminadas (lápida). El Relación de guarda de Vanish (0.5) rechaza un escaneo que pierde más de la mitad de los archivos a la vez y mantiene el inventario anterior, que es como se ve un recurso compartido sin conexión.

   Luego elige el Ámbito de los datos las filas cuentan contra, verifique Revisar y haga clic Crear conector. El primer escaneo comienza de inmediato. El conector Manifiesto La pestaña muestra lo que construyó y cualquier archivo que haya guardado.

5. Mira tus mesas

   Abra el conector: el Manifiesto La pestaña enumera las tablas que construyó y la Archivos El cuadro de diálogo muestra todos los archivos de registro con su estado. Generador de consultas Las mismas mesas se encuentran debajo de la conjunto de archivos Esquema. Tres consultas que funcionan desde el primer día:

   Rutas principales que devolvieron 404 en los últimos 7 días

   SELECCIONAR ruta, CONTAR(*) COMO aciertos DE fileset.events DONDE status = 404 Y event_time >= now() - INTERVALO 7 DÍAS AGRUPAR POR ruta ORDENAR POR aciertos DESC LÍMITE 20

   Las páginas que faltan más solicitadas esta semana. Insértalas en una consulta de Hojas de cálculo de Google o Excel y se actualizarán con cada escaneo.

   Direcciones IP de clientes detrás de errores 5xx, con bytes servidos

   SELECCIONAR client_ip, COUNT(*) AS error_count, SUM(bytes) AS total_bytes, MAX(event_time) AS last_seen FROM fileset.events WHERE status >= 500 GROUP BY client_ip ORDER BY error_count DESC LIMIT 100

   ¿Qué clientes experimentan errores de servidor con mayor frecuencia y cuándo se detectaron por última vez? Agregue un filtro por agente para diferenciar los bots de los navegadores.

   ¿Qué archivos de registro se rotaron o se apartaron esta semana?

   SELECCIONAR ruta_relativa, tipo_evento, detectado_por, detalle, evento_en_tiempo FROM fileset.files_events WHERE tipo_evento IN ('rotado', 'truncado', 'reescrito', 'deriva', 'rechazado') AND evento_en_tiempo >= ahora() - INTERVALO 7 DÍAS ORDENAR POR evento_en_tiempo DESC LIMIT 100

   Historial de archivos de la semana: rotaciones, truncamientos y cualquier archivo que se haya apartado, con la razón detallada.

   Cada conector de carpeta también sirve a las mismas tablas de contabilidad, todas en el conjunto de archivos esquema:

   Mesa	Lo que contiene
   archivos	Cada archivo que se encuentra actualmente en la carpeta: ruta, nombre, extensión, tamaño, fechas de creación y modificación, primera y última vez que se vio. Una vista general archivos_actual, que también guarda archivos que han desaparecido.
   eventos_de_archivos	El historial de cambios: una fila por archivo que apareció, era modificado, desapareció, fue apartado (deriva) o era rechazado, con el tiempo en evento_en, cómo se notó en detectado_por y la razón en detalle.
   directorios, instantáneas_de_directorio, volúmenes	Cantidad y tamaño de las carpetas, cómo crecieron y en qué discos o carpetas compartidas se encuentran sus archivos raíz.
   _archivo_fuente, _row_id	Dos columnas en cada fila de datos: de qué archivo proviene la fila y un ID de fila estable dentro de ese archivo. Agrupar por _archivo_fuente para comparar archivos.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the Carpetas step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

Úsalo en todas partes

El conector es una fuente de datos como cualquier otra en Query Streams. Guarde una consulta una vez en el Generador de consultas (el dialecto es DuckDB) y úselo desde:

Excel

El complemento Transmitir una consulta Inserta las filas en una hoja de cálculo y las vuelve a ejecutar con un clic. Ejecutar SQL en Excel.

Hojas de cálculo de Google

El Transmisión de consultas El complemento ocupa la pestaña que usted seleccione. Power Query para Google Sheets.

Claude, Cursor y otros clientes de IA

A través del servidor MCP de Query Streams, Claude conoce el modelo de carpetas, incluyendo _archivo_fuente y eventos_de_archivos. Blogs con Claude a través de MCP.

API REST

Cualquier consulta guardada se convierte en un punto final de solo lectura con su propia clave, en todos los planes. API REST de registros web.

Nova

Pregunte en lenguaje sencillo sobre el plan de negocios; Nova conoce cada carpeta, tabla y columna gracias a sus descripciones integradas.

Automatizaciones

Sincroniza las filas con Airtable, Smartsheet, Baserow, SeaTable o una hoja de cálculo según un cronograma. Guías de automatización.

Las tablas de carpetas también se unen a sus otros conectores: una consulta federada puede coincidir _archivo_fuente nombres o identificadores de pedido en los registros de acceso de nginx, Apache, IIS o Caddy contra una base de datos en el mismo Agente.

Cómo se muestran los archivos nuevos, modificados y eliminados

Archivos que se apartan

En el paso de verificación y en la pestaña Manifiesto aparecen tres palabras. Significan cosas diferentes:

Apartado (estacionado)

El archivo no coincide con el diseño fijado, o bien es ilegible, está roto, bloqueado o cubierto por una tapa. Es un proceso de todo o nada para cada archivo: un archivo aparcado no aporta ninguna fila. eventos_de_archivos registra un deriva fila cuyo detalle Se especifica el nombre del archivo y de la columna. El archivo se omite mientras su tamaño y fecha de modificación permanezcan iguales, y se vuelve a intentar en cuanto cambien.

Ilegible

El agente no pudo abrir ni analizar el archivo debido a su tipo: no era un libro de trabajo real, estaba bloqueado por otro programa, era un marcador de posición en la nube o contenía bytes indecodificables. Se detiene automáticamente y el resto de la carpeta continúa. Solo una carpeta sin archivos legibles rechaza todo el conjunto.

Rechazado

El agente no pudo fijar ningún diseño, por ejemplo, porque los archivos no coinciden en el tipo de columna. Aún no existe ninguna tabla de datos. eventos_de_archivos obtiene un rechazado discusión con la razón en detalley el Agente vuelve a intentarlo en cada escaneo hasta que se fija un diseño. Corrija o excluya el archivo que menciona y el mensaje desaparecerá.

Dónde mirar: el banner ámbar en Controlar (Mostrar qué archivos y por qué), el conector Manifiesto pestaña después, y para los conectores de registro el Archivos diálogo, que enumera los archivos estacionados con el motivo en último errorEn SQL: SELECCIONAR ruta_relativa, tipo_evento, detalle DE fileset.files_events DONDE tipo_evento EN ('deriva','refused') ORDENAR POR event_at DESC.

Límites que vale la pena conocer

No hay límite de carpetas ni de archivos en el plan. Las filas se contabilizan en su Data Realm como en cualquier otro conector. Valores predeterminados que puede aumentar o disminuir en el conector:

Límites de contenido, que almacenan un archivo en lugar de truncarlo: 2.000.000 de filas o 512 MiB por archivo, 10.000.000 de filas o 2 GiB por escaneo. Una carpeta puede contener como máximo 25 diseños distintos en Una mesa por diseño modo.

Preguntas que hace la gente

• Sistema de archivos
• Carpeta CSV
• Carpeta de parquet
• Carpeta de Excel
• Carpeta SQLite
• Carpeta JSONL
• CSV de múltiples registros
• Registros de máquinas
• Registros de contenedores
• Registros de la aplicación
• Registros del sistema
• Registros personalizados