Ver categorias

Consultar uma pasta de arquivos Parquet com SQL

ParquetPlano gratuitoFluxos de consultaTabelas SQL

Pasta de Parquet → tabelas SQL · com Query Streams

Com Query Streams, uma pasta de arquivos Parquet se torna tabelas SQL somente leitura: os arquivos permanecem onde estão, o Agent nesse computador os lê para um cache local criptografado e mantém as tabelas atualizadas conforme os arquivos chegam, mudam ou desaparecem. Nada é enviado e nenhum arquivo é alterado. Cerca de quinze minutos na primeira vez, e o plano Free cobre isso.

Comece gratuitamente
Pilha isométrica de três folhas de arquivo conectadas por uma linha a um único bloco de tabela
Teve alguma dúvida? É só perguntar. Aberto Suporte Em Fluxos de Consulta (menu no canto superior direito → Suporte) e envie-nos uma mensagem. Pessoas reais leem as mensagens, e "Não sei o que esta tela está pedindo" é uma pergunta perfeitamente válida.

O resultado final será o que você obterá.

Ícone de pasta ParquetVocê acaba com uma tabela SQL tipada, por exemplo. conjunto de arquivos.pedidos, contendo as linhas de cada arquivo Parquet na pasta, com os tipos de coluna lidos dos rodapés dos arquivos e um _arquivo_fonte A coluna indica o arquivo de origem de cada linha. Não há visualizador de Parquet para instalar nem DuckDB para configurar. O Agente lê os arquivos no computador onde é executado, armazena as linhas em cache e as disponibiliza como SQL, mantendo os arquivos na sua rede.

Tudo está contido em um esquema DuckDB chamado conjunto de arquivos, armazenado em cache no computador do Agente. A tabela de dados utiliza seus Nome da tabelaAs colunas e os tipos vêm dos rodapés do Parquet. Os arquivos podem adicionar ou omitir colunas: a tabela contém todas as colunas presentes, e uma coluna ausente em um arquivo é representada como NULL.

MesaO que contém
conjunto de arquivos.pedidosUma mesa com o seu nome Nome da tabela, contendo as linhas de cada arquivo Parquet correspondente, mais _arquivo_fonte e _row_id em cada linha.

Não existe um modo por layout para Parquet: todos os arquivos correspondentes devem compartilhar um layout, e uma coluna cujo tipo difere entre os arquivos impede a fixação. Cada conector de pasta também lhe dá acesso a arquivos, arquivos_eventos, diretórios, snapshots_de_diretório e volumes, que listam os próprios arquivos Parquet, seu histórico de alterações e tamanhos das pastas.

ONDE OS ARQUIVOS ESTÃO ARMAZENADOSum computador ou compartilhamento de arquivos que o Agente possa abrirSua pastade arquivosOs arquivos permanecem onde estão.Agente de fluxos de consultaAnalisa a pasta e cria tabelas.Em um cache local, executa o SQL.Somente SELECT, aplicado aqui.Fluxos de consultaum link de saídaVerifica quem pode ver o quê; registra todas as consultas.ONDE VOCÊ O UTILIZAqualquer computador, qualquer navegadorExcel · Planilhas Google · NovaClaude · API REST · AutomaçõesVeja as linhas, nunca os arquivos.
O agente lê a pasta em seu próprio computador, armazena as linhas em um cache local criptografado e executa todas as consultas nesse cache. Somente as linhas retornadas por uma consulta são transmitidas, por meio de uma única conexão de saída. Sem necessidade de abrir portas, usar VPN ou fazer upload.

Onde se justifica o seu sustento:

O que você vai precisar

Uma conta do Query Streams

Os conectores de pastas estão disponíveis em todos os planos, inclusive no plano gratuito. O plano gratuito é permanente, não um período de teste com prazo de validade. Não há limite para a quantidade de arquivos que uma pasta pode conter.

O Agente, versão 2.6.0 ou posterior

Instalado em um computador que possa abrir a pasta: o próprio servidor de arquivos, um computador do escritório ou a máquina onde os arquivos são armazenados. Um Agente mais antigo exibe os cartões de pasta acinzentados com um Agente 2.6.0+ Distintivo. Windows, Mac ou Linux.

O caminho da pasta, conforme visto pelo Agente.

Um caminho local ou um compartilhamento de rede escrito como \\servidor\compartilhamento\pastaO Agente é executado como um serviço, portanto, não consegue ver as unidades mapeadas no seu login (Z: e similares). No Windows, ele pode acessar um compartilhamento com um login armazenado por você; no Linux ou Mac, monte o compartilhamento primeiro (no Linux, em `/usr/local/bin`). /mnt ou /mídia, um Mac sob /Volumes).

Onde o trabalho é realizado? No computador que executa o Agente. Ele examina a pasta, copia as linhas para um cache local criptografado (um esquema, chamado conjunto de arquivose executa todas as consultas nesse cache. Seus arquivos são lidos, nunca modificados, movidos ou carregados.

Configure em cinco etapas

  1. Instale o Agente em um computador que possa abrir a pasta.

    Faça login e abra DownloadInstale o Agente para o seu sistema no computador que consegue abrir uma pasta com arquivos Parquet: o servidor de arquivos ou qualquer computador sempre ligado que consiga acessar o compartilhamento. A instalação leva um minuto e, a partir daí, o Agente inicia automaticamente. Você precisa da versão 2.6.0 ou posterior; a página de Downloads sempre tem a versão mais recente.

    Por que um programa pequeno em vez de um driver? O Agente é instalado em um único programa para Windows, Mac ou Linux (cerca de 85 MB no Windows, um pouco mais de 100 MB no Mac e Linux). Ele abre uma conexão criptografada de saída para o Query Streams, sendo esse o único caminho de rede necessário: não é preciso abrir nenhuma porta de entrada, nem usar VPN. Ele lê a pasta onde está instalado, portanto os arquivos permanecem no mesmo local e apenas as linhas retornadas por uma consulta trafegam pela internet até o complemento, navegador ou cliente de IA do seu lado.

    A página de download mostra Sua chave de acessoCole o código no Agente quando solicitado e aguarde até que o crachá exiba a mensagem. Conectado a fluxos de consultaEssa é a única coisa que você faz no computador do Agente; todo o resto acontece no seu navegador.

    Guias completos, se você quiser: Janelas, Mac, Linux.

  2. Aponte para uma pasta de arquivos Parquet.

    Volte ao seu navegador e abra Dados → Agentes de DadosLocalize o agente que você acabou de instalar e clique nele. Adicionar conector botão. Abra o Arquivos e pastas pílula e escolha a Pasta Parquet Cartão. Não tem certeza de qual cartão serve? Escolha Arquivos em uma pasta Em vez disso: o Agente examina a pasta, indica o que ela contém em uma página "O que encontramos" e abre o cartão correto para você, já preenchido.

    O mago corre Pastas → Verificar → Configurações → Domínio → Revisar. Sobre Pastas:

    Pastas raiz
    Um caminho por linha, conforme visto pelo computador do Agente. Cada pasta exibe um status (acessível, negado, ausente, inacessível, credenciais inválidas ou não montada) assim que é adicionada. Em um Agente Windows, um compartilhamento que requer login obtém um da pasta. Credencial coluna, armazenada uma única vez por servidor; no Linux ou Mac, monte o compartilhamento primeiro.
    Digitalizar subpastas, Profundidade máxima
    Ligado, e 8 níveis, por padrão.
    Incluir padrões, Excluir padrões
    Quais arquivos são contabilizados. O padrão de inclusão começa com o padrão glob correto para este cartão. Um conector lê um tipo de arquivo: uma pasta com arquivos CSV. e Os arquivos Parquet consistem em dois conectores na mesma pasta, um para cada tipo.
    Siga links simbólicos e junções
    Desativado por padrão. O Agente não segue atalhos ou marcadores na nuvem, a menos que você ative essa opção.

    Comece pelo Adicionar conector botão de um Agente que pode abrir a pasta. Abrir Arquivos e pastas e clique no Pasta Parquet cartão.

    • Pastas raiz: uma pasta por linha, como caminhos no computador do Agente. Digite um compartilhamento de rede como \\servidor\compartilhamento\pasta, não como uma letra de unidade mapeada.
    • Incluir padrões começa como **/*.parquet. Analisar subpastas está ligado com Profundidade máxima 8, portanto, as árvores de pastas particionadas são lidas.
    • Digite a Nome da tabela, por exemplo pedidosÉ obrigatório neste cartão.
    • Não existe Layout da tabela escolha. Uma nota explica que todos os arquivos correspondentes devem compartilhar um layout, que a primeira sincronização o fixa a partir de uma amostra e que os arquivos que posteriormente apresentarem divergências são separados e relatados.
  3. Verifique o que ele irá construir.

    Sobre Verificar O agente lê uma amostra de até 64 arquivos e mostra o que irá construir. Nada foi criado ainda. O botão exibe a mensagem: Teste de conexão até que haja um veredicto, então Próximo; Teste novamente Executa novamente a amostra depois que você fizer alguma alteração. Você verá um dos quatro títulos a seguir:

    Pronto para criar
    Cada arquivo amostrado se encaixa. Os chips abaixo indicam quantas pastas eram acessíveis, quantos arquivos e linhas havia e quais tabelas existirão.
    Pronto, com anotações.
    Alguns arquivos serão deixados de lado ou a verificação de layout será recusada. Um aviso em âmbar indica exatamente quais: “{n} de {m} arquivo(s) serão deixados de lado” com um Mostre quais arquivos e por quê. lista, e “Você pode criá-la mesmo assim — o conector continuará verificando e relatará o motivo em sua guia Manifesto.”
    Precisa de atenção
    O agente está offline ou uma pasta está faltando. Corrija isso antes de prosseguir; mesmo com o agente offline, a página exibe essa informação e permite que você continue.

    Arquivos recusados ou arquivados nunca te impedem de acessar: clique PróximoConclua o assistente e corrija os arquivos problemáticos mais tarde. Somente um agente offline ou uma pasta ausente interrompem o assistente.

    Sobre VerificarO Agente amostra até 64 arquivos e exibe a contagem de arquivos, o tamanho, a estimativa de linhas e a tabela que será criada. Nada foi criado ainda. Os tipos devem ser iguais em toda a amostra; o Agente nunca define por maioria. Se dois arquivos discordarem sobre o tipo de uma coluna, o cabeçalho será exibido. Pronto, com anotações. e o aviso em âmbar diz “A verificação do esquema foi recusada: {motivo}”, indicando o arquivo que apresentou o erro. Você pode criar o conector mesmo assim. Ele continua verificando e mostra o motivo em sua tela. Manifesto Pressione a tecla Tab até corrigir ou excluir o arquivo.

  4. Escolha a frequência com que a função verifica e, em seguida, crie-a.

    Os padrões em Configurações Adequado para uma pasta que recebe poucos arquivos por dia. Quatro opções que você talvez queira alterar:

    Intervalo de varredura
    A cada hora Por padrão, escolha entre a cada 5 minutos ou diariamente. Cada verificação compara o tamanho e a data de modificação para encontrar arquivos novos, alterados e que desapareceram.
    Acompanhe as alterações na pasta (quase em tempo real)
    Desativado por padrão. Quando ativado, o Agente reage em segundos em discos locais; em compartilhamentos de rede, ele age da melhor forma possível e a verificação agendada continua sendo a garantia. Período de silêncio (15 segundos) aguarda a conclusão da gravação de um arquivo.
    Atualize a página antes de responder à pergunta.
    Desativado por padrão. Ativado, uma consulta realiza uma nova verificação quando a última verificação é mais antiga que o Janela de obsolescência (60 segundos), aguardando no máximo o Limite de espera da consulta (5 segundos). Aplica-se a pessoas e complementos, não à pesquisa de alertas.
    Quando um arquivo desaparece
    Solte suas fileiras por padrão, ou Manter linhas, marcar como excluído (lápide). O Proporção de guarda de desaparecimento (0.5) rejeita uma verificação que perde mais da metade dos arquivos de uma só vez e mantém o inventário anterior, que é como um compartilhamento offline se parece.

    Em seguida, escolha o Domínio de dados As linhas contam em relação a, verifique Análise e clique em Criar conectorA primeira varredura começa imediatamente. O conector Manifesto A aba mostra o que foi compilado e quaisquer arquivos que foram separados.

  5. Observe suas tabelas.

    Abra o conector: o Manifesto A guia lista as tabelas que foram criadas. Na Construtor de consultas as mesmas mesas ficam embaixo do conjunto de arquivos Esquema. Três consultas que funcionam desde o primeiro dia:

    Quantas linhas cada arquivo Parquet adiciona?
    SELECT _source_file, COUNT(*) AS row_count, MAX(_row_id) AS last_row_id FROM fileset.orders GROUP BY _source_file ORDER BY row_count DESC LIMIT 100

    Mostra todos os arquivos de peças por trás da tabela e a contribuição de cada um.

    Particione as pastas por tamanho e arquivo mais recente.
    SELECT path, subtree_file_count, subtree_bytes, newest_file_utc FROM fileset.directories ORDER BY newest_file_utc DESC LIMIT 100

    Mostra quais pastas de partição receberam arquivos mais recentemente e qual o tamanho que cada uma delas atingiu.

    Algum processo foi recusado ou arquivado? Por quê?
    SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

    Uma linha recusada significa que nenhum layout pôde ser fixado; uma linha à deriva indica um arquivo cujas linhas foram omitidas.

    Cada conector de pasta também serve para as mesmas tabelas de contabilidade, todas no mesmo lugar. conjunto de arquivos esquema:

    MesaO que contém
    arquivosTodos os arquivos atualmente na pasta: caminho, nome, extensão, tamanho, data de criação e modificação, primeira e última visualização. Uma visão geral. arquivos_atual, que também guarda arquivos que desapareceram.
    arquivos_eventosO histórico de alterações: uma linha por arquivo que apareceu, era modificado, desapareceu, foi deixado de lado (deriva) ou era recusado, com o tempo em evento_em, como isso foi notado em detectado_por e a razão em detalhe.
    diretórios, snapshots_de_diretório, volumesContagem e tamanho das pastas, como elas cresceram e os discos ou compartilhamentos onde as raízes estão localizadas.
    _arquivo_fonte, _row_idDuas colunas em cada linha de dados: o arquivo de origem da linha e um ID de linha fixo dentro desse arquivo. Agrupar por _arquivo_fonte para comparar arquivos.

É isso. Coloque um novo arquivo na pasta e, após a próxima verificação, ele estará na tabela. Os arquivos nunca saíram do computador em que estavam.

Acessando um arquivo em um compartilhamento de rede

O Agente abre arquivos como um serviço em segundo plano, não como você, portanto, um arquivo em outro computador requer uma etapa adicional. Qual etapa depende do computador em que o Agente está sendo executado.

Janelas

Digite o caminho da rede, como por exemplo: \\servidor\compartilhamento\pasta, nunca uma letra de unidade mapeada como S:, que o Agente não pode ver. Se o compartilhamento permitir apenas pessoas nomeadas, clique Identidade de serviço (o chip sob o caminho, ou o de uma pasta) Credencial coluna) e armazenar um login para esse servidor: uma conta de domínio da empresa ou uma conta criada no próprio servidor com Domínio deixado em branco. O Agente então se conecta a esse servidor e lê o arquivo lá, e cada conector nesse Agente que lê o mesmo servidor deve usar o mesmo login. Sem um login, ele lê como sua própria conta de serviço, que um domínio corporativo vê como o próprio computador. Passo a passo no Windows

Linux

Os logins de compartilhamento armazenados no Portal não são usados no Linux: primeiro, um administrador monta o compartilhamento no computador do Agente, em uma pasta em /mnt ou /mídia, porque o serviço do Agente não consegue ver /lar ou /executar/usuárioNo conector, mantenha o \\servidor\compartilhamento caminho, que o Agente mapeia para a montagem, ou digite o caminho da montagem, como por exemplo /mnt/fileserver-shared/Contas. Como montar um compartilhamento no Linux

Mac

Os logins de compartilhamento armazenados no Portal não são usados em um Mac: monte o compartilhamento primeiro a partir do Terminal com sudo, em uma pasta sob /Volumes, para que o serviço em segundo plano do Agente possa vê-lo. No conector, mantenha o \\servidor\compartilhamento caminho, que o Agente mapeia para a montagem, ou digite o caminho da montagem, como por exemplo /Volumes/servidor-de-arquivos-compartilhado/Contas. Como montar uma pasta compartilhada no Mac

Se o teste não conseguir acessar a pasta compartilhada, procure por estas palavras no resultado: inalcançável Significa que o computador do agente não recebeu resposta do servidor. No Linux ou no Mac, não montado Significa que o compartilhamento ainda precisa ser montado, e essa mensagem inclui o comando de montagem exato para o seu servidor.

Pastas em uma rede compartilhada? No Windows, um único login abrange todas as pastas adicionadas a partir do mesmo servidor. Acompanhe as alterações na pasta. Funciona também com base no princípio do melhor esforço; a verificação agendada é o que garante que todas as alterações sejam detectadas.

Quando uma pasta não está acessível

Cada pasta no Pastas A etapa exibe um status assim que você a adiciona. Passe o cursor sobre o status para ler a mensagem do agente; as primeiras palavras indicam o caso.

Status ou mensagemO que significaO que fazer
negadoO compartilhamento não permitiu o acesso do Agente. Sem nenhum login armazenado, um Agente do Windows é interpretado como sua conta de serviço, que um domínio corporativo vê como o próprio computador.Windows: clique Identidade de serviço na pasta Credencial coluna e armazene um login que possa ler o compartilhamento ou peça a quem administra o servidor para conceder acesso de leitura ao login armazenado. Linux ou Mac: o compartilhamento está montado, mas suas permissões impedem o acesso do Agente; verifique como ele está montado (Linux, Mac).
credenciais inválidas, ou As credenciais armazenadas para \\server foram recusadasO servidor rejeitou o login armazenado: erro de digitação, domínio incorreto ou senha alterada. O agente aguarda um minuto antes de tentar o login novamente, para que a conta não seja bloqueada.Clique no nome da conta em Credencial coluna e digite o login novamente. Para uma conta criada no próprio servidor, deixe Domínio em branco.
ausenteNão existe pasta nesse caminho. No Windows, um nome de servidor que não pode ser encontrado ou um compartilhamento que o servidor não possui também aparece como ausente.Confira os nomes ou selecione a pasta com Adicionar pasta a partir do agente em vez de digitá-lo.
inalcançável, ou \\o servidor não respondeuSem resposta do servidor: está desligado, o nome está incorreto ou um firewall está bloqueando o compartilhamento de arquivos.Abra o mesmo \\servidor\compartilhamento O caminho no computador do agente. Se isso também falhar, trata-se de um problema de rede.
não montado (Linux ou Mac)O compartilhamento não está montado no computador do Agente. Passe o cursor sobre o status ou sobre o Não montado chip no Credencial coluna, para o comando de montagem exato.Monte a ação (Linux, Mac), depois teste a pasta novamente.
Outro conector neste agente já se conecta ao servidor como…O Windows permite uma conta por servidor de arquivos em cada computador, e outro conector neste Agente usa uma conta diferente.Use o mesmo login desse conector ou altere-o em todos os conectores que leem este servidor.
O Windows já possui um login estabelecido para \\servidor para …Outro dispositivo no computador do Agente está conectado a esse servidor com outra conta, e o Agente nunca fecha uma sessão que não tenha feito.Siga a mensagem: ela indica a conta do Windows sob a qual o Agente é executado e informa se... Use a identidade do serviço leria o compartilhamento através do login existente.
Esta versão do agente não consegue iniciar sessão em \\servidor com as credenciais armazenadas.Um agente antigo que não consegue usar um login de compartilhamento armazenado.Atualize o agente e teste novamente.

Use-o em todos os lugares

O conector é uma fonte de dados como qualquer outra no Query Streams. Salve uma consulta uma única vez no Construtor de consultas (o dialeto é DuckDB) e use-o a partir de:

Excel

O suplemento Transmita uma consulta Insere as linhas em uma planilha e executa novamente com um clique. Executando SQL no Excel.

Planilhas Google

O Fluxo de consulta O complemento preenche uma aba que você escolher. Power Query para Google Sheets.

Claude, Cursor e outros clientes de IA

Por meio do servidor Query Streams MCP, Claude conhece o modelo de pastas, incluindo _arquivo_fonte e arquivos_eventos. Pasta Parquet com Claude via MCP.

API REST

Em todos os planos, qualquer consulta salva se torna um endpoint somente leitura com sua própria chave. API REST de pastas Parquet.

Nova

Faça perguntas em linguagem simples sobre o plano Business; a Nova conhece cada tabela, coluna e pasta por meio de suas descrições integradas.

Automações

Sincronize as linhas com o Airtable, Smartsheet, Baserow, SeaTable ou uma planilha de acordo com um cronograma. Guias de automação.

As tabelas de pastas também se conectam aos seus outros conectores: uma consulta federada pode corresponder. _arquivo_fonte nomes ou IDs de pedidos em uma pasta de arquivos Parquet em relação a um banco de dados no mesmo agente.

Como os arquivos novos, alterados e excluídos são exibidos

Arquivos novos e alterados

Em todos os Intervalo de varredura (ou em segundos com Pasta de monitoramento Um novo arquivo que se encaixa no layout tem suas linhas adicionadas e recebe um apareceu evento. Um arquivo modificado é relido em uma transação: suas linhas antigas são removidas, suas novas linhas são inseridas e ele recebe um modificado evento.

Arquivos excluídos

Um arquivo que desaparece descarta suas linhas por padrão, ou as mantém marcadas como excluídas se você escolheu a opção de exclusão permanente, e recebe um desapareceu evento. Se mais da metade dos arquivos desaparecerem de uma vez, a verificação é recusada e o inventário anterior é mantido: um compartilhamento offline se parece exatamente com isso.

Arquivos reservados

Um arquivo que não se encaixa no layout, não pode ser aberto ou excede o limite é descartado por completo: nenhuma de suas linhas é carregada e arquivos_eventos recebe um deriva Insira o nome do arquivo na linha e o nome da coluna. Corrija o arquivo e salve-o; a próxima verificação tentará novamente.

Quão fresco é o que eu vejo?

Respostas às consultas da última verificação. Não há botão "Verificar novamente" ou "Sincronizar agora"; o intervalo de verificação, o monitor de pastas e Atualize a página antes de responder à pergunta. São os três controles. MÁXIMO(última_vista_utc) a partir de arquivos_atual Indica quando o agente verificou pela última vez.

Arquivos que são separados

Três palavras aparecem na etapa Verificar e na guia Manifesto. Elas têm significados diferentes:

Estacionado (de lado)
O arquivo não corresponde ao layout fixado, ou está ilegível, rasgado, bloqueado ou sobre uma borda. É tudo ou nada por arquivo: um arquivo estacionado contribui com zero linhas. arquivos_eventos registra um deriva fila cuja detalhe O arquivo é nomeado e a coluna é identificada. O arquivo é ignorado enquanto seu tamanho e data de modificação permanecerem os mesmos, e a execução é repetida assim que houver alteração.
Ilegível
O agente não conseguiu abrir ou analisar o arquivo devido ao seu tipo: não é uma planilha válida, está bloqueado por outro programa, é um marcador na nuvem ou contém bytes indecodificados. Ele é interrompido automaticamente e o restante da pasta continua sendo processado. Somente uma pasta com zero arquivos legíveis rejeita todo o conjunto.
Recusado
O agente não conseguiu fixar nenhum layout, por exemplo, porque os arquivos divergem quanto ao tipo de coluna. Ainda não existe nenhuma tabela de dados. arquivos_eventos recebe um recusado linha com o motivo em detalheE o Agente tenta novamente a cada verificação até que um layout seja fixado. Corrija ou exclua o arquivo mencionado e a mensagem desaparecerá.

Onde procurar: a bandeira âmbar em Verificar (Mostre quais arquivos e por quê.), o conector Manifesto Em seguida, pressione a tecla Tab. Em SQL: SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

Para uma pasta de arquivos Parquet que geralmente se parece com isto: Duas partes do formato Parquet que armazenam a mesma coluna como INT64 em um arquivo e DOUBLE em outro não podem ser fixadas, portanto nenhuma tabela é criada e o arquivo files_events registra uma linha recusada com relative_path NULL, detectada por 'sniff', com o arquivo e a coluna em conflito especificados em detalhes.

Limites que vale a pena conhecer

Não há limite de pastas ou de arquivos no plano. As linhas são contabilizadas no seu Data Realm, como em qualquer outro conector. Você pode aumentar ou diminuir os valores padrão no conector:

ContextoPadrãoO que faz
Profundidade máxima8Quantos níveis de pastas abaixo de cada raiz são verificados (1–64).
Número máximo de arquivos por digitalização100,000Arquivos analisados de uma só vez.
Tamanho máximo do arquivo para gerar o hash32 MiBSó importa com Conteúdo do arquivo hash sobre.
Retenção do registro de eventos30 diasQuanto tempo arquivos_eventos As fileiras são mantidas.
Paralelismo de varredura por raiz2As pastas são lidas de uma só vez por raiz.

Limites de conteúdo, que armazenam um arquivo em vez de truncá-lo: 2.000.000 linhas ou 512 MiB por arquivo, 10.000.000 linhas ou 2 GiB por verificação. Uma pasta pode conter no máximo 25 layouts distintos. Uma mesa por layout modo.

Perguntas que as pessoas fazem

O Excel consegue abrir arquivos Parquet?

Não por si só; o Excel não possui um abridor de arquivos integrado para .parquetPonto a Pasta Parquet O conector está localizado na pasta. O Agente lê os arquivos e os disponibiliza como uma tabela SQL tipada, como por exemplo: conjunto de arquivos.pedidos, que você pode consultar como qualquer outra tabela do Query Streams e importar para o Excel ou Planilhas Google a partir daí.

Todos os arquivos Parquet precisam ter exatamente as mesmas colunas?

Não. Um arquivo pode adicionar ou omitir colunas, e uma coluna ausente é interpretada como NULL. Uma coluna cujo tipo difere entre os arquivos impede a fixação. O Agente nomeia o arquivo que apresenta a discrepância e não cria nenhuma tabela até que você corrija ou exclua o arquivo com o tipo incorreto.

Posso misturar arquivos Parquet e CSV em um mesmo conector?

Não. Um conector lê apenas um tipo de arquivo. Adicione um segundo conector na mesma pasta para os arquivos CSV: veja Combinar vários arquivos CSV em uma única tabela..

Ele lida com pastas particionadas como ano=2026/mês=09/?

Sim. Analisar subpastas está ligado e Profundidade máxima O valor padrão é 8, portanto, todos os arquivos de partes sob a raiz são mesclados em uma única tabela. Cada linha de _arquivo_fonte mantém o caminho relativo, para que você possa filtrar por pasta de partição com um COMO nessa coluna.

Como faço para corrigir um conflito de tipos entre arquivos?

Leia o nome do arquivo na faixa âmbar ou no recusado fila em arquivos_eventosOu reescreva esse arquivo com o tipo correspondente ou adicione-o a Excluir padrões e salve. O agente verifica novamente na próxima sincronização e a mensagem desaparece quando um layout é fixado.

Meus arquivos foram enviados para algum lugar?

Não. O Agente lê os arquivos em seu próprio computador e armazena as linhas em um cache local criptografado. Uma consulta é executada nesse cache e somente as linhas retornadas saem da máquina, por meio de uma única conexão de saída. Os arquivos nunca são modificados, movidos ou convertidos.

Preciso abrir uma porta ou usar uma VPN?

Não. O agente faz uma conexão de saída na porta 443 e tanto as requisições quanto as linhas trafegam por ela. Se o HTTPS de saída funcionar, isso funciona.

A pasta pode estar em um compartilhamento de rede, no OneDrive ou no Dropbox?

Sim. Digite uma ação como \\servidor\compartilhamento\pastaIsso ocorre porque o Agente é executado como um serviço e não consegue visualizar as unidades mapeadas no seu login. No Windows, armazene um login para o servidor se o compartilhamento permitir acesso apenas a pessoas nomeadas; sem um login, o Agente o reconhecerá como sua própria conta de serviço. No Linux ou Mac, monte o compartilhamento primeiro. Uma pasta sincronizada do OneDrive ou Dropbox funciona quando seus arquivos estão armazenados no computador: defina a pasta para Mantenha sempre este dispositivo ligado.O agente não baixa arquivos exclusivos da nuvem.

A pasta contém mais de um tipo de arquivo. Um conector ou dois?

Um conector lê um tipo de arquivo. Uma pasta com arquivos CSV e Parquet requer dois conectores na mesma raiz, um para cada tipo. Arquivos que não correspondem ao padrão de inclusão são ignorados, não armazenados separadamente.

Existe um botão "Reescanear"?

Não. O agente realiza a varredura no Intervalo de varredura, reage às mudanças quando Pasta de monitoramento Está ativado e pode realizar uma nova verificação antes de responder a uma consulta quando você o habilita. Edite o conector para alterar qualquer uma das três opções.

O plano gratuito realmente cobre isso?

Sim. A versão gratuita é um plano permanente, não um período de teste com prazo de validade. Os conectores de pastas não possuem limite de arquivos próprio; as linhas são contabilizadas no seu Data Realm como qualquer outro conector. Veja o que cada plano inclui na página de detalhes do plano. página de preços.

Outras pastas que o Query Streams transforma em tabelasComo consultar uma pasta de arquivos com SQLTodos os guias do FileSet
Ainda com dificuldades? Aberto Suporte Em Fluxos de Consulta, informe-nos em qual etapa você está e o que você vê. Nós o conectaremos.

Todos os guias para Parquet Folder

Não é bem a sua configuração?

  • Seus dados já estão em um arquivo de banco de dados DuckDB? O conector DuckDB os abre diretamente → DuckDB
  • Precisa apenas de uma lista de arquivos com tamanhos, datas e alterações? O Sistema de Arquivos faz isso sem ler os arquivos → File System

Problemas com a configuração?

  • O agente diz que o arquivo ou pasta não existe ou que o acesso foi negado? Unidades mapeadas, compartilhamentos de rede, OneDrive e pastas pessoais do Linux precisam de uma correção → De onde o Agente pode ler arquivos
  • O agente está offline ou as opções Testar conexão e Navegar estão desativadas? Verifique se o agente está online → O agente está online?
Atualizado em novembro 9, 2026

Desenvolvido por BetterDocs