Transforme CSV Folder em tabelas consultáveis.

De onde vêm as colunas?

• Amostrado, não presumido — o agente inspeciona arquivos reais, em vez de confiar na primeira linha do primeiro arquivo.
• Codificações reconhecidas — UTF-8, UTF-16, Windows-1252 e Latin-1, para que nomes com acentos e exportações europeias não cheguem como texto ilegível.
• Valores monetários continuam sendo valores monetários — uma coluna que sempre contém decimais é armazenada como decimal exato, não como número de ponto flutuante, para que os totais não variem nem por um centavo.
• Uma coluna que existe apenas em alguns arquivos torna-se uma coluna vazia nos demais, em vez de ser um motivo para falha.

-- A pasta inteira como uma tabela, depois por arquivo SELECT _source_file, COUNT(*) AS rows, SUM(total) AS revenue FROM data GROUP BY _source_file ORDER BY revenue DESC

Quando um arquivo discorda

Se os primeiros arquivos entrarem em conflito — dois delimitadores diferentes ou uma coluna com data em um arquivo e texto livre em outro — o conector se recusa a fixar qualquer coisa e informa quais arquivos e quais colunas divergem. Ele não escolherá silenciosamente um vencedor e deixará você descobrir no final do mês.

• Depois disso, um arquivo com problemas é retido em vez de corromper a tabela: um cabeçalho alterado, uma coluna extra, um valor que não cabe ou uma última linha truncada.
• Suas linhas permanecem de fora, e o arquivo files_events registra exatamente qual arquivo e qual coluna causaram o problema.
• Todos os outros arquivos na pasta ainda carregam. Uma exportação corrompida não remove o relatório.

Uma mesa, ou uma por layout.

Exportações recorrentes do mesmo relatório devem estar em uma única tabela, e essa é a configuração padrão. Se a pasta realmente contiver arquivos CSV diferentes — uma lista de clientes ao lado de um arquivo de pedidos — alterne para o modo "por layout" e cada layout distinto terá sua própria tabela, até um máximo de 25 tabelas.

Cada conector de pasta também lhe oferece

• files_current — um inventário atualizado: todos os arquivos que o conector consegue ver agora, com caminho, tamanho e data de modificação.
• files_events — o registro de auditoria: o que apareceu, o que mudou, o que desapareceu e tudo o que foi retido, com o nome do arquivo e o motivo.
• diretórios e volumes — totais por pasta, histórico de crescimento diário e quanto espaço ainda resta na unidade.
• Apenas os arquivos que foram efetivamente alterados são relidos a cada sincronização; portanto, uma pasta com 50.000 arquivos não é analisada novamente só porque uma nova exportação foi concluída.

Bom saber

• Somente leitura, garantido — uma instrução por vez, apenas SELECT e similares. Seus arquivos nunca são gravados, movidos ou renomeados.
• Nada é enviado — os dados são armazenados em cache, criptografados, na sua própria máquina, junto ao agente. Somente o resultado de uma consulta sai da sua rede.
• Padrões sensatos — até 250.000 arquivos, 16 níveis de pastas, 512 MB por arquivo; tudo ajustável. Lixeiras, .git e node_modules são sempre ignorados.
• O dialeto SQL é DuckDB — o mesmo SQL que você escreveria para qualquer outro conector.