Sincronizar DuckDB com Baserow de acordo com um agendamento

Automação · DuckDB para Baserow

Manter Baserow Em consonância com o seu arquivo DuckDB, de acordo com um cronograma

Escreva o SQL uma única vez. O Query Streams o executa de acordo com sua programação, de cinco minutos a uma vez por semana, e grava as linhas na sua tabela Baserow. Combine linhas por uma chave para que as edições sejam aplicadas corretamente e as linhas que não foram processadas sejam removidas, ou simplesmente anexe-as. Sem Zapier, sem scripts, sem exportações. Leva cerca de quinze minutos na primeira vez, e o plano gratuito cobre isso.

Cerca de 15 minutos Não é necessário programar O arquivo permanece onde está. A cada 5 minutos até semanalmente

O resultado final será o que você obterá.

Uma tabela Baserow que armazena as linhas retornadas pela sua consulta DuckDB e é atualizada periodicamente, a cada cinco minutos ou semanalmente, com um registro das alterações a cada execução. Algo assim:

Encomendas para Baserow Ativo

Sincronização diária · 09:00 · Linha base 1.643 linhas · 8,8 segundos

1,627linhas sincronizadasCorrespondência encontrada pela chave · nada a fazer

11novoanexados abaixo dos seus cabeçalhos, mesmas colunas

5atualizadoOs preços foram alterados no DuckDB, com 5 linhas atualizadas.

0removidoAs linhas que saem da consulta são removidas da tabela.

DuckDB holds your data in a file. Your team works in Baserow. The usual bridge is a Zapier or Make scenario, or a CSV someone uploads that breaks quietly and copies one row at a time. Query Streams Automation does it differently: the Agent that already reads your DuckDB file runs your saved SQL on a schedule and writes the whole result into Baserow in one pass, matching rows by a key so the table stays correct rather than growing.

O que você vai precisar

Uma conta do Query Streams

O plano gratuito é suficiente para este guia. Cadastre-se em my.querystreams.com.

DuckDB conectado através do Agente

The Agent installed on the computer that holds your DuckDB file, or on one that reads it from a network share, with the connection added in Data Agents. Not done yet? Conecte-se primeiro ao DuckDBLeva cerca de dez minutos.

Uma consulta salva

A lista SELECT que você deseja manter sincronizada, salva em Construtor de consultasO passo 1 abaixo mostra um exemplo. Se você quiser que as linhas alteradas sejam atualizadas no mesmo local, inclua uma coluna que seja exclusiva para cada linha, como um ID.

Seu login do Baserow

Insira o endereço do servidor Baserow (o padrão é api.baserow.io), seu e-mail e sua senha. O Query Streams os armazena criptografados e faz o login para você quando uma sincronização é executada.

Configure em seis etapas

1. Salve a consulta que deseja manter sincronizada.

   Aberto Construtor de consultas, escolha sua conexão com o DuckDB (ainda não está conectado? Comece aqui), e escreva a instrução SELECT que retorne exatamente as linhas e colunas desejadas em Baserow. Esta, por exemplo, extrai algumas colunas de um pedidos mesa:

   Exemplo · SQL

   SELECT order_id, customer_name, order_total FROM main.orders ORDER BY order_total DESC LIMIT 100;

   Execute-o e então Salvar Dê a ela um nome que você reconheça, como "Pedidos para Baserow". Mantenha uma coluna que seja única por linha na consulta SELECT, aqui. ID do pedidoEssa é a chave que o Full Sync usa para atualizar linhas diretamente. Edite e salve a consulta novamente mais tarde, e a automação detectará a alteração na próxima execução.

2. Abra a Automação e selecione Linha Base.

   No portal, abra Automação (menu superior) Fluxos → Agendados → Automação) e clique Nova automaçãoO mago tem cinco passos curtos. Etapa 1 clique no Baserow cartão.

   Automação Aberta

   Prefere ver “Antes de Começar”? O assistente só abre quando um agente está online com uma conexão e existe pelo menos uma consulta salva. A página lista qual dos três itens está faltando e fornece um link para ele.

3. Conectar Baserow

   Sobre Etapa 2 Preencha URL do servidor (Deixe em branco para a nuvem Baserow), seu E-mail e Senha, depois clique Conexão de testeInsira o endereço do servidor Baserow (o padrão é api.baserow.io), seu e-mail e sua senha. O Query Streams os armazena criptografados e faz o login para você quando uma sincronização é executada.

4. Escolha onde as linhas vão ficar.

   Sobre Etapa 3 escolha o Banco de dados, então o Mesa As linhas devem ser inseridas. Crie a tabela no Baserow primeiro, se desejar uma tabela vazia. Se ela já contiver linhas, uma pré-visualização as exibirá e explicará o que cada modo de sincronização fará com elas. Uma automação por tabela.

5. Selecione a consulta e decida como as linhas serão exibidas.

   Sobre Etapa 4 abra o Consulta salva Liste e escolha a consulta da etapa 1. O Query Streams a executa uma vez para ler as colunas, informa quantas linhas foram retornadas e mostra duas opções:

   Anexar · rápido

   Anexar

   A cada execução, as linhas da consulta são adicionadas ao final da tabela. Nada é atualizado nem excluído, sendo assim, é a opção ideal para armazenar logs, eventos e histórico que você deseja acumular. Não requer coluna chave. Uma linha que retorna sem alterações não é adicionada novamente; uma linha cujos valores foram alterados é adicionada abaixo como uma nova linha, e a linha antiga permanece.

   Sincronização completa · espelhos

   Sincronização total

   As linhas são correspondidas por um chave coluna como um ID de pedido. Novas linhas são adicionadas, as linhas alteradas são atualizadas no local e as linhas que não são mais retornadas pela consulta são removidas, incluindo linhas digitadas manualmente na tabela. Portanto, mantenha as linhas digitadas manualmente em outra tabela. Essa é a opção ideal para estoque, pipelines, dados mestres e dashboards.

   A sincronização completa é configurada por coluna, o que a torna útil em uma tabela compartilhada:

   Chave

   A coluna que identifica uma linha, por exemplo ID do pedidoO resultado da consulta precisa ser único; o Query Streams verifica isso para você e rejeita duplicatas.

   Sincronização

   Sobrescrito a partir do DuckDB a cada execução. Se alguém editar uma coluna de sincronização no Baserow, a próxima execução restaurará o valor original.

   Preservar

   Escrita quando a linha chega pela primeira vez e nunca comparada novamente, portanto, uma alteração nela no DuckDB não aciona uma atualização. Para notas, responsáveis e datas de acompanhamento digitadas manualmente pela sua equipe, use uma coluna que não esteja na consulta: colunas que existem apenas no Baserow nunca são afetadas por uma sincronização.

   Qual é mais rápido? A opção "Anexar" grava sem ler a tabela primeiro. A opção "Sincronização Completa" lê a tabela, compara cada linha e grava apenas as diferenças, por isso leva mais tempo, mas a tabela sempre corresponde à consulta. Você pode alternar entre as opções posteriormente no painel Editar da automação.

   Para uma tabela em que você possa confiar, clique aqui. Criar todas as colunas como SíncronasEm seguida, clique no ícone da chave. ID do pedido para torná-lo o ChaveO Query Streams examina todo o resultado para confirmar se a chave é única e avisa caso contrário. Mantenha as anotações da sua equipe em colunas que não fazem parte da consulta; essas nunca são alteradas. Para um registro que só deve crescer, clique em Criar todas as colunas como Preservar Em vez disso, ignore a tecla. Clique. Continuar.

6. Defina o cronograma, dê um nome a ele, crie-o.

   Sobre Etapa 5 escolher Executar de acordo com um cronograma e escolha um Freqüência:

   Freqüência	Corridas
   A cada 5 minutos	a cada 5 minutos, o mais rápido permitido
   A cada 15 minutos	a cada 15 minutos
   A cada 30 minutos	a cada 30 minutos
   A cada hora	no início de cada hora
   Diariamente às 9h	todos os dias às 9:00, o padrão
   Diariamente às 6h da manhã	todos os dias às 6:00
   De segunda a sexta, às 9h.	De segunda a sexta-feira, às 9h.
   Semanalmente (segunda-feira, 9h)	todas as segundas-feiras às 9:00
   Horário personalizado	seus próprios minutos, horas, dias da semana ou dia do mês

   Os tempos seguem o Fuso horário Você escolhe, que começa como o do seu navegador. Você também pode escolher Somente manual e pressione Executar Você pode agendar a execução quando quiser; um agendamento pode ser adicionado posteriormente no painel Editar da automação. As execuções agendadas ocorrem no Agente, portanto, continuam mesmo com o navegador fechado. Se o computador que executa o Agente estiver desligado quando uma execução estiver agendada, a execução perdida ocorrerá uma única vez, logo após o Agente ser reiniciado.

   Dê uma olhada. Nome da integração, como “Pedidos para Baserow, diariamente”, verifique o Pronto para criar Resumo e clique Criar AutomaçãoDe volta à página de Automação, pressione Executar Faça a primeira sincronização agora, em vez de esperar pelo agendamento. Abra a Baserow: as linhas estão lá, abaixo dos cabeçalhos das colunas.

O que você vê depois

O Página de Automação Lista todas as automações com seu status, origem, destino, chave, agendamento, última sincronização e número de linhas. Abra uma para a Execuções Aba: cada execução com seu gatilho (manual ou agendado), duração e linhas criadas, atualizadas, excluídas e inalteradas. Desempenho A aba mostra os dados processados e a taxa de sucesso ao longo de 7 a 90 dias.

O que os planos permitem

A automação está presente em todos os planos, inclusive no gratuito, sem limite para a quantidade de automações que você pode criar. O que cada plano limita é o número de linhas que uma consulta pode retornar por execução:

Se uma consulta retornar mais resultados, a execução é suspensa em vez de interrompida, e a automação informa qual plano é mais adequado ou sugere a adição de um filtro, como um intervalo de datas. Cada execução bem-sucedida também é contabilizada no seu limite do Data Realm, o mesmo conjunto de dados usado pelas suas consultas do Excel e do Planilhas Google. Consulte a página de preços. pelas verbas.

Boas próximas jogadas

• Adicionar um filtro para a consulta, como os últimos 90 dias, para que a tabela permaneça pequena e rápida e se ajuste ao limite de linhas do seu plano.
• Mantenha as anotações digitadas à mão em colunas separadas., fora da consulta, para que sobrevivam a cada sincronização.
• Agrupe suas automações No painel Editar, depois de ter alguns, a página Automação filtra por grupo.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

Test failed on a share?

Every run reaches the file the same way the connection test does. If runs start failing after something changed on the file server, a new password for example, open the connector in Agentes de dados e clique em Teste de conexão. The test result, and the line under the file path, name the problem:

Perguntas que as pessoas fazem

Guias relacionados

• MySQL para linha base
• PostgreSQL para linha base
• Microsoft SQL Server para linha base
• Do DuckDB para o Google Sheets
• Do DuckDB para o Airtable
• Como conectar o DuckDB ao Google Sheets
• Todos os guias de automação do Baserow