Synchroniser Google BigQuery avec SeaTable selon une planification

Automatisation · BigQuery vers SeaTable

Garder Table de la mer en phase avec votre entrepôt BigQuery, selon un horaire

Rédigez votre requête SQL une seule fois. Query Streams l'exécute selon votre planification (de toutes les cinq minutes à une fois par semaine) et inscrit les lignes dans votre table SeaTable. Associez les lignes par une clé pour que les modifications soient prises en compte et que les lignes non traitées par la requête soient supprimées, ou ajoutez-les simplement. Sans Zapier, sans scripts, sans exportations. Une quinzaine de minutes suffisent la première fois, et le forfait gratuit l'inclut.

Environ 15 minutes Aucun codage nécessaire Vos identifiants vous suivent. Toutes les 5 minutes à hebdomadaire

Ce que vous obtiendrez

Une table SeaTable qui stocke les lignes renvoyées par votre requête BigQuery et qui est mise à jour régulièrement (toutes les cinq minutes à une fois par semaine), avec un récapitulatif des modifications apportées à chaque exécution. Par exemple :

Commandes à SeaTable Actif

Synchronisation quotidienne · 09:00 · SeaTable 1 643 lignes · 8,8 s

1,627lignes synchroniséesCorrespondance trouvée par clé · rien à faire

11nouveauajoutés sous vos en-têtes, mêmes colonnes

5mis à jourLes prix ont été modifiés dans BigQuery, 5 lignes ont été mises à jour directement.

0suppriméLes lignes ne correspondant pas à la requête sont supprimées de la table.

Google BigQuery stocke vos données dans son propre cloud. Votre équipe travaille dans SeaTable. La méthode habituelle consiste à utiliser Zapier ou Make, ou encore un fichier CSV importé qui se corrige discrètement en copiant les lignes une par une. Query Streams Automation fonctionne différemment : l’agent déjà installé sur votre entrepôt BigQuery exécute vos requêtes SQL enregistrées selon une planification et écrit l’intégralité du résultat dans SeaTable en une seule opération, en associant les lignes par une clé afin de garantir la cohérence de la table et d’éviter son agrandissement.

Ce dont vous aurez besoin

Un compte Query Streams

Le forfait gratuit suffit pour ce guide. Inscrivez-vous sur mon.querystreams.com.

BigQuery s'est connecté via l'agent

L'agent est installé sur n'importe quel ordinateur toujours allumé, avec votre entrepôt BigQuery ajouté comme connexion dans les agents de données. Pas encore terminé ? Connectez d'abord BigQuery; cela prend environ dix minutes.

Une requête enregistrée

La sélection que vous souhaitez synchroniser, enregistrée dans Générateur de requêtesL'étape 1 ci-dessous en présente un exemple. Si vous souhaitez que les lignes modifiées soient mises à jour directement, ajoutez une colonne unique pour chaque ligne, comme un identifiant.

Votre identifiant SeaTable

Saisissez l'adresse de votre serveur SeaTable (par défaut : cloud.seatable.io) et un jeton d'API pour la base. Query Streams le remplace par un jeton de base temporaire à chaque fois qu'il en a besoin.

Configurez-le en six étapes

1. Enregistrez la requête que vous souhaitez conserver synchronisée.

   Ouvrir Générateur de requêtes, choisissez votre connexion BigQuery (pas encore connecté ? Commencez ici), et écrivez la requête SELECT qui renvoie exactement les lignes et les colonnes souhaitées dans SeaTable. Celle-ci extrait quelques colonnes d'une table. commandes tableau:

   Exemple · SQL

   SELECT order_id, customer_name, order_total FROM `my-project-123.analytics.orders` ORDER BY order_total DESC LIMIT 100;

   Exécutez-le, puis Économiser Donnez-lui un nom facile à retenir, comme « Commandes pour SeaTable ». Conservez une colonne unique pour chaque ligne de la requête SELECT, ici. numéro_de_commandeC’est cette clé que Full Sync utilise pour mettre à jour les lignes directement. Modifiez et enregistrez à nouveau la requête ultérieurement, et l’automatisation prendra en compte la modification lors de sa prochaine exécution.

2. Ouvrez Automation et choisissez SeaTable

   Dans le portail, ouvrez Automatisation (menu principal) Flux → Programmés → Automatisation) et cliquez Nouvelle automatisationLe magicien a cinq petits pas. Étape 1 cliquez sur Table de la mer carte.

   Automatisation ouverte

   Vous voyez plutôt « Avant de commencer » ? L'assistant ne s'ouvre que lorsqu'un agent est en ligne et qu'au moins une requête est enregistrée. La page indique laquelle des trois requêtes est manquante et fournit un lien vers celle-ci.

3. Connecter SeaTable

   Sur Étape 2 remplir URL du serveur (laisser vide pour SeaTable Cloud) et le Jeton API pour votre base, puis cliquez Test de connexionDans SeaTable, le jeton se trouve dans le menu de base : Paramètres de base → Jeton APISaisissez l'adresse de votre serveur SeaTable (par défaut : cloud.seatable.io) et un jeton d'API pour la base. Query Streams le remplace par un jeton de base temporaire à chaque fois qu'il en a besoin.

4. Choisissez où atterrissent les rangées

   Sur Étape 3 choisissez le Tableau Les lignes doivent être insérées dans le tableau. Créez-le d'abord dans SeaTable si vous souhaitez un tableau vide. S'il contient déjà des lignes, un aperçu les affiche et explique l'effet de chaque mode de synchronisation. Une automatisation par tableau.

5. Choisissez la requête et décidez comment les lignes sont affichées.

   Sur Étape 4 ouvrir le Requête sauvegardée Sélectionnez la requête de l'étape 1. Query Streams l'exécute une fois pour lire les colonnes, vous indique le nombre de lignes renvoyées et affiche deux choix :

   Ajouter · rapide

   Ajouter

   Chaque exécution ajoute les lignes de la requête à la fin du tableau. Aucune donnée n'est mise à jour ni supprimée ; c'est donc la solution idéale pour la gestion rapide des journaux, événements et historiques. Aucune colonne clé n'est requise. Une ligne inchangée n'est pas ajoutée à nouveau ; une ligne dont les valeurs ont changé est ajoutée en dessous, l'ancienne restant inchangée.

   Synchronisation complète · miroirs

   Synchronisation complète

   Les lignes sont appariées par un clé Une colonne comme un identifiant de commande. Les nouvelles lignes sont ajoutées, les lignes modifiées sont mises à jour directement, et les lignes qui ne sont plus renvoyées par la requête sont supprimées, y compris les lignes saisies manuellement. Il est donc conseillé de conserver ces dernières dans une autre table. Ce format est idéal pour la gestion des stocks, des pipelines, des données de référence et des tableaux de bord.

   La synchronisation complète est configurée par colonne, ce qui la rend utile dans une table partagée :

   Clé

   La colonne qui identifie une ligne, par exemple numéro_de_commande. Elle doit être unique dans le résultat de la requête ; Query Streams vérifie cela pour vous et refuse les doublons.

   Synchronisation

   Les données de BigQuery sont écrasées à chaque exécution. Si une colonne Sync est modifiée dans SeaTable, la prochaine exécution rétablit la valeur source.

   Préserver

   Cette donnée est enregistrée lors de l'ajout de la ligne et n'est plus comparée par la suite ; ainsi, toute modification apportée dans BigQuery ne déclenche pas de mise à jour. Pour les notes, les responsables et les dates de suivi saisis manuellement par votre équipe, utilisez une colonne qui n'est pas incluse dans la requête : les colonnes présentes uniquement dans SeaTable ne sont jamais synchronisées.

   Lequel est le plus rapide ? L'ajout (Ajout) effectue des écritures sans lecture préalable de la table. La synchronisation complète (Synchronisation complète) lit la table, compare chaque ligne et n'écrit que les différences ; elle est donc plus longue, mais la table correspond toujours à la requête. Vous pouvez modifier ce mode ultérieurement depuis le panneau d'édition de l'automatisation.

   Pour un tableau auquel vous pouvez faire confiance, cliquez Créer toutes les colonnes en tant que synchrones, puis cliquez sur l'icône de clé sur numéro_de_commande pour en faire le CléQuery Streams analyse l'intégralité du résultat pour confirmer l'unicité de la clé et vous avertit dans le cas contraire. Conservez les notes de votre équipe dans des colonnes distinctes de la requête ; celles-ci ne seront jamais modifiées. Pour un journal qui ne cesse de s'enrichir, cliquez ici. Créer toutes les colonnes en tant que Conserver Cliquez plutôt et ignorez la clé. Continuer.

6. Définissez le calendrier, nommez-le, créez-le

   Sur Étape 5 choisir Fonctionner selon un horaire et choisissez un Fréquence:

   Fréquence	Courses
   Toutes les 5 minutes	toutes les 5 minutes, la plus rapide autorisée
   Toutes les 15 minutes	toutes les 15 minutes
   Toutes les 30 minutes	toutes les 30 minutes
   Toutes les heures	au début de chaque heure
   Tous les jours à 9h	tous les jours à 9h00, par défaut
   Tous les jours à 6h du matin	tous les jours à 6h00
   En semaine à 9h du matin	Du lundi au vendredi à 9h00
   Hebdomadaire (lundi 9h)	tous les lundis à 9h00
   Programme personnalisé	vos propres minutes, heures, jours de la semaine ou jours du mois

   Les temps suivent le Fuseau horaire vous choisissez, qui commence par celui de votre navigateur. Vous pouvez également choisir Manuel uniquement et presse Exécuter Vous pouvez programmer les exécutions à tout moment ; il est possible d'ajouter une planification ultérieurement depuis le panneau d'édition de l'automatisation. Les exécutions planifiées s'effectuent sur l'Agent et continuent donc de fonctionner même lorsque votre navigateur est fermé. Si l'ordinateur exécutant l'Agent est éteint lors d'une exécution prévue, celle-ci sera effectuée une seule fois, peu après le redémarrage de l'Agent.

   Donnez-lui un Nom de l'intégration, comme « Commandes quotidiennes à SeaTable », consultez Prêt à créer résumé et clic Créer une automatisationDe retour sur la page Automatisation, appuyez sur Exécuter Il est préférable d'effectuer la première synchronisation dès maintenant plutôt que d'attendre la planification. Ouvrez SeaTable : les lignes s'y trouvent, sous les en-têtes de colonnes.

Ce que vous voyez ensuite

Le page d'automatisation Affiche chaque automatisation avec son statut, sa source, sa cible, sa clé, sa planification, sa dernière synchronisation et le nombre de lignes. Ouvrez-en une pour la Exécutions Onglet : chaque exécution avec son déclencheur (manuel ou planifié), sa durée et les lignes créées, mises à jour, supprimées et inchangées. Performance L'onglet affiche les données traitées et le taux de réussite sur une période de 7 à 90 jours.

Ce que les plans permettent

L'automatisation est incluse dans tous les forfaits, y compris le forfait gratuit, sans limite quant au nombre d'automatisations que vous pouvez créer. Chaque forfait limite cependant le nombre de lignes qu'une requête peut renvoyer par exécution.

Si une requête renvoie davantage de résultats, son exécution est suspendue au lieu d'être interrompue. L'automatisation vous indique alors le plan d'exécution le plus adapté ou vous suggère d'ajouter un filtre, comme une plage de dates. Chaque exécution réussie est également décomptée de votre quota Data Realm, le même que celui utilisé par vos requêtes Excel et Sheets. Consultez la page des prix pour les indemnités.

Bonnes prochaines étapes

• Ajouter un filtre à la requête, par exemple les 90 derniers jours, afin que la table reste petite et rapide et respecte la limite de lignes de votre forfait.
• Conservez les notes manuscrites dans leurs propres colonnes., en dehors de la requête, afin qu'elles survivent à chaque synchronisation.
• Regroupez vos automatisations Depuis le panneau Édition, une fois que vous en avez quelques-uns ; la page Automatisation filtre par groupe.

Questions que se posent les gens

Guides associés

• MySQL vers SeaTable
• Conversion de PostgreSQL en SeaTable
• Microsoft SQL Server vers SeaTable
• Google BigQuery vers Google Sheets
• Google BigQuery vers Airtable
• Comment connecter Google BigQuery à Google Sheets
• Tous les guides d'automatisation SeaTable