Snowflake und Baserow werden zeitgesteuert synchronisiert.

Automatisierung · Snowflake zu Baserow

Halten Baserow im Einklang mit Ihrem Snowflake-Lager, nach einem Zeitplan

Schreiben Sie die SQL-Abfrage einmal. Query Streams führt sie nach Ihrem Zeitplan aus – von alle fünf Minuten bis wöchentlich – und schreibt die Zeilen in Ihre Baserow-Tabelle. Zeilen können anhand eines Schlüssels abgeglichen werden, sodass Änderungen direkt übernommen und Zeilen, die die Abfrage verlassen haben, entfernt oder einfach angehängt werden. Kein Zapier, keine Skripte, kein Export erforderlich. Die erste Ausführung dauert etwa 15 Minuten und ist im kostenlosen Tarif enthalten.

Ungefähr 15 Minuten Keine Programmierung erforderlich Die Zugangsdaten bleiben bei Ihnen Alle 5 Minuten bis wöchentlich

Was am Ende dabei herauskommt

Eine Baserow-Tabelle, die die von Ihrer Snowflake-Abfrage zurückgegebenen Zeilen enthält und regelmäßig, etwa alle fünf Minuten bis wöchentlich, aktualisiert wird, wobei bei jedem Durchlauf eine Bestätigung der Änderungen protokolliert wird. Zum Beispiel so:

Bestellungen an Baserow Aktiv

Tägliche Synchronisierung · 09:00 Uhr · Baserow 1.643 Zeilen · 8,8 Sekunden

1,627Zeilen synchronisiertÜbereinstimmung mit Schlüssel · nichts zu tun

11neuangehängt unter Ihren Überschriften, gleiche Spalten

5aktualisiertDie Preise in Snowflake wurden geändert, 5 Zeilen wurden aktualisiert.

0ENTFERNTZeilen, die die Abfrage verlassen, werden aus der Tabelle entfernt.

Snowflake speichert Ihre Daten in einer eigenen Cloud. Ihr Team arbeitet mit Baserow. Üblicherweise wird die Verbindung über Zapier oder Make hergestellt oder eine CSV-Datei hochgeladen, die jedoch unbemerkt Zeilen für Zeilen kopiert. Query Streams Automation geht anders vor: Der Agent, der bereits mit Ihrem Snowflake-Data-Warehouse verbunden ist, führt Ihre gespeicherten SQL-Abfragen nach einem Zeitplan aus und schreibt das gesamte Ergebnis in einem Durchlauf in Baserow. Dabei werden die Zeilen anhand eines Schlüssels abgeglichen, sodass die Tabelle korrekt bleibt und nicht unnötig wächst.

Was Sie benötigen

Ein Query Streams-Konto

Für diesen Leitfaden reicht der kostenlose Tarif aus. Melden Sie sich an unter mein.querystreams.de.

Snowflake hat sich über den Agenten verbunden.

Der Agent wird auf einem beliebigen, ständig eingeschalteten Computer installiert, wobei Ihr Snowflake-Warehouse als Verbindung in den Datenagenten hinzugefügt wird. Noch nicht fertig? Verbinden Sie Snowflake zuerst.Es dauert ungefähr zehn Minuten.

Eine gespeicherte Anfrage

Die SELECT-Anweisung, die Sie synchron halten möchten, wird gespeichert in Abfrage-GeneratorSchritt 1 unten zeigt ein Beispiel. Wenn geänderte Zeilen direkt aktualisiert werden sollen, fügen Sie eine Spalte hinzu, die pro Zeile eindeutig ist, z. B. eine ID.

Ihr Baserow-Login

Geben Sie Ihre Baserow-Serveradresse (Standard: api.baserow.io), Ihre E-Mail-Adresse und Ihr Passwort ein. Query Streams speichert diese Daten verschlüsselt und meldet Sie bei jeder Synchronisierung automatisch an.

Einrichtung in sechs Schritten

1. Speichern Sie die Abfrage, die Sie synchron halten möchten.

   Öffnen Abfrage-GeneratorWählen Sie Ihre Snowflake-Verbindung (noch nicht verbunden?). Hier beginnenSchreiben Sie die SELECT-Anweisung, die genau die gewünschten Zeilen und Spalten in Baserow zurückgibt. Diese Anweisung ruft einige Spalten aus einem BESTELLUNGEN Tisch:

   Beispiel · SQL

   SELECT order_id, customer_name, order_total FROM SALES.PUBLIC.ORDERS ORDER BY order_total DESC LIMIT 100;

   Führe es dann aus. Speichern Sie Geben Sie ihr einen aussagekräftigen Namen, z. B. „Bestellungen für Baserow“. Verwenden Sie in der SELECT-Anweisung eine Spalte, die pro Zeile eindeutig ist. BestellnummerDas ist der Schlüssel, den Full Sync verwendet, um Zeilen direkt zu aktualisieren. Bearbeiten und speichern Sie die Abfrage später erneut, und die Automatisierung übernimmt die Änderung beim nächsten Durchlauf.

2. Öffnen Sie Automation und wählen Sie Baserow aus.

   Im Portal öffnen Automatisierung (Top-Menü) Streams → Geplant → Automatisierung) und klicken Neue AutomatisierungDer Zauberer hat fünf kurze Schritte. Schritt 1 Klicken Sie auf Baserow Karte.

   Offene Automatisierung

   Sehen Sie stattdessen „Bevor Sie beginnen“? Der Assistent öffnet sich erst, wenn ein Agent online ist, über eine Verbindung verfügt und mindestens eine gespeicherte Abfrage vorhanden ist. Auf der Seite wird angezeigt, welche der drei Komponenten fehlt, und ein Link dazu bereitgestellt.

3. Baserow verbinden

   An Schritt 2 ausfüllen Server-URL (lassen Sie das Feld für Baserow Cloud leer), Ihre E-Mail und PasswortKlicken Sie dann Verbindung testenGeben Sie Ihre Baserow-Serveradresse (Standard: api.baserow.io), Ihre E-Mail-Adresse und Ihr Passwort ein. Query Streams speichert diese Daten verschlüsselt und meldet Sie bei jeder Synchronisierung automatisch an.

4. Wähle aus, wo die Zeilen landen

   An Schritt 3 Wähle die Datenbankdann die Tisch Die Zeilen sollten eingefügt werden. Erstellen Sie die Tabelle zuerst in Baserow, falls Sie eine leere Tabelle benötigen. Sind bereits Zeilen vorhanden, werden diese in einer Vorschau angezeigt und die Auswirkungen der einzelnen Synchronisierungsmodi erläutert. Pro Tabelle ist eine Automatisierung möglich.

5. Wählen Sie die Abfrage aus und entscheiden Sie, wie die Zeilen landen.

   An Schritt 4 öffne die Gespeicherte Abfrage Wählen Sie die Abfrage aus Schritt 1 aus. Query Streams führt sie einmal aus, um die Spalten zu lesen, zeigt Ihnen die Anzahl der zurückgegebenen Zeilen an und präsentiert zwei Auswahlmöglichkeiten:

   Anhängen · schnell

   Anhängen

   Bei jedem Durchlauf werden die Zeilen der Abfrage am Ende der Tabelle hinzugefügt. Es werden weder Daten aktualisiert noch gelöscht. Daher eignet sich diese Methode ideal für die schnelle Erfassung von Protokollen, Ereignissen und Verlaufsdaten. Eine Schlüsselspalte ist nicht erforderlich. Eine unveränderte Zeile wird nicht erneut hinzugefügt; eine Zeile mit geänderten Werten wird als neue Zeile darunter eingefügt, die alte Zeile bleibt erhalten.

   Vollständige Synchronisierung · Spiegel

   Vollständige Synchronisation

   Zeilen werden durch ein Schlüssel Eine Spalte wie beispielsweise eine Bestellnummer. Neue Zeilen werden hinzugefügt, geänderte Zeilen werden direkt aktualisiert und Zeilen, die nicht mehr von der Abfrage zurückgegeben werden, werden entfernt. Dies gilt auch für Zeilen, die manuell in die Tabelle eingegeben wurden; daher sollten diese manuell erstellten Zeilen in einer separaten Tabelle gespeichert werden. Diese Methode eignet sich für Bestandsverwaltung, Pipelines, Stammdaten und Dashboards.

   Die vollständige Synchronisierung wird pro Spalte festgelegt, was sie in einer gemeinsam genutzten Tabelle nützlich macht:

   Schlüssel

   Die Spalte, die eine Zeile identifiziert, zum Beispiel BestellnummerEs muss im Abfrageergebnis eindeutig sein; Query Streams prüft das für Sie und weist Duplikate zurück.

   Synchronisierung

   Die Daten werden bei jedem Lauf von Snowflake überschrieben. Wenn jemand eine Sync-Spalte in Baserow bearbeitet, wird beim nächsten Lauf der ursprüngliche Wert wiederhergestellt.

   Bewahren

   Die Daten werden beim ersten Eintreffen der Zeile erfasst und nie wieder verglichen. Daher löst eine Änderung in Snowflake keine Aktualisierung aus. Für Notizen, Verantwortliche und Folgetermine, die Ihr Team manuell eingibt, verwenden Sie eine Spalte, die nicht in der Abfrage enthalten ist: Spalten, die nur in Baserow existieren, werden bei einer Synchronisierung nie berücksichtigt.

   Welches ist schneller? „Anhängen“ schreibt Daten, ohne die Tabelle vorher zu lesen. „Vollständige Synchronisierung“ liest die Tabelle, vergleicht jede Zeile und schreibt nur die Unterschiede. Das dauert zwar länger, aber die Tabelle entspricht immer der Abfrage. Sie können später im Bearbeitungsbereich der Automatisierung umschalten.

   Für eine Tabelle, der Sie vertrauen möchten, klicken Sie hier. Alle Spalten als Synchronisierungsspalten erstellenKlicken Sie anschließend auf das Schlüsselsymbol auf Bestellnummer um es zu machen SchlüsselQuery Streams durchsucht das gesamte Ergebnis, um die Eindeutigkeit des Schlüssels zu bestätigen, und warnt Sie, falls dies nicht der Fall ist. Speichern Sie die Notizen Ihres Teams in Spalten, die nicht Teil der Abfrage sind; diese werden niemals geändert. Für ein Protokoll, das stetig wachsen soll, klicken Sie hier. Alle Spalten als „Beibehalten“ formatieren Klicken Sie stattdessen und überspringen Sie die Taste. Weitermachen.

6. Lege den Zeitplan fest, gib ihm einen Namen, erstelle ihn.

   An Schritt 5 wählen Nach Zeitplan ausführen und wähle ein Frequenz:

   Frequenz	Läufe
   Alle 5 Minuten	alle 5 Minuten, die schnellste erlaubte
   Alle 15 Minuten	alle 15 Minuten
   Alle 30 Minuten	alle 30 Minuten
   Stündlich	zu Beginn jeder Stunde
   Täglich um 9 Uhr	jeden Tag um 9:00 Uhr, die Standardzeit
   Täglich um 6 Uhr morgens	jeden Tag um 6:00 Uhr
   Werktags um 9 Uhr	Montag bis Freitag um 9:00 Uhr
   Wöchentlich (Montag, 9 Uhr)	jeden Montag um 9:00 Uhr
   Benutzerdefinierter Zeitplan	Ihre eigenen Minuten, Stunden, Wochentage oder Tage des Monats

   Die Zeiten folgen dem Zeitzone Sie wählen aus, wobei die Standardeinstellung Ihres Browsers standardmäßig angezeigt wird. Sie können auch auswählen Nur Handbuch und Presse ausführen. Sie können die Automatisierung jederzeit starten; ein Zeitplan lässt sich später im Bearbeitungsbereich der Automatisierung hinzufügen. Geplante Ausführungen erfolgen auf dem Agenten und laufen daher auch dann weiter, wenn Ihr Browser geschlossen ist. Falls der Computer, auf dem der Agent läuft, zum Zeitpunkt einer geplanten Ausführung ausgeschaltet ist, wird die verpasste Ausführung einmalig kurz nach dem Neustart des Agenten wiederholt.

   Gib ihm ein Integrationsnamez. B. „Bestellungen an Baserow, täglich“, überprüfen Sie die Bereit zum Erstellen Zusammenfassung und Klick Automatisierung erstellenZurück auf der Seite „Automatisierung“, drücken Sie ausführen. Führen Sie die erste Synchronisierung jetzt durch, anstatt auf den Zeitplan zu warten. Öffnen Sie Baserow: Die Zeilen befinden sich dort unter Ihren Spaltenüberschriften.

Was Sie im Anschluss sehen

Der Automatisierungsseite Listet alle Automatisierungen mit Status, Quelle, Ziel, Schlüssel, Zeitplan, letzter Synchronisierung und Zeilenanzahl auf. Öffnen Sie eine für die Hinrichtungen Registerkarte: Jeder Durchlauf mit seinem Auslöser (manuell oder geplant), seiner Dauer und den erstellten, aktualisierten, gelöschten und unveränderten Zeilen. Leistung Die Registerkarte zeigt die verarbeiteten Daten und die Erfolgsquote über einen Zeitraum von 7 bis 90 Tagen an.

Was die Pläne erlauben

Die Automatisierung ist in jedem Tarif enthalten, auch im kostenlosen, und es gibt keine Begrenzung hinsichtlich der Anzahl der erstellbaren Automatisierungen. Die einzelnen Tarife beschränken sich jedoch darauf, wie viele Zeilen eine Abfrage pro Ausführung zurückgeben darf:

Wenn eine Abfrage weitere Ergebnisse liefert, wird die Ausführung fortgesetzt, anstatt abgebrochen zu werden. Die Automatisierung zeigt Ihnen an, welcher Plan am besten passt, oder schlägt das Hinzufügen eines Filters, z. B. eines Datumsbereichs, vor. Jede erfolgreiche Ausführung wird außerdem auf Ihr Datenkontingent angerechnet, das gleiche Kontingent, das auch Ihre Excel- und Tabellenkalkulationsabfragen nutzen. Siehe die Preisseite für die Zulagen.

Gute nächste Schritte

• Füge einen Filter hinzu auf die Abfrage, z. B. die letzten 90 Tage, damit die Tabelle klein und schnell bleibt und dem Zeilenlimit Ihres Plans entspricht.
• Handgeschriebene Notizen sollten in separaten Spalten aufbewahrt werden., außerhalb der Abfrage, sodass sie jeden Synchronisierungsvorgang überstehen.
• Gruppieren Sie Ihre Automatisierungen Sobald Sie einige im Bearbeitungsbereich ausgewählt haben, können Sie auf der Seite „Automatisierung“ nach Gruppen filtern.

Fragen, die Menschen stellen

Verwandte Leitfäden

• MySQL zu Baserow
• PostgreSQL zu Baserow
• Microsoft SQL Server zu Baserow
• Finanzdatenanalyse: Live-Datenbankabfragen in Excel und Google Sheets
• Snowflake zu Airtable
• Wie verbindet man Snowflake mit Google Sheets?
• Alle Baserow-Automatisierungsleitfäden