Synchroniseer Google BigQuery met Baserow volgens een schema.

Automatisering · BigQuery naar Baserow

Houden Baserow in overeenstemming met uw BigQuery-datawarehouse, volgens een schema

Schrijf de SQL-query één keer. Query Streams voert deze uit volgens uw planning, van elke vijf minuten tot wekelijks, en schrijft de rijen naar uw Baserow-tabel. Koppel rijen aan een sleutel, zodat wijzigingen op hun plaats worden doorgevoerd en rijen die de query verlaten, worden verwijderd, of voeg ze gewoon toe. Geen Zapier, geen scripts, geen exports. De eerste keer duurt het ongeveer vijftien minuten en het gratis abonnement dekt dit.

Ongeveer 15 minuten Geen programmeerkennis vereist Uw inloggegevens blijven bij u. Elke 5 minuten tot wekelijks

Wat je uiteindelijk overhoudt

Een Baserow-tabel die de rijen bevat die uw BigQuery-query retourneert en die volgens een schema, elke vijf minuten tot wekelijks, wordt bijgewerkt, met een overzicht van de wijzigingen bij elke uitvoering. Zoals dit:

Bestellingen aan Baserow Actief

Dagelijkse synchronisatie · 09:00 · Baserow 1.643 rijen · 8,8s

1,627rijen gesynchroniseerdgevonden op basis van de sleutel · niets te doen

11nieuwtoegevoegd onder uw kopteksten, dezelfde kolommen

5bijgewerktPrijzen gewijzigd in BigQuery, 5 rijen bijgewerkt op hun plaats

0VERWIJDERDRijen die de query verlaten, worden uit de tabel verwijderd.

Google BigQuery bewaart uw gegevens in zijn eigen cloud. Uw team werkt in Baserow. De gebruikelijke manier om dit te koppelen is via Zapier of Make, of door een CSV-bestand te uploaden dat stilletjes wordt gekopieerd, rij voor rij. Query Streams Automation doet het anders: de agent die al in uw BigQuery-datawarehouse aanwezig is, voert uw opgeslagen SQL-query's volgens een schema uit en schrijft het volledige resultaat in één keer naar Baserow. Hierbij worden rijen gekoppeld op basis van een sleutel, zodat de tabel correct blijft in plaats van te groeien.

Wat je nodig hebt

Een Query Streams-account

Het gratis abonnement is voldoende voor deze handleiding. Meld je aan via mijn.querystreams.nl.

BigQuery is via de agent verbonden.

De agent is geïnstalleerd op elke computer die altijd aan staat, en uw BigQuery-datawarehouse is toegevoegd als verbinding in Data Agents. Nog niet klaar? Verbind eerst met BigQueryHet duurt ongeveer tien minuten.

Een opgeslagen zoekopdracht

De SELECT-query die u gesynchroniseerd wilt houden, wordt opgeslagen in QuerybouwerStap 1 hieronder toont een voorbeeld. Als u wilt dat gewijzigde rijen direct worden bijgewerkt, voeg dan een kolom toe die uniek is voor elke rij, zoals een ID.

Uw Baserow-login

Voer het adres van uw Baserow-server in (standaard is dit api.baserow.io), uw e-mailadres en uw wachtwoord. Query Streams slaat deze gegevens versleuteld op en meldt zich voor u aan wanneer een synchronisatie wordt uitgevoerd.

Stel het in zes stappen in.

1. Sla de query op die u gesynchroniseerd wilt houden.

   Open QuerybouwerKies je BigQuery-verbinding (nog niet verbonden?). begin hier), en schrijf de SELECT-query die precies de rijen en kolommen retourneert die je in Baserow wilt hebben. Deze haalt een paar kolommen uit een bestellingen tafel:

   Voorbeeld · SQL

   SELECT order_id, customer_name, order_total FROM `my-project-123.analytics.orders` ORDER BY order_total DESC LIMIT 100;

   Voer het dan uit. Sla Geef het een herkenbare naam, zoals 'Bestellingen voor Baserow'. Zorg ervoor dat er in de SELECT-query een kolom is die per rij uniek is, zoals hier. order_idDat is de sleutel die Full Sync gebruikt om rijen direct bij te werken. Bewerk en sla de query later opnieuw op en de automatisering pakt de wijziging op bij de volgende uitvoering.

2. Open Automation en kies Baserow.

   Open het portaal. Automatisering (bovenste menu) Streams → Gepland → Automatisering) en klik Nieuwe automatiseringDe tovenaar heeft vijf korte stappen. Stap 1 klik op Baserow kaart.

   Open Automatisering

   Zie je in plaats daarvan "Voordat je begint"? De wizard wordt pas geopend als een agent online is met een verbinding en er ten minste één opgeslagen query bestaat. De pagina geeft aan welke van de drie ontbreekt en bevat een link ernaartoe.

3. Baserow verbinden

   Op Stap 2 invullen Server-URL (laat het leeg voor Baserow cloud), uw E-mail en WachtwoordKlik vervolgens TestaansluitingVoer het adres van uw Baserow-server in (standaard is dit api.baserow.io), uw e-mailadres en uw wachtwoord. Query Streams slaat deze gegevens versleuteld op en meldt zich voor u aan wanneer een synchronisatie wordt uitgevoerd.

4. Kies waar de rijen terechtkomen.

   Op Stap 3 kies de Database, vervolgens de Tafel De rijen moeten in Baserow terechtkomen. Maak de tabel eerst aan in Baserow als je een lege tabel wilt. Als er al rijen in staan, toont een voorbeeld deze en legt uit wat elke synchronisatiemodus ermee doet. Eén automatisering per tabel.

5. Kies de query en bepaal hoe de rijen worden weergegeven.

   Op Stap 4 open de Opgeslagen zoekopdracht Selecteer de query uit stap 1 en maak een lijst. Query Streams voert de query eenmaal uit om de kolommen te lezen, geeft aan hoeveel rijen de query retourneert en toont twee opties:

   Snel toevoegen

   Voeg toe

   Bij elke uitvoering worden de rijen van de query onderaan de tabel toegevoegd. Er wordt niets bijgewerkt en niets verwijderd, waardoor het de snelle oplossing is voor logboeken, gebeurtenissen en historie die u wilt verzamelen. Er is geen sleutelkolom nodig. Een rij die ongewijzigd terugkomt, wordt niet opnieuw toegevoegd; een rij waarvan de waarden zijn gewijzigd, wordt eronder als een nieuwe regel toegevoegd en de oude rij blijft behouden.

   Volledige synchronisatie · spiegels

   Volledige synchronisatie

   Rijen worden gekoppeld door een sleutel Een kolom zoals een order-ID wordt gebruikt. Nieuwe rijen worden toegevoegd, gewijzigde rijen worden direct bijgewerkt en rijen die niet langer door de query worden geretourneerd, worden verwijderd, inclusief rijen die handmatig in de tabel zijn ingevoerd. Handmatig ingevoerde rijen worden daarom in een andere tabel bewaard. Deze methode is geschikt voor voorraadbeheer, pijplijnen, stamgegevens en dashboards.

   De volledige synchronisatie wordt per kolom ingesteld, wat het nuttig maakt in een gedeelde tabel:

   Sleutel

   De kolom die een rij identificeert, bijvoorbeeld order_idHet moet uniek zijn in het zoekresultaat; Query Streams controleert dit voor u en weigert duplicaten.

   Synchronisatie

   De waarde wordt bij elke uitvoering overschreven vanuit BigQuery. Als iemand een synchronisatiekolom in Baserow bewerkt, wordt de bronwaarde bij de volgende uitvoering teruggezet.

   Beschermen

   Deze gegevens worden geschreven zodra de rij binnenkomt en worden daarna nooit meer vergeleken. Een wijziging in deze rij in BigQuery activeert daarom geen update. Voor notities, eigenaren en vervolgdatums die uw team handmatig invoert, gebruikt u een kolom die helemaal niet in de query voorkomt: kolommen die alleen in Baserow bestaan, worden nooit door een synchronisatie aangepast.

   Wat is sneller? Bij 'Append' worden gegevens weggeschreven zonder eerst de tabel te lezen. Bij 'Full Sync' wordt de tabel gelezen, elke rij vergeleken en alleen de verschillen weggeschreven. Dit duurt langer, maar de tabel komt altijd overeen met de query. Je kunt later via het bewerkingspaneel van de automatisering van instelling wisselen.

   Klik hier voor een tabel die u wilt vertrouwen. Maak alle kolommen aan als synchronisatie.Klik vervolgens op het sleutelpictogram op order_id om het te maken SleutelQuery Streams scant het volledige resultaat om te bevestigen dat de sleutel uniek is en waarschuwt u als dit niet het geval is. Bewaar de eigen notities van uw team in kolommen die geen deel uitmaken van de query; deze worden nooit aangepast. Voor een logboek dat alleen maar zou moeten groeien, klikt u hier. Maak alle kolommen aan als 'Behouden'. in plaats daarvan en sla de legenda over. Klik Doorgaan.

6. Stel het schema in, geef het een naam en maak het aan.

   Op Stap 5 kiezen Werk volgens een schema en kies een Frequentie:

   Frequentie	Loopt
   Elke 5 minuten	elke 5 minuten, de snelst toegestane
   Elke 15 minuten	elke 15 minuten
   Elke 30 minuten	elke 30 minuten
   Elk uur	aan het begin van elk uur
   Dagelijks om 9 uur 's ochtends	elke dag om 9:00, de standaard
   Dagelijks om 6 uur 's ochtends	elke dag om 6:00
   Doordeweeks om 9 uur 's ochtends	Maandag tot en met vrijdag om 9:00 uur
   Wekelijks (maandag 9.00 uur)	elke maandag om 9:00
   Aangepast schema	je eigen minuten, uren, dagen van de week of dag van de maand

   De tijden volgen de Tijdzone Je kiest, wat begint als de instelling van je browser. Je kunt ook kiezen voor Alleen handmatig en druk Ren Wanneer u maar wilt; een schema kan later worden toegevoegd via het bewerkingspaneel van de automatisering. Geplande uitvoeringen vinden plaats op de agent, dus ze blijven doorlopen, zelfs als uw browser gesloten is. Als de computer waarop de agent draait is uitgeschakeld wanneer een uitvoering gepland staat, wordt de gemiste uitvoering eenmaal uitgevoerd, kort nadat de agent weer is opgestart.

   Geef het een Integratienaamzoals "Bestellingen naar Baserow, dagelijks", controleer de Klaar om te creëren samenvatting en klik Automatisering creërenGa terug naar de pagina Automatisering en druk op Ren Voer de eerste synchronisatie nu uit in plaats van te wachten op de planning. Open Baserow: de rijen staan daar, onder je kolomkoppen.

Wat je daarna ziet

De Automatiseringpagina Toont elke automatisering met de status, bron, doel, sleutel, planning, laatste synchronisatie en aantal rijen. Open er een voor de Executies Tabblad: elke run met de bijbehorende trigger (handmatig of gepland), duur en het aantal aangemaakte, bijgewerkte, verwijderde en ongewijzigde rijen. A Prestatie Het tabblad toont de verwerkte gegevens en het succespercentage over een periode van 7 tot 90 dagen.

Wat de plannen toestaan

Automatisering is bij elk abonnement inbegrepen, ook bij het gratis abonnement, en er is geen limiet aan het aantal automatiseringen dat u kunt maken. Elk abonnement beperkt wel het aantal rijen dat één query per keer kan retourneren:

Als een query meer resultaten oplevert dan nodig, wordt de uitvoering gepauzeerd in plaats van afgebroken. De automatisering geeft dan aan welk plan het beste past of stelt voor om een filter toe te voegen, zoals een datumbereik. Elke succesvolle uitvoering telt ook mee voor uw Data Realm-limiet, dezelfde limiet die uw Excel- en Sheets-query's gebruiken. Bekijk de prijspagina. voor de toeslagen.

Goede volgende stappen

• Voeg een filter toe door de query aan te passen, bijvoorbeeld naar de laatste 90 dagen, zodat de tabel klein en snel blijft en binnen de rijlimiet van uw abonnement past.
• Bewaar handgetypte notities in hun eigen kolom., buiten de query, zodat ze elke synchronisatie overleven.
• Groepeer uw automatiseringen Vanuit het bewerkingspaneel, zodra je er een paar hebt, kun je op de pagina Automatisering filteren op groep.

Vragen die mensen stellen

Gerelateerde handleidingen

• MySQL naar Baserow
• PostgreSQL naar Baserow
• Microsoft SQL Server naar Baserow
• Google BigQuery naar Google Sheets
• Google BigQuery naar Airtable
• Hoe verbind je Google BigQuery met Google Sheets?
• Alle Baserow-automatiseringshandleidingen