Zum Inhalt springen
All articles
Setup

Data Warehouse: Export nach BigQuery, Snowflake und Redshift

Senden Sie CRM-Objekte (Leads, Kontakte, Opportunities…) an Ihr Data Warehouse. BigQuery erfolgt automatisch; Snowflake und Redshift nutzen Datei + COPY.

Die Data-Warehouse-Integration EXPORTIERT Ihre CRM-Objekte in das Warehouse IHRES Unternehmens (Modell „Bring your own account“, kurz BYO). Das Warehouse gehört Ihnen: Es gibt keine Kosten, keine Marge und keine Vermittlung unsererseits. Alles startet inaktiv: Nichts wird gesendet, bis Sie die Zugangsdaten konfigurieren und aktivieren. Der Lesezugriff ist immer auf die Daten Ihres Mandanten beschränkt.

Jedes Objekt wird als Zeilen mit stabilen Spalten exportiert: id, created_at, updated_at, owner_id und je einer Spalte pro Feld (der api_name des Feldes). Dieselben Spalten wie beim BI-Connector, sodass Sie nur einmal zuordnen müssen.

Voraussetzungen

  • BigQuery: ein Projekt in Google Cloud, ein Ziel-Dataset und ein Service-Account mit der Rolle „BigQuery Data Editor“ für dieses Dataset, sowie ein JSON-Schlüssel für dieses Konto.
  • Snowflake/Redshift: ein von Ihnen kontrollierter Staging-Speicherort (signierte URL eines S3/GCS/Azure-Buckets) zum Empfangen der Datei, sowie Zugriff auf das Warehouse, um den COPY-Befehl auszuführen.
  • In Sellio: Administratorzugriff, um die Zugangsdaten zu speichern und den Export unter Einstellungen → Integrationen zu aktivieren.

Wo konfigurieren

  1. Öffnen Sie Einstellungen → Integrationen.
  2. Wählen Sie die Karte Ihres Warehouses: Google BigQuery, Snowflake oder Amazon Redshift.
  3. Geben Sie die Zugangsdaten ein, wählen Sie die zu exportierenden Objekte aus und aktivieren Sie.
  4. Verwenden Sie „Jetzt exportieren“, um bei Bedarf zu senden.

BigQuery (automatischer Versand)

Bei BigQuery erfolgt der Versand automatisch per Streaming (tabledata.insertAll). Sie bringen einen Service-Account mit, und wir schreiben direkt in Ihre Tabellen.

  1. Erstellen Sie in Google Cloud einen Service-Account und gewähren Sie ihm die Rolle „BigQuery Data Editor“ für das Ziel-Dataset.
  2. Erstellen Sie einen JSON-Schlüssel für dieses Service-Konto.
  3. Erstellen Sie im Dataset für jedes Objekt eine Tabelle mit den stabilen Spalten (id STRING, created_at TIMESTAMP, updated_at TIMESTAMP, owner_id STRING und je einer Spalte pro Feld).
  4. Geben Sie auf der BigQuery-Karte die Projekt-ID, das Dataset, optional ein Tabellenpräfix ein und fügen Sie das JSON des Schlüssels ein. Aktivieren Sie und klicken Sie auf „Jetzt exportieren“.
💡 Der Tabellenname jedes Objekts lautet <präfix><api_name> (z. B. Präfix „crm_“ → Tabelle crm_opportunity). Ohne Präfix ist die Tabelle einfach der api_name. Der Versand verwendet die id des Datensatzes als insertId, sodass ein erneutes Senden desselben Batches keine Duplikate erzeugt.

Snowflake und Redshift (Datei + COPY)

Für Snowflake und Redshift erzeugen wir eine Datei pro Objekt (standardmäßig NDJSON oder CSV) und SENDEN sie an eine von Ihnen kontrollierte Staging-URL, zum Beispiel eine signierte URL Ihres S3/GCS/Azure-Buckets. Das endgültige Laden in das Warehouse erfolgt über den COPY-Befehl, den Sie in Ihrem Warehouse ausführen (oder zeitgesteuert einplanen).

  1. Geben Sie auf der Snowflake/Redshift-Karte die Staging-URL (das Zielziel der Datei), das Format (NDJSON oder CSV) und, falls das Ziel es erfordert, einen Authentifizierungs-Header + Secret ein.
  2. Wählen Sie die Objekte aus und aktivieren Sie. Klicken Sie auf „Jetzt exportieren“: Wir führen ein PUT der Datei in Ihr Staging aus.
  3. Führen Sie in Ihrem Warehouse COPY aus, um die Datei aus dem Staging in die Tabelle zu laden.
Example: Snowflake: COPY INTO crm.opportunity FROM @my_stage/opportunity FILE_FORMAT = (TYPE = JSON) MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE;
Example: Redshift: COPY crm.opportunity FROM 's3://my-bucket/opportunity.json' IAM_ROLE 'arn:aws:iam::...:role/redshift' FORMAT AS JSON 'auto ignorecase';
💡 Die Zugangsdaten (BigQuery-Service-Account-Schlüssel, Staging-Secret) werden verschlüsselt gespeichert und nie erneut angezeigt. Um sie zu ändern, fügen Sie sie erneut ein.

So testen Sie

  1. Aktivieren Sie den Connector, wählen Sie ein Objekt aus und klicken Sie auf „Jetzt exportieren“.
  2. BigQuery: Öffnen Sie die Tabelle <präfix><api_name> im Dataset und bestätigen Sie, dass die Zeilen angekommen sind (ein erneutes Senden desselben Batches erzeugt keine Duplikate, da die insertId die id des Datensatzes ist).
  3. Snowflake/Redshift: Bestätigen Sie, dass die Datei in Ihr Staging geschrieben wurde (per PUT); führen Sie dann COPY aus und prüfen Sie die Zeilen in der Tabelle.

Fehlerbehebung

  • BigQuery 403/Zugriff verweigert: Der Service-Account hat nicht die Rolle „BigQuery Data Editor“ für das Dataset, oder der JSON-Schlüssel ist unvollständig. Erteilen Sie die Rolle erneut und fügen Sie das JSON neu ein.
  • BigQuery „table not found“: Erstellen Sie zuerst die Tabelle pro Objekt mit den stabilen Spalten (id STRING, created_at/updated_at TIMESTAMP, owner_id STRING und je einer Spalte pro Feld). Der Name lautet <präfix><api_name>.
  • Snowflake/Redshift: Der PUT ins Staging schlägt fehl: Die signierte URL ist abgelaufen oder erlaubt kein Schreiben, oder der Authentifizierungs-Header des Ziels ist falsch. Erzeugen Sie eine neue URL und prüfen Sie das Secret.
  • COPY lädt nicht: Überprüfen Sie das FILE_FORMAT (NDJSON vs. CSV) und die Spaltenzuordnung (z. B. MATCH_BY_COLUMN_NAME in Snowflake; FORMAT AS JSON in Redshift).
  • Nichts wird exportiert: Bestätigen Sie, dass der Connector AKTIVIERT ist und dass Objekte ausgewählt sind.

Open this article inside the system

Read it and want to see it working?

The account is free and the whole manual is available inside the system, with an assistant that answers from this very content.

Kostenloses Konto erstellen
Data Warehouse: Export nach BigQuery, Snowflake und Redshift · Sellio