Data Warehouse: Export nach BigQuery, Snowflake und Redshift
Senden Sie CRM-Objekte (Leads, Kontakte, Opportunities…) an Ihr Data Warehouse. BigQuery erfolgt automatisch; Snowflake und Redshift nutzen Datei + COPY.
Die Data-Warehouse-Integration EXPORTIERT Ihre CRM-Objekte in das Warehouse IHRES Unternehmens (Modell „Bring your own account“, kurz BYO). Das Warehouse gehört Ihnen: Es gibt keine Kosten, keine Marge und keine Vermittlung unsererseits. Alles startet inaktiv: Nichts wird gesendet, bis Sie die Zugangsdaten konfigurieren und aktivieren. Der Lesezugriff ist immer auf die Daten Ihres Mandanten beschränkt.
Jedes Objekt wird als Zeilen mit stabilen Spalten exportiert: id, created_at, updated_at, owner_id und je einer Spalte pro Feld (der api_name des Feldes). Dieselben Spalten wie beim BI-Connector, sodass Sie nur einmal zuordnen müssen.
Voraussetzungen
- BigQuery: ein Projekt in Google Cloud, ein Ziel-Dataset und ein Service-Account mit der Rolle „BigQuery Data Editor“ für dieses Dataset, sowie ein JSON-Schlüssel für dieses Konto.
- Snowflake/Redshift: ein von Ihnen kontrollierter Staging-Speicherort (signierte URL eines S3/GCS/Azure-Buckets) zum Empfangen der Datei, sowie Zugriff auf das Warehouse, um den COPY-Befehl auszuführen.
- In Sellio: Administratorzugriff, um die Zugangsdaten zu speichern und den Export unter Einstellungen → Integrationen zu aktivieren.
Wo konfigurieren
- Öffnen Sie Einstellungen → Integrationen.
- Wählen Sie die Karte Ihres Warehouses: Google BigQuery, Snowflake oder Amazon Redshift.
- Geben Sie die Zugangsdaten ein, wählen Sie die zu exportierenden Objekte aus und aktivieren Sie.
- Verwenden Sie „Jetzt exportieren“, um bei Bedarf zu senden.
BigQuery (automatischer Versand)
Bei BigQuery erfolgt der Versand automatisch per Streaming (tabledata.insertAll). Sie bringen einen Service-Account mit, und wir schreiben direkt in Ihre Tabellen.
- Erstellen Sie in Google Cloud einen Service-Account und gewähren Sie ihm die Rolle „BigQuery Data Editor“ für das Ziel-Dataset.
- Erstellen Sie einen JSON-Schlüssel für dieses Service-Konto.
- Erstellen Sie im Dataset für jedes Objekt eine Tabelle mit den stabilen Spalten (id STRING, created_at TIMESTAMP, updated_at TIMESTAMP, owner_id STRING und je einer Spalte pro Feld).
- Geben Sie auf der BigQuery-Karte die Projekt-ID, das Dataset, optional ein Tabellenpräfix ein und fügen Sie das JSON des Schlüssels ein. Aktivieren Sie und klicken Sie auf „Jetzt exportieren“.
Snowflake und Redshift (Datei + COPY)
Für Snowflake und Redshift erzeugen wir eine Datei pro Objekt (standardmäßig NDJSON oder CSV) und SENDEN sie an eine von Ihnen kontrollierte Staging-URL, zum Beispiel eine signierte URL Ihres S3/GCS/Azure-Buckets. Das endgültige Laden in das Warehouse erfolgt über den COPY-Befehl, den Sie in Ihrem Warehouse ausführen (oder zeitgesteuert einplanen).
- Geben Sie auf der Snowflake/Redshift-Karte die Staging-URL (das Zielziel der Datei), das Format (NDJSON oder CSV) und, falls das Ziel es erfordert, einen Authentifizierungs-Header + Secret ein.
- Wählen Sie die Objekte aus und aktivieren Sie. Klicken Sie auf „Jetzt exportieren“: Wir führen ein PUT der Datei in Ihr Staging aus.
- Führen Sie in Ihrem Warehouse COPY aus, um die Datei aus dem Staging in die Tabelle zu laden.
So testen Sie
- Aktivieren Sie den Connector, wählen Sie ein Objekt aus und klicken Sie auf „Jetzt exportieren“.
- BigQuery: Öffnen Sie die Tabelle <präfix><api_name> im Dataset und bestätigen Sie, dass die Zeilen angekommen sind (ein erneutes Senden desselben Batches erzeugt keine Duplikate, da die insertId die id des Datensatzes ist).
- Snowflake/Redshift: Bestätigen Sie, dass die Datei in Ihr Staging geschrieben wurde (per PUT); führen Sie dann COPY aus und prüfen Sie die Zeilen in der Tabelle.
Fehlerbehebung
- BigQuery 403/Zugriff verweigert: Der Service-Account hat nicht die Rolle „BigQuery Data Editor“ für das Dataset, oder der JSON-Schlüssel ist unvollständig. Erteilen Sie die Rolle erneut und fügen Sie das JSON neu ein.
- BigQuery „table not found“: Erstellen Sie zuerst die Tabelle pro Objekt mit den stabilen Spalten (id STRING, created_at/updated_at TIMESTAMP, owner_id STRING und je einer Spalte pro Feld). Der Name lautet <präfix><api_name>.
- Snowflake/Redshift: Der PUT ins Staging schlägt fehl: Die signierte URL ist abgelaufen oder erlaubt kein Schreiben, oder der Authentifizierungs-Header des Ziels ist falsch. Erzeugen Sie eine neue URL und prüfen Sie das Secret.
- COPY lädt nicht: Überprüfen Sie das FILE_FORMAT (NDJSON vs. CSV) und die Spaltenzuordnung (z. B. MATCH_BY_COLUMN_NAME in Snowflake; FORMAT AS JSON in Redshift).
- Nichts wird exportiert: Bestätigen Sie, dass der Connector AKTIVIERT ist und dass Objekte ausgewählt sind.