// Projekt

SENEC PV Analytics

ETL-Pipeline · BigQuery · Vertex AI Forecasting

Python · BigQuery · Vertex AI · Looker Studio · Pandas

Einführung

Nach zwei Jahren Betrieb einer PV-Anlage mit SENEC-Technologie entstand die Idee, die gesammelten Systemdaten mit externen Quellen (Wetter- und Klimadaten) anzureichern und mit Machine Learning auswertbar zu machen.

Das Projekt gliedert sich in drei Phasen: ETL (Datenaufbereitung), SQL & Reporting (Auswertung & Visualisierung) und Machine Learning (Forecasting mit Vertex AI).

Phase 01

ETL

Python · Pandas · BigQuery

Phase 02

Reporting

SQL · Looker Studio

Phase 03

ML Forecast

Vertex AI AutoML

Phase 1: ETL – Extract, Transform, Load

Das SENEC-System aggregiert Messwerte alle 5 Minuten und exportiert sie als wöchentliche CSV-Dateien. Die Rohdaten enthalten mehrere Formatierungsprobleme:

  • Nicht-standardisierte Timestamps
  • Europäisches Dezimalformat (Komma statt Punkt)
  • Semikolon als Trennzeichen

Ein Python-Script mit Pandas normalisiert die Timestamps, ersetzt Dezimalkommas durch Punkte und konsolidiert mehrere CSV-Dateien zu einer BigQuery-fähigen Datei.

SENEC raw data
Rohdaten-Export des SENEC-Systems
Python ETL script
Python/Pandas Script zur Datenaufbereitung

Importieren in BigQuery

Nach der Aufbereitung werden die Daten in Google BigQuery importiert. Das Schema muss korrekte Datentypen verwenden – besonders Timestamp-Felder sind für die spätere Zeitreihenanalyse entscheidend.

BigQuery Schema
BigQuery Schema für PV-Daten
BigQuery Preview
Datenvorschau nach dem Import in BigQuery

Float-Datentyp für numerische Werte verwenden, da PV-Messwerte Dezimalstellen und negative Zahlen (Netzbezug) enthalten können.

Phase 2: SQL-Abfragen und Reporting

Mit bereinigten Daten in BigQuery lassen sich mit einfachen SQL-Abfragen aussagekräftige Auswertungen erstellen. Die Funktionen EXTRACT() und SUM() aggregieren Messwerte nach Tages-, Wochen-, Monats- oder Jahresperioden.

BigQuery SQL
SQL-Abfragen in BigQuery

Die Ergebnisse werden in Looker Studio visualisiert: Stromerzeugung, Verbrauch, Netzeinspeisung und Batterieladung auf einen Blick.

Looker Studio
Looker Studio Dashboard – PV-Übersicht
Looker Studio Detail
Detailansicht der Verbrauchskennzahlen

Phase 3: Machine Learning mit Vertex AI

In der dritten Phase wird Vertex AI AutoML für Zeitreihen-Forecasting eingesetzt. Als Modelltyp wird Tabular – Forecasting ausgewählt.

Vertex AI Dataset
Vertex AI – Neues Forecasting-Dataset anlegen

Trainingsparameter:

Methode

AutoML

Timestamp-Spalte

BigQuery Timestamp-Feld

Zielgröße

Stromerzeugung (kWh)

Granularität

5 Minuten

Kontextfenster

3 Perioden

Trainingsdauer

ca. 1 Stunde

Vertex AI Training
Vertex AI – Modelltraining im Gange
Vertex AI Model
Trainiertes Forecasting-Modell

Fazit

Die dreistufige Pipeline demonstriert den vollständigen Google Cloud Workflow: von Rohdaten über SQL-Analyse bis zum trainierten ML-Modell – alles innerhalb des Google Cloud Ökosystems ohne lokale Infrastruktur.

Der nächste Schritt: Anreicherung mit Wetterdaten für noch genauere Ertragsvorhersagen, kombiniert mit dem Vertex AI Forecasting-Modell.