// Projekt
SENEC PV Analytics
ETL-Pipeline · BigQuery · Vertex AI Forecasting
Einführung
Nach zwei Jahren Betrieb einer PV-Anlage mit SENEC-Technologie entstand die Idee, die gesammelten Systemdaten mit externen Quellen (Wetter- und Klimadaten) anzureichern und mit Machine Learning auswertbar zu machen.
Das Projekt gliedert sich in drei Phasen: ETL (Datenaufbereitung), SQL & Reporting (Auswertung & Visualisierung) und Machine Learning (Forecasting mit Vertex AI).
Phase 01
ETL
Phase 02
Reporting
Phase 03
ML Forecast
Phase 1: ETL – Extract, Transform, Load
Das SENEC-System aggregiert Messwerte alle 5 Minuten und exportiert sie als wöchentliche CSV-Dateien. Die Rohdaten enthalten mehrere Formatierungsprobleme:
- Nicht-standardisierte Timestamps
- Europäisches Dezimalformat (Komma statt Punkt)
- Semikolon als Trennzeichen
Ein Python-Script mit Pandas normalisiert die Timestamps, ersetzt Dezimalkommas durch Punkte und konsolidiert mehrere CSV-Dateien zu einer BigQuery-fähigen Datei.


Importieren in BigQuery
Nach der Aufbereitung werden die Daten in Google BigQuery importiert. Das Schema muss korrekte Datentypen verwenden – besonders Timestamp-Felder sind für die spätere Zeitreihenanalyse entscheidend.


Float-Datentyp für numerische Werte verwenden, da PV-Messwerte Dezimalstellen und negative Zahlen (Netzbezug) enthalten können.
Phase 2: SQL-Abfragen und Reporting
Mit bereinigten Daten in BigQuery lassen sich mit einfachen SQL-Abfragen aussagekräftige Auswertungen erstellen. Die Funktionen EXTRACT() und SUM() aggregieren Messwerte nach Tages-, Wochen-, Monats- oder Jahresperioden.

Die Ergebnisse werden in Looker Studio visualisiert: Stromerzeugung, Verbrauch, Netzeinspeisung und Batterieladung auf einen Blick.


Phase 3: Machine Learning mit Vertex AI
In der dritten Phase wird Vertex AI AutoML für Zeitreihen-Forecasting eingesetzt. Als Modelltyp wird Tabular – Forecasting ausgewählt.

Trainingsparameter:
AutoML
BigQuery Timestamp-Feld
Stromerzeugung (kWh)
5 Minuten
3 Perioden
ca. 1 Stunde


Fazit
Die dreistufige Pipeline demonstriert den vollständigen Google Cloud Workflow: von Rohdaten über SQL-Analyse bis zum trainierten ML-Modell – alles innerhalb des Google Cloud Ökosystems ohne lokale Infrastruktur.
Der nächste Schritt: Anreicherung mit Wetterdaten für noch genauere Ertragsvorhersagen, kombiniert mit dem Vertex AI Forecasting-Modell.