In der im Wasserrechtsgesetz geforderten Zusammenarbeit zwischen Bund und Länder wird ein Messnetz zur Bestimmung des Wasserhaushaltes in Österreich betrieben. Diese Daten werden von den Bundesländern gesammelt und in das Hydrographisches Daten Management System (HyDaMS) übermittelt.
HyDaMS ist eine Version der TopoDesk Software der Firma Toposoft. Es handelt sich dabei um eine proprietäre Software, welche auf der Programmiersprache AZUR basiert.
In dieser Software werden in einem sehr speziellen Format über 300.000 Zeitreihen mit unterschiedlichen Parametern und Zeitbezügen vorgehalten.
Im Rahmen der INSPIRE-Richtlinie (2007; Umsetzung AT: Geodateninfrastrukturgesetz 2010) sind Geodaten zu benennen und bekannt zu machen (Metadaten) und harmonisiert (definierte gemeinsame Datenstruktur) bereitzustellen (Datenservices).
Im Jahr 2019 erfolgte die Neufassung/Novellierung der alten PSI-RL (PublicSectorInformation) zur OpenData-RL, die 2022 als Informationsweiterverwendungsgesetz 2022 im Bund in Kraft trat. Sie enthält Mindestregeln für die Weiterverwendung öffentlicher Daten und führt das Open-By-Default-Prinzip ein: öffentliche Daten sollen also prinzipiell offen (OpenData) sein, solange nichts definitiv dagegenspricht. Darüber hinaus sind dynamische Daten (Sensoren/Zeitreihen) über Services/API bereitzustellen.
Eine Verschärfung trat im Februar 2023 durch die Verlautbarung der HVD-VO (HighValueDatasets-Verordnung) ein. Dort genannte Datensätze sind verpflichtend kostenlos (OpenData) per Service/API bis spätestens Juni 2024 bereitzustellen.
Zielsetzung
Moderne Big-Data Auswertungsmöglichkeiten und Dashboards können wegen der speziellen Struktur des bisher eingesetzten Datenformates nicht auf die Zeitreihendaten innerhalb des HyDaMS zugreifen.
Um Big-Data Analysen oder Modellberechnungen zu ermöglichen, sollen die Zeitreihen automatisch über eine zu entwickelnde Schnittstelle periodisch und gemonitort in ein Open-Source Datenbanksystem gespiegelt werden. Dies betrifft (i) die geprüften Daten der Hydrographie, die jährlich mit Abschluss eines Jahrbuches eingespielt werden sollen sowie (ii) die aktuellen fernübertragenen (und ungeprüften) Daten aus den Ländern, die kontinuierlich eingespielt werden sollen.
Ein modernes Datenbanksystem ist auch Voraussetzung für zahlreiche geplante Innovationen seitens der Abt. I/3 Wasserhaushalt, so zum Beispiel ein nationales Wasserhaushaltsmodell. Ebenso ist die Datenbereitstellung über das WebGIS-Portal eHYD Stand heute nicht mehr zeitgemäß. Zuerst müssen aus dem HyDaMS die Zeitreihen und Stammdaten als Textdateien exportiert und anschließend manuell in das eHYD integriert werden. Aufgrund der großen Datenmengen gibt es Limitierungen, so werden viele Zeitreihen nur in aggregierter zeitlicher Auflösung angeboten, um die Datenmenge zu reduzieren. Bei Vorhandensein einer Datenbank mit moderner Schnittstelle könnte das eHYD direkt mit der neuen Datenbank verknüpft werden, sodass ein Nutzer auf den gesamten Datenstand der Hydrographie zugreifen kann.
Das HyDaMS besitzt keine maschinenlesbare Schnittstelle (API) und kann laut Auskunft der Firma Toposoft auch nicht damit ausgestattet werden. Das vorliegende Datenpipeline- bzw. Datenbankprojekt zwischen dem BML und der BAB ist also auch durch gesetzliche Vorgaben bedingt (siehe „Ausgangssituation“).
Hauptziele
- Stabiler Export von Daten aus HyDaMS (Stammdaten und Zeitreihen)
- Auswahl eines geeigneten Open-Source-Datenbank-Systems
- Aufbau von Daten-Pipelines für den Import von Daten aus HyDaMS in eine ausgewählte Open-Source Datenbank
- Aufbau und Betrieb eines Testsystems
- Bereitstellung der Schnittstellen zu Dashboard- und state-of-the-art Auswertungs-Tools
Geplanter Ablauf, Durchführung
- BML Abt. I/3: Sichten und Bewerten der vorhandenen Daten (Stammdaten und Zeitreihen), sodass nur bereinigte und für eine weitere Auswertung sinnvolle Zeitreihen verarbeitet werden
- BAB: Prüfung der Eignung und Vergleich verschiedener Open Source Datenbanken bzgl. der effizienten Verwaltung eines Sensorzeitreihen-Big-Data-Testdatensatzes (100 Mio. Dateneinträge)
- BAB: Implementierung eines geeigneten Datenbankschemas
- BAB / BML Abt. I/2: Entwicklung von Skripten, für die folgenden Anwendungen:
- Verknüpfung der Zeitreihen aus Hydams/Callisto mit den Stammdaten
- Exportieren in Arrays mit Format-Konvertierungen
- Übertragung der Daten in OpenSource Datenbanken
- BAB: Sicherstellung der folgenden Funktionen:
- Parallelisierung
- Protokollierung
- Monitoring
- BAB: Zeitgesteuerte Ausführung:
- Open-Source-basierte Workflow-Management
- Workflows erstellen, verwalten und überwachen
- mit gerichteten azyklischen Graphen Workflows abbilden
- BAB: Bereitstellung und Hosting eines Test-DBMS
- BAB: Export von Zeitreihendaten aus HyDaMs und Callisto
- BAB: Import von Zeitreihendaten in das gewählte Testsystem
- BAB / BML Abt. I/3: Datenvalidierung
Zeitplan
Projektbeginn: 01/2024
Projektende: 12/2025
