Der technische Datenfluss durch die UDSP
Der Datenfluss verbindet externe Zugänge, Integrationslogik, spezialisierte Datenhaltungen und die kontrollierte Bereitstellung für Schnittstellen und Anwendungen.
Integrieren
Definierte Schnittstellen und Node-RED nehmen Daten aus externen Systemen kontrolliert entgegen.
Transformieren
Integrationsstrecken normalisieren, validieren und überführen Inhalte in das benötigte Zielmodell.
Speichern
PostgreSQL, MinIO, Stellio oder FROST halten Daten entsprechend Struktur und Nutzungsart vor.
Bereitstellen
APIs, Dashboards, Geodienste, Kataloge und Fachanwendungen nutzen freigegebene Datenbestände.
1. Integration
Externe Systeme erreichen die Plattform ausschließlich über definierte technische Zugänge. Je nach Quellsystem werden HTTP- und REST-Schnittstellen, MQTT, Datenbankverbindungen, Datei- und S3-Zugänge oder bereits standardisierte NGSI-LD-, SensorThings- und OGC-Schnittstellen verwendet.
Node-RED bildet die zentrale Integrations- und Orchestrierungsschicht für Datenwege, die abgerufen, geprüft oder transformiert werden müssen. Liefert ein Quellsystem bereits das erforderliche Standardformat, kann es den zuständigen Fachdienst auch über dessen freigegebene Schnittstelle ansprechen.
2. Verarbeitung
Die Integrationsstrecke überführt eingehende Inhalte in die für das Zielsystem benötigte Struktur. Dazu gehören insbesondere:
- Normalisierung von Datentypen, Zeitstempeln und Einheiten,
- strukturelle und fachliche Validierung,
- Zuordnung zu Datenmodell und Datenraum,
- Anreicherung oder Zusammenführung von Kontextinformationen sowie
- definierte Fehler-, Wiederholungs- und Ausleitungspfade.
Die Verarbeitung bleibt vom späteren Nutzungswerkzeug getrennt. Ein Datenweg soll nicht allein deshalb neu entstehen, weil dieselben Daten zusätzlich in einem weiteren Dashboard oder einer Anwendung verwendet werden.
3. Persistenz
Die UDSP nutzt mehrere spezialisierte Datenhaltungen:
- PostgreSQL für relationale, räumliche und zeitbezogene Daten,
- MinIO für Dateien und andere unstrukturierte Objekte,
- Stellio für aktuelle NGSI-LD-Zustände und Beziehungen sowie
- FROST-Server für SensorThings-Ressourcen und zeitlich geordnete Beobachtungen.
Die Auswahl folgt dem technischen Datenmodell und dem benötigten Zugriffspfad. Die Plattform bildet deshalb keine einheitliche Gesamtdatenbank, sondern verbindet mehrere klar verantwortete Persistenzdienste.
4. Bereitstellung
Fachdaten werden über die Schnittstelle oder Anwendung bereitgestellt, die ihrem Modell und Verwendungszweck entspricht. APISIX schützt und routet freigegebene Fach-APIs. Grafana und Superset greifen auf ausdrücklich konfigurierte Datenquellen zu, GeoServer veröffentlicht räumliche Daten über OGC-Dienste und CKAN katalogisiert freigegebene Datenangebote und Ressourcen.
Identität und Berechtigung bleiben entlang dieses Weges erhalten. Der Zugriff kann am Gateway, über datenraumbezogene Token-Merkmale und zusätzlich innerhalb der jeweiligen Fachkomponente begrenzt werden.
Querschnitt: Datenräume und Monitoring
Jeder fachliche Datenweg wird einem abgegrenzten Mandanten- und Datenraumkontext zugeordnet. Parallel beobachtet das Datenmonitoring, ob Anlieferung, Verarbeitung, Persistenz und Bereitstellung weiterhin die erwartete Aktualität und Qualität erreichen.