Realisierung einer Self-Service Datenplattform
Entwicklung zu einem daten- und erkenntnisgetriebenen Unternehmen
In der zentralen Datenplattform unseres Kunden – ein großer internationaler Versicherer – wurden Daten durch ein zentrales Engineering-Team verarbeitet und bereichert. Jedoch führten begrenzte Ressourcen, Kommunikationsprobleme und wachsende Datenkomplexität zu überlasteten Kapazitäten und großen Herausforderungen. Aus dieser Ausgangssituation entwickelte sich für unseren Kunden die Notwendigkeit, sich zu einem daten- und erkenntnisgetriebenen Unternehmen weiterzuentwickeln.
Ausgangssituation & Herausforderung
Unser Kunde verwendete eine zentrale Datenplattform zur Verarbeitung seiner Daten. Die Plattform wurde durch ein zentrales Data-Engineering-Team bereitgestellt, weiterentwickelt und betrieben. Zusätzlich war das Team für die Verarbeitung und Anreicherung von Daten verantwortlich. Dies führte zu erheblichen Herausforderungen. Die limitierten Ressourcen führten zu einem Engpass, um die stetig wachsende Datenmenge zu bearbeiten und als angereicherte Daten bereitzustellen. Zusätzlich hatten nicht-technische Benutzer:innen Schwierigkeiten, ihre Anforderungen zu übersetzen und diese dem Engineering-Team zu kommunizieren, was die Problematik weiter verschärfte.
Die Anfragen erforderten immer häufiger eine zusätzliche Beratungskomponente, um Verzögerungen bei der Verfügbarkeit oder der Bearbeitung auszugleichen. Die zunehmende Zahl und Komplexität der Anfragen brachte das Team an seine Kapazitätsgrenzen.
Vorgehen & Lösung
Deloitte arbeitete in diesem Projekt in enger Abstimmung mit dem Kunden, um eine Self-Service-Datenplattform auf Basis von Data-Mesh-Prinzipien zu entwerfen und umzusetzen. Dabei waren die Architekturentscheidungen nicht nur von der Abbildung aktueller und antizipierbarer Use Cases geprägt, sondern sollten auch zukünftige Bedarfe abbilden können.
Die Nutzer:innen sollten in der Lage sein, Daten aus einer Reihe standardisierter Datenquellen (Kafka, RDBMS, Azure Blob Storage) mittels einfacher Konfigurations-Jobs Daten in die Plattform zu integrieren. Die dafür benötigten YAML-Konfigurationsdateien werden vom Plattform-Team bereitgestellt. Benutzer:innen können mit unserer Lösung integrierte Daten über Tools wie dbt oder Databricks (Spark SQL/PySpark) anreichern und anschließend das Ergebnis veröffentlichen. Das zu Grunde liegende Governance-Model erlaubt die volle Kontrolle über Zugriff und Datenverarbeitung durch die Benutzer und folgt dem Prinzip der „Federated Data Governance“.
In allen Unternehmensbereichen, die die Plattform nutzen, wurden sog. „Domänen Ingenieure“ eingesetzt, um mögliche Probleme der Benutzer:innen zu adressieren und die Übersetzung neuer Anfragen an die Plattformfunktionalität in technische Beschreibungen zu erleichtern, die vom zentralen Plattformteam priorisiert und implementiert werden konnten. Dieser Ansatz hat sich im Rahmen des Projekts als besonders zielführend und effektiv erwiesen.
Die Konzeption und Umsetzung der neuen Datenplattform wurde auf der bestehenden Azure Cloud Infrastruktur durch unsere Spezialist:innen der Deloitte Microsoft Technology Services Practice umgesetzt. Insbesondere der Einsatz unseres globalen Delivery-Netzwerks ermöglichte es, den ambitionierten Zeitplan einzuhalten.
Ergebnis & Nutzen
Die neue Self-Service-Datenplattform entlastet erfolgreich das zentrale Data-Engineering-Team, das sich nun auf die Wartung und Verbesserung der Plattform konzentrieren kann. Wir haben eine effizientere und benutzerfreundlichere Plattform unter Nutzung von Microsoft Azure, Databricks und dbt geschaffen, die nicht-technische Benutzer:innen dazu befähigt, Daten eigenständig zu integrieren, zu verarbeiten und zu analysieren. Dies führte zu einer erheblich verbesserten Zusammenarbeit zwischen den verschiedenen Bereichen. Die Menge der für Analysezwecke nutzbaren Daten und damit die Anzahl der relevanten Anwendungsfälle konnte signifikant erhöht werden. Unser Projekt war ein wesentlicher „Enabler“ für unseren Kunden, sich weiter in Richtung eines Daten- und Insight-driven Unternehmens zu entwickeln.
Bei Fragen zur Self-Service-Datenplattform stehen wir Ihnen jederzeit gerne zur Verfügung.
?$Responsive$&wid=1440&fmt=webp&fit=stretch,1&dpr=off)
Marc Funk
