Michael Schröder
Senior Data Engineer | pmOne AG
Reibungslose Cloud-Migration trotz großer Datenvielfalt
Wie ein Versicherungsunternehmen seinen Data Lake in die Microsoft Azure Cloud migriert und den Zugriff für Systeme, Berichte und Fachbereiche vereinheitlicht
Internationale Versicherungsunternehmen verarbeiten täglich große Datenmengen aus unterschiedlichsten Anwendungen und Geschäftsbereichen. Damit Daten zentral verfügbar bleiben und Systeme zuverlässig zusammenarbeiten, spielt die Cloud inzwischen eine zentrale Rolle.
Auch bei diesem Versicherungsunternehmen stand im Rahmen der globalen Cloud-Strategie die Migration eines zentralen Geschäftsbereichs in die Microsoft Azure Cloud an. Ziel war nicht nur der Umzug der Daten selbst. Vor allem sollte sichergestellt werden, dass verschiedene Systeme, Berichte und Nutzer weiterhin konsistent und fehlerfrei auf den Data Lake zugreifen können.
Dabei zeigte sich schnell: Die größte Herausforderung lag weniger in der eigentlichen Migration als in den unterschiedlichen Datenformaten der Vorsysteme.
Michael Schröder unterstützt Unternehmen dabei, große Datenmengen zuverlässig in moderne Cloud-Architekturen zu überführen. Sein Fokus liegt auf skalierbaren Datenplattformen, stabilen Transformationsprozessen und einem konsistenten Zugriff auf komplexe Datenbestände.
Ausgangssituation
Uneinheitliche Daten erschweren den Zugriff
Neben der eigentlichen Cloud-Migration musste vor allem eine zentrale Zugriffsschicht für den Data Lake aufgebaut werden. Unterschiedliche Systeme und Berichte sollten weiterhin auf dieselben Daten zugreifen können, ohne zusätzliche manuelle Aufbereitung.
Dafür kam Azure Synapse Analytics als zentrale Zugriffsebene zum Einsatz. Allerdings zeigten sich bei der Übernahme der Daten aus den Vorsystemen schnell Probleme. Die Daten lagen in unterschiedlichen Strukturen und Formaten vor. Teilweise unterschieden sich Feldtypen, Inhalte überschritten Zeichengrenzen oder Informationen wurden unterschiedlich interpretiert.
Gerade bei großen Datenmengen führte das zu fehlerhaften Übernahmen und inkonsistenten Ergebnissen. Da die Datentransformation eine zentrale Grundlage für das gesamte System bildete, musste eine Lösung entstehen, die sämtliche Daten zuverlässig und einheitlich verarbeitet.
„Die Vorteile der Cloud-Migration liegen auf der Hand. Doch am Ende kommt es auf die richtige Umsetzung an. pmOne hat mit effizienten Lösungen für alle großen und kleinen Herausforderungen unterstützt - und damit das Unternehmen seinen globalen Cloud-Zielen deutlich näher gebracht.“
Zielsetzung
Sämtliche Daten zentral nutzbar machen
Das Unternehmen plante, sämtliche relevanten Daten eines zentralen Geschäftsbereichs in die Microsoft Azure Cloud zu überführen und dort einheitlich bereitzustellen.
Systeme, Berichte und Nutzer sollten unabhängig von den jeweiligen Vorsystemen auf dieselben konsistenten Daten zugreifen können. Gleichzeitig musste die Lösung auch große Datenmengen performant verarbeiten und zukünftige Anforderungen der globalen Cloud-Strategie unterstützen.
Cloud-Migration bedeutet in der Versicherungsbranche nicht nur Datenumzug, sondern vor allem: verlässlicher Zugriff auf konsistente Informationen.
Foto: Adobe Stock
Umsetzung
Automatisierte Datenkonvertierung für stabilen Cloud-Zugriff
Die Daten aus den Vorsystemen verarbeitet das Unternehmen heute über Databricks. Die Plattform übernimmt die erforderlichen Konvertierungen automatisiert und passt die Daten an die Zielstruktur des Data Lakes an.
Dabei greift die Lösung auf Metadaten zurück, um unterschiedliche Datenformate einheitlich zu interpretieren und korrekt zu transformieren. So lassen sich auch komplexe Datenbestände automatisiert aufbereiten.
Damit die Verarbeitung auch bei großen Datenmengen stabil bleibt, optimierte pmOne die zugrunde liegende Transformationslogik gezielt auf Performance. Schritt für Schritt entstand eine zentrale Mechanik, die Formatprobleme automatisiert erkennt und verarbeitet, ohne den Zugriff auf den Data Lake auszubremsen.
Über Azure Synapse Analytics greifen Anwendungen, Berichte und Nutzer heute konsistent auf die Daten in der Microsoft Azure Cloud zu. Das Unternehmen schafft damit eine wichtige Grundlage für die weitere globale Cloud-Transformation und reduziert gleichzeitig den Aufwand für Datenbereitstellung und Fehlerkorrekturen deutlich.
Hast Du Fragen?
Es ist eine typische Ausgangslage: Die eigentliche Cloud-Migration funktioniert, doch unterschiedliche Datenstrukturen erschweren anschließend den zuverlässigen Zugriff auf zentrale Datenbestände.
Wenn du wissen möchtest, wie sich Daten aus verschiedenen Vorsystemen konsistent in einer Cloud-Architektur bereitstellen lassen oder wie andere Unternehmen solche Migrationsprojekte angehen, melde dich gerne.
Unser Experte Michael freut sich auf Deine Fragen!