Immer mehr Unternehmen entscheiden sich für eine Cloudmigration, um ihre IT-Infrastruktur dem moderneren und vielfältigeren Ansatz anzupassen. Eine solche Migration kann jedoch eine komplexe und herausfordernde Aufgabe sein, insbesondere wenn große Mengen von Daten und Anwendungen betroffen sind. In diesem Zusammenhang müssen Unternehmen sorgfältig planen, um die Vorteile der Cloud zu nutzen und gleichzeitig mögliche Risiken und Herausforderungen zu minimieren.
Wir zeigen anhand einer Success Story, wie wir für die BMW Group einen neuen Meilenstein erreicht haben.
Herausforderung:
Die BMW Group hat in Zusammenarbeit mit AWS einen eigenen Data Lake namens Cloud Data Hub (CDH) entwickelt. In diesem werden fahrzeugbezogene Daten zur Verfügung gestellt, um datengesteuerte Entscheidungen zu ermöglichen und den Zugang zu den Daten unternehmensweit zu demokratisieren und einheitlich zu gestalten.
Die Sulzer GmbH unterstützt die BMW Group bei der Migration von Mainframe-basierten Anwendungen in die AWS Cloud und den zugehörigen Daten in den Data Lake CDH. Bei der „Migration Data Factory“ (MIDA) handelt es sich um eine Migration von
- Über 200 Datenschnittstellen (Inbound)
- Über 100 Webservices (Outbound)
Eine solche Massenmigration erfordert ein systematisches und effizientes Vorgehen, das die Erfüllung der Anforderungen an Code, Datenqualität, Sicherheit, Verfügbarkeit und Wartbarkeit gewährleistet. Im Sinne der holistischen Vorgehensweise bei Cloud Migrationen, bietet eine solche Cloud Migration neben dem Umstieg auf moderne Infrastruktur die einmalige Chance, die über Jahre gewachsene Logik des Legacy Systems zu vereinfachen und zu optimieren.
Die Migration in die Cloud ist aus mehreren Gründen wichtig
Skalierbarkeit
Cloud bietet Unternehmen die Möglichkeit, schnell und einfach ihre Ressourcen zu skalieren, je nach Bedarf. Unternehmen können Speicherplatz, Rechenleistung und andere Ressourcen schnell hinzufügen oder entfernen, je nachdem, wie sich ihre Anforderungen ändern.
Kosteneinsparungen
Eine Cloud-Migration kann für Unternehmen eine günstigere Option sein als der Betrieb einer eigenen IT-Infrastruktur. Cloud-Provider bieten oft flexible Preisstrukturen, bei denen Unternehmen nur für die Ressourcen zahlen, die sie tatsächlich nutzen.
Sicherheit
Cloud-Anbieter investieren in umfangreiche Sicherheitsmaßnahmen, um die Daten ihrer Kunden zu schützen. Dies umfasst regelmäßige Sicherheitsupdates, Schutz vor Malware und Angriffen sowie physische Sicherheitsvorkehrungen für Server und Datenspeicher.
Innovation
Sind Daten und Systeme erst einmal in die Cloud migriert, können die vielfältigen Services der Cloud Provider mit recht geringem Aufwand an diese angebunden werden. So können etwa Datenauswertungen mithilfe von Machine Learning Services stattfinden.
Kontinuität
Cloud-Anbieter bieten in der Regel eine hohe Verfügbarkeit und Kontinuität, da sie in redundante Systeme und Datensicherungsmaßnahmen investieren. Dies stellt sicher, dass Unternehmen auch bei Ausfällen oder Katastrophen auf ihre Anwendungen und Daten zugreifen können.
Herangehensweise
Wir verfolgen bei einem solchen Vorhaben keinen Lift-and-Shift Ansatz, sondern in enger Zusammenarbeit unserer Teams aus den Bereichen Business Analyse und Cloud Development wird das System in folgenden Stufen neu aufgebaut:
- Analyse Altsystem
- Reduzieren der Funktionalität auf nach wie vor benötigte Funktionen
- Architektur Neusystem
- Implementierung
- Migration von historischen Daten
- Vergleich der Ergebnisse Altsystem /Neusystem
Herangehensweise bei einer Cloud-Migration
Die Lösung – Eine Lambda-Architektur mit Serverless-Technologien
Die Bereitstellung der statischen Fahrzeugdaten erfolgt einerseits für produktive Systeme als Webservice und für analytische Zwecke als Basis für Machine Learning und Reporting. Für produktive Systeme bestehen erhöhte Anforderungen an Verfügbarkeit und Echtzeitdatenverarbeitung, für Analyse und Reporting Zwecke reicht jedoch eine periodische Datenaktualisierung aus. Wir implementierten daher eine Lambda Architektur, die mit den folgenden Layern die entsprechenden Bedarfe abdeckt:
- Speed Layer: stellt die Daten möglichst schnell für produktive Systeme bereit
- Batch Layer : verarbeitet die Daten periodisch
- Serve Layer (CDH): stellt diese Daten für Ad-hoc Abfragen, Reporting oder Machine Learning zur Verfügung
Bei unserer Architektur haben wir weitestgehend auf Serverless-Technologien gesetzt, dazu gehören Amazon Lambda, Amazon Glue, Amazon Kinesis, Dynamo DB, Amazon S3, Amazon Athena, etc. Damit ist die Hochverfügbarkeit und einfache Skalierung garantiert, sowie Kostenoptimierung durch verbrauchsbasierte Abrechnungsmodelle.
Das Setup und die Team Struktur sichern kontinuierliche Innovation und durchgehende DevOps Prozesse und Agilität in der Entwicklung.
Basisarchitektur
Wiederverwendbare Bausteine
Um die Massenmigration möglichst effizient zu gestalten haben wir wiederverwendbare Bausteine entwickelt:
Terraform Module (IaC: Infrastructure-as-Code): Gleiche Infrastrukturkomponenten können einfach implementiert werden. Komplexe Ressourcen werden mit wiederverwendbaren, konfigurierbaren Modulen automatisiert.
Lambda Layer: Lambda-Layer enthalten zusätzlichen Code, Bibliotheken und Abhängigkeiten, die zur Unterstützung einer Lambda-Funktion zur Laufzeit geladen werden können. Die Schichten stellen sicher, dass einheitliche Versionen von Bibliotheken verwendet werden und dass wieder verwendbarer Code, der an einer Stelle zur Verfügung gestellt wird, nicht dupliziert werden muss und einmalig aktualisiert werden kann.
Github Actions: GitHub Actions automatisieren das Deployment und durch integrierte Unit Tests, PEP8- und Fortify Checks und anschließenden Testautomatisierung wird die Code- und Datenqualität sichergestellt.
Monitoring und Betrieb
Der Betrieb der Applikationen ist ein entscheidender Erfolgsfaktor der Migration. Das implementierte Monitoring basiert auf ausgewählten Ressource-Metriken, wobei darauf geachtet wurde, dass die möglichen Fehler abgedeckt und dabei keine mehrfachen und unnötigen Alarme ausgelöst werden.
Außerdem wurden auch Log-Filter-Metriken implementiert, um bestimmte Fehler aus Datenvalidierung abzufangen. Zu diesem Betriebsprozess gehört auch, dass die Cloud Watch Alarme in internen IT Service Systemen integriert wurden. Diese Monitoring Defaults sind bei allen Deployments automatisch integriert.
Kundennutzen
Durch die Migration der Anwendungen in die Cloud und der Anbindung an den zentralen Data Lake, können übergreifende Auswertungen (egal ob manuell oder gestützt durch machine learning und andere Technologien) sehr viel einfacher durchgeführt werden. Auch andere Auswertungen in Verbindung mit weiteren AWS Services sind deutlich einfacher möglich. Diverse Governance Themen sind garantiert berücksichtigt, da sie Teil des Konzeptes des Deployments sind.
Da bei den Anwendungen Templates entwickelt wurden, um identische Komponenten identisch in der Cloud zu betreiben, können Änderungen sehr viel einfacher auf alle betroffenen Services angewandt werden (z.B. durch Änderung der IaC Templates). Ebenfalls wurden die monolithischen Applikationen überarbeitet, sodass diese nun einer modernen Anwendungsarchitektur entsprechen. Dies verringert auch den Wartungsaufwand in der Cloud.
Sprechen Sie mit unserem Experten
Sebastian Junger leitet die Delivery-Unit Cloud und durch jahrelange Erfahrung und Wissen ist er der perfekte Ansprechpartner bei jeglichen Themen rund um Cloud-Technologien und Provider. In verschiedensten Projekten hat er zahlreiche Kunden unterstützt, Cloud Technologien in ihrem Unternehmen strategisch klug und effizient zu migrieren und kann über die unterschiedlichen Ansätze und Erfahrungen aus dem Nähkästchen plaudern.
