Hallo liebe Community,
zunächst zu den Fakten, heute lagen zwei getrennte Störungen vor: eine im Umfeld von Unternehmen online von 10:26 bis 11:16 Uhr, und eine weitere bei PARTNERasp mit Beginn um 11 Uhr. Hier war der Großteil der Systeme um 12:30 Uhr wieder verfügbar. Einzelne Systeme konnten erst gegen 16:30 Uhr wieder in Betrieb genommen werden (siehe dazu für beide Störungen unser RZ-Status, "Behobene Störungen der letzten 3 Tage"). Für die betroffenen Kunden bei PARTNERasp sind die Systeme komplett ausgefallen, somit stand auch Unternehmen online nicht zur Verfügung.
Beide Störungen standen nicht in einem Zusammenhang.
Zunächst zu PARTNERasp: Die Störung wurde unmittelbar erkannt und der RZ-Status dazu wurde innerhalb von Minuten geschaltet. Die Störung wurde verursacht durch ein technisches Problem in der physischen Gebäudeinfrastruktur des DATEV-Rechenzentrums, in dem die betroffenen PARTNERasp-Systeme betrieben werden. Dieses Problem hatte einen Stromausfall in einem Teil der Systeme zur Folge. Verantwortlich für die Behebung waren also wir (DATEV), die die Störung unverzüglich an die betroffenen Solution Partner kommuniziert haben. Die Behebung der Probleme war gegen 12:30 für die meisten Systeme erledigt. Für den übrigen Teil wurde schnellstmöglich Ersatzhardware zur Verfügung gestellt, was in Einzelfällen bis 16:30 Uhr gedauert hat.
Warum kam es dadurch zu Ausfällen? Der betroffene Teil der Systeme verfügt bauartbedingt nicht über eine redundante Stromversorgung, und nicht alle Systeme sind mit einem automatischen Failover in ein anderes RZ ausgestattet. Hintergrund dazu: Die Infrastruktur stellen wir, die Verantwortung für Konzeption und Betrieb der PARTNERasp-Systeme liegt bei den jeweiligen Solution Partnern (die mit Sicherheit ihr jeweiliges Betriebskonzept sorgfältig geplant haben).
Im Nachgang prüfen wir selbstverständlich, inwieweit wir das aufgetretene Problem in der Infrastruktur künftig verhindern können. Genauso werden die betroffenen Solution Partner vermutlich ihre Betriebskonzepte prüfen und, wenn sinnvoll, anpassen.
Einige von Ihnen haben deutlich gemacht, dass Sie die Störungskommunikation lückenhaft fanden. Dazu sei angemerkt: Auch die Störungskommunikation liegt in der Hoheit der Solution Partner, da diese am besten wissen, welche ihrer Kunden tatsächlich betroffen sind. Wir als Betreiber des RZ versuchen bei Problemen schnellstmöglich über den RZ-Status zu informieren, können aber keine Details für individuelle PARTNERasp-Systeme liefern. Gleichzeitig sind wir uns sicher, dass unsere Partner genauso um eine schnelle und zielgerichtete Störungskommunikation bemüht sind.
Nun zu Unternehmen online: Die Ursachenfindung ist hier noch nicht vollständig abgeschlossen. Vorläufig kann ich sagen, dass laufende Prozesse (in diesem Fall Teile von Unternehmen online) durch einen Fehler an anderer Stelle "blockiert" waren. Wir gehen davon aus, dass eine Änderung in der Software Auslöser dafür war, es handelt sich also um ein "neues" Problem. Die Störung selbst konnten wir dank unseres Monitorings sehr schnell erkennen, und die mutmaßliche Ursache konnte so innerhalb von etwa einer halben Stunde gefunden werden. Die Auswirkungen konnten wir unmittelbar beheben, und die nachhaltige Fehlerbehebung läuft bereits.
Was uns nicht gelungen ist: die nötigen internen Informationen zeitnah zu Ihnen nach außen zu kommunizieren.
Im Anschluss noch ein paar allgemeine Punkte: Wie Sie sehen, habe ich es bis hierhin geschafft, ohne den Begriff "zentrale Komponente" auszukommen. Ich möchte damit niemandem den Sieg beim "Störungsgrund-Bingo" wegnehmen. Vielmehr war ich heute aufgrund der Art der Störungen in der Lage, einen anderen Detailgrad nach außen weiterzugeben, der für Sie hoffentlich aufschlussreicher war. Wenn wir hier detailarme und abstrakte Ursachenbeschreibungen verwenden, tun wir dies bewusst und im Sinne unserer Mitglieder, auch wenn ich nachvollziehen kann, dass das im Nachgang einer Störung nicht für unmittelbare Zufriedenheit bei Ihnen sorgt.
Mir ist an dieser Stelle überdies wichtig, dass keine der beiden Störungen heute als "Schluckauf" oder "Husten" durchgehen - Störungen aus dieser Kategorie normalisieren sich innerhalb von fünf bis fünfzehn Minuten von selbst und sind im normalen Betrieb für unsere Kunden kaum wahrnehmbar. Gleichzeitig treten solche Störungsbilder mit einer gewissen Häufigkeit auf, sodass ich zum Beispiel routinemäßig versuche, von Ihnen Infos über eine mögliche Spontanbesserung einzuholen (so wie heute). Hier hat sich relativ schnell gezeigt, dass es sich um ein ernsteres Lagebild handelt.
Zum Abschluss: Es bewegt sich derzeit enorm viel in unseren Rechenzentren, um Ihnen den Weg in die Cloud möglichst einfach und sicher zu gestalten, und um im genossenschaftlichen Sinne einen möglichst großen Mehrwert für unsere Mitglieder zu generieren. Statistisch gesehen treten mehr Störungen auf, wenn mehr Änderungen durchgeführt werden - dass wir Ihnen damit zwangsweise mehr Unterbrechungen in der täglichen Arbeit zumuten, ist uns bewusst. Unsere Kolleginnen und Kollegen arbeiten sehr gewissenhaft daran, mögliche Störquellen von vornherein auszuschließen. Wenn doch etwas schief geht, versuchen wir ebenso gewissenhaft, die Störung zu nachhaltig zu beheben. In einzelnen Bereichen können Sie dadurch schon von einer höheren Betriebsstabilität und Skalierbarkeit profitieren, in anderen Bereichen wird das hoffentlich bald für Sie erlebbar.
Freundliche Grüße, Stefan Maetz | DATEV eG
Störungskommunikation übergreifend | DATEV DMS | MyDATEV Kanzlei (Kommunikation)
