Liebe Community-Mitglieder,
nachdem wir bei den aktuellen Performance-Problemen im Rechenzentrum Licht sehen, möchte ich Ihnen noch erklären, wie es zur Störung bei der Steuerübermittlung Ende Februar gekommen ist.
Am Freitag, den 28.02.2020, kam es zu einer massiven Störung im Umfeld „Übermittlungen/Steuern“, die bis zum 02.03.2020 andauerte.
Auslöser der Störung war die Überlagerung von zwei Fehlerkonstellationen:
1. Fehler durch technisch beschädigten Datensatz in der Verarbeitung der Steuer-Aufträge im DATEV RZ
2. Fehler bei der Nachverarbeitung der Steuer-Aufträge
Nach Auftreten des ersten Fehlers am 28.02.2020 wurden entsprechend der vorgesehenen Verarbeitung die neu eingesendeten Datensätze zur Nachverarbeitung in den sogenannten Wiederanlaufpool geschrieben. Hier funktionierte jedoch das automatische Starten von Aufträgen aus dem Wiederanlaufpool nicht (Fehler 2). Um die korrekte Übermittlungsreihenfolge der Datensätze zu gewährleisten, wurde entschieden, den Eingangskanal bis zur vollständigen Übermittlung der Daten aus dem Wiederanlaufpool zu schließen.
Die Verarbeitung der Daten aus dem Wiederanlaufpool gelang erst am 29.02.2020 (Samstag). Im Anschluss erfolgte die Übermittlung dieser Daten an die Finanzverwaltung. Danach wurden die Eingangskanäle sukzessive für die einzelnen Steuerarten geöffnet und die reguläre Verarbeitung freigegeben. Die störungsfreie Verarbeitung der hohen Last nach Freischaltung der Eingänge zeigt, dass die Lastsituation nicht ursächlich für die Fehlersituation vom 28.02.2020 gewesen sein kann, da innerhalb von 90 Minuten rund 300.000 Datensätze verarbeitet und in der Nacht zum 01.03.2020 erfolgreich an die Finanzverwaltung übermittelt werden konnten. Den Sonntag über lief die Verarbeitung dann störungsfrei und alle Datensätze wurden erfolgreich verarbeitet und übermittelt.
Sowohl am Donnerstag vor der Störung als auch am Montag wurden sogar bis zu 490.000 Aufträge völlig störungsfrei verarbeitet.
Als konkreter Auslöser des ursprünglichen Fehlers (Fehler 1) wird nach dem aktuellen Stand der Ermittlungen ein technisch beschädigter Datensatz vermutet. Die Analyse des zweiten Fehlers ergab folgende Erkenntnisse:
1. Im Wiederanlaufpool gab es 3.000 Aufträge, die nicht verarbeitet werden konnten. Ursache hier war eine Funktion, die im Normalfall dafür sorgt, technisch nicht 100% einwandfreie Aufträge zu „reparieren“. In diesem konkreten Fall führte es jedoch dazu, dass die automatisierte Nachverarbeitung durch die permanenten Reparaturversuche behindert wurde und diese Aufträge aus der Verarbeitung genommen werden mussten.
2. Am Rande der Analysen rund um die Störung hat sich noch ein Programmfehler in der Kombination zwischen den Steuern-Anwendungen und einer neuen Pilotversion der RZ-Kommunikation herausgestellt, der in diesem Zusammenhang zwar bereinigt wurde, aber nicht ursächlich für das Problem war.
Da bei den 3.000 nicht verarbeiten Aufträgen die korrekte Verarbeitungsreihenfolge nicht gewährleistet werden konnte, wurden 2.262 betroffene Kunden am Montag (02.03.2020) mit individuellem Anschreiben inkl. Liste der betroffenen Bestände per E-Mail informiert. 132 von 217 Kunden ohne E-Mail-Adresse wurden aktiv telefonisch erreicht. Zusätzlich erhielten diese Kunden eine Info per Post.
Ich möchte im Namen des Vorstands für diese Störung und die damit verbundenen Überstunden, Unannehmlichkeiten und Schweißattacken um Entschuldigung bitten und mich gleichzeitig bei meinen Mitarbeitern für ihren Einsatz auch in den Nachtstunden vom Wochenende bedanken.
Mit freundlichen Grüßen
Prof. Dr. Peter Krug
Chief Technology Officer
