Update von Prof. Dr. Peter Krug:
Liebe Community-Mitglieder,
nachdem wir bei den aktuellen Performance-Problemen im Rechenzentrum Licht sehen, möchte ich Ihnen noch erklären, wie es zur Störung bei der Steuerübermittlung Ende Februar gekommen ist.
Am Freitag, den 28.02.2020, kam es zu einer massiven Störung im Umfeld „Übermittlungen/Steuern“, die bis zum 02.03.2020 andauerte.
Auslöser der Störung war die Überlagerung von zwei Fehlerkonstellationen:
1. Fehler durch technisch beschädigten Datensatz in der Verarbeitung der Steuer-Aufträge im DATEV RZ
2. Fehler bei der Nachverarbeitung der Steuer-Aufträge
Nach Auftreten des ersten Fehlers am 28.02.2020 wurden entsprechend der vorgesehenen Verarbeitung die neu eingesendeten Datensätze zur Nachverarbeitung in den sogenannten Wiederanlaufpool geschrieben. Hier funktionierte jedoch das automatische Starten von Aufträgen aus dem Wiederanlaufpool nicht (Fehler 2). Um die korrekte Übermittlungsreihenfolge der Datensätze zu gewährleisten, wurde entschieden, den Eingangskanal bis zur vollständigen Übermittlung der Daten aus dem Wiederanlaufpool zu schließen.
Die Verarbeitung der Daten aus dem Wiederanlaufpool gelang erst am 29.02.2020 (Samstag). Im Anschluss erfolgte die Übermittlung dieser Daten an die Finanzverwaltung. Danach wurden die Eingangskanäle sukzessive für die einzelnen Steuerarten geöffnet und die reguläre Verarbeitung freigegeben. Die störungsfreie Verarbeitung der hohen Last nach Freischaltung der Eingänge zeigt, dass die Lastsituation nicht ursächlich für die Fehlersituation vom 28.02.2020 gewesen sein kann, da innerhalb von 90 Minuten rund 300.000 Datensätze verarbeitet und in der Nacht zum 01.03.2020 erfolgreich an die Finanzverwaltung übermittelt werden konnten. Den Sonntag über lief die Verarbeitung dann störungsfrei und alle Datensätze wurden erfolgreich verarbeitet und übermittelt.
Sowohl am Donnerstag vor der Störung als auch am Montag wurden sogar bis zu 490.000 Aufträge völlig störungsfrei verarbeitet.
Als konkreter Auslöser des ursprünglichen Fehlers (Fehler 1) wird nach dem aktuellen Stand der Ermittlungen ein technisch beschädigter Datensatz vermutet. Die Analyse des zweiten Fehlers ergab folgende Erkenntnisse:
1. Im Wiederanlaufpool gab es 3.000 Aufträge, die nicht verarbeitet werden konnten. Ursache hier war eine Funktion, die im Normalfall dafür sorgt, technisch nicht 100% einwandfreie Aufträge zu „reparieren“. In diesem konkreten Fall führte es jedoch dazu, dass die automatisierte Nachverarbeitung durch die permanenten Reparaturversuche behindert wurde und diese Aufträge aus der Verarbeitung genommen werden mussten.
2. Am Rande der Analysen rund um die Störung hat sich noch ein Programmfehler in der Kombination zwischen den Steuern-Anwendungen und einer neuen Pilotversion der RZ-Kommunikation herausgestellt, der in diesem Zusammenhang zwar bereinigt wurde, aber nicht ursächlich für das Problem war.
Da bei den 3.000 nicht verarbeiten Aufträgen die korrekte Verarbeitungsreihenfolge nicht gewährleistet werden konnte, wurden 2.262 betroffene Kunden am Montag (02.03.2020) mit individuellem Anschreiben inkl. Liste der betroffenen Bestände per E-Mail informiert. 132 von 217 Kunden ohne E-Mail-Adresse wurden aktiv telefonisch erreicht. Zusätzlich erhielten diese Kunden eine Info per Post.
Ich möchte im Namen des Vorstands für diese Störung und die damit verbundenen Überstunden, Unannehmlichkeiten und Schweißattacken um Entschuldigung bitten und mich gleichzeitig bei meinen Mitarbeitern für ihren Einsatz auch in den Nachtstunden vom Wochenende bedanken.
Mit freundlichen Grüßen
Prof. Dr. Peter Krug
Chief Technology Officer
________________________________________________________________________________________________________
Update 02.03. 23:25 Uhr
So hier nun mein vorerst letztes Update.
Auch die 23:00 Uhr-Übermittlung an die Finanzverwaltung für alle Steuerarten ist durch.
Ich hoffe sehr, dass Sie heute noch alle fälligen Steuererklärungen fristgerecht einreichen konnten.
Sollten Sie dennoch einzelne Fälle haben, in denen Sie durch die Störung die Abgabefrist nicht einhalten konnten, melden Sie sich gerne am besten via Servicekontakt bei meinen Steuern-Kollegen mit dem entsprechenden Ordnungsbegriff und der dazugehörigen Steuer-ID.
Wir werden diese Fälle nach Prüfung mit der Finanzverwaltung klären, damit für Sie keine unberechtigten Verspätungszuschläge entstehen.
Aktuell gehen wir davon aus, dass die Steuerübermittlungen für Sie wieder in gewohnten Bahnen verlaufen.
Wir beobachten die Situation selbstverständlich weiterhin.
Von mir hören Sie dann erst wieder in ein paar Tagen, wenn unsere Spezialisten ihre Ursachenforschung abgeschlossen haben.
Ich wünsche Ihnen einen guten Nacht und eine hoffentlich ruhigere Restwoche 🍀🍀🍀
VG Stefanie Herold
__________________________________________________________________________________________________________________________
Update 02.03. 21:10 Uhr
ESt ist jetzt auch durch und Sie können Ihren Übermittlungsstatus abrufen.
Die Verarbeitung der seit 18:30 Uhr übertragenen 18.000 Aufträge folgt jetzt im Anschluss.
Es wurden übrigens gerade 342.000 Erklärungen an die Finanzverwaltung übermittelt.
VG
Stefanie Herold
______________________________________________________________________________________________________________________
Update 02.03. 20:24 Uhr
Nach einem kurzen Schreck, hier die Aufklärung, warum der Lauf heute länger dauert als gewohnt.
Immer am 01. Werktag eines Monats werden in dem Übermittlungslauf an die Finanzverwaltung auch gleich die Dateien reorganisiert, was den Lauf um ca. 1-2h verlängert. Fällt normalerweise niemandem auf - heute natürlich schon 😉
Die USt-Übermittlung ist inzwischen auch durch.
ESt läuft noch.
Wir müssen uns also alle noch etwas in Geduld üben, was mir an Tagen wie heute auch nicht leicht fällt 😉
Ich melde mich sofort, wenn ESt auch erledigt ist 🙂
Für alle die Sorgen haben, weil in ihrer RZ-Komm der Status der Aufträge ab 18:30 Uhr noch auf "Übertragen" steht. Das ist während des Übermittlungslaufs auch ganz normal 🙂 Sobald die Übermittlung abgeschlossen ist, werden diese Aufträge verarbeitet und in den Pool für 23:00 Uhr gestellt.
VG Stefanie Herold
________________________________________________________________________________________________________________________
Update 02.03. 19:40 Uhr
Die Übermittlung an die Finanzverwaltung ist leider noch nicht vollständig durch.
USt und ESt fehlen noch. Hier warte ich auf Infos.
KSt, GewSt und Toolbox sind durch.
Ich melde mich ab ca. 20:15 Uhr nochmal.
VG Stefanie Herold
_________________________________________________________________________________________________________________________
Noch eine kleine Ergänzung:
Aufträge, die nach 23:00 Uhr gestern Abend übertragen wurden, werden erst heute Abend um 18:30 Uhr wieder an die Finanzverwaltung übermittelt.
_________________________________________________________________________________________
Update 02.03. 10:40 Uhr
Es gibt neue Infos zum Status:
Wir können die gelben Ausrufezeichen leider nicht RZ-seitig bereinigen.
Wenn Sie im DATEV Arbeitsplatz in der Geschäftsfeldübersicht Steuern elektronische Übermittlung in der Spalte Übermittlungsstatus "bei Finanzverwaltung eingegangen" sehen, ist alles gut 🙂
Vorher bitte in den kontextbezogenen Links die Übermittlungsinformationen aktualisieren 🙂
VG Stefanie Herold
Update 10:10 Uhr
- Die Toolbox-Aufträge sind bis auf 7 Stück alle verarbeitet und neue Aufträge laufen wieder normal durch.
Die betroffenen 7 Kunden rufen wir an, sobald ich die Liste habe. - Das Status Thema ist noch offen.
- Ansonsten läuft alles.
VG Stefanie Herold
Update 02.03. 9:18 Uhr
Hier ein aktueller Stand von heute morgen:
- Aufträge aus der Toolbox laufen zum Teil aktuell nicht sauber durch. Das Problem schauen sich unserer Spezialisten gerade an. Wenn ich mehr weiß, melde ich mich.
- Der Status am PC synchronisiert sich in bestimmten Fällen aktuell nicht richtig, wenn Aufträge mehrfach gesendet wurden. Wir prüfen, wie wir diese glattziehen können.
- Die Systeme an sich laufen ansonsten aktuell stabil.
VG Stefanie Herold
_____________________________________________________________________________________
Update und Zusammenfassung 01.03. 16:15 Uhr
Nachdem nun alle Kommunikationsmaßnahmen für morgen vorbereitet sind, hier nun endlich meine Zusammenfassung.
Aktueller Status im Rechenzentrum:
- Alle seit gestern Abend eingegangen Aufträge wurden im RZ fehlerfrei verarbeitet.
- Alle gestern eingegangen Aufträge wurden heute Nacht um 1:30 Uhr an die Finanzverwaltung übermittelt.
- Alle heute eingegangen Aufträge werden wieder regulär um 18:30 bzw. 23:00 Uhr an die Finanzverwaltung übermittelt.
Sollte sich Ihr Mandant über die Übermittlungszeit wundern, dürfen Sie das gerne auf uns schieben 😉
Manuell nachverarbeitete Aufträge:
- Die allermeisten Aufträge konnte nachverarbeitet werden und wurden ebenfalls um 1:30 Uhr an die Finanzverwaltung übermittelt.
- Ca. 3000 Aufträge konnten aufgrund unklarer Stati nicht verarbeitet werden. Betroffene Kunden werden mit einer Liste der betroffenen Bestände morgen früh per E-Mail individuell dazu informiert.
217 Kunden, die leider immer noch keine E-Mail-Adresse bei uns hinterlegt haben, erhalten die Information dann leider erst am Dienstag per Post. Parallel versuchen wir Sie morgen telefonisch zu erreichen.
Mein persönliches Angebot: Sollte hier unter Ihnen jemand Unsicherheit hinsichtlich einzelner Aufträge und heute Zeitdruck haben, schreiben Sie mir gerne bis 17:30 Uhr eine private Nachricht mit Ihrer Beraternummer. Dann gebe ich Ihnen vorab eine Rückmeldung.
Information an die Finanzverwaltung
Neben allen uns bekannten Einsprüchen, die durch die Störung nicht fristgerecht übermittelt wurden, haben wir die Finanzverwaltung auch allgemein über die Störung informiert. Ebenso haben wir uns den Abgabetermin am 02.03. bestätigen lassen.
Sollten Sie dennoch Ärger mit Ihrem Finanzamt haben, können Sie gerne eines der Schreiben verwenden oder bei Exremfällen auch nochmal individuell zur Klärung auf uns zukommen.
In meiner Glaskugel für morgen sehe ich Folgendes 🙂
Nach aktuellem Stand gehen wir davon aus, dass die eingehenden Daten morgen reibungslos verarbeitet werden. Dass die grundsätzliche Datenmenge nicht das Problem darstellt, hat sich bei der Massenverarbeitungen heute Nacht und auch heute morgen nochmal gezeigt.
Wir werden dies natürlich intensiv begleiten und bei Bedarf manuell eingreifen.
Kommunikation an unsere Kunden
Neben der individuellen Information betroffener Kunden mit nicht verarbeiteten Aufträgen, erhalten ebenfalls morgen alle Kunden mit Verträgen zu Steuerprogrammen ein Zusammenfassung der Situation.
Persönliche Empfehlung für die Zukunft
Ich bin ja nun keine Steuerfachfrau ;-), aber eine Kollegin hat mir heute berichtet, dass der Grund für die späten Einsendungen die Fälligkeit der Zahllast ist, die möglichst weit rausgezögert werden soll.
Wie mir berichtet wurde, gibt es dafür in den Steuerprogrammen die Möglichkeit, die Einreichung per Termin zu steuern. D.h. Sie könnten die Daten bereits früher ins RZ schicken und sie wären schon mal drin. Die Übermittlung an die Finanzverwaltung findet dann erst zum gewählten Termin statt.
Wie war es überhaupt dazu gekommen?
Wie auch an allen anderen Hochlastterminen haben wir auch am 28. und 29.02. zur Absicherung des RZ-Betriebs alle erforderlichen Maßnahmen für einen reibungslosen Ablauf vorgenommen und z.B. keine Programmänderungen im Rechenzentrum durchgeführt.
Am Freitag Vormittag konnten die eingehenden Steuererklärungen jedoch trotz aller Maßnahmen nicht direkt weiterverarbeitet werden, was in der Folge zu einem Überlauf des Nachverarbeitungspools geführt hat.
Um die bereits im RZ vorliegenden Daten zu schützen, haben wir in Folge dessen den Zugang zum Rechenzentrum für weitere Daten aus den Steuerprogrammen geschlossen, um die vorhanden erst mal abzuarbeiten. Hierbei kam es durch den Poolüberlauf zu Folgeproblemen bei den automatisierten Prozessen, weshalb wir unter besonderer Qualitätssicherung eine manuelle Nachverarbeitung durchgeführt und die Daten in einem gesonderten Lauf an die Finanzverwaltung übermittelt haben.
Um kein weiteres Risiko einzugehen, haben wir die einzelnen Anwendungen dann erst im Anschluss wieder für die Übertragung ins Rechenzentrum freigegeben.
Ich bitte um Ihr Verständnis, dass wir uns im ersten Schritt in erster Linie um die Wiederherstellung eines reibungslosen Ablaufs im Rechenzentrum gekümmert haben. Im Nachgang werden wir nun die konkreten Ursachen in Zusammenarbeit mit unseren Technologiepartnern analysieren und notwendige Maßnahmen ableiten.
Gerne gebe ich Ihnen hier im Anschluss nochmal eine Rückmeldung.
Ich hoffe, dass ich keine offenen Fragen übersehen habe und wünsche Ihnen allen morgen einen guten Start in die Woche 🙂
VG Stefanie Herold
_________________________________________________________________________________________________________________________
Update 29.02. 00:04 Uhr
Inzwischen sind 41.000 KSt, 50.000 GewSt, 76.000 USt und 140.000 ESt-Aufträge verarbeitet. Weitere laufen noch.
Ab jetzt alle Anwendungen wieder offen, inkl. Telemodul.
Die Übermittlung an die Finanzverwaltung ist ab ca. 1:30 Uhr geplant.
Ich verabschiede mich für heute. Alles weitere morgen mit frischem Kopf und nach unseren Status-Terminen so ab Mittag 🙂
Vielen Dank für's Mitfiebern und Daumen drücken und gute Nacht 🌛
Stefanie Herold
_________________________________________________________________________________________
Update 29.02. 23:25 Uhr
GewSt sind inzwischen auch 50.000 Aufträge durch.
ESt läuft noch. Die ersten 63.000 sind durch.
Die Datenübermittlung an die Finanzverwaltung ist ab etwa 1:30 Uhr geplant.
D.h. ab morgen früh können Sie gerne prüfen, ob alles korrekt übermittelt wurde.
VG
______________________________________________________________________________________
Update 29.02. 23:04 Uhr
Die ESt-Bugwelle läuft 👍
_______________________________________________________________________________________
Update 29.02. 22:56 Uhr
ESt inkl. GuE ist jetzt offen.
VG
_________________________________________________________________________________________
Update 29.02. 22:45 Uhr
40.000 KSt und 68.000 USt-Aufträge sind durch.
22.000 GewSt laufen aktuell.
VG Stefanie Herold
_________________________________________________________________________________________
Update 29.02. 22:15 Uhr
46.000 USt-Aufträge sind durch 🙂
GewSt ist offen.
Damit unser Virenscanner nicht die Grätsche macht, ist ESt erst für 23:00 Uhr geplant
Wir beobachten die Eingänge weiter intensiv.
VG Stefanie Herold
_______________________________________________________________________________________
Update 29.02. 21:45 Uhr
rund 25.000 KSt-Aufträge sind sauber durch. So eben wurde der USt-Zugang freigegeben.
Die restlichen Anwendungen sind für 22:30 anvisiert.
VG Stefanie Herold
________________________________________________________________________________________
Update 29.02. 21:35 Uhr
Wir sehen Licht am Ende des Tunnels 🙂
Seit 21:13 ist der Zugang für KSt wieder offen. Die ersten Fälle laufen sauber durch.
Sobald ESt offen ist, melde ich mich.
VG Stefanie Herold
_________________________________________________________________________________________
Update 29.02. 20:50 Uhr
Die Freischaltung des RZ-Zugangs verzögert sich leider weiter.
Nach aktuellem Stand können wir erst gegen 21:30 Uhr mit der ersten Anwendung (Körperschaftssteuer) starten. Die größeren Anwendungen folgen dann erst im Anschluss.
VG Stefanie Herold
___________________________________________________________________________________________
Update 29.02. 19:22 Uhr
Die im RZ vorhandenen Datensätze sind erfolgreich an die Finanzverwaltung übermittelt. Aktuell laufen noch abschließende Qualitätssicherungsmaßnahmen.
Sobald diese abgeschlossen sind, starten wir wie angekündigt nach und nach stufenweise mit der Freischaltung des RZ-Zugangs der einzelnen Steueranwendungen. Mit der Freischaltung für Einkommenssteuer rechne ich aktuell nicht vor 21:00 Uhr.
Ich melde mich, sobald der Zugang für Einkommenssteuer wieder möglich ist.
VG Stefanie Herold
Update 29.02. 18:00 Uhr
Die Nachverarbeitungen sind soweit abgeschlossen und werden aktuell an die Finanzverwaltung übermittelt. Sobald dieses abgeschlossen ist, starten wir damit, den RZ-Zugang unter intensiver Beobachtung nach und nach für die einzelnen Anwendungen wieder freizugeben.
Sobald der Zugang für die Einkommenssteuer wieder möglich ist, informiere ich Sie.
Den nächsten Status gibt es dann gegen 20:00 Uhr.
VG Stefanie Herold
Update 29.02. 15:00 Uhr
Hier der versprochene Status:
Die bereits im Rechenzentrum vorhandenen Aufträge werden aktuell alle nachverarbeitet. Dies wird inkl. Qualitätssicherung, wenn alles gut geht, noch bis ca. 17:00 Uhr dauern.
Anschließend haben wir vor, die RZ-Zugänge für die einzelnen Steuern-Anwendungen unter intensiver Beobachtung wieder freizugeben.
Einen neuen Status gibt's spätestens um 18:00 Uhr wieder.
VG Stefanie Herold
_________________________________________________________________________________________
Update 29.02. 10:57 Uhr
Nach einer erneuten Bewertung und Zusammenfassung heute morgen sieht die Situation wie folgt aus:
- Das Störungsende ist aktuell unbekannt.
- Spätestens um 15:00 Uhr gibt es einen neuen Status.
Es wird alles versucht, den RZ-Zugang für Steuern so schnell wie möglich wieder zu öffnen. Damit es jedoch nicht zu Fehlermeldungen durch Doppelverarbeitungen bei Ihnen auf Kundenseite kommt, ist es zwingend notwendig zuerst die im Rechenzentrum bereits vorliegenden Aufträge sauber zu verarbeiten und an die Finanzverwaltung zu übermitteln.
Da wir noch nicht sagen können, wann wir den Zugang wieder öffnen können, wird die Sperre in der RZ-Kommunikation sicherheitshalber auf 20:00 Uhr gesetzt und ggf. früher wieder aufgehoben.
Sobald es was Neues gibt, melde ich mich selbstverständlich.
VG Stefanie Herold
____________________________________________________________________________________________
Update 20:01 Uhr
Das Ende der Störung verlängert sich auf mindestens morgen 12:00 Uhr.
Wir arbeiten mit Hochdruck und allen relevanten Spezialisten an der Lösung des Problems.
Ich informieren Sie morgen weiter.
VG Stefanie Herold
_______________________________________________________________________________________
Hallo zusammen,
ich versuche mal die unterschiedlichen Themen zu beantworten:
1. Einsprüche
Bis ca. 14:50 Uhr konnten Einsprüche noch ins RZ gesendet werden. Sollten diese heute nicht mehr fristgerecht an die Finanzverwaltung übermittelt werden, erfolgt durch uns eine Meldung an die Finanzverwaltung, dass die Frist in diesen Fällen gewahrt wurde. Dazu stehen wir mit der Finanzverwaltung in Kontakt.
Können Sie heute fällige Einsprüche nicht mehr fristgerecht ins RZ übertragen, melden Sie sich bitte via Servicekontakt bei uns, damit wir die Finanzverwaltung entsprechend informieren können.
2. Steuererklärungen
Die Abgabefrist endet offiziell am Montag. Alle Einsendungen ins RZ werden automatisch nachverarbeitet.
Ab Montag stellen wir Ihnen auch ein entsprechendes Dokument bereit, das Sie bei Bedarf an die Finanzverwaltung weitergeben können. Parallel dazu wurde die Finanzverwaltung bereits über unsere RZ-Störung informiert.
3. DFÜ-Sammler und SmartIT
Haben Sie einen aktiven Sammler in der RZ-Kommunikation laufen, werden die Daten ins RZ gesendet, sobald dies wieder möglich ist - diese Wiederholfunktion läuft bis zum übernächsten Tag automatisch. Informationen hierzu finden Sie auch im Info-Dok 9206779 . Voraussetzung ist natürlich, dass das System auf dem der Sammler bei Ihnen läuft, nicht ausgeschaltet ist 😉
Bei SmartIT ist der DFÜ-Sammler standardmäßig aktiv.
VG Stefanie Herold
