Behoben: Störungen im DATEV-Rechenzentrum 08.-10.11.2021

[#1]

...gibt es bei 1.000 Geschenke? 😉

[#2]

---

@anjabusse  schrieb:

...gibt es bei 1.000 Geschenke? 😉

---

Wahrscheinlich zerstört sich die Community eher selbst ... 🤣

[#3]

---

@anjabusse  schrieb:

...gibt es bei 1.000 Geschenke? 😉

---

Da jetzt ohnehin nur noch der Blödelmodus läuft spekuliere ich auf den Ausfall der Community Software bei überschreiten der 1000. Hoffentlich bin ich das nicht...

[#4]

Dann trage ich auch mal noch meinen Beitrag zur magischen Grenze bei.

[#5]

ich wette @Christian_Buggisch macht den 999. Post und schließt den Thread um Schlimmeres zu verhindern 🤣

[#6]

---

@m_kausch  schrieb:

ich wette @Christian_Buggisch macht den 999. Post und schließt den Thread um Schlimmeres zu verhindern 🤣

---

Wäre da nicht @Dirk_Jendritzki zuständig?

[#7]

Man merkt, heute ist trotz CORONA der 11.11. und damit Karnevalsbeginn 🙂

[#8]

---

@m_kausch  schrieb:

ich wette @Christian_Buggisch macht den 999. Post und schließt den Thread um Schlimmeres zu verhindern 🤣

---

Ich finde, der 1.000 steht dem @metalposaunist zu. Selbst wenn der das Forum damit abschießt, hat der dann bis morgen ein Neues programmiert. Ohne die bekannten Fehler ...

[#9]

Stimmt, mein Fehler:

Falls mit Erreichen der 1.000 das Ende der Community erfolgt, wollte ich noch sagen.

War schön mit Euch.

Beste Grüße 

Martin Kausch

[#10]

1.000

[#11]

Community lebt noch, RZ läuft, Feierabend.

[#12]

---

@heinzhoeller  schrieb:

Man merkt, heute ist trotz CORONA der 11.11. und damit Karnevalsbeginn 🙂

---

Aber erst in einer Stunde, wenn das hier immer noch der Beitrag 998 ist...

In Nürnberg sitzt wohl jemand, der neu nummeriert..

"If next beitrag then number 998"..

oder so..

[#13]

---

@münster  schrieb:

Community lebt noch, RZ läuft, Feierabend.

---

Liegt eben alles an der Telekom. Hat man doch heute morgen erst erlebt..

Nina klappte, Katwarn klappte.....

[#14]

@m_kausch Glückwunsch zum 1.000 Beitrag in diesem Thema 👍 und @all bitte wieder zurück zum Thema - Danke

[#15]

@Dirk_Jendritzki ,

... nein, zum Thema "Störungen im RZ" wollen wir lieber nicht mehr zurück ... wenn möglich ...😁

Nachtrag:

... sonst müsste man ja wieder den Titel anpassen 😁

[#16]

Liebe Community-Mitglieder,

hinter Ihnen und uns liegen turbulente Tage, auf die wir alle gerne verzichtet hätten.

Es kam am Montag gegen 9:45 Uhr im Rechenzentrum der DATEV zu einem Ausfall eines IBM-Systems. Aufgrund der großflächigen Auswirkungen haben wir sehr schnell einen IT-Notfall ausgerufen, um alle relevanten Ressourcen sofort zu informieren und zu bündeln, erste Maßnahmen zu koordinieren und die Fehlerbehebung voranzutreiben. Gemeinsam mit einer Task Force von DATEV und unserem IT-Partner IBM Deutschland/USA haben wir intensiv an einer Fehleridentifikation und der sich anschließenden Fehlerbehebung gearbeitet. Der Fehler wurde gemeinsam durch ein PTF (Program Temporary Fix) des Herstellers im Rahmen eines Workarounds behoben, so dass um kurz vor Mitternacht die Systeme wieder liefen. Eine umfängliche und tiefgehende Fehlerklärung steht noch aus. Erfahrungsgemäß dauert dies aufgrund der hochkomplexen Systeme einige Zeit. Eine abschließende Information dazu werden wir hier in der Community veröffentlichen.

Am darauffolgenden Dienstag kam es aufgrund der hohen Last zu weiteren Einschränkungen bei Ihrer Arbeit. Wir hatten bereits in der Nacht zuvor gemeinsam mit IBM alle verfügbaren zusätzlichen Kapazitäten hinzugezogen, um die zu erwartende Hochlast bestmöglich aufzufangen. Zudem haben wir die ins RZ eingehenden Daten sequenziell und nach Priorität abgearbeitet, um die für den Umsatzsteuer-Voranmeldetermin relevanten Daten bevorzugt zu verarbeiten. An diesem Dienstag wurden allerdings mit Abstand so viele Belege verarbeitet wie nie zuvor an einem einzigen Tag. Zum Vergleich: An einem normalen Tag verarbeitet unser Rechenzentrum rund 2,5 Millionen Belege. Diese Marke wurde am Dienstag bereits um 11 Uhr erreicht. Bis Tagesende hatten wir 4,6 Millionen Belege im Rechenzentrum verarbeitet. Die dadurch aufgetretenen Performance-Probleme waren mehr als ärgerlich, aber zu diesem Zeitpunkt technisch von uns nicht aufzufangen. Auch die Fehler bei der Beleganzeige vom Mittwoch waren eine indirekte Folge des RZ-Ausfalls.

Dies als kurzer Zwischenstand für Sie. Ich möchte mich an dieser Stelle bei Ihnen für Ihre Geduld und die vielen konstruktiven, auch konstruktiv-kritischen und sogar aufmunternden Worte hier in der Community bedanken. Ich melde mich wieder, sobald wir mehr sagen können.

Viele Grüße

Christian Bär

[#17]

Hall @Christian_Bär ,

vielen Dank für eine erste Rückmeldung. Dass der genauer Hergang und die entsprechende Fehlererklärung noch etwas Zeit in Anspruch nimmt, kann ich verstehen. Zumal ich ab einem Punkt, wenn es zu technisch wird sowieso aussteige.

Ich habe aber bezüglich der Kapazitäten eine Frage.

Wenn wir immer mehr Mandanten digitalisieren und auch andere Anwendungen immer mehr über das Rechenzentrum laufen. Wie soll denn das abgefangen werden? Wieviele aller Fibu-Bestände laufen denn bereits über Unternehmen online. Ich tippe mal um die 50%.

Wie sollen wir denn die Digitalisierung gemeinsam voranbringen, wenn die vorhandene IT-Infrastruktur nicht dafür ausgelegt ist. Ich bin kein Techniker habe keine Ahnung. Aber ist es denn "kurzfristig" möglich die Kapazitäten zu erhöhen und das auch dauerhaft? Ich höre auch ab und zu etwas von dem RZ 2.0 

Leider schwer zu erkennen, aber es steht Stand: September 2021

Langsame Performance, ständige Wartungsarbeiten 

Es ist ein Dauerzustand, dass die Systeme gefühlt am Limit laufen. Und wir dadurch auch. 

Ich möchte noch einmal jeden einzelnen der Task Force danken, dass das Problem behoben werden konnte. Und jeder hat dort nach den turbulenten Tagen eine Verschnaufspause verdient. Aber bitte setzt Euch alle schnell wieder zusammen, besprecht die aktuellen Probleme und die zukünftig auftretenden und findet Lösungen um zumindest Kapazitätseinbußen für die Zukunft zu vermeiden.

Ich hätte gerne diesbezüglich einmal eine Roadmap, wie Sie die Cloud-Strategie mit der vorhandenen IT meistern wollen.

Ich bin ab und zu genervt von den Störungen. Aber ich bin eher für die Zukunft besorgt. Soll das so weitergehen?

Wir sind kritisch und auch ab und zu (mich eingeschlossen) ungehalten und provokativ. Aber wir wollen am Ende alle dasselbe. Ein funktionierendes System um die alltäglichen Hürden der Arbeit zu meistern.

Der Weg ist nicht einfach und der wird auch viele Rückschläge beinhalten. Aber nehmt uns mit. Wir werden soweit es uns möglich ist auch helfen, damit der Blick in die Zukunft Freude und nicht Sorge auslöst.

Das bereits versucht wird offen und transparent zu kommunizieren (auch wenn das noch nicht optimal ist) ist der erste Schritt.

Beste Grüße

Martin Kausch

[#18]

Wenn alle zusätzlichen Ressourcen genutzt wurden, um den zusätzlichen Ansturm von bisher 2,5 Mio auf 4,6 Mio Belege Dienstag zu sichern, dann scheint ja die Reserve viel zu klein zu sein. Kurz vor dem 10. eines Monats und bei einem solchen Ausfall..... hätte damit gerechnet werden müssen.

Warum sind de Reserven dafür nicht ausgerechnet? Ist das Budget dafür zu klein? Gut das ja bald mehr Geld wegen Abkündigung eines Moduls reinkommt, allein durch meine Kanzlei über 6500,00 p.a.. 

So etwas wurde nicht Testen vor kurzem mit getestet? Was testet man dann?

Alles soll mehr in die Cloud gehen auch zwangsweise, nur ob sie darauf vorbereitet sind, das erscheint doch mehr als fraglich.

[#19]

@m_kausch 

Wie kommen Sie auf 50%?

Ich würde 25-30% schätzen...

Es ist immer noch ein Bruchteil.. auch wenn es anders propagiert wird.

[#20]

@boomboom 

optimistisch geschätzt 😅

Vielleicht kriegen wir ja noch eine Antwort seitens der DATEV

Vermutlich liegt es irgendwo zwischen unseren beiden Schätzungen

[#21]

DATEV kann sicher genauerer Zahlen liefern - es wird sich aber so im Bereich 30% bis 40% bewegen:

...was Sie über DATEV wissen sollten

[#22]

---

@m_kausch schrieb:

Ich hätte gerne diesbezüglich einmal eine Roadmap, wie Sie die Cloud-Strategie mit der vorhandenen IT meistern wollen.

---

www.datev.de/roadmap Wie lange wollen wir alle schon dasselbe? 🤔 

[#23]

Lieber Herr Bär,

vielen Dank für Ihre Ausführungen. Aber am Ende des Tages ist das wieder nur Wasser auf die Mühlen derer, die der fortschreitenden Digitalisierung weitestgehend skeptisch gegenüberstehen.

Die DATEV geht mit ihren Systemen jetzt schon unter, wenn doppelt so viele Belege verarbeitet werden müssen. Was passiert denn dann erst, wenn wir Berater mit allen Buchhaltungs-Mandaten in DUO arbeiten wollen, was ja unsere Wunschzielsetzung ist? Über Meine Steuern oder zukünftige Online-Anwendungen will ich gar nicht reden. Die Kapazitäten der DATEV sind offensichtlich zu klein und so können wir das unseren Mandanten zukünftig wohl kaum noch anbieten. 

Was mir in Ihrem Beitrag auch fehlt, ist die Begründung für das schlechte Informationsmanagement. 

Wir sind alle bereit für den digitalen Weg und wollen den auch gerne mitgehen. Aber so kann es nicht weitergehen.

Beste Grüße

Petra Kirsch

[#24]

Hallo Herr Bär,

vielen Dank für Ihre Ausführungen. 👍 Zwei Fragen dazu:

• Wenn es sich um den "Ausfall" eines Systems (Stück Blech) handelte, warum greift dort keine Redundanz?
• Wie kann sich ein Datenbankfehler einer Anwendung so dermaßen auf die Status Anzeige (www.datev-status.de) auswirken, so dass stundenlang niemand in der Lage war, die Störung zu kommunizieren? Das eine hat (bzw. sollte) doch mit dem anderen nichts zu tun haben?

Viele Grüße nach Nürnberg!

[#25]

Sehr geehrter Herr Prof. Dr. ( soviel Zeit muss sein )  Christian Bär,

danke für Ihre Ausführungen. Wir alle haben verstanden dass die Technik aussteigen kann, was ich aber nicht verstanden habe, warum es bei DATEV keinen Verantwortlichen gibt der sich oder seinem Team die Aufgabe stellt, die insgesamt ungeduldig werdenden Anwender sachlich aber nachvollziehbar zu informieren, das kann doch nicht alleine der armen Frau Herold und ihrem Team überlassen bleiben, die kann ja nur in der Community wirken und da sind nicht alle Anwender drin.

Wer im Vorstand hat in seinem Verantwortungsbereich eine solche Aufgabe ?

( aber jetzt bitte keine amerikanischen Bezeichnungen oder Abkürzungen dieser Position. )

Bin neugierig auf dien Antwort.

Freundliche Grüße

Heinz Höller

[#26]

---

@Christian_Bär 

Heute ist Donnerstag, der 11.11.2021

Dieses Statement von Ihnen kommt für mich 2 Tage zu spät. Für diese nichtssagende Pressemeldung hätten Sie auch am Montag Zeit gehabt.

Wenn um 9:45 Uhr das System zusammen bricht, dann wäre es z.B. eine Möglichkeit gewesen, wenn die Datev eigene Infrastruktur so wenig Redundanz hat, dass nicht einmal eine "Rundmail" an die betroffenen Nutzer senden kann, die Steuerberaterverbände per Telefon zu informieren. 

Die Kollegen aus den Verbänden geben wichtige Informationen immer sehr zeitnah weiter.

Ich sehe in Ihrem Statement nichts weiter als die übliche Datev-Strategie: Kollegen abreagieren lassen, dann ein Statement bringen und weiter wie immer machen.

Keiner ist verantwortlich. Keiner fühlt sich verantwortlich. Niemand übernimmt die Verantwortung.

Dass das RZ nicht funktioniert, ist eine nicht vorhersehbare Naturkatastrophe.

Dass nicht kommuniziert werden konnte, ist eine nicht vorhersehbare Naturkatastrophe.

Dass die Kollegen versuchen, die verlorene Zeitaufzuarbeiten, ist eine Naturkatastrophe, die man nicht vorhersehen und auch nicht vorausplanen kann.

Sie sollten den Job bei der Datev an den Nagel hängen und in die Politik gehen. 

Parallelen zur aktuellen Coronapolitik sind rein zufällig.

---

[#27]

Es gab einen solchen "Vorfall" schon unter

@Peter_Krug 

unter

@Martin_Krämer 

und nun unter Ihnen, @Christian_Bär. Man kennt das also irgendwie; nix neues für uns in den Kanzleien!

M.E. waren es immer wieder nahezu die gleichen Ursachen bzw. Umstände (immer Hardware in Verbindung mit einem "Fehler in den Tiefen einer Datenbank"..).

Zwischendurch (unter welchem Vorstandsverantwortlichen das dann war, entzieht sich momentan meinem Wissen) eine dann mehrmals missglückte Hardwareerweiterung.

Man kann und muss einfach auch @Stefanie_Herold für ihr hervorragendes Info-Management danken!

Sie beruhigt und moderiert hier dann (leider immer wieder) den Unmut der Community-Teilnehmer. Erstklassig!

Vor allem: es wird ihr abgenommen, sie steht zu ihrem Wort.

Leider kann man das von anderen Verantwortlichen bei den bisher aufgetretenen RZ-DUO-Downs so irgendwie nicht feststellen.

Sorry, aber so langsam zweifelt man nicht nur an der Technik zur Cloud-Strategie, sondern auch an der Fähigkeit des Managements, diese Technik auch im Griff zu haben.

Irgendwas wird irgendwie falsch eingeschätzt, was letztendlich dann immer wieder (leider) zu solchen RZ-Katastrophen führt!

Klären Sie uns also nicht immer über die Anstrengungen zur Fehleranalyse auf,  sondern erklären Sie auch, was Sie zukünftig anders machen wollen. 

Denn einen gewichtigen Grund wird das doch haben, oder?

[#28]

Moin Moin

Ich vermute, die Systeme werden repliziert. Dann werden auch die Fehler mit repliziert. Mehrere Rechenzentren sind gut gegen Hardwareausfälle, nicht aber unbedingt gegen Softwarefehler.

Aber Datev sollte m.E. wirklich eine ganz wichtige Lehre jetzt ziehen: Für ein produktives Cloud-Angebot ist der gegenwärtige Zustand einfach zu wackelig.

Ich hörte, Datev, hat in den AGB auch nur 90% Verfügbarkeit garantiert. Das ist unterirdisch. Unter 99,9% geht das nicht (viel zu risikoreich) und Hochverfügbarkeit von 99,99(9)% wären gerade für STB und WP eher angemessen.

On premise hatte diese Woche einige Vorteile, weil zumindest etwas getan werden kann, die Verluste durch Untätigkeit also gemindert wurden. Das sollte Datev besser unterstützen anstatt seine Ressourcen so stark auf die Cloud zu konzentrieren. Und es sollte besser immer ein Plan B in der Zeit eines Ausfall bereitstehen. Dabei denke ich nicht nur an das Telemodul.

QJ

[#29]

Es sollte das Wort Vertrauen ruhig verwendet werden. Das in der Vergangenheit aufgebaute Vertrauen in DATEV Anwendungen ist mehr als weg.

Die Vorgänger in der Position die Herr Prof. Dr. Bär heute innehat haben dazu erheblich beigetragen. Bei einem solchen Vorfall muss auch ein CEO einmal Stellung beziehen und sich nicht hinter einer so hervorragenden Kraft wie Frau Herold verstecken.

[#30]

Hallo @Christian_Bär ,

kurze Frage:

Wer trägt die entstandenen Kosten der Berater? Die Kosten für die "Reparatur" des IT- Systems tragen wir ohnehin genossenschaftlich.

Es ist bestimmt wie immer: die Genossen bezahlen die Aktion und die Rückvergütung bleibt unverändert. 

Meine Tochter würde jetzt sagen "danke für Nichts".