Behoben: Störungen im DATEV-Rechenzentrum 08.-10.11.2021

[#1]

Hallo zusammen,

Trotzdem ist es eine Schande, dass Sie hier alleine gelassen werden. Da die Community die einzige Kommunikationsmöglichkeit ist, hätten wir mal eine Stellungnahme von den Verantwortlichen erwartet.

Ich kann Ihnen versichern, dass wir die @Stefanie_Herold hier nicht allein lassen. Sie macht einen wunderbaren Job und ist Teil eines (großen) Teams, das in solchen Notfällen alle Hebel in Bewegung setzt, um die Probleme zu lösen. Sie kommuniziert hier sämtliche Erkenntnisse so früh wie möglich. Kein Verantwortlicher könnte mehr sagen oder das besser machen als sie. Und wenn hier zehn Leute durcheinander posten würden, würde das auch niemandem helfen. Daher die One Woman Lösung 🙂

Ich weiß, dass das kein guter Tag war. Ich wünsche Ihnen dennoch (oder jetzt erst Recht) einen angenehmen Rest-Abend ...

[#2]

Also… ich mach jetzt noch ne Kanne Kaffee. Wer will auch noch einen? ☕ 

[#3]

Schön, dass die Datev erkennt...dass der Baum brennt.

Wollen wir hoffen, dass das Feuer nicht auf den Rest des Raumes übergreift.

Und richtig, heute war die Kommunikation über das Unglück im RZ doch sehr mäßig.
Niemand wusste heute morgen, was wirklich los war.
Der Fehler wurde nicht klar kommuniziert.

Hier sehe ich erheblichen Verbesserungsbedarf.

und natürlich hoffen wir alle zusammen, dass Sie das Problem morgen gelöst bekommen.
Gelingt das bis Mittwoch nicht, dürfte Datev zum ersten Mal in der Tagesschau genannt werden..
Deshalb hoffentlich bleiben wir hier unter uns.
Schönen Abend.

[#4]

Ich geh jetzt mal auf einen Aspekt ein, der mich in der „Diskussion“ schon öfter zum Kopfschütteln gebracht hat:

Diese Störung hat nichts mit Cloud-Computing zu tun! (Und bitte jetzt keine Computerbild-Definitionen der Cloud hervor holen)

In den Updates von Fr. Herold ist ja bereits raus gekommen, dass es sich um ein Datenbank-Problem handelt. 
Insbesondere im Mainframe-Bereich.

Das ist bitter, da der Mainframe (nach meiner Info) immer noch das Arbeitstier/der Rechenknecht von Datev ist. 

Soviel sei gesagt… lieber froh sein, das aktuell klar ist das nichts geht. Denn schlimmer wären inkonsistente Daten! 

Und um nochmals auf das eigentliche Thema Cloud zurück zu kommen:

Genau solche Ausfälle zeigen, dass es ohne sinnvolle Cloud-Strategie nicht mehr geht. 
Die Cloud bietet eine Menge an Möglichkeiten an, was die Themen Redundanz, Hochverfügbarkeit, Skalierung/Lastverteilung und Desaster Recovery angeht. 

Man könnte also auch behaupten, der aktuelle Ausfall wäre im 100% Cloud Szenario gar nicht aufgetreten. 

Klar das Geschäft muss laufen und damit auch die Software. Aber Ausfälle, ob geplant oder ungeplant, wird es immer wieder geben. 

Gerade durch die Mainframes und das Geschäftsmodell war Datev schon immer sowas wie ein Cloud Anbieter, nur eben mit einem kleineren Rechenzentrum als die anderen (Microsoft, AWS). 

Before-The-(**bleep**)-Storm:

Ich bin Informatiker, kein Steuerfachmann!

[#5]

Hier mal noch das Leid eines ITlers:

Bei uns wurden heute die SIM-Karten der mIdentity-Sticks in der Früh getauscht. Danach ging nichts mehr.
Wir nutzen Datev nur selten, nur zur Gehaltsabrechnung, also ist erst am Vormittag das Problem bei einer Probeabrechnung aufgefallen.
Also gedacht, dass es irgendwo bei uns liegt und gesucht und gesucht, dann zum RZ-Status bei Datev geschaut, keine Fehlermeldung, also weiter gesucht.

Nach knapp 5 verbratenen Stunden mit peniblem analysieren der Logdaten nochmal zum RZ-Status geschaut und da stand dann das Problem.
Das ist der Teil, der mich so richtig stark ärgert: Warum gibt es eine Statusseite, die nicht aktuell ist???

Fehler können passieren, klar, und wenn ich an den absolut irrsinnigen Programmwulst denke, der nötig ist, nur um eine Gehaltsabrechnung zu machen, wird das sicher noch vom Vatikan als echtes Wunder anerkannt, dass das nicht sehr viel öfter knallt. Und wenn das bei uns Anwendern schon so überkomplex ist, wie mag das dann erst im RZ bei Datev aussehen?
Meines Erachtens gibt es absolut keine Rechtfertigung für dieses Übermaß an Komplexität und Menge an Programmen, außer halt, dass es historisch gewachsen ist und sich keiner traut einen Cut zu machen.

Aber das ist ja gar nicht das Thema hier, sondern wie schon geschrieben, Fehler passieren, aber was dann m. E. einfach nicht passieren darf, ist dass eine eigens zur Meldung von Fehlern eingerichtete Statusseite nicht funktioniert.

Und noch zum Thema Hardwareredundanzen, weil das hier ja so oft erwähnt wird und meines Erachtens zu großen Teilen falsche Vorstellungen vorherrschen:
Das bekommen fast alle hin, aber es hilft nichts, wenn die Software, die die Hardware verwaltet, eine höhere Fehlerquote erwarten lässt, als die darunterliegende Hardware.
Das ist dann das berümte Storage, bei dem doppelt gespiegeltes RAID 10 gefahren wird, alle Festplatten redundant an zwei Controller angeschlossen sind, die natürlich sämtliche Komponenten (CPU/Boards/Speicher/Netzteile) redundant haben und dann hat halt die Software/Filer/Whatever, die das Storage verwaltet, ein Problem.

Gleiches hier, wie ja von Datev geschrieben wurde, dass es bei deren Datenbanken hakt. Ich traue mich, ohne die RZ von Datev zu kennen, zu wetten, dass man jede Komponente von Hardware bis Software lahmlegen kann, und die Datebanken laufen weiter. Das bekommt Datev bestimmt hin. Das schafft praktisch auch jedes größere Unternehmen mit halbwegs begabter IT-Abteilung.
Wenn aber Daten, also die Inhalte oder die Programme die Fehler verursachen, dann hilft das alles nichts. Man kann auch nicht einfach den Stand 1 Sekunde vor dem Ausfall wiederherstellen, weil man ja nicht weiß, was den Fehler verursacht hat und wie er entstanden ist.
Also hilft nur: Analysieren, richtige Schlüsse ziehen, Fehler eliminieren, vorsichtigen Ramp-Up fahren und dann irgendwann wieder die Kommunikation zu den Systemen ermöglichen, wenn sich die verantwortlichen "sicher fühlen". Theoretisch kann es danach wieder knallen.

Kann man sowas verhindern: Nein. geht nicht.

Kann man Ausfallzeiten reduzieren: Klar, das geht, indem man Anwendungen und Systeme separiert (macht die Verwaltung, Hardware und Lizenzen in der Regel teurer, daher wird meist das Gegenteil davon gemacht) und wo immer möglich Komplexität reduziert.
Ersteres ist eine betriebswirtschaftliche Entscheidung, von denen man kaum Unternehmen abbringen kann. Bei zweiterem vermute ich, gibt es noch extrem viel Potenzial bei Datev.


... bloß meine Meinung...

[#6]

Hey @Christian_Buggisch ,

da stimme ich dir voll und ganz zu! @Stefanie_Herold macht einen klasse Job.

Okay, leider weiß ich nicht wie das bei solchen Fällen abläuft. Aber wenn Du sagst, dass keiner das besser machen kann als Sie dann verstehe ich das.

Aber ich denke trotzdem, dass wir morgen eine offizielle Meldung von Prof. Dr. Christian Bär bekommen.

Über welchen Kanal auch immer.  

[#7]

---

@Christian_Buggisch schrieb:

Daher die One Woman Lösung 🙂

---

Das war ja nun eine Steilvorlage:

[Hinweis: Aktuell passen wir unsere Website-Angebote an das neue TTDSG an. Bitte haben Sie Verständnis, wenn einzelne Funktionen, z. B. eingebettete YouTube-Videos, derzeit nicht abrufbar sind.]

@DanielMüller: Wir sprechen eine Sprache 🤓. Gefällt mir!

---

@Mike2 schrieb:

Das ist der Teil, der mich so richtig stark ärgert: Warum gibt es eine Statusseite, die nicht aktuell ist???

---

💚-lich Willkommen in der DATEV Community. Home 🏡 and Castle 🏰 of DATEV. 

---

@Mike2 schrieb:

Meines Erachtens gibt es absolut keine Rechtfertigung für dieses Übermaß an Komplexität und Menge an Programmen, außer halt, dass es historisch gewachsen ist und sich keiner traut einen Cut zu machen.

---

Wenn ich mir deutsche Gesetze anschaue, wird mir übel. Da liegt nicht zu 100% das Problem aber würde deutsches Recht mal ein bisschen einfacher, müsste man auch bei der Lohnabrechnung nicht so ein Brimborium draus machen.  

[#8]

Was lernen wir daraus? Die DATEV Status Seite einfach auf eine Domain packen die nicht auf den eigenen Servern läuft.. nur so als Idee... 

[#9]

Es war lange Zeit nicht bekannt ob es ein Hardware Schaden ist. Mittlerweile wissen wir ja sehr grob dass es wohl an den DBs liegen könnte. Also eher kein Defekt an tauschbaren Teilen. Aber in einem Punkt muss ich schon sagen haben Sie recht. Warum eine oder mehrere verhakte DBs so einen STOP auslösen und nicht mehr aufgeteilt wird. Ferner wie die RZ-Komm - meinetwegen DB - mit der ansich autarken DATEV Website zusammenhängt oder dem RZ-Status. Warum hatte man darüber keine Kontrolle mehr als alles den Bach runter ging. Hängt das alles wirklich so verkettet zusammen? 

Das wird hoffentlich ein gut erklärter Teil der Antwort sein, der noch nachzuliefern ist. Dann hätten Sie auch sich die Stunden sparen können. Aber ein kleiner Trost - wir suchten auch ca. 2 Stunden den Fehler erstmal bei uns, weil der Vertrauensbonus noch so groß ist und man sich ja garnicht traut in Nürnberg anzurufen, weil es eh kaum Sinn macht in machen Bereichen. 

[#10]

---

@zieglerconsult schrieb:

Hängt das alles wirklich so verkettet zusammen? 

---

Ich denke: ja. Weil DATEV eben kein Startup aus 2010 ist, sondern > 50 Jahre gewachsen ist. Und wenn ich mir die IT bei vielen Mandanten anschaue, die die auch schon länger im Einsatz haben ... mehr sage ich nicht 🤐. Historisch gewachsen und jetzt gelangt man mehr und mehr an Probleme damit. 

Deshalb gibt es ja das "RZ 2.0" bei DATEV, dass auf der grünen Wiese entwickelt wird. Davon war auch beim letzten #DigiCamp die Rede und einige Anwendungen nutzen es wohl schon. 

Aber dann sind wir wieder beim Thema: www.datev.de/zukunft Die ist mal eben so weg und eine Roadmap würde ich das www.datev.de/roadmap auch nicht nennen. Eher eine Ansammlung, was DATEV sich alles gedacht hat aber mit Übersichtlichkeit, Transparenz und "hey, was DATEV in 2025 vor hat, da will ich mitmachen - das ist genau mein Ding" hat das wenig zu tun. 

[#11]

Schauen wir uns doch mal das Fehlerbild an:

Es wurden sämtliche RZ Wege geschlossen. Die Tunnel wurden gekappt und standen nicht mehr zur Datenübertragung zur Verfügung.

Dies alleine mit einer fehlerhaften Datenbank zu begründen ist schlicht zu einfach und nicht die alleinige Ursache.

Die Datev muss sich schon fragen lassen, warum denn auch die System für UO und co offline waren.

Und selbst die Status-Server?

Dies klingt eben mehr nach einem Kill-Switch am Eingang der Datenverarbeitung.

Es gibt auch nicht mehr "den Mainframe", wie hier immer so dargestellt. Es ist auch nicht "die" Datenbank.

Dies ist wohl eher getrennt organisiert und in multiplen DBs mit entsprechenden Systemen verteilt.

Die Beschreibung der ITler hier sind alles System für kleinere Benutzergruppen (also kleiner 1000) und nicht in der Größe des Datev RZ mit den dahinter liegenden Datenbanken. Also liegt ist schon eine dringende Klärung nötig, wieso bei so einem Fehler eben nichts mehr geht.

Vor allem, warum global nichts mehr bei der Datev ging. Was hat UO z.B. mit Lohn zu tun?

Hier scheint wirklich einige an Design-Fehlern vorzuliegen.

Ich bin also wirklich auf die Ursache bespannt.

Mal sehen, wie viel davon offen gelegt wird.

[#12]

---

@metalposaunist  schrieb:

---

@zieglerconsult schrieb:

Hängt das alles wirklich so verkettet zusammen? 

---

Ich denke: ja. Weil DATEV eben kein Startup aus 2010 ist, sondern > 50 Jahre gewachsen ist.

Ja, schön und gut, aber dann brauch ich einen Kanal um mich mitzuteilen, irgendwie, ansonsten bringt dieser ganze Datenaustauch der Modulplattform auch nichts, wenn ich nicht mal mehr die Haustür aufsperren kann. Auch in einem Verkehrsflugzeug kann ich den Autopiloten definitiv ausschalten. 

Deshalb gibt es ja das "RZ 2.0" bei DATEV, dass auf der grünen Wiese entwickelt wird. Davon war auch beim letzten #DigiCamp die Rede und einige Anwendungen nutzen es wohl schon. 

Das klingt interessant, ich sollte echt mal wieder zu sowas hingehen. KOB oder sonstiges, aber die Zeit ist so knapp…

[#13]

Für mich zum Tagesabschluss noch ein wenig Humor, oder wie man so schön sagt: wer den Schaden hat, braucht nicht für den Spott sorgen.

Linked-In-Seite von Prof. Dr. Christian Bär, CTO von Datev:
...

Wenn wir uns in unserer Komfortzone bewegen, tun wir regelmäßig Dinge, die wir schon können und von denen wir wissen, dass sie funktionieren. Nur wenn wir die Komfortzone verlassen und neue Wege gehen, können wir Wachstum erfolgreich gestalten.
...
(Quelle: https://de.linkedin.com/in/prof-dr-christian-b%C3%A4r-59776513b)

Ich persönlich würde mir an Tagen wie diesem wünschen, dass Datev Dinge tut, die sie können. Das hätte mir heute viel Zeit gespart. 😉

In diesem Sinne - Angenehmes Nächtle!

[#14]

@Snoopy70: Wenn Sie's so genau wissen: Bei DATEV sind immer viele Stellen offen 😊. Einfach bewerben. DATEV freut sich bestimmt und ist auch schon in Berlin auf Personalsuche. Nürnberg ist also definitiv kein Muss mehr 😉. 

[#15]

Irgendwie schockierend wie schnell unser Berufsstand von der digitalen Welt abgestellt werden kann. Früher hatte man noch Papier, Bleistift und eine OCR Schreibmaschine, jetzt muss man erst einmal schauen liegt der Fehler in der Kanzlei, liegt er bei der Telekom oder sonstige Anbieter oder doch bei DATEV. Man kann ja nur froh sein das die Lohnzeit weitestgehend durch ist, gestern noch meine letzten für Oktober gemacht. Heute müssten alle warten. Übermittlung Voranmeldung haben wir ja noch bis Mittwoch, nur wenn wir nun alle unsere zurückgelegten Übermittlungen am Mittwoch erledigen gibt es bestimmt wieder ein Knoten bei der Finanzverwaltung. Nur komisch der Rechner mit Verspätung- und Säumniszuschlägen läuft immer problemlos 😉.

Hoffen wir das wir morgen aufwachen und denken wir haben schlecht geträumt 😁.

In diesem Sinne viel Erfolg bei der Nachtarbeit im Rechenzentrum.

[#16]

oh doch es gibt ihn noch, den einen Mainframe! 
Und klar es gibt auch nicht nur eine Datenbank, aber es kann durchaus nur ein zentrales Datenbankmanagementsystem geben. Das bitte nicht vermischen/verwechseln. 

Und was die Status-Seite und sonstige Web-Apps angeht… klar nicht gerade cool. 
Wahrscheinlich nutzt die Status-Seite auch ne DB. Und die war halt erstmal auch weg. 

Am Ende ist alles ne Kostenfrage. Und dann laufen solche Systeme halt erst mal auf dem Produktivsystem mit. Nicht gerade elegant aber hat ja anscheinend funktioniert (wie in der Automobilindustrie halt auch zu oft). 

[#17]

Mal etwas vom Thema ablenken

Super

DATEV-Turnschuh und DATEV-Handtüchern

Die will ich haben - Bekomme das auch wenn ich kein DATEV-Kunde bin?

[#18]

Nö, aber da lässt sich was machen, ich nehm halt nur nochmal 25% Spanne mit drauf - aber wenn das O.K ist dann…. Auf gehts 😂

[#19]

---

@CR1  schrieb:

Hallo Zusammen,

den Ausfall vom 31.08.2021 haben m. E. neben DATEV auch Kanzleien zu verantworten, die fertige Steuererklärungen 2019 nicht kontinuierlich eingereicht/übermittelt haben. 

---

Finde das anmaßend und unkollegial.

Wir haben uns schliesslich nicht die Corona-Lage ausgesucht die uns mit den Coronahilfen eine katastrophale Bürokratie aufgebürdet hat die massiv Ressourcen bindet.

[#20]

Na ja, es ist schon ein wenig komplexer, als "der Mainframe"

Siehe z.B. hier:

https://www.datev.de/web/de/m/ueber-datev/das-unternehmen/rechenzentrum/

Früher gab es noch ein paar nette Image Filme. Waren aber im Flash Format und sind den digitalen Tot gestorben.

[#21]

Vielen Dank Frau Herold und den Teams im RZ für ihren Einsatz. Meine Daumen sind gedrückt!

[#22]

Hallo @Stefanie_Herold , 

... ich würde es jedenfalls sehr begrüßen, wenn die Datev uns morgen die Ursachen und die Lösung der massiven technischen Probleme von heute (8.11.21) detailliert beschreiben würde ...

... auch auf die Gefahr hin, dass Viele von uns die technischen Details nicht verstehen.

Die Datev bräuchte hier auch keine Angst vor der Bekanntgabe von Betriebsgeheimnissen haben, da sicher niemand diese Probleme reproduzieren würde und somit mit den Lösungsschritten auch nicht viel anfangen könnte 😉

Transparenz und offene Kommunikation schafft Vertrauen

... und Vertrauen ist schließlich das 'Stammkapital' jedes großen Softwareunternehmens 

[#23]

Hallo zusammen,

Good news zu später Stunde:

Der zusammen mit dem Hersteller erarbeitete Lösungsansatz greift nach aktuellem Stand. Die betroffene Datenbank konnte erfolgreich wiederhergestellt und in die Infrastruktur integriert werden. Es erfolgt nun eine kontrollierte Anlaufphase unter intensiver Beobachtung durch den Notfallstab. Die betroffenen Anwendungen stehen sukzessive wieder zur Verfügung. In erster Instanz werden nun bereits gesendete Aufträge und Daten nachverarbeitet.

Sie erhalten an dieser spätestens morgen um 6:00 Uhr einen aktuelles Update

[#24]

Hey @Christian_Buggisch ,

das ist ja schön zu hören.

Ich wünsche Euch noch weiterhin Erfolg.

Beste Grüße

Martin Kausch

[#25]

Guten Abend Herr Buggisch,

Danke für das Überbringen der guten Nachricht.

Und dem Notfallteam einschl. Frau Herold herzlichen Dank für Ihren Einsatz für den Re-Start.

Wir drücken die Daumen, dass es wie geplant verläuft.

Freundliche Grüße aus Baden

R. Geiler

[#26]

---

@Gelöschter Nutzer  schrieb:

---

@CR1  schrieb:

Hallo Zusammen,

den Ausfall vom 31.08.2021 haben m. E. neben DATEV auch Kanzleien zu verantworten, die fertige Steuererklärungen 2019 nicht kontinuierlich eingereicht/übermittelt haben. 

---

Finde das anmaßend und unkollegial.

Wir haben uns schliesslich nicht die Corona-Lage ausgesucht die uns mit den Coronahilfen eine katastrophale Bürokratie aufgebürdet hat die massiv Ressourcen bindet.

---

Man kann nicht alles auf Corona schieben. Als die verlängerte Frist bekannt gegeben wurde, war die Reaktion bei einigen KollegInnen "Ach super, dann kann ich mir ja noch richtig Zeit lassen und erstmal was anderes bearbeiten." Das waren dann meist die KollegInnen, die im August hektisch die offenen Abschlüsse und Erklärungen zusammengekloppt haben, weil sie vorher sooo viel Zeit haben verstreichen lassen und nun Zeitprobleme hatten. Da hat sich wieder gezeigt, dass prokrastinieren nur Probleme verursacht.

Es gibt also definitiv Personen, die so eine Frist bis Anschlag ausnutzen und dann in die Bredouille kommen, wenn das RZ streikt. War ja nicht der erste Ausfall und dann fliegt einem die Frist eben um die Ohren, aber daraus haben manche bis heute nichts gelernt, denn für die sind immer andere schuld.

Es gibt aber auch die KollegInnen, die wirklich viele Corona-Sachen zu bearbeiten hatten und deshalb vieles nicht früher schaffen konnten.

Fazit: Einige waren an ihrer Situation selbst schuld, andere konnten nichts dafür.

[#27]

Guten Abend Herr Buggisch,

da stimme ich Ihnen uneingeschränkt zu, welchen Superjob Frau Herold hier abliefert und den berechtigten Frust der Anwender immer empathisch aufzunehmen weiß. Aber angesichts des offensichtlichen Totalausfalls des RZ in unverzichtbaren Kernfunktionen wäre es mehr als angemessen, wenn sich die tatsächlich Verantwortlichen nicht einen dermaßen schlanken Fuß machen würden und das Abwettern anderen überlassen.

Es beschleicht mich eher der Eindruck, dass sich der DATEV-Vorstand wieder routiniert wegducken wird, wie dies auch zuletzt zu den Ereignissen vom 31.8./1.9.2021 geschah, zu denen zumindest mich bisher keine Nachricht des Vorstands erreicht hat.

Anerkennung und Unterstützung für die (werk)tätigen DATEV-Mitarbeiter unbedingt und uneingeschränkt, doch Leistung und Kommunikation des Vorstands lassen einen alten Genossen eher (ver)zweifeln.

In diesem Sinn eine gute Nacht

Stefan Gründt

[#28]

Mit den Buchungszeilen verknüfte Rechnungen sind da., DUO startet auch wieder.

Besten Dank und gute Nacht.

[#29]

Das klingt ja schon einmal vielversprechend, aber freuen wir uns nicht zu früh.

Der Ausfall des RZ hat es schon bis zu Heise in die News geschafft.

[#30]

Vielen Dank an alle DATEV Mitarbeiter:innen für ihren Einsatz!