Behoben: Störungen im DATEV-Rechenzentrum 08.-10.11.2021

[#1]

@jana_t1 

Liebe Kollegin,

Ihr Hilferuf hier interessiert von der Datev niemanden.

Damit Sie dieses System "Datev" wirklich verstehen:

Ich lerne nebenbei ein bisschen Chinesisch.  Meine Chinesisch-Lehrerin, zur Zeit in Schanghai, ist ein sehr  lieber Mensch. Während des Corona-Lockdown und sie geht kein Klopapier hamstern , sondern macht wunderschöne Kaligraphien". Nebenbei übersetzt Sie große, deutsche Dichter ins Chinesische. 

Ich habe mit der KI  das Mandantenmerkblatt zu den Ordnungsgemäßen Rechnungen ins chinesische übersetzt und ihr zum Korrekturlesen nach Schanghai  geschickt. Dafür lese ich jetzt ihre Übersetzung Korrektur ins Deutsche des größten chinesischen, zeitgenössischen Philosophen. 

Ich habe das mit dem Merkblatt nur gemacht, weil es manchmal so mühsam ist, von den Chinesischen Online Händlern eine ordnungsmäßige  Rechnung für die Mandanten zu bekommen. Erfahrungsgemäß kommt es wirklich gut an, wenn man auf Chinesisch schreibt. Es gab schon Händler, die mir kostenlose Ware angeboten haben, was ich natürlich nicht angenommen habe, weil ich Ihnen das mit den deutschen Rechnungen und der deutschen Umsatzsteuer erklärt habe. Wenn ich mit der KI übersetzt auf Chinesisch schreibe kommt dann die Rückantwort auf Deutsch mit google translate. Es ist so schön.  

Es geht hier eigentlich nur um respektvolles Miteinander und gegenseitige Wertschätzung. Aber ich komme vom Thema ab.

Jedenfalls habe ich drüber getwittert, dass die Übersetzung des USt-Merkblatts für einen Chinesen verständlich ist.

Daraufhin wurde ich vom angeblichen Leiter der Abteilung Wissensvermittlung der Datev über Twitter kontaktiert. 

Ich habe zwar nur eine kleine Einzelkämpferkanzlei, aber im Verhältnis wohl viele nur Englisch sprechende Mandanten. Deshalb übersetze ich inzwischen alles - Merkblätter, Newsletter, Mandantenkorrespondenz ins Englische.  Die KI ist da wirklich hilfreich.

Jedenfalls hat mir Datev angeboten für gigantische 50 EUR/Monat die Übersetzung der Mandanteninformationen/-infos etc mit der KI  ins Englische Korrektur zu lesen und für die Übersetzung die Haftung zu übernehmen.

Ich habe mal, wenn  man es anständig macht, 10-15 Stunden/Monat dafür angesetzt. Damit käme ich als StB auf einen Stundenlohn, der soweit unter Mindestlohn ist, das gäbe es noch nicht mal auf dem Bau für illegale Migranten. Unabhängig von der Haftungsproblematik. 

Das kam aber als ernst gemeintes und offensichtlich als großzügig aufgefasstes Angebot von der Datev. Kein Störgefühl. Keine Scham. 

Nur eine gewisse Verwunderung, dass ich dieses "großzügige Angebot" abgelehnt habe.

Ich denke dieses Aktion zeigt das wahre Gesicht "unserer Genossenschaft".

Die haben einfach keine rudimentäre Scham mehr. Dass bestimmte Dinge einfach nicht mal mehr ansatzweise anständig sind.

-------------------------------------------------------------------------------------------------------------------

"I have lost my faith in this broken system" - ONE OK ROCK, Renegades

[#2]

@Gelöschter Nutzer , gut ausgesucht !

... war der Songwriter ein Datev-Anwender ? 😮

... der Songtext passt an einigen Stellen sehr gut 😁

z.B.

I've lost my faith in this broken system

"Ich habe meinen Glauben an diesem kaputten System verloren"

...

...

We're the forgotten generation
We want an open conversation

"Wir sind die vergessene Generation"
"Wir wollen ein offenes Gespräch"

...

... das Folgende passt allerdings nicht so recht 

We are young and we're proud

"Wir sind jung und wir sind stolz"

.. worauf sollten wir stolz sein ?

... und wir (die meisten) sind schon Ü30 😁

... die Wartezeit bis zu einem aussagefähigen Bericht über die Ursachen der massiven RZ-Störungen kann man gut mit passender Musik überbrücken 😉

 Apropos.... wo sind eigentlich meine CDs mit Fado-Musik ? 

Nachtrag:

... wer zu langsam tippt oder während des Tippens zu lange telefoniert ... so wie ich ... ,  wird von einem Post überholt 😉

@Gelöschter Nutzer , 

ich bin entsetzt, dass sich die Datev traut, Ihnen ein solches 'Honorar' anzubieten

[#3]

@jana_t1 

Ich hab es gerade getestet und komme in DUO eigentlich überall rein.

Hat noch jemand Probleme mit den Auswertungen in Unternehmen online?

Viele Grüße 

Stefanie Herold

[#4]

@vogtsburger 

Mir gefällt der Teil "burn it down and built it up again" in dem Song eigentlich besser.

Ich muß mich wieder aus der Diskussion ausklinken. Wollte eigentlich nur den Beitrag über die inhaltlichen Fehler im Lernvideo auf der Lernplattform schreiben. Selbst das bekommen sie nicht mehr anständig gebacken.

Ich habe die letzten 6, 7 Jahre bei der Datev einen existenzgefährdenden und menschlichen Alptraum nach dem anderen erlebt. 

Diese Woche  kam eine  neuer Untersuchungsbericht meines Kardiologen. Da stand als Befund etwas von "erhöhtem kardiovaskulärem Risiko". 

Wenn die ganzen Geringschätzungen und Verletzungen von Seiten der Datev in mir hochkommen, dann tut es meiner Gesundheit nicht gut. Ich habe eine klare Korrelation zwischen der Höhe meines Blutdrucks, meinen "Herzschmerzen" und Auseinandersetzungen mit der Datev.

Ich kann nur dann meine Arbeit machen, mich um meine Mandanten kümmern und irgendwie überleben, wenn ich meine Berührungspunkte zur Datev so gering wie möglich halte.

Wenn ich ehrlich bin, interessiert mich der Abschlussbericht über diesen Crash nicht wirklich. 

Genauso wenig wie die Abschlussberichte der nächsten 10 Crashs. 

Solange sich nicht strukturell und personell bei der Datev etwas ändert, wird sich an der Gesamtsituation nichts ändern.

Denken Sie doch mal drüber nach:

"Früher" war es schon viel, wenn es ein Passbild des Verfassers zu einem fachlich hervorragenden Beitrag gegeben hat.

Schauen Sie sich "Heute" die ganzseitigen Fotos des Vorstandsvorsitzenden der Datev an.

Diese narzisstische Selbstdarstellung ist unserm Berufstand nicht würdig. Bei uns geht es um Inhalte und Kompetenz und nicht um heiße Luft, bunte Bildchen, leere Versprechungen und Selbstdarstellung.

Bei Licht betrachtet ist es so armselig, dass die sich für innovativ und modern halten, weil sie Englisch sprechen können. Das ist heutzutage ein Basic. Keine Qualifikation.

Ich, das ist eine ICH-Botschaft, empfinde das als einfach nur schlimm. Keines weiteren Kommentars mehr würdig.

[#5]

@vogtsburger 

die Wartezeit bis zu einem aussagefähigen Bericht über die Ursachen der massiven RZ-Störungen kann man gut mit passender Musik überbrücken 😉

Highway to Hell von AC/DC 😉

[#6]

@Gelöschter Nutzer 

warum haben Sie den Nutzer gewechselt..?

Englisch Basic.. wer definiert Basics? Sie?

[#7]

---

@Gelöschter Nutzer schrieb:

... Mir gefällt der Teil "burn it down and built it up again" in dem Song eigentlich besser ...

---

... da das 'Einstampfen' und Neuaufbauen des 'kaputten' Systems nicht passieren wird, habe ich immer noch die Hoffnung, dass sich bei der Datev an ein paar zentralen 'Stellschrauben' drehen lässt, um diese rumpelnde, zischende, dampfende und quietschende Maschine in eine andere Richtung zu lenken.

(ich assoziiere die Datev-'Maschine' immer mit Objekten des Schweizer Künstlers Jean Tinguely) 

[Hinweis: Aktuell passen wir unsere Website-Angebote an das neue TTDSG an. Bitte haben Sie Verständnis, wenn einzelne Funktionen, z. B. eingebettete YouTube-Videos, derzeit nicht abrufbar sind.]

... manche alte Maschinen sind zwar  'unkaputtbar', aber Ersatzteile sind oft nur schwer oder gar nicht zu kaufen und müssen z.T. in mühsamer Handarbeit individuell hergestellt werden.

... ansonsten: "schmieren und salben hilft allenthalben"

[#8]

Hallo zusammen

Ich habe den Thread jetzt erstmal geschlossen.

Die Beantwortung der offenen Fragen und auch weitere Informationen zur Ursache folgen natürlich noch.

Viele Grüße

Stefanie Herold 

[#9]

Hallo liebe Community, 

heute möchte ich gerne schon mal ein paar Antworten auf offene Fragen weitergeben. 

Zur Ursache selbst können wir aktuell noch nicht mehr sagen. Die Analysen, auch bei unserem IT-Partner IBM, dauern noch an. 

Wenn alle zusätzlichen Ressourcen genutzt wurden, um den zusätzlichen Ansturm von bisher 2,5 Mio auf 4,6 Mio Belege am Dienstag zu sichern, dann scheint ja die Reserve viel zu klein zu sein. Kurz vor dem 10. eines Monats und bei einem solchen Ausfall hätte damit gerechnet werden müssen. Warum sind die Reserven dafür nicht ausgerechnet? 

Um es gleich vorwegzunehmen: Am langen Ende ist es uns nicht gelungen, die Situation über die komplette Verarbeitungskette richtig einzuschätzen. 

An den von uns prognostizierten neuralgischen Punkten, hatten wir die Ressourcen präventiv massiv aufgestockt. An diesen Punkten hatten wir am 09.11. dann tatsächlich und erwartungskonform keinen Engpass. Im Gegenteil – die Systeme liefen an diesen Stellen weit unter ihrer möglichen Auslastung. Erwischt hat es uns im weiteren Verarbeitungsverlauf an Systemen, die bisher selbst bei Lastspitzen völlig unauffällig gewesen waren. Dort haben wir nach Bekanntwerden des Problems dann im Laufe des Vormittags nach und nach Reserven zugeschaltet. 

Vielleicht noch ein Satz zum Begriff “Reserve”, weil dieser unterschiedlich interpretiert werden kann. Wenn wir von Reserven sprechen, meinen wir damit zuschaltbare Reserven.  
Warum nur zuschaltbar? Alles was permanent produktiv zur Verfügung steht, muss auch unabhängig davon, ob es genutzt wird, permanent betrieben und in voller Höhe bezahlt werden. Es macht also schon mal betriebswirtschaftlich keinen Sinn, alle Systeme dauerhaft mit z.B. doppelten Ressourcen auszustatten, die dann nicht genutzt werden. Die Belegmengen vom 09.11. sind in der rollierenden Mittelfristplanung aktuell für Ende 2023/Anfang 2024 prognostiziert. 

Wenn es sich um den "Ausfall" eines Systems (Stück Blech) handelte, warum greift dort keine Redundanz? 

Weil eben nicht ein Stück Blech ausgefallen ist, sondern es einen Fehler in einer sehr zentralen Softwarekomponente gab, der sich dann auf das Gesamtsystem mit all seinen Blechen, Resilienzen und Redundanzen ausgewirkt hat. 

Wie kann sich ein Datenbankfehler einer Anwendung so dermaßen auf die Status Anzeige (www.datev-status.de) auswirken, so dass stundenlang niemand in der Lage war, die Störung zu kommunizieren? Das eine hat (bzw. sollte) doch mit dem anderen nichts zu tun haben? 

Mit dem RZ-Status hatten wir gleich mehrere Probleme – 1 kommt ja leider selten alleine 😖 

Zum einen ist mit der Störung auch die Online-Verbindung zwischen unserem Rechenzentrum, in dem die Daten für die Schaltung erzeugt und übergeben werden, und dem externen Webhoster weggebrochen.  Für solche Fälle haben wir spezielle Notfallrechner an zwei verschiedenen Standorten für sogenannte Offline-Schaltungen. Der erste dieser spezifischen Notfallrechner, den wir bisher ohne Probleme dafür genutzt haben, hatte dann allerdings ein Hardware-Problem, was sich nicht kurzfristig lösen ließ und der Zweite musste erst vor Ort am anderen Standort aktiviert werden. Das alles hat natürlich viel zu lange gedauert. 
Damit uns das in der Zukunft nicht nochmal passiert, haben wir jetzt zusammen mit dem Webhoster die Möglichkeit geschaffen, zumindest den allgemeinen Notfall-Banner im RZ-Status von jedem Internet-PC auslösen zu können. 
Außerdem arbeiten wir bereits seit einigen Monaten an einer neuen Architektur für den RZ-Status, um die Abhängigkeiten zwischen unserem RZ und dem des Webhosters weiter zu reduzieren. 

Zum anderen waren durch den unvermittelten abrupten Ansturm auf den RZ-Status auch bei unserem Webhoster die Server zusammengebrochen. Auch dazu sind wir in Gesprächen. 

Was mir in Ihrem Beitrag auch fehlt, ist die Begründung für das schlechte Informationsmanagement.  

Gerne hätten wir auch über unsere anderen Kanäle wie www.datev-status.de, RZ-Status-App und www.datev.de unmittelbar über den RZ-Ausfall informiert. Leider konnten wir auf Grund des Ausfalls dort ebenfalls keine Informationen publizieren.  
Zum Zeitpunkt der Störung blieb uns daher erstmal nichts anderes übrig als die noch zur Verfügung stehenden Kanäle wie unsere DATEV-Community hier, unsere Social-Media-Kanäle, das DATEV-Hilfe-Center und die Bandansagen an den Service-Hotlines bestmöglich für die Kommunikation zu nutzen.  
Wir müssen hier auf jeden Fall in Zukunft dafür sorgen, dass diese Kanäle auch bei Störungen zuverlässig funktionieren. 

 
Soweit mal für heute. 
Sobald wir mehr zur Ursache sagen können, melden wir uns wie versprochen wieder. 

Viele Grüße aus Nürnberg 
Stefanie Herold 

Und noch eine kleine Anmerkung am Ende, weil es nicht wirklich was mit dem Thema zu tun hat: 
Übersetzungen werden bei uns generell entweder durch muttersprachliche Mitarbeitende oder Übersetzungsbüros und Agenturen übernommen.  

[#10]

Hallo zusammen, 

die Ursachenanalyse ist nun soweit abgeschlossen. 
Daher hier wie versprochen noch einige weitere technische Details. 

08.11.2021 Komplettausfall 

Erster Auslöser am 08.11. war ein Fehler in der IBM-Datenbank-Software, der bei automatischen systemseitigen Aufräumaktionen zu einem fehlerhaften Speichermanagement und in Folge dem Systemabsturz geführt hat.  
Aufgrund eines zweiten Softwarefehlers konnte das Gesamtsystem durch den beim Systemabsturz innerhalb der Datenbank entstandenen Zustand weder automatisch noch manuell bereinigt und wieder gestartet werden. 
Gemeinsam mit einer Task Force von DATEV und IBM Deutschland und USA wurde intensiv an der Fehleridentifikation und der sich anschließenden Fehlerbehebung gearbeitet. 
Erst durch die manuelle Isolation und spätere Reparatur der betroffenen Spaces (Datenblöcke) konnte die Datenbank überhaupt wieder gestartet und dann manuell vervollständigt werden. 
Für beide Softwarefehler haben wir zwischenzeitlich Software-Fixes von IBM erhalten, die auch bereits eingespielt und aktiviert sind. 
 

09.11.2021 Performance-Probleme in der Prozesskette der Belegverarbeitung 

Hierzu nochmal unsere Stellungnahme vom 19.11.: 
Aufgrund des Ausfalls am 08.11. hatten wir an den von uns prognostizierten neuralgischen Punkten die Ressourcen präventiv massiv aufgestockt. An diesen Punkten hatten wir am 09.11. dann tatsächlich und erwartungskonform keinen Engpass. Im Gegenteil – die Systeme liefen an diesen Stellen weit unter ihrer möglichen Auslastung. Erwischt hat es uns im weiteren Verarbeitungsverlauf an Systemen, die bisher selbst bei Lastspitzen völlig unauffällig gewesen waren. Dort haben wir nach Bekanntwerden des Problems dann im Laufe des Vormittags nach und nach Reserven zugeschaltet. 
Am langen Ende bleibt festzuhalten, dass es uns nicht gelungen war, die Situation über die komplette Verarbeitungskette richtig einzuschätzen. 
Für die Zukunft arbeiten wir daran, gezielte Lastsimulationsmodelle zu implementieren, die die Verarbeitung über die gesamte Prozesskette der Belegverarbeitung vom Eingang des Beleges bis zur Verbuchung im Rechnungswesen abdecken. 

10.11.2021 Fehlerhafte Anzeige von Belegen in DATEV Unternehmen online und der Belegvorschau im Digitalen Belegbuchen in den DATEV Rechnungswesen-Programmen 

Aufgrund des Ausfalls vom 08.11. lief ein täglich notwendiger Datenbank-Pflegeprozess statt am Abend des 08.11. erst nach 0:00 Uhr am 09.11.2021. Durch den dann wieder regulären Pflegeprozess am Abend des 09.11. sind in der Folge am 10.11. doppelte Werte bei der Generierung der einmaligen IDs für die konvertierten Belege entstanden, die sowohl zur Anzeige in Unternehmen online als auch für die Belegvorschau im Digitalen Belegbuchen in den Rechnungswesen-Programmen verwendet werden. 
Damit dieses Problem nicht erneut auftreten kann, wurde der Pflegeablauf entsprechend angepasst und weitere Prüfmechanismen implementiert. 

Zur Nicht-Verfügbarkeit des RZ-Status am 08.11. hatte ich Ihnen bereits am 19.11. umfassende Informationen gegeben. 

Viele Grüße und eine schöne restliche Woche 

Stefanie Herold