Geschwindigkeitsprobleme - Achterbahnfahrt der Geschwindigkeit Schon seit immer

[#1]

Liebe Community, 

nachdem unsere Kanzlei schon seit Phantasy mit Datev zusammenarbeitet und wir schon seit immer Geschwindigkeitsprobleme haben, mal weniger und mal ganz extrem wurde mir diese Community ans Herz gelegt um hoffentlich das Problem lösen oder eingrenzen zu können. 

- Vorerst Sorry für den langen Post. Ich hoffe aber, ich habe alle Informationen damit abgedeckt

Vorwort:

Unser Kanzlei hat über 60 Mitarbeiter und davon 20 Anwälte.

Einige arbeiten komplett digital, andere noch mit Papier Akten. Dennoch wird alles eingescannt und zur Akte gespeichert.

Ich arbeite schon seit ca. 7 Jahren mit Datev, 4 Jahre davon im Systemhaus auf technischer Seite, allerdings hauptsächlich mit Steuerberatern und nun >3 Jahre als interner Techniker in dieser Anwaltskanzlei.

Dementsprechend bin ich nicht ganz unerfahren. Ich war allerdings immer der Meinung das die Geschwindigkeitsprobleme Datev Anwalt geschuldet sind, da das Arbeiten ein anderes ist als bei Steuerberatern.

Allerdings verzeichnet unser aktueller Systempartner und auch diese Community keine so extremen Geschwindigkeitsprobleme wie die, die wir haben. Hier war ich der Meinung, das aufgrund der Größe diese Probleme auftreten, vielleicht ändert sich dies ja mit diesem Post.

Wir haben auch schonmal mit einem Technischen Datev Berater unser komplettes System über 3 Monate auseinander genommen, sind allerdings zu keiner direkten Lösung gekommen. Im Anwaltspostfach wurde Datevseitig etwas programmiertechnisch angepasst, was damals das Arbeiten deutlich verbessert hat. Wir haben einiges angepasst, irgendwann lief es dann auch wieder gut. Aber das lag nicht an den Anpassungen, denn diese Verbesserung kam erst später beim Warten auf Analysen oder beim Einholen weitere Informationen. Und genau so ist es bei uns: diese Woche kann man die PCs aus dem Fenster werfen, jeder Klick dauert super lange, vielleicht läuft es morgen schon wieder besser.

Warum fährt unsere Datev Geschwindigkeit Achterbahn ?

Es gibt auch kein: jetzt läuft es schlecht und jetzt gut, es kann sein das Einer Probleme hat und ein Anderer normal arbeiten kann. Und morgen ist es andersherum. Ich habe es live gesehen und wenn ich mein Datevprodiag geöffnet habe und dies technisch festzuhalten, lief plötzlich alles wieder normal schnell. 

Technischer Aufbau

2x ESXI Server 6.7 

Intel(R) Xeon(R) Gold 6144 CPU @ 3.50GHz

32 Logische Prozessoren pro Server

384GB Arbeitsspeicher pro Server

7,1TB Speicher als Storage angebunden 

12 VMs auf jedem Server

Wir setzten 6 Terminalserver ein, ein Datev Server und 2 DCs 

Der Datev Server macht nur Datev und das Windvsw1 Laufwerk liegt auch auf Partition D:\

Datev Server:

- 1,4TB Festplatte

- 8 vCPUs

- 96GB Arbeitsspeicher

- VMXNET3 als Netzwerkkarte eingebunden

6 Terminalserver für durchschnittlich 40 User: 

- 100 - 110GB Festplatte

- 4 vCPUs

- 32GB Arbeitsspeicher

- VMXNET3 als Netzwerkkarte eingebunden

Wichtig:

Die Probleme treten nur in Verbindung mit Datev auf, kein anderer Server hat Geschwindigkeitsprobleme.

Aber dies ist auch unfair, da alle mit Datev arbeiten, Daten speichern, verändern, löschen... 

Auf den Terminalservern laufen auch alle Programme performancetechnisch gut. Erst sobald sie in Verbindung mit Datev kommen, gibt es Probleme.

Highspeech, Outlook, Word. Erst wenn irgendwas auf Datev zugreift muss gewartet werden.

Jetzt zur Kuriosigkeit: Es ist nicht immer so, keine Veränderung am Server und Morgen läuft es wieder besser. Datev ist nicht das schnellste Programm, aber es gibt Zeiten da braucht man 4x mal so lange wie sonst. Auf den Servern ist aber keine erhöhte Last zu sehen und es gibt keine Verknüpfung zu einem expliziten Server, der z.B. nur Probleme macht. Manche können auf dem TerminalServer problemlos arbeiten, andere haben gleichzeitig extreme Schwierigkeiten.  

- Die Datensicherung wurde geprüft

- Der Antivirenschutz wurde geprüft

- Das Netzwerk inklusive Switche wurde auf 10GB Glasfaser umgestellt

- Die loakel PC Anbindung sind alle mit neuen netzwerkkabeln ausgestattet worden

- Wir sind in ein komplett neues Gebäude gezogen, alle Leitungen inklusive Patchpanel sind neu

- Das Eventlog der Server wurde durchforstet

- Updates werden regelmäßig eingespielt

- Es sind komplett neue Server gekommen, alles wurde neu aufgebaut

Einige Programme laufen super langsam und machen häufig Probleme, wie das Anwaltspostfach. 

So, dass wir schon dabei sind unsere Struktur zu ändern.

1. Der Abruf von beA Nachrichten dauert auch mal 5 Minuten, in dieser Zeit darf bloß nichts anderes angeklickt werden, ansonsten stürzt Datev ab und das Spiel beginnt von vorn.

2. Wir hatten auch schon den Fall, das Nachrichten zu groß waren (mal über 300 Anhänge), jeder der drauf geklickt hat, bei dem stürzte Datev ab. Alle litten darunter.

Manchmal dauert das Abspeichern von Dokumenten sehr lange bis sich das Eigenschaften Fenster öffnen. 

Datev friert häufiger einfach ein und muss über den Taskmanager geschlossen und neu geöffnet werden

Terminerfassungen brauchen in einigen Fällen super lange.

Alleine das Wechseln zwischen den offenen Reitern braucht manchmal 30 Sekunden.

Wir haben eine 1,2 TB große Dokumentenablage Datenbank, ein Großteil der Entwickler teilte uns aber mit, das dies kein Problem sei. Wir vermuten aber das dies Probleme macht. Was sagt ihr?

Weiterhin verzeichnen wir zwischendurch SQL Datenübertragungen von mehreren GB. Wir sprechen hier von ca. 40 angemeldeten Usern. Ist das wirklich so krass? Hat jemand Möglichkeiten das nachzuvollziehen?

Sobald dem Datenbankserver mehr RAM gegeben wird, nimmt er sich sofort alles bis zum Schwellwert, es gibt keine Verbesserung.

Sobald der Datenbankserver freien Festplattenspeicher bekommt, dauert es nicht lange und alles ist verbraucht.

Aktuell ist 80GB frei, von 1,4TB. Sobald ich 100GB mehr gebe, dauert es sicherlich 1 Woche und er hat die 100GB irgendwo verbraucht. - Hier wurde uns mitgeteilt, das es einen Mechanismus gibt der für die Zukunft Speicherplatz reserviert

Vielen vielen vielen Dank schonmal an jeden der sich den Text durchgelesen hat und versucht zu helfen!!!

Habt ihr auch solche Probleme ? 

Oder liegt es nur an uns?

[#2]

Es ist wichtig rauszufinden, was da genau so lange "hängt"..

Wenn es mein System wäre, würde ich mal mit so Tools wie "Process Monitor" bei dem Prozess der so langsam ist, die ganzen Dateisystemzugriffe und Registry / Netzwerkzugriffe aufzeichnen für ein paar Sekunden.

Einmal wenn es sich "schnell" anfühlt und einmal wenn es sich "langsam" anfühlt.

Meisten sieht man dann in den aufgezeichneten Events die Aktionen die das Programm ausbremsen / auf die lange gewartet wird. Damit kann man dann relativ gut eingrenzen auf was da gewartet wird.

Falls man damit nicht weiterkommt, kann man auch die großen Kanonen wie "dotnet trace" u.s.w. auspacken, da DATEV ja größtenteils in .NET entwickelt ist.

Damit lässt sich jeder einzelne Funktionsaufruf innerhalb der Software mitschneiden und mit Tools visuell auswerten. Das ist auch das Tool welches Entwickler von .NET Software zur Performanceanalyse verwenden.

Der Vorteil, wenn man einen "gut"/"schlecht" Trace hat, kann man vermutlich sehr gut sehen, was das Problem ist.. Da genau dieser Funktionsaufruf dann vermutlich gut hervorsticht.

[#3]

Was den Durchsatz an SQL Server anfragen angeht:

Ohne Gewähr (mag DATEV glaub auch nicht):

- Microsoft Sql server management studio installieren (kostenlos)

- VM Snapshot erstellen zur Sicherheit😅

- Sich selbst Adminrechte im SQL Server geben (im SQL Server im Singleuser mode starten und sich einfach einen Account anlegen + wieder normal starten).

- Lang laufende Abfragen im Management Studio anschauen und nachvollziehen was da gemacht wird / warum da GB weise Daten übertragen werden.

DMS speichert die Dokumente selbst im SQL Server, als ich dass das erste mal gesehen habe, fand ich es etwas schräg, ich kenne das eher, dass lediglich die Metadaten im RDBMS gespeichert werden und die "Payloads" irgendwo im Dateisystem oder in einem Blobstore wie S3..
Ob eine klassische RDBMS wie SQL Server für ein Dokumentenmanagementsystem die beste Lösung ist, kann man auch in Frage stellen, warum nicht irgend eine NoSQL Datenbank + Elasticsearch o.Ä.

[#4]

Habe verstanden, dass ohne messbare Systemauslastung, das System in Zusammenhang mit Datev-Anwendungen (.net, SQL..) hängt.

Unklar ist mir noch, ob z.B. Word (unabhängig gestartet) und andere nicht mit Datev interagierende Anwendungen bei diesen Nutzern auch hängen und ob andere VMs in den Performance-Crash mit einbezogen sind.

Zeigt den der Hypervisor hohe Auslastungen (CPU, Netzwerk, Speicher), swapping oder Temperaturüberschreitungen an - sollte dann aber auch mal ohne Datev vorkommen können?

Hinsichtlich des Arbeitsspeichers scheint es sehr plausibel bei der beachtlichen Datenbankgröße, dass er voll ausgelastet wird (Sie habe aber sicher so konfiguriert, dass eine Reserve für OS und andere Anwendungen verbleibt - swapping auf OS Ebene ausgeschlossen?). Beim Plattenspeicher sieht dies schon anders aus. Hier frage ich mich, ob nicht mehr Speicher verfügbar sein müsste, ggf. im Verhältnis zur Datenbankgröße.

Denke diese Konfiguration ist in Summe schon etwas exotischer und nachdem Datev-Fachleute dies schon in Augenschein genommen haben, ggf. die Ursache nicht trivial bekämpfbar....

Letztlich sehe ich diesen Beitrag aber auch besser platziert im Bereich Hardware / Software / Installation.

Ggf. dafür Herrn @Dirk_Jendritzki kontaktieren.

[#5]

@TobiK @Nutzer_8888 : Ich kann den Beitrag gerne insgesamt in den Bereich Hardware, Software und Installation verschieben, wenn das gewünscht ist. Dort ist er m. E. besser aufgehoben.

[#6]

Mal die Leitungen durchgemessen? Also die Landkabel zwischen Buchse und Server. Wenn die Kanzlei 20 Jahre alt ist. Wie alt ist dann die Installation? 

Schaut irgendwer über alte switschs ggf Hubs Videos?

[#7]

bei der datenbank würde ich einen sql enterprise lizensieren, exlusiv 512gb ram dabei, 10gbe-anbindung und das storage wäre auch noch interessant.

irgendwo scheint es zu swappen.. sonst wäre das system nicht so launisch?

was sagt denn die auslagerungsdatei?

schwillt die dann immer weiter an, wenn weitere 100gb freigegeben werden?

wir haben iwo 250gb datenbanken und der sql darf sich seine 110gb ram nehmen.. was er auch tut. läuft gut..

[#8]

Den hier https://kb.vmware.com/s/article/2008925 abgearbeitet?

Muss auch unter 2019 gemacht werden. Die Offloads auf die Karten müssen eingestellt sein. Paketgröße evtl. anpassen, Jumboframes die nicht auf allen Karten passen brauchen Rechenlast. Die Karte auf allen Rechnern auf den ersten Prozessor binden (oder 0 und 1), den SQL diesen Prozessor verweigern. Der SQL muss dann wegen Interrupts nicht unterbrechen.

Soweit noch nicht geschehen prüfen ob auf dem Blech noch im Bios die einstellung DMA existiert. Wenn ja, auf on setzen.

Neueste Netzkartenfirmware prüfen, prüfen, ob VMWare den optimalen Treiber nutzt.

Die Framegrößen auch unter den virtuellen NICs in VMWare prüfen. sollten überall gleich groß sein. Einer mit 1500, einer mit 1498 etc. ist eine Betriebsbremse.

Soweit Maschinen auf einem Host laufen kann auch NIC Teaming für Entlastung sorgen.

Checken ob es vom Kartenhersteller KBs zu VMWare gibt.

DATEV schickt eine hohe Zahl kleiner Pakete über die Leitung, wenn der SQL wegen Interrupts immer wieder stoppen muss hat man den Salat.

[#9]

Hallo TobiK,

ich habe heute diesen Chat hier gelesen, da uns diese Problematik zum Teil auch betrifft.

Wir erfahren einfrierende Bildschirme während der Arbeit mit den DATEV Programmen. Es legt sich ein weißer Schleier über die Anwendung, es erscheint neben dem Programmnamen `keine Rückmeldung` und es dreht sich die Eieruhr. Ist dies einmal durchlaufen, kann weiter gearbeitet werden. Das Phänomen tritt unregelmäßig und bei verschiedenen DATEV Anwendungen/Programmen auf.

Zuletzt in Zeiten und Kosten/Mandantenprotokoll, bei einem Kollegen, beim Anhängen eines Belegs an eine Buchung, bei einem anderen Kollegen beim Öffnen des Programms Einkommensteuer. Dies geschieht alles unregelmäßig.

Gibt es denn neue Erkenntnisse zu Ihrer Anfrage? Hat sich in Ihrer EDV eine Lösung ergeben?

Viele Grüße

Ariane

[#10]

Guten Tag Frau Schwettscher,

ich würde nicht sagen, das es "deutlich" besser geworden ist, sondern wir eher unsere Struktur und Arbeitsweise dahingehend geändert haben. 

Es lässt sich aktuell zumindest damit arbeiten. 

Hier ein Beispiel: 

- Jeder Anwalt hat nun sein eigenes Anwaltspostfach, sodass bei einem Problem nicht alle darunter leiden

- Während des Abrufs der Anwaltspost, wird auch nichts anderes gemacht

- Word wird nicht geschlossen, sondern lediglich das Dokument aus Word wird beendet 

- Wenn Datev abstürzt oder einfriert, weiß jeder Mitarbeiter wie Datev über den Taskmanager zu beenden ist um dies neu zu öffnen. 

- Wartezeiten werden hingenommen 

Aber ich möchte nicht alles schlecht reden, Datev löst auch Probleme, wenn auch schleppend und häufig erst bei mehrfacher Nachfrage, aber sie versuchen es. 

Z.B. hat die Entwicklung spürbare Performanceverbesserungen im Anwaltspostfach vorgenommen. Das Programm ist immer noch sehr langsam und die Arbeit mühselig, aber Datev stürzt dahingehend nicht mehr sooo häufig ab, wie damals bei meinem Post.

Es treten zwar immer neue Probleme auf, wie aktuell beispielweise, zu verarbeitende Nachricht nicht einmal sondern häufiger 2,3,4 oder sogar 5 mal zur Akte gespeichert werden, wenn Datev während des Speicherns abstürzt.

Wir haben aber auch einiges umgesetzt:

Wir haben 52.000 Akten aus dem Live Betrieb in ein Archiv Datenbank geschoben. Und 120.000 Adressaten auch.

Wir haben versucht die Akten auszublenden und nur beim Zugriff darauf zuzugreifen.

Es werden nur noch notwendige Spalten in der Dokumentenliste angezeigt.

Und sogar ein dritter Leihserver wurde über 3 Wochen in den Betrieb genommen.

Wir haben Sicherheitsmechanismen außer Kraft gesetzt, z.B. werden Word Add_ons nichts mehr von unserem Anti-Virenschutz überprüft. Neues Gebäude, komplett neue Netzwerkverkabelung. Damals, hervorgehend aus meinem ersten Post, eine komplett neue Serverumgebung.  

Datev ist eindeutig nicht das schnellste Programm und die Arbeitsweise der Mitarbeiter sind auch sehr unterschiedlich. 

Ich empfehle folgende Reihenfolge:

1. 

Datev mal ohne Reiter zu starten

Alles was auszublenden ist, auch auszublenden.

Den folgenden Link mal durchzugehen (fangen Sie unten an, mit der Performance der einzelnen Datev Programme)

Performance von DATEV-Programmen

Was verbessert sich?

Wie lange dauert der Start, wie fühlt sich das an, damit zu arbeiten

2.

Dann RTT Logs erstellen und parallel der Datev mitteilen, ohne diese wird datev nicht viel machen

3.  

Prüfen Sie die Terminalserver oder Arbeitsplatzauslastung

Wie sieht es mit dem SQL Server aus

Was sagt der ESXI zur Geschwindigkeit - Passt die Hardwareverteilung

Was sagt der Datev Performance Test 

Kann der Anti-Virenschutz noch angepasst werden

Unsere Erfahrung: 

IT-Dienstleister und Datev können wenig tun, Sie brauchen jemanden in der Firma, der sich intensiv damit beschäftigen kann. Der unterschiedliche Sichtweisen eingehen kann und vorallem sich mit unterschiedlichen Datev- und Dienstleister-Technikern auseinander setzten kann. Ich kann Ihnen sagen, da wird es keinen Knopf geben, der das Problem löst. Ich glaube, es ist ein Zusammenspiel aus vielen kleinen Problemen und Stellschrauben. 

Denn da es sich um parallel abgearbeitete Prozesse der Datev handelt, ist das für die Datev unglaublich schwer die Probleme zu fassen. 

Deswegen bin ich der Meinung, das die Datev auch erstmal alles andere prüfen möchte, bevor sie wirklich ihre Probleme angehen können / wollen. Dann kommt noch hinzu das ja nicht alle diese Probleme haben. Durch das parallele Abarbeiten der Prozesse, treten bei minimalen Verzögerungen oder Verbesserungen auch andere oder keine Probleme mehr auf.

Bei uns wurden Protokolle aktiviert und das Problem konnte nicht mehr nachgestellt werden.

Datev Mitarbeiter haben sich aufgeschaltet, das Problem war weg.

Erwarten Sie deswegen erstmal keine große Hilfe von der Datev. Sondern versuchen Sie erstmal alles Mögliche selbst. So unsere Erfahrung.

[#11]

Vielen lieben Dank für die schnelle und ausführliche Antwort. 

Gruß  Ariane

[#12]

Versuche, Spalten auszublenden, denn es gibt in der Übersicht einblendbare Spalten, die nicht indiziert sind und man sich damit eine Schnecke ins System holt, wenn beim Aufbau der Übersicht jedes Dokument vom Server separat gescannt werden muß.