ASCII Import nach Update extrem verlangsamt

[#1]

Hallo Community,

ein Mandant hat vor ca. drei Wochen nach längerer Zeit wieder mal ein Update der Datevsoftware durchgeführt. Nach dem Update hat sich die Verarbeitungszeit eines ASCII Stapels extrem verlängert. Über die Suchfunktion habe ich leider keinen aktuellen Beitrag dazu gefunden.

Vor dem Update konnten Stapel mit 50.000 bis 80.000 Sätzen innerhalb von wenigen Minuten verarbeitet werden. Jetzt bricht unser Mandant den Import bei ca. 60 Minuten ab, da es so scheint, dass sich das Programm beim Import aufgehangen hätte.

Da wir das nicht glauben konnten, ließen wir uns einen Stapel geben und haben dasselbe Problem. Auch bei uns konnten sehr große ASCII Daten bisher recht schnell verarbeitet werden. Die Prüfung wird wie gewohnt sehr schnell innerhalt einer Minute abgeschlossen, die Verarbeitung hat nun bei uns ca. 70 Minuten gedauert. Bisher waren es maximal 5 Minuten. Auch wir hatten erst vor kurzem ein Update. 

Sind neue Plausibilitäten programmiert worden? Wird nach jeden einzelnen Importsatz die komplette Datenbank aktualisiert? Wir wissen es nicht. Hat jemand dasselbe Phänomen beobachten können und ggf. eine Lösung dafür gefunden?

Besten Dank im Voraus.

Viele Grüße

Kategorie zugeordnet von @Christina_Schulze 

[#2]

Und was sagt die Auslastung des Servers? Ein Kunde berichtete mir ähnliches und wir haben 100k Datensätze von TAXDOO eingespielt. REWE sah so aus, als ob es abgestürzt sei - war es aber nicht. Es hat aber in meinem Fall nur (vom Gefühl her) 7min gedauert. Angeblich dauerte es aber ohne meine Fernwartung auch > 1h und man hat abgebrochen. 

Bestätigt mich eher wieder, dass DATEV nicht für massenhafte Daten entwickelt wird und E-Commerce eher keine Freude wohl macht. Selbst TAXDOO splittet die CSV nach 100k Zeilen und macht eine 2. CSV dran. An Excel Limits wird das kaum liegen. 

Ein Update kann ich dafür nicht verantwortlich machen.

[#3 · Accepted solution]

@göppl ,

... ein 'ähnlich klingender' Effekt 

Beim 'normalen' Import von rel. großen Buchungsstapeln (CSV-Dateien) mit monatlich 10.000 - 12.000 Datensätzen

lief der erste Stapel sehr zäh durch, die weiteren Stapel aber recht 'flott'

... dieses 'Warmlaufen' beim ersten Stapel ist mir auch erstmals in diesem Jahr aufgefallen

... vielleicht müssen ja zuerst ein paar Strukturen, Tabellen, Datenfelder etc. neu angelegt oder 'umgestrickt & umgehäkelt' werden

[#4]

Vielen Dank für die Rückmeldung. File- und der Terminalserver langweilen sich. Vor ca. zwei Monaten habe ich noch einen größeren ASCII-Import durchgeführt, den ich wegen der Buchungsanzahlsperre auf ca. 4 x 99.000 gesplittet hatte, nebenbei in deutlich unter einer Stunde eingespielt.

  

[#5]

Vielen Dank für die Lösung. Auch beim zweiten Anlauf die Daten einzuspielen flog eine Stunde übers Land. Die Screenshots im vorherigen Beitrag habe ich in dieser Zeit gemacht. 

Aus Neugierde habe ich dann nochmal einen Import gestartet und der war ganz überraschend innerhalb von wenigen Minuten verarbeitet. Zusätzlich habe ich den ASCII Datensatz mit einen anderen zusammengefügt und den Import mit über 90.000 Zeilen durchgeführt. Der Import dauerte nur wenige Minuten.

Während ich den Mandanten darüber informierte habe ich die Datei noch ganze zweimal importiert. Das Gespräch dauerte keine 10 Minuten. 

Vielen Dank dafür

[#6]

Klingt nicht so zuverlässig oder was ist nun die Lösung? 

[#7]

Die Lösung ist eher ein Mysterium. Zwei Importe wurden mit über einer Stunde Verarbeitungszeit durchgeführt, obwohl die Server noch sehr viel Kapazität hatten. Die Stapelprüfung war bei allen Versuchen immer extrem schnell. Ab den dritten Import lief die Verarbeitung wieder wie gewohnt. Ich hoffe, dass es beim Mandanten ähnlich abläuft. 

Vielen Dank für die Rückmeldungen.

[#8]

... möglich, dass es noch kleine, aber feine Unterschiede gibt zwischen dem Import von Buchungsstapeln im Datev-Format und dem Import von Buchungsstapeln im ASCII-Format.

... könnte aber auch mit Kontenrahmen zu tun haben, die ein wenig 'aus der Reihe tanzen' bzw. nicht zum Standard (z.B. SKR03, SKR04 u.a.) gehören

... oder auch mit Branchenpaketen

[#9]

---

@göppl schrieb:

Die Lösung ist eher ein Mysterium.

---

Achso, OK. Weil Du die Antwort von @vogtsburger als Lösung markiert hattest. Das hatte mich gewundert. 

[#10]

Nachtrag:

... ich will diesem Effekt auch noch ein wenig 'auf die Pelle rücken' ...

... und herausfinden, ob die schwer erträgliche Langsamkeit des ersten Imports 'Methode hat, ob man dauerhaft damit leben muss oder ob es eine Umgehung oder eine komplette Vermeidung dieses Effekts gibt.

Dass anscheinend nur der erste Import so extrem zäh ist und die nachfolgenden Importaktionen sehr viel schneller ablaufen, ist schonmal eine erste Erkenntnis auf dem Weg zur Lösung.

Vielleicht lässt sich ja auch schon beim ersten Import irgendwie der 'Turbo' oder der 'Nachbrenner' einschalten oder die 'Handbremse' lösen ...

... z.B. durch vorheriges Einspielen eines SKRs, von bestimmten Zuordnungstabellen oder Ähnliches

[#11]

Import von 10 Datensätzen mit der gleichen Struktur innerhalb von 2 Minuten in langsamer Geschwindigkeit um die 10k Daten dann rasch eingespielt zu bekommen? Interessanter Gedanke.

[#12]

Interessanter Ansatz. Sollten wieder mal so eine Situation auftauchen, dann werde ich das testen.