abbrechen
Suchergebnisse werden angezeigt für 
Stattdessen suchen nach 
Meintest du: 

Speicherbedarf der Datenbanken optimieren um Backups zu beschleunigen

12
letzte Antwort am 24.09.2024 12:49:53 von siro
Dieser Beitrag ist geschlossen
0 Personen hatten auch diese Frage
T_Ahmad
Aufsteiger
Offline Online
Nachricht 1 von 13
550 Mal angesehen

Liebe Genossinnen und Genossen,

 

da unsere SQL Datenbanken schneller wachsen, als die Übertragungsraten von Netzwerken und Laufwerken zunehmen und für die täglichen Backups nur begrenzt Zeit zur Verfügung steht, stelle ich, etwas mehr als 2 Jahre seit dem letzten Beitrag zu diesem Thema, die Frage, wie sich der Speicherbedarf der Datenbanken reduzieren lässt.

 

Unser derzeitiger Aktionsplan sieht wie folgt aus:

  1. Fibu Altbestände über die Bestandsdienste Rechnungswesen exportieren. Jeweils alle Mandanten eines Wirtschaftsjahres in eine Datei. Diese Daten werden dann als Bestandsicherung irgendwo archiviert und in Bestandsdienste Rechnungswesen gelöscht.
  2. Alte Daten der Steuerprogramme ebenfalls exportieren und aus Datev löschen.
  3. Einmaliges Optimieren und verkleinern der Datenbank. (Den schwarzen Peter schiebe ich unserer IT zu.)
  4. Jährliches wiederholen der Schritte 1 & 2, damit das Wachstum der Datenbank etwas gehemmt wird.

 

Für die anstehende Einführung des DMS würden wir aus dem gleichen Grund in Erwägung ziehen, gleich zu Beginn die Datenbank in Filegroups aufzuteilen. Nach meinem technischen Verständnis, werden die Filegroups chronologisch nacheinander "befüllt" und ältere Filegroups werden nur noch durch das Löschen alter Dateien geändert. Wie sieht es aus, wenn ich ein Uralt-Dokument, aus welchem Grund auch immer, bearbeite und damit eine neue Revision erzeuge? Wandert dieses dann in eine neuere Filegroup oder landen die geänderten Daten in der alten Filegroup?

 

Hier wäre meine erste Idee wie folgt:

  1. Installation des DMS
  2. Filegroups zu je 100-500 (?) GB konfigurieren.
  3. Migration der Daten aus der Dokumentenablage (inkl. OCR Erkennung)
  4. FG1 & FG2 füllen sich mit den OCR Erkannten Daten bis diese voll sind.
  5. Die restlichen Daten landen in FG3, ebenso wie alle zukünftig abgelegten Dokumente bis FG3 voll ist.
  6. Beim Täglichen Backup reicht es wenn wir FG3 an verschiedene Orte sichern, was die Laufzeit des Backups verkürzt.
  7. FG1 & FG2 werden in unregelmäßigeren Abständen gesichert. (z.B. Jeden Sonntag) Hier sollten sich ja keine Änderungen mehr, bis auf das Löschen von Dokumenten ergeben.
  8. Irgendwann wenn FG3 voll ist und FG4 befüllt wird, wird nur noch FG4 täglich gesichert und FG3 gesellt sich zu den Backup Zeiten von FG1 & FG2

 

Ist das ein vertretbares vorgehen oder bin ich hier auf dem Holzweg? Wie handhaben andere Kanzleien das?

janm
Meister
Offline Online
Nachricht 2 von 13
537 Mal angesehen

Ohne Details zur Infrastruktur und dem Backupkonzept kann man hier wohl nicht so viel beitragen. Wenn Backupanforderung und (Backup)Infrastruktur nicht passen, hilft auch das Optimieren vermutlich nicht viel. Wenn die Backupzeit schon zu knapp wird, habt ihr euch mal mit dem Disaster Recovery / Restore Prozess auseinandergesetzt und habt da überhaupt eine Chance eine (mögliche selbst auferlegte) "SLA" einzuhalten?

 

100 GBit/s NICs und Switche sind jetzt auch nicht mehr soooo exotisch und "teuer".

cwes
Meister
Offline Online
Nachricht 3 von 13
519 Mal angesehen

Lösung: offline snapshot

0 Kudos
T_Ahmad
Aufsteiger
Offline Online
Nachricht 4 von 13
513 Mal angesehen

@janm  schrieb:

100 GBit/s NICs und Switche sind jetzt auch nicht mehr soooo exotisch und "teuer".


Die sind auch nicht der Flaschenhals. Der Liegt eher bei den Lese- & Schreibraten der Laufwerke und der Upload- & Downloadbandbreite die uns der ISP zur Verfügung stellt.

 

100 GBit/s vom Server über den Switch zum Router nutzen nicht viel, wenn die Festplatte "nur" 1,2 GBit/s liest und wir noch langsamer hochladen.

 

Hier geht es um die Fragestellung, wie wir die Datenmenge reduzieren können, nicht die Übertragungsgeschwindigkeit erhöhen. Das ist eine andere Baustelle. Da die Daten nicht nur logisch sondern auch Geografisch getrennt an verschiedenen Orten gesichert werden sollen, sind wir nun mal u. a. durch die vom ISP bereitgestellten Bandbreiten begrenzt.

 

Vorort ist das weniger ein Problem. Die kurzfristige Ausfallsicherheit ist bereits sichergestellt. Mal eben die Datenbank auf Platten im Nebenzimmer spiegeln ist kein Thema. Hier geht es eher um die nächste Stufe des Sicherheitskonzeptes. Sicherstellen, dass wir Tagesaktuelle Backups haben, wenn das Gebäude abfackelt, einstürzt oder ähnliches.

 

Da wir in den nächsten Jahren mit einer Exponentiell zunehmenden Datenmenge rechnen, müssen wir uns schon jetzt überlegen: Wie organisieren wir die Daten in mundgerechte Häppchen? Wie stellen wir sicher, dass wir die Daten die wir täglich für die Arbeit brauchen schnell gesichert und wieder eingespielt bekommen? Dazu gehören eben keine Daten die wir nie wieder brauchen aber zu deren Aufbewahrung wir gesetzlich verpflichtet sind. Die dürfen gerne ausgelagert und irgendwo geparkt werden.

0 Kudos
BamBam
Beginner
Offline Online
Nachricht 5 von 13
496 Mal angesehen

von welcher Größe reden wir denn hier?

 

da wird was von 100gbits und 1,2 gibts geschrieben.. da passt ja was nicht.

 

bei einer "Exponentiell zunehmenden Datenmenge" passt auch irgendwas nicht.

 

 

" Sicherstellen, dass wir Tagesaktuelle Backups haben, wenn das Gebäude abfackelt, einstürzt oder ähnliches."

 

das sollte ja eigentlich standard sein...

 

häppchen braucht man eigentlich nicht.. eher ein konzept.. nicht nur wegen backups, sondern dsgvo.. löschkonzept und so..

 

 

 

 

 

chrisocki
Experte
Offline Online
Nachricht 6 von 13
408 Mal angesehen

@T_Ahmad schrieb: Die sind auch nicht der Flaschenhals. Der Liegt eher bei den Lese- & Schreibraten der Laufwerke und der Upload- & Downloadbandbreite die uns der ISP zur Verfügung stellt.


Frage: Mit was sichert ihr? Sofern das keine sicherheitsrelevante Information ist. 

Die meisten Backup-Anwendungen sichern doch mittlerweile "nur" noch die geänderten Blöcke. Kommt da pro Tag immer noch soviel zusammen, dass dies nicht über eine 100MBit-Leitung übertragen werden kann?

 


Da die Daten nicht nur logisch sondern auch Geografisch getrennt an verschiedenen Orten gesichert werden sollen, sind wir nun mal u. a. durch die vom ISP bereitgestellten Bandbreiten begrenzt.


Wäre evtl. ein TerraBackup inkl. Satellit eine Lösung? Das Backup erfolgt erst onpremise und der Satellit kümmert sich dann um die Übermittlung an den Terra-Server. --> OK, dann ist ggf. die Leitung tagsüber blockiert.

 

 

Frage: Wäre für die zu erwartende Infrastrukturanforderung evtl. nicht ein Einsatz der gesamten Serveranlage in einem PartnerASP-Umfeld oder ASP-Anbieter eine Lösung? Dann kann das Backup direkt bei dem dortigen ASP-Anbieter im RZ erfolgen, was dann wieder eine "onpremise"-Lösung darstellt. 

--> Klar, dass erfordert eine grundlegende Strukturänderung. Aber nur mal als Überlegung in den Raum gestellt.

 

(DATEVasp wäre auch noch möglich, scheitet aber vermutlich aus Kostengedanken aus).

 

Beste Grüße
Christian Ockenfels

 

0 Kudos
janm
Meister
Offline Online
Nachricht 7 von 13
386 Mal angesehen

@T_Ahmad  schrieb:

 

Die sind auch nicht der Flaschenhals. Der Liegt eher bei den Lese- & Schreibraten der Laufwerke und der Upload- & Downloadbandbreite die uns der ISP zur Verfügung stellt.


Dann braucht hier halt mehr und/oder schnellere Disks. Auch ISP Bandbreite ist käuflich.

 

"Daten bereinigen" ist jedenfalls nur ein Tropfen auf den heißen Stein und wird sicherlich zur Sisyphusarbeit(sbeschaffungsmaßnahme).

0 Kudos
martinkolberg
Meister
Offline Online
Nachricht 8 von 13
356 Mal angesehen

Das Problem mit der Datenmenge gibt es seit Anbeginn der EDV.
Irgendwann ging das Sichern auf Disketten nicht mehr...

Auch ZIP- Laufwerke gingen nicht Ewig.
Bandlaufwerke kamen an ihre Grenzen 
Jetzt wird es mit Festplatten zum Sichern knapp und die Leitungen werden zu eng.

 

Was bringt die Bereinigung des Datenbestandes? Kostet viel Zeit, und Ergebnis weniger als 50%? 
Erfahrungsgemäß sind die aktuellen Daten immer voluminöser, als die Daten der Vergangenheit.

Nein, hier muß eine aktuelle Hardware her, die mit den Datenmengen der Zukunft klar kommt.

Löschen ausschließlich nach DSGVO! Das macht bereits genügend Arbeit!

... Und Schulung der Mitarbeiter!

Im DMS haben 50 MB- große Belegfotografien in höchster Farbtiefe einfach nichts verloren, auch dann nicht, wenn der Mandant diese per Mail oder USB- Stick einschleppte.

T_Ahmad
Aufsteiger
Offline Online
Nachricht 9 von 13
301 Mal angesehen

@chrisocki  schrieb:

Frage: Mit was sichert ihr? Sofern das keine sicherheitsrelevante Information ist. 

Die meisten Backup-Anwendungen sichern doch mittlerweile "nur" noch die geänderten Blöcke. Kommt da pro Tag immer noch soviel zusammen, dass dies nicht über eine 100MBit-Leitung übertragen werden kann?


Antwort: Abseits von dem Komplettsicherungskonzept, in welches ich nicht involviert bin, wird gemäß DATEV-Empfehlung zusätzlich eine SQL-Online Sicherung Sicherung durchgeführt. Für diese steht uns aus betrieblichen Gründen ein relativ kleines Zeitfenster zur Verfügung und es dauert überproportional lange im Verhältnis zur Datenmenge. Daher der Ansatz die Datenmenge zu reduzieren.

 


@chrisocki  schrieb:

Frage: Wäre für die zu erwartende Infrastrukturanforderung evtl. nicht ein Einsatz der gesamten Serveranlage in einem PartnerASP-Umfeld oder ASP-Anbieter eine Lösung?


Ist von der Geschäftsführung nicht gewollt. Die Vorgabe ist ganz klar: eigene Server, eigene Administration, eigene IT-Abteilung. Über Sinn und Unsinn dieses Ansatzes ließe sich lange philosophieren, mein Auftrag ist jedoch klar: Datenbank reduzieren und ein Konzept erstellen, wie wir den Wachstum der Datenbank langfristig auf ein notwendiges Minimum beschränken.

 

@janm  schrieb:

Dann braucht hier halt mehr und/oder schnellere Disks. Auch ISP Bandbreite ist käuflich.

Nachdem ich nochmal nachgedacht habe, dürfte wohl weniger die Bandbreite der Netzverbindung oder die Geschwindigkeit der Laufwerke das Problem sein, als die Performance des DATEV SQL-Servers. Wo genau die Zeit "verloren" geht, kann ich nicht exakt bestimmen, da müsste ich nochmal in der IT nachfragen.

 

@janm  schrieb:

"Daten bereinigen" ist jedenfalls nur ein Tropfen auf den heißen Stein und wird sicherlich zur Sisyphusarbeit(sbeschaffungsmaßnahme).


Das von mir beschriebene Vorgehen dürfte an aktiver Arbeit einmalig vielleicht eine Stunde dauern, jährlich wiederkehrend sogar weniger, da ich ja mehrere Mandanten auf einmal sichern kann. Die restliche Zeit wäre nur warten.

 

@martinkolberg  schrieb:

Was bringt die Bereinigung des Datenbestandes? Kostet viel Zeit, und Ergebnis weniger als 50%? 

Der Zeitaufwand des Auslagerns der Bestände hält sich nach meiner Kenntnis in Grenzen, Weniger als 50 % wären schon eine zufriedenstellende Lösung. Wenn wir nur 1/3 der Daten außerhalb der Datenbank sichern, wäre das den Aufwand für uns wert.

 

@martinkolberg  schrieb:

Löschen ausschließlich nach DSGVO! Das macht bereits genügend Arbeit!

Leider gibt es Mandanten die eine Archivierung sämtlicher Unterlagen durch uns wünschen, weit über die gesetzlichen Speicherfristen hinaus. Was wir nach DSGVO löschen können, ist das eine. Ziel ist es Daten 19XX-2014, welche wir im Auftrag unserer Mandanten weiterhin aufbewahren sollen, jenseits der Datenbank langfristig zu archivieren. Auch hier lässt sich lange über Sinn und Unsinn diskutieren, wenn der Mandant jedoch darauf besteht und Vergütung diesen Service rechtfertigt, muss ich mich damit abfinden und eine Lösung hierfür bieten.

 

 

0 Kudos
chrisocki
Experte
Offline Online
Nachricht 10 von 13
288 Mal angesehen

@T_Ahmad schrieb: 

Antwort: Abseits von dem Komplettsicherungskonzept, in welches ich nicht involviert bin, wird gemäß DATEV-Empfehlung zusätzlich eine SQL-Online Sicherung Sicherung durchgeführt. Für diese steht uns aus betrieblichen Gründen ein relativ kleines Zeitfenster zur Verfügung und es dauert überproportional lange im Verhältnis zur Datenmenge. Daher der Ansatz die Datenmenge zu reduzieren.


Das würde ich ggf. sofort auf den Prüfstand stellen. Bei der SQL-Online-Sicherung wird ein SQL-Dump ausgeführt. Technisch gesehen, ein Export aus der SQL-DB... das braucht ohne Ende Platz und Tempo.

 

Da in jedem Fall auf eine Backup-Lösung vom Markt zurückgreifen (Veeam, Acronis, TerraBackup o.ä.). 

1. Die Sicherung wird mittels eines VSS-SnapShot durchgeführt. Das geht irre schnell (1-2 Sekunden) und wird von Benutzern nicht bemerkt. Die VSS-Mechanismen sorgen dafür, dass die SQL-DB's konsistent gesichert werden.

2. Es werden bei den Lösungen, wie geschrieben, die geänderten Datenblöcke gesichert. Hieraus und mit der Initial-Sicherung wird zum Sicherheitszeitpunkt ein komplettes Backup dargestellt. 

Das Verfahren variiert von Hersteller zu Hersteller.

 

Die Einsparungen sind immens!

 


Ist von der Geschäftsführung nicht gewollt. Die Vorgabe ist ganz klar: eigene Server, eigene Administration, eigene IT-Abteilung. Über Sinn und Unsinn dieses Ansatzes ließe sich lange philosophieren, mein Auftrag ist jedoch klar: 


Da wird es von mit keine Philosophie geben: Entscheidung der Geschäftsleitung. Punkt.

 

Es war von mir nur ein "über den Tellerrand schauen".

 

 

Mein persönliches Fazit: 

Schaut Euch dringend Marktlösungen an. Die SQL-Online-Sicherung kann zusätzlich eingesetzt oder abgelöst werden.

 

Beste Grüße
Christian Ockenfels

BamBam
Beginner
Offline Online
Nachricht 11 von 13
271 Mal angesehen

@T_Ahmad 

von welchen Datenmengen wird denn gesprochen?

 

Wenn Sie z.B. von FG1 und OCR sprechen, haben Sie das mit den Daten noch nicht richtig verstanden.. 

Letztlich kann man über das Sicherungskonzept die Daten reduzieren, aber auch über Auslagern usw.

Nur da gibt es bei Ihnen anscheinend verschiedene Ansprechpartner..

das eine ist mehr IT, das andere mehr DATEV usw.

0 Kudos
janm
Meister
Offline Online
Nachricht 12 von 13
233 Mal angesehen

Ich schließe mich hier mal bzgl. "Butter bei die Fische" an. Ansonsten:

 

Flaschenhals finden und/oder ggfs. Ressourcen anpassen / erhöhen oder Anforderungen senken und mehr Zeit einplanen.

0 Kudos
siro
Fachmann
Offline Online
Nachricht 13 von 13
223 Mal angesehen

@T_Ahmad  schrieb:

 

Ist das ein vertretbares vorgehen oder bin ich hier auf dem Holzweg? Wie handhaben andere Kanzleien das?


Ich würde mich hier vertrauensvoll an die Kollegen der Fachabteilung wenden : 

 

DATEV IT-Consulting bietet kostenpflichtige Beratungen zum Thema Filegroups für das Produkt DATEV DMS an. Anfragen senden Sie per E-Mail an auftragssteuerung@datev.de. Geben Sie als Betreff der E-Mail an: Anfrage IT-Consulting – DATEV DMS Filegroups Beraternummer: <Beraternummer>

 


@T_Ahmad  schrieb:
  1. Fibu Altbestände über die Bestandsdienste Rechnungswesen exportieren. Jeweils alle Mandanten eines Wirtschaftsjahres in eine Datei. Diese Daten werden dann als Bestandsicherung irgendwo archiviert und in Bestandsdienste Rechnungswesen gelöscht.

 

Leider gibt es Mandanten die eine Archivierung sämtlicher Unterlagen durch uns wünschen, weit über die gesetzlichen Speicherfristen hinaus

 

Wie soll mit diesen o.g. Daten nach z.B. 5 Jahren verfahren werden? Jemand will nun Einsicht in diese Daten nehmen. Das entsprechende Zielsystem mit dem Rechnungswesen ist nicht mehr vorhanden!

#ITeinfachmachen mit Datev Solution Partner
12
letzte Antwort am 24.09.2024 12:49:53 von siro
Dieser Beitrag ist geschlossen
0 Personen hatten auch diese Frage