Update Sonntag 21.06. 11:00 Uhr Rückbau erfolgreich abgeschlossen
Der Rückbau des Großrechners gestern verlief problemlos und wurde gestern Abend gegen 22:30 Uhr abgeschlossen. Alle Hardwaretests und auch die Nachtests der Anwendungen waren ohne Auffälligkeiten.
Wir beobachten die Systeme natürlich weiterhin intensiv und starten mit bewährter Technik in die Lohnabrechnungswoche.
Wie es insgesamt mit den Thema weitergeht, werden wir in den nächsten Wochen bewerten.
Viele Grüße und einen schönen Sonntag ☀️
Stefanie Herold
Update Freitag 19.06. 18:30 Uhr
Hallo liebe Community,
ich trau es mich kaum zu sagen…
Bis gestern Abend lief unser neuer Großrechner komplett störungsfrei. Bei einem völlig normalen Wartungs-IPL – vergleichbar mit einem Reboot an einem PC – konnte das System - auch zusammen mit dem Hersteller - nicht mehr aktiviert werden.
Zur Absicherung des heutigen Betriebs wurden noch heute Nacht die Ressourcen der Redundanzsysteme entsprechend aufgestockt. So haben wir den Tag gut überstanden und unser Redundanzkonzept hat gut funktioniert.
Da es noch keine Klarheit darüber gibt, wie der Fehler ausgeschlossen werden kann, werden wir, wenn es bis morgen früh keine bahnbrechenden neuen Erkenntnisse gibt, den kompletten Großrechner morgen wieder auf den alten Stand von vor dem Umbau letztes Wochenende zurückbauen.
Der Umbau wird auch dieses Wochenende selbstverständlich wieder mit umfangreichen Nachtests und hoher Sensibilität im Monitoring auch in den nächsten Tagen begleitet.
Der Rückbau startet morgen früh und wird am späten Abend abgeschlossen sein. Wenn alles läuft wie geplant, sollten Sie mit Ausnahme weniger kurzer Momente voraussichtlich zwischen 19:00 und 21:00 Uhr während der Rückverlagerung der Workload nichts davon merken.
Ich informiere Sie, wenn’s was Neues gibt.
VG Stefanie Herold
Zwischenfazit Sonntag 17:00 Uhr
Hier ein Zwischenfazit unserer Umbauarbeiten im Rechenzentrum:
Wir hatten beim Umbau eines unserer Großrechner am gestrigen Samstag ein paar Hürden zu nehmen, die leider auch zu einem rund 3-stündigen Komplettausfall der Online-Anwendungen und RZ-Verbindungen geführt haben.
Nochmal vielen Dank für die Hinweise, die Sie uns hier in der Community gegeben haben.
Der Umbau an sich konnte mit zwischenzeitlicher Verzögerung trotzdem am späten Abend wie geplant abgeschlossen werden. Alle Nachtests und auch heute im laufenden Betrieb zeigen bisher keine Auffälligkeiten. Auch morgen verfolgen wir das Geschehen im Monitoring und auch an unseren Service-Hotlines und in der Community natürlich noch mit höchster Sensibilität weiter.
Besonders ärgerlich für Sie - und auch uns - waren die erneuten Probleme mit der Anzeige der Störungen im RZ-Status. Hierfür bitten ich und meine Kollegen Sie nochmal um Entschuldigung.
Ein Zeitverzug von eineinhalb Stunden entspricht auch nicht unserem Anspruch an die Zuverlässigkeit dieses Info-Kanals. Es wurden zwar in den vergangen Monaten bereits einige Maßnahmen zur Betriebsstabilität des RZ-Status umgesetzt, diese reichen aber offensichtlich bei weitem noch nicht aus.
Für die Interessierten unter Ihnen hier noch ein paar Details (in meinen laienhaften Worten ;-)), was konkret die Störung ausgelöst hat:
Wie in jedem Großrechnerverbund gibt es auch bei uns Verwaltungsrechner, die für die Verwaltung und die Kommunikation der Großrechner untereinander verantwortlich sind und die Datenströme zwischen den Rechnern und Rechnerstandorten steuern. Diese Verwaltungsrechner sind über eine Vielzahl von Netzwerkkarten und physischen Leitungen jeweils mehrfach mit den Großrechnern verbunden und nach den Redundanz-Empfehlungen des Herstellers aufgebaut.
Gestern ist eine der Netzwerkkarten des neu installierten Großrechners, trotz umfangreicher QS-Maßnahmen des Herstellers, ausgefallen und hat dabei die Datenstruktur auf dem Verwaltungsrechner derart beschädigt, dass diese nach der erstmal notfallmäßigen Deaktivierung der defekten Karte, komplett wiederhergestellt werden musste.
Der Hardwaredefekt der Karte ist nach aktuellen Erkenntnissen der Auslöser des Ausfalls. Warum in Folge auch der komplette Verwaltungsrechner in Mitleidenschaft gezogen wurde und die in Abstimmung mit dem Hersteller implementierten Redundanz-Konzepte nicht funktioniert haben, wird mit höchster Priorität mit dem Hersteller geklärt. Wichtig ist dabei vor allem die Frage was getan werden muss, um dieses Systemverhalten künftig auszuschließen.
Ein abschließendes Fazit werden wir erst in ein paar Tagen ziehen, wenn sich das System auch im Normalbetrieb bewährt hat.
Sollten Sie Auffälligkeiten feststellen, melden Sie sich gerne hier in der Community, damit wir dem möglichst schnell nachgehen können.
Vielen Dank schon mal und einen guten Start in die Woche
VG Stefanie Herold
Update Sonntag 13:00 Uhr
Der Umbau konnte gestern noch "erfolgreich" abgeschlossen werden. Alle Nachtests und auch die Tests im heutigen laufenden Betrieb zeigen erfreulicherweise bisher keine Auffälligkeiten.
Eine Zusammenfassung, insbesondere auch zur Störung gestern, folgt noch.
Update Samstag 18:20 Uhr
Und auch die Eilverarbeitung ist durch. Damit stehen nun wirklich wieder alle Anwendungen uneingeschränkt zur Verfügung.
Die eigentlichen Umbauarbeiten an einem unserer Großrechner schreiten weiter planmäßig voran.
Update Samstag 18:15 Uhr
Die LODAS Probeabrechnung läuft auch wieder.
Die Eilverarbeitung dauert noch. Es müssen noch alle offenen Aufträge aus der Störungszeit nachverarbeitet werden.
Update Samstag 16:50 Uhr
LODAS Probeabrechnung und LODAS Eilverarbeitung laufen leider noch nicht wieder stabil.
Update Samstag 16:30 Uhr
Der Fehler ist behoben und alle Anwendungen stehen wieder zur Verfügung.
Update Samstag 15:00 Uhr
Aktuell haben wir eine Störung an einem unserer "Verwaltungsgroßrechner". Nach aktuellem Stand stehen die Online-Anwendungen und auch der Internet-Zugang ins RZ nicht oder nur eingeschränkt zur Verfügung.
Meine Kollegen kümmert sich bereits darum.
Wenn ich mehr weiß, melde ich mich natürlich.
Der RZ-Status ist bereits aktiviert und braucht noch ein paar Minuten bis zur Anzeige im web und in der App
VG Stefanie Herold
_______________________________________________________________________________________________________________________
Hallo Community,
es ist soweit. Morgen startet der erneute Umbau eines unserer Großrechner auf die neueste Technologie.
Gestern konnten auch die letzten Vorabtests erfolgreich abgeschlossen werden, so dass nun dem erneuten Umbau nichts im Wege steht.
Wenn alles läuft wie geplant, werden Sie von dem Umbau nichts merken.
Nach dem fehlgeschlagenen Umbau Anfang März wurde akribisch eine Vielzahl von zusätzlichen Vorbereitungs- und Absicherungsmaßnahmen getroffen. Auch die Nachtests und das Monitoring, bei denen die Probleme Anfang März nicht aufgefallen waren, wurden nochmal massiv erweitert.
Alle Kollegen und auch der Hersteller sind am Wochenende direkt vor Ort (natürlich mit ausreichend Abstand ;-)) und beobachten die Systeme mit höchster Sensibilität. Alle Fachanwendungen sind in Rufbereitschaft. Auch am Montag, wenn wir dann wieder echte produktive Last auf den Systemen haben, wird das intensive Monitoring natürlich noch fortgesetzt.
Meine Kollegen im Rechenzentrum fühlen sich bestens für alle Eventualitäten vorbereitet und gehen davon aus, dass alles glatt geht.
Ich wünsche Ihnen allen ein wunderschönes Sommer-Wochenende ☀️
Viele Grüße aus Nürnberg 🙂
Stefanie Herold
