Hallo Marcus, vielen Dank für die Erläuterungen. Das kann ich ja guter Hoffnung sein, dass ich die Erfahrung dieses Wochenendes nicht wiederholen muss. Ich hatte ein Leap 15.0-Installation auf meinem Laptop angestoßen. Als es dann ans Updaten aus dem Netz ging, fühlte ich mich schnell wie Ende der 90er Jahre, als ich noch mit einem V.90-Modem ins Internet ging: Selbst kleinste Dateien brauchten ewig. Insgesamt lief das Update mehr als 12 Stunden (gut, ich habe auch ein paar Exoten unten den installierten Programmen). Was aber bei über 80% der Pakete zu beobachten war, war dass - unabhängig von der Größe des Pakets - die ersten 88 - 90% in weniger als einer Sekunde da waren, und dann die Kommunikation regelmäßig zusammenbrach, um mit 1B/s (kein Witz!) weiterzugehen - ziemlich quälend... Gruß, Michael Am 25.03.19 um 07:25 schrieb Marcus Meissner:

Hi folks,

Das ist ein Post Mortem unserer 15.0 Update Problem seit letztem Freitag über das Wochenende.

Am Freitag Morgen führte eine eher unauffällige aber inkorrekte Konfigurationsänderung im 15.0 Update Projekt, die eigentlich gcc8 erlauben sollte auf i586 zu bauen, zu einem Löschen des Inhalts des 15.0 Update Projekts.

Auch das externe 15.0 update repository wurde dadurch geleert.

Wir haben dies nach einer Stunde bemerkt und sofort mit Rettungsmassnahmen begonnen.

Wir haben zuerst eine statische Version des vorherigen Standes online genommen, die nach 2 Stunden den Benutzern zum Updaten zur Verfügung stand.

Danach begannen wir den internen Stand wieder herzustellen.

Zum Glück waren die Update Binär RPMs noch vorhanden und konnten wieder ins Update Projekt integriert werden.

Das Reintegrieren führte zu einem neu signieren der binär sonst identischen Pakete, was wiederum bei Nutzern zu "bad digest" Warnungen führte.

Wir haben darauf das Update Projekt Layout geändert und ein "rpms/" Verzeichnis eingeführt, was die Mirrors veranlassen sollte alle Pakete nochmal zu holen.

Seit Montag 10:00 sollte alles wieder wie vorher laufen.

Die verfügbaren Pakete haben den exakt identischen Inhalt der vorherigen Pakete, nur eine andere Checksum durch das wiederholte signieren.

Wir haben einige Lern Erfahrungen:

- Vorsichtiger mit gefährlichen Optionen umgehen. :/

- Eine bessere Binary Backup und Snapshot Strategie für den OBS etablieren, was derzeit durch Budget Probleme nicht möglich war.

- Mehrere Bugs die das Problem schlimmer gemacht haben als notwendig werden behoben werden.

Sorry für die Probleme die wir verursacht haben :(

Und vielen Dank an Adrian, der den Grossteil der Rettungsarbeit getan hat.

Ciao, Marcus (für openSUSE Maintenance)

-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org