Wieder einmal Backup (und eventuell mehr)
Hi Folks, ich weiß, dass dieses Thema schon 100.000 mal hier behandelt wurde. Und trotzdem wage ich es, noch einmal dazu eine Frage zu stellen. Fakten: Ich betreibe ein kleines WIN-Netz mit Linux Samba als PDC. Soweit läuft das alles auch. Nur mit der Datensicherung habe ich einige Problem. Zur Zeit läuft das so: Bevor der zuständige Mitarbeiter Abends sein Büro verläßt ruft er ein Programm zum Backup auf. Dabei werden per afio die Daten auf dem Server komprimiert und anschließend mit growisofs auf eine DVD-RW gebrannt. Das klappt auch zu 90%. Zu beachten ist, dass während dieses Vorgangs diverse Dateien durchaus noch geöffnet sein können. Zum Beispiel die Outlook-Pst Dateien, die auf dem Server gelagert sind. Manchmal nun passiert des, das der Rechner sich beim abarbeiten von afio, also beim Komprimieren (nicht beim Brennen) sich komplett verabschiedet. Nichts geht mehr. Nur noch Kaltstart. Kann das an o.g. Verfahren liegen? Oder könnte es etwas anderes sein. Wo, also in welcher Log-Datei könnte ich Informationen auslesen. In /var/log/messages steht nichts Verwertbares. Oder ist eher ein Hardwarefehler (Platte) zu vermuten? Wenn ja, wie könnte ich das überprüfen? Was das Backup angeht ist mir schon klar, dass ein Sichern um Mitternacht, wenn also niemand arbeitet, besser wäre. Aber dann fehlt immer ein ganzer Arbeitstag, wenn genau in dieser Nacht was passiert. Timothy -- "Es gibt zwei Dinge im Leben, die du nicht zurücknehmen kannst: Den Pfeil den du verschossen und das Wort, das du gesprochen" - altes indianisches Sprichwort
Hi, On Fri, 02 Sep 2005, Timothy Kesten wrote:
nichts Verwertbares. Oder ist eher ein Hardwarefehler (Platte) zu vermuten? Wenn ja, wie könnte ich das überprüfen?
Wenn er immer an der gleichen Datei aussteigt evtl. Fehler der Platte. (badblocks) Steigt er an unterschiedlicher Stelle aus und es ist immer die Kompression, dann würde ich auf ungenügende Kühlung tippen. (burnin) Alternativ noch zu wenig und/oder defekter RAM (memtest)
Was das Backup angeht ist mir schon klar, dass ein Sichern um Mitternacht, wenn also niemand arbeitet, besser wäre.
Das schon, vor allem fände ich es besser wenn der Mitarbeiter das nicht manuell starten muß ;) Weil dann hat der arme Mann Urlaub und du kein Backup... Greetings Daniel -- This proves that D-Link really deserves my "Most Braindead Hardware Vendor 2003" award, and it also shows that one should avoid D-Link like the plague -- aus dem acx100 Readme
Hi Timothy, Am Fr 2.September 2005 09:16 schrieb Timothy Kesten:
Bevor der zuständige Mitarbeiter Abends sein Büro verläßt ruft er ein Programm zum Backup auf. Dabei werden per afio die Daten auf dem Server komprimiert und anschließend mit growisofs auf eine DVD-RW gebrannt. Das klappt auch zu 90%. Zu beachten ist, dass während dieses Vorgangs diverse Dateien durchaus noch geöffnet sein können. Zum Beispiel die Outlook-Pst Dateien, die auf dem Server gelagert sind.
Für Lookout gibt es ein plugin was selbstständig (beim Schliessen) nach n Tagen eine Sicherung anlegen kann, damit umgeht man auch das Problem das der Zugriff von x Leuten auf jeweils dieses File die Netzwerkperformance versaut (sofern die mails dort lagern). Wenn dann was ist fehlt maximal der Tag im pst dieses MA. Zusammen mit einer imap Lösung idr. völlig ausreichend. Wo das plugin her ist weis ich nimmer, mglw. direkt von M$. Was gibt es noch was eine sicherung um 0:00 verhindert?
Manchmal nun passiert des, das der Rechner sich beim abarbeiten von afio, also beim Komprimieren (nicht beim Brennen) sich komplett verabschiedet. Nichts geht mehr. Nur noch Kaltstart. Kann das an o.g. Verfahren liegen? Oder könnte es etwas anderes sein. Wo, also in welcher Log-Datei könnte ich Informationen auslesen. In /var/log/messages steht nichts Verwertbares. Oder ist eher ein Hardwarefehler (Platte) zu vermuten? Wenn ja, wie könnte ich das überprüfen?
Wenn ein Rechner sowas macht liegt es nach meiner Beobachtung zu 80% an der Hardware (RAM - defekt oder gerne auch einfach nur zuwenig davon, Festplatte(n), Board, Kühlung) und zu 20% am Kernel, es gibt ab und an mal Exemplare die auf bestimmten Rechnern sowas machen. zb. hab ich eine Büchse mit 4 XEONs für die ich ein 4tel Jahr lang immer wieder den neuesten 2.4er Kern mit minimalkonfig getestet habe bis sie stabil war, jetzt läuft sie seit 2,5 Jahren ohne Probleme. Sowas ähnliches hatte ich auch mal in Verbindung mit tapeware, da war es dann das Board. Latente Plattenfehler tauchen nahezu immer auch im normalen Betrieb auf (Drive seek error in der/var/log/messages), Board und RAM Fehler verhindern leider viel zu oft das man in der messages oder der warn noch irgend welche Spuren davon findet. Meine Empfehlung deshalb immer zuerst überlegen wann genau passiert es? Wie warm war es da? Dann in der messages nachschauen ob da was verdächtiges steht, wenn nicht dann schauen ob ein aktueller vanilla kernel aus der gleichen serie einsetzbar ist und den testen, wenn das zum gleichen Ergebnis führt anfangen mit anderem/mehr RAM zu probieren und zum Schluss kurzerhand das Board ersetzen. Das Ganze ist sehr zeitaufwändig und daher ein nebenbei job mitunter muss man ja wochenlang auf den Fehler warten.
Was das Backup angeht ist mir schon klar, dass ein Sichern um Mitternacht, wenn also niemand arbeitet, besser wäre. Aber dann fehlt immer ein ganzer Arbeitstag, wenn genau in dieser Nacht was passiert.
was ist an einem abgestürzten Backup um 17:00 besser? oder versteh ich dich einfach net? Gruss Falk
Quoting Timothy Kesten
Hi Folks,
ich weiß, dass dieses Thema schon 100.000 mal hier behandelt wurde. Und trotzdem wage ich es, noch einmal dazu eine Frage zu stellen. Fakten: Ich betreibe ein kleines WIN-Netz mit Linux Samba als PDC. Soweit läuft das alles auch. Nur mit der Datensicherung habe ich einige Problem. Zur Zeit läuft das so: Bevor der zuständige Mitarbeiter Abends sein Büro verläßt ruft er ein Programm zum Backup auf. Dabei werden per afio die Daten auf dem Server komprimiert und anschließend mit growisofs auf eine DVD-RW gebrannt. Das klappt auch zu 90%. Zu beachten ist, dass während dieses Vorgangs diverse Dateien durchaus noch geöffnet sein können. Zum Beispiel die Outlook-Pst Dateien, die auf dem Server gelagert sind. Manchmal nun passiert des, das der Rechner sich beim abarbeiten von afio, also beim Komprimieren (nicht beim Brennen) sich komplett verabschiedet. Nichts geht mehr. Nur noch Kaltstart.
Hört sich an als ob da was kaputt ist.
Kann das an o.g. Verfahren liegen?
Unwahrscheinlich, aber nicht unmöglich.
Oder könnte es etwas anderes sein.
Freezes riechen immer nach Hardware. Also IRQ-Konflikte, DMA- oder I/O-Konflikte (eine Hauppauge WinTV Primio mag es z.B. in manchen Systemen gar nicht, wenn man massiv auf der platte rumrödelt), ein Kernel-Bug, falsch konfigurierte Kernel-Module oder halt schlicht kaputte Hardware. Software sollte ein stabiles System eigentlich nicht einfach einfrieren können, schon gar nicht so was wie afio oder growisofs.
Wo, also in welcher Log-Datei könnte ich Informationen auslesen.
/var/log/kern.log, /var/log/boot.msg, dmesg, /var/log/debug (evtl. erst einschalten). Wenn allerdings die Platte einfriert könnte es sein, daß die entsprechenden Meldungen nicht mehr im Log landen. Dann vor dem Reboot mal versuchen, auf die Konsole zu schauen oder mit Alt+SysRq
In /var/log/messages steht nichts Verwertbares. Oder ist eher ein Hardwarefehler (Platte) zu vermuten? Wenn ja, wie könnte ich das überprüfen? Was das Backup angeht ist mir schon klar, dass ein Sichern um Mitternacht, wenn also niemand arbeitet, besser wäre. Aber dann fehlt immer ein ganzer Arbeitstag, wenn genau in dieser Nacht was passiert.
Timothy -- "Es gibt zwei Dinge im Leben, die du nicht zurücknehmen kannst: Den Pfeil den du verschossen und das Wort, das du gesprochen" - altes indianisches Sprichwort
-- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com
-- Erhard Schwenk Akkordeonjugend Baden-Württemberg - http://www.akkordeonjugend.de k-itx it-dienstleistungen - http://www.k-itx.net
Quoting Timothy Kesten
Oder ist eher ein Hardwarefehler (Platte) zu vermuten? Wenn ja, wie könnte ich das überprüfen?
Schau mal ob dmesg nach dem Booten irgendwelche DMA-Timeouts oder fehlerhafte Sektoren meldet. Was spricht fsck zum Filesystem auf der Platte?
Was das Backup angeht ist mir schon klar, dass ein Sichern um Mitternacht, wenn also niemand arbeitet, besser wäre. Aber dann fehlt immer ein ganzer Arbeitstag, wenn genau in dieser Nacht was passiert.
Das Problem geöffneter Dateien kann man umgehen, indem man das ganze System auf LVM aufsetzt und dann einen Snapshot sichert. -- Erhard Schwenk Akkordeonjugend Baden-Württemberg - http://www.akkordeonjugend.de k-itx it-dienstleistungen - http://www.k-itx.net
Hi Folks, bin wieder zurück. Vielen Dank für die diversen Hinweise und Tipps. Zu den einzelnen Punkten zu wenig RAM? 1 GB sollten reichen, oder? Es laufen Samba, Squid, cyrsu, Postfix, Cups, ... nun , eben die üblichen Verdächtigen. Es sind in dem WIN-Netz 6 Rechner. Thermische Probleme schließe ich eher aus - aber man kann ja nie wissen ... das Tools zum Sichern der Outlook-Daten -> habe schon davon gehört. Gibt es bei Mickysoft. Aber das war ja nur ein Beispiel. Möglich sind auch Accessdatenbanken, Files/Datenbanken aus DOS-Anwendungen. Liegt alles (File-mäßig) auf dem Server. Backup um 17:00 Uhr wird ja noch beaufsichtigt und kann gegebenenfalls wiederholt werden. LVM muss ich mir mal anschauen. Aber gab es da nicht irgendwelche Probleme? Mir ist so, als ob ich da mal was in der Liste gelesen hätte. Werde mal recherchieren. Hardware testen ... mal sehen, wann ich dazu komme (die arbeiten 7 Tage die Woche von 7 - 22 Uhr :-( Die ganzen Log-Files, die ihr mir genannt habt muss ich mir mal anschauen. U.a. auch, ob es die bei mir überhaupt gibt. Conclusio: Nichts genaues weiß man nicht - und ich habe 'ne Meng zu tun. Trotzdem Danke Timothy P.S: Ach ja, im Server laufen 2 Platten als Soft-RAID 1. Könnte da etwas im argen sein? -- "Es gibt zwei Dinge im Leben, die du nicht zurücknehmen kannst: Den Pfeil den du verschossen und das Wort, das du gesprochen" - altes indianisches Sprichwort
On Fri, Sep 02, 2005 at 10:42:49AM +0200, Erhard Schwenk wrote:
Das Problem geöffneter Dateien kann man umgehen, indem man das ganze System auf LVM aufsetzt und dann einen Snapshot sichert.
Gefaehrlicher Ratschlag bei Backups. Das was dein Snappshot dann wegkopiert muss nicht konsistent sein, wenn das Programm gerade im Schreibzugriff ist. Beim sichern hast du dann kein Problem wegen gelockter Dateien, dein Backup ist aber nicht in besserer Verfassung als wenn du diese Dateien einfach ueberspringst. Snapshots verkuerzen die Zeit, die alle Dienste runtergefahren sein muessen, weil die Snapshot-Erstellung schneller vonstatten geht als das Kopieren der Rohdaten. Um ein Herunterfahren von Programmen kommt man aber nicht umhin. Peter
Am Montag, 26. September 2005 08:32 schrieb Peter Wiersig:
On Fri, Sep 02, 2005 at 10:42:49AM +0200, Erhard Schwenk wrote:
Das Problem geöffneter Dateien kann man umgehen, indem man das ganze System auf LVM aufsetzt und dann einen Snapshot sichert.
Gefaehrlicher Ratschlag bei Backups. Das was dein Snappshot dann wegkopiert muss nicht konsistent sein, wenn das Programm gerade im Schreibzugriff ist.
Beim sichern hast du dann kein Problem wegen gelockter Dateien, dein Backup ist aber nicht in besserer Verfassung als wenn du diese Dateien einfach ueberspringst.
Snapshots verkuerzen die Zeit, die alle Dienste runtergefahren sein muessen, weil die Snapshot-Erstellung schneller vonstatten geht als das Kopieren der Rohdaten. Um ein Herunterfahren von Programmen kommt man aber nicht umhin.
Hi Peter, das ursächliche Problem (Totalabsturz des Rechners) hat sich geklärt. Es ist mit 99% Sicherheit ein thermisches Problem gewesen. Die Problematik mit den inkonsistenten Dateien beschäftigt mich aber auch schon längere Zeit. Mir ist zwar bisher eine Inkonsistenz noch nicht aufgefallen, da ich das Backup noch nie (Toi, toi, toi) benötigt habe. Aber trotzdem... Leider ist die Fa. so klein, dass in eine "vernünftige" Backuplösung (Band, Nachts, automatisch ... was weiß ich) nicht investiert werden wird (uh ... schreckliches Deutsch). Die vorhandenen Backups auf Konsistenz überprüfen ... wie? Alle 10.000 Dateien ... Da bleibt mir nur hoffen und beten :-( Bye Timothy -- "Es gibt zwei Dinge im Leben, die du nicht zurücknehmen kannst: Den Pfeil den du verschossen und das Wort, das du gesprochen" - altes indianisches Sprichwort
Am Montag, 26. September 2005 09:18 schrieb Timothy Kesten:
Am Montag, 26. September 2005 08:32 schrieb Peter Wiersig:
On Fri, Sep 02, 2005 at 10:42:49AM +0200, Erhard Schwenk wrote:
Das Problem geöffneter Dateien kann man umgehen, indem man das ganze System auf LVM aufsetzt und dann einen Snapshot sichert.
Gefaehrlicher Ratschlag bei Backups. Das was dein Snappshot dann wegkopiert muss nicht konsistent sein, wenn das Programm gerade im Schreibzugriff ist.
Beim sichern hast du dann kein Problem wegen gelockter Dateien, dein Backup ist aber nicht in besserer Verfassung als wenn du diese Dateien einfach ueberspringst.
Snapshots verkuerzen die Zeit, die alle Dienste runtergefahren sein muessen, weil die Snapshot-Erstellung schneller vonstatten geht als das Kopieren der Rohdaten. Um ein Herunterfahren von Programmen kommt man aber nicht umhin.
Hi Peter,
das ursächliche Problem (Totalabsturz des Rechners) hat sich geklärt. Es ist mit 99% Sicherheit ein thermisches Problem gewesen. Die Problematik mit den inkonsistenten Dateien beschäftigt mich aber auch schon längere Zeit. Mir ist zwar bisher eine Inkonsistenz noch nicht aufgefallen, da ich das Backup noch nie (Toi, toi, toi) benötigt habe. Aber trotzdem... Leider ist die Fa. so klein, dass in eine "vernünftige" Backuplösung (Band, Nachts, automatisch ... was weiß ich) nicht investiert werden wird (uh ... schreckliches Deutsch). Die vorhandenen Backups auf Konsistenz überprüfen ... wie? Alle 10.000 Dateien ... Da bleibt mir nur hoffen und beten :-(
na das muß nicht sein. md5sum kann da helfen. Einfach von allen Dateien diese berechnen und nach einem Crash überprüfen lassen. Man bekommt so dann alle geänderten Dateien angezeigt. Bye Jürgen -- Dr.rer.nat. Juergen Vollmer, Viktoriastrasse 15, D-76133 Karlsruhe Tel: +49(721) 92 04 87 1 Fax: +49(721) 92 04 87 2 Juergen.Vollmer@informatik-vollmer.de www.informatik-vollmer.de Internet-Telefonie: www.skype.com Benutzer: juergen.vollmer
Dr. Jürgen Vollmer wrote:
Leider ist die Fa. so klein, dass in eine "vernünftige" Backuplösung (Band, Nachts, automatisch ... was weiß ich) nicht investiert werden wird (uh ... schreckliches Deutsch). Die vorhandenen Backups auf Konsistenz überprüfen ... wie? Alle 10.000 Dateien ... Da bleibt mir nur hoffen und beten :-(
na das muß nicht sein. md5sum kann da helfen. Einfach von allen Dateien diese berechnen und nach einem Crash überprüfen lassen. Man bekommt so dann alle geänderten Dateien angezeigt.
Wenn es ein tar-Archiv ist, kann tar auch direkt nach dem Backup vergleichen. Das lässt sich auch automatisieren, um per cron über Nacht gestartet zu werden. Wie sieht das eigentlich mit md5sum aus, bremst das Berechnen denn nicht das Backup stark aus? Sandy
Am Montag, 26. September 2005 10:09 schrieb Sandy Drobic:
Dr. Jürgen Vollmer wrote:
Leider ist die Fa. so klein, dass in eine "vernünftige" Backuplösung (Band, Nachts, automatisch ... was weiß ich) nicht investiert werden wird (uh ... schreckliches Deutsch). Die vorhandenen Backups auf Konsistenz überprüfen ... wie? Alle 10.000 Dateien ... Da bleibt mir nur hoffen und beten :-(
na das muß nicht sein. md5sum kann da helfen. Einfach von allen Dateien diese berechnen und nach einem Crash überprüfen lassen. Man bekommt so dann alle geänderten Dateien angezeigt.
Wenn es ein tar-Archiv ist, kann tar auch direkt nach dem Backup vergleichen. Das lässt sich auch automatisieren, um per cron über Nacht gestartet zu werden.
Wie sieht das eigentlich mit md5sum aus, bremst das Berechnen denn nicht das Backup stark aus?
may be, hängt vom Rechner ab. Ich mach das parallel zum tar, allerdings steckt das Bandlaufwerk in einem andren Rechner, und da bremst dann das Netz usw. aus. Bisher hab das Bandlaufwerk aber immer schön am laufen gesehen. Und wenn schon, ein volles Backup incl. Kontroll-Lesen (tar --compare) dauert sowieso ca. 5 Std. das geht bei mir über Nacht. Bei grösseren Installationen sind da eh' andere Techniken gefragt.... Bye Jürgen -- Dr.rer.nat. Juergen Vollmer, Viktoriastrasse 15, D-76133 Karlsruhe Tel: +49(721) 92 04 87 1 Fax: +49(721) 92 04 87 2 Juergen.Vollmer@informatik-vollmer.de www.informatik-vollmer.de Internet-Telefonie: www.skype.com Benutzer: juergen.vollmer
participants (7)
-
Daniel Lord -
Dr. Jürgen Vollmer -
Erhard Schwenk -
Falk Sauer -
Peter Wiersig -
Sandy Drobic -
Timothy Kesten