Thomas Michalka schrieb:

Hallo Fabian,

-------- Original-Nachricht --------

...

Datum: Sun, 29 Mar 2009 12:22:35 +0200 Von: Fabian Ohde An: "opensuse-de@opensuse.org" Betreff: backup rsync

...

ich möchte mein /home/fabian mit rsync auf eine externe (/media/disk/BACKUP/home/fabian) sichern.

Wenn es etwas mehr sein darf und Du heute schon eine Vollsicherung in das Verzeichnis hinter --link-dest durchgeführt hättest (wegen der relativen Pfade mußt Du im richtigen Verzeichnis sein!):

$> rsync -ahhHvWx --stats \ --log-file="2009-03-29---daily.01/home/fabian__2009-03-29__daily.log" \ --link-dest="$PWD/2009-03-11---daily.02/home/fabian" \ /home/fabian/ 2009-03-29---daily.01/home/fabian ^ / am Ende ist wg. d. Fktn. v. --link-dest wichtig (siehe den kürzlichen Thread über rsync)

Nach einer Sicherung in *.daily.01 kann man alle Verzeichnisse *.daily. so umbenennen, daß jedes um eine Stufe hochnummeriert ist, so daß Du mit mkdir -p *.daily.01/home/fabian neu erzeugen kannst. Warum das Ganze? Der Clou daran ist, das nur das erste Backup überhaupt alle Daten physisch auf die Platte schreibt. Bei allen späteren Backups werden für unveränderte Dateien Hardlinks angelegt, was sowohl enorm viel Platz als auch Backup-Zeit spart.

Das ganze mit einem Skript zu automatisieren empfiehlt sich sehr. Dafür braucht es allerdings einige strategische Vorüberlegungen, z.B. "Wieviele Backup-Generationen sollte ich aufbewahren?" und "Welche Sicherungsintervalle sollte es geben (z.B. hourly, daily, weekly, monthly)?"

Viel Spaß beim Ausprobieren!

Tom

also wenn ich das richtig verstanden habe macht er mir inkrementelle Backups?! Und mit mkdir -p *.daily.01/home/fabian + rsync erstellt er mir jeweils einen neuen order mit dem inkrementelle Backup?! kann ich das mkdir -p *.daily.01/home/fabian nur in einem skript benutzen oder gleich mit eingeben. Also gesichert hab ich noch nichts. Ich wollte jetzt gleichmal mit rsync -a anfangen. Gedacht habe ich so das er jeweils beim herunterfahren das backup mache.... -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Hallo Fabian, -------- Original-Nachricht --------

Datum: Sun, 29 Mar 2009 14:25:26 +0200 Von: Fabian Ohde An: "opensuse-de@opensuse.org" Betreff: Re: backup rsync

Thomas Michalka schrieb:

...

Hallo Fabian,

-------- Original-Nachricht --------

...

Datum: Sun, 29 Mar 2009 12:22:35 +0200 Von: Fabian Ohde An: "opensuse-de@opensuse.org" Betreff: backup rsync

...

ich möchte mein /home/fabian mit rsync auf eine externe (/media/disk/BACKUP/home/fabian) sichern.

$> rsync -ahhHvWx --stats \ --log-file="2009-03-29---daily.01/home /fabian__2009-03-29__daily.log" \ --link-dest="$PWD/2009-03-11---daily.02/home/fabian" \ /home/fabian/ 2009-03-29---daily.01/home/fabian

Nach einer Sicherung in *.daily.01 kann man alle Verzeichnisse *.daily. so umbenennen, daß jedes um eine Stufe hochnummeriert ist, so daß Du mit mkdir -p *.daily.01/home/fabian neu erzeugen kannst. Warum das Ganze? Der Clou daran ist, das nur das erste Backup überhaupt alle Daten physisch auf die Platte schreibt. Bei allen späteren Backups werden für unveränderte Dateien Hardlinks angelegt, was sowohl enorm viel Platz als auch Backup-Zeit spart.

also wenn ich das richtig verstanden habe macht er mir inkrementelle Backups?!

Eigentlich differentielle Backups in Bezug auf die Dateien des Vergleichsverzeichnisses, das bei --link-dest angegeben ist. Es gibt auch --compare-dest, das genauso wie --link-dest vergleicht und sichert, nur für die gegenüber dem Vergleichsverzeichnis unveränderten Dateien keine Hardlinks im Backup-Zielverzeichnis anlegt. Übrigens ist es wegen der Hardlinks essentiell, daß sich beide, Vergleichsverzeichnis und Zielverzeichnis im selben Dateisystem befinden. Wenn das Vergleichsverzeichnis leer ist oder nicht existiert, dann sichert rsync alle Dateien des Quellverzeichnisses physisch im Zielverzeichnis. Wenn man so will ist hierbei die Differenz zwischen Quell- und Vergleichsverzeichnis halt das komplette Quellverzeichnis, was automatisch einer Vollsicherung entspricht.

Und mit mkdir -p *.daily.01/home/fabian + rsync erstellt er mir jeweils einen neuen order mit dem inkrementelle Backup?!

Ja, aber statt "+" korrekt ein ";" oder "&&" eintippen. Ersteres trennt Befehle in der Bash voneinander, so daß sie bedingungslos nacheinander ausgeführt werden. Das zweite ist eine logische UND-Verknüpfung, die so wirkt: geht das erste Kommando (mkdir) gut (Rückgabewert 0, Wahrheitswert true), dann braucht die Bash auch das Ergebnis des zweiten Kommandos (rsync) für die Auswertung des Ergebnisses der logischen Verknüpfung, weil bei true && x je nach Wahrheitswert von x immer noch true oder false als Endergebnis herauskommen können. Also wird rsync ausgeführt. Geht dagegen mkdir schief, (Rückgabewert !=0, Wahrheitswert false), dann steht das Ergebnis der logischen UND-Verknüpfung schon fest, und die Bash führt rsync gar nicht mehr aus. Am besten sichest Du immer in eine bestimmte Verzeichnishierarchie. Beispiel: B_BASE="/backup" B_HOST=<FQHN> # Beispielsweise: myhost.mydomain.mytop B_RYTHM="daily" DATE=$(date -I) # Erzeugt z.B. heute 2009-03-30 # Zielverzeichnis für diverse Backups *genau heute* B_DEST=$B_BASE/$B_HOST/$B_RYTHM/$DATE---$B_RYTHM.latest # Zielverzeichnishierarchie ("-p"!) anlegen (für jedes Backup neu!) ! (test -d $B_DEST) && mkdir -p $B_DEST/home/fabian Erzeugt wird also die Hierarchie: /backup/myhost.mydomain.mytop/daily/2009-03-30---daily.latest/home/fabian

kann ich das mkdir -p *.daily.01/home/fabian nur in einem skript benutzen oder gleich mit eingeben.

Kannst Du, wenn Du weißt, daß es das Verzeichnis noch nicht gibt, so eingeben (denk Dir für die Variable $B_DEST einfach die obigen Werte bzw. die erzeugte Hierarchie eingesetzt): $> mkdir -p $B_DEST/home/fabian && rsync <optionen> <quelle> <ziel> Die Aufrufparameter von rsync spare ich mir hier jetzt. Kannst Du ja oben nachsehen. Nach dem Backup solltest Du angefangen mit der höchstnummerierten Backup- Generation (diese löschen; rm -Rf ) alle Generationenverzeichnisse umbenennen (Gen.27 nach Gen.28, Gen.26 nach Gen.27; mv ), bis es kein Gen.01 (ist jetzt Gen.02) mehr gibt. Dann benennst Du das jüngste Backup-Verzeichnis um mit mv <Gen>.latest . Dann gibt es kein "Letztes" mehr, so daß dies vor dem nächsten Backup erzeugt werden muß (siehe Hinweis oben im Bash-Kommentar).

Also gesichert hab ich noch nichts. Ich wollte jetzt gleichmal mit rsync -a anfangen.

Ein gutgemeinter Rat: überhaste nichts, denn schnell ist das Quell- mit dem Zielverzeichnis vertauscht in der Befehlszeile und Deine Daten sind Geschichte (z.B. mit --delete); lies Dir die manpage von rsync gut durch; vielleicht suchst Du die von mir oben benutzten Optionen einmal und liest Dir deren Wirkung besonders gut durch.

Gedacht habe ich so das er jeweils beim herunterfahren das backup mache....

Sicher keine schlechte Idee, falls Du das auch öfters tust und es nicht wichtig ist, wie lange der Rechner dann noch angeschaltet ist. Bei mir dauert ein Voll-Backup von ca. 150 GByte etwas länger als sechs Stunden. Die folgenden differentiellen Sicherungen mit Anlage der Hardlinks ca. 20 Minuten bei täglich einmaligem Sichern. Du könntest dann ein KILL-Skript nach Vorbildern in /etc/init.d/ schreiben, das das Backup automatisch beim Herunterfahren durchführt. Das muß aber rechtzeitig sein, damit z.B. /home noch gemountet ist und erst ausgehängt wird, wenn das Backup und die Rotation der Generationen vollzogen sind. Gruß, Tom -- Psssst! Schon vom neuen GMX MultiMessenger gehört? Der kann`s mit allen: http://www.gmx.net/de/go/multimessenger01 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Fabian Ohde, Donnerstag 02 April 2009:

...

Das ganze mit einem Skript zu automatisieren empfiehlt sich sehr. Dafür braucht es allerdings einige strategische Vorüberlegungen, z.B. "Wieviele Backup-Generationen sollte ich aufbewahren?"

Solche Überlegungen muß man gar nicht unbedingt anstellen. Bei mir heißen die Verzeichnisse, die die Backups enthalten, so: 090331 090401 090402 Für einen neuen Sicherungslauf lösche ich solange das jeweils älteste Verzeichnis, bis der Datenträger genug Platz hat, um das zu backupende Volumen aufzunehmen. Ändert sich viel, bleiben eben weniger Generationen, ändert sich wenig, so bleiben die Generationen lange erhalten. Aktuell sind auf meiner 750er Platte die Sicherungen noch von Dezember drauf. Falls von Interesse kann ich mein Skript auch mal posten. Aber im Prinzip gibt es rsnapshot, das soll ja auch ganz gut funktionieren.

Also eine 1:1 die immer up to date gehalten wird, reicht mir voll. Mit welchen rsync Befehl kann ich solche "diff" synchronisationen fahren?

Schau Dir als erstes rsnapshot an, damit kommt man recht weit. Ich kann auch wie gesagt mein Skript posten, aber das müßtest Du wahrscheinlich anpassen. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Dieter Lukas, Freitag 03 April 2009:

Dein Skript interessiert mich sehr. Bitte schicken.

Here we go: ===schnipp #!/bin/bash # Wohin soll geloggt werden? LOG="/bin/logger -t backup-daily" LOG_FILE="/home/andre/.local/share/Trash/files/$(date +"%y%m%d-%H%M")-backup-daily.log" # Auf welches lokale Ziel soll gebackupt werden? TARGET_LCL="/backup/local" # In welchem Verzeichnis wird das Backup-Medium eingehaengt? # Normalerweise ist dies dasselbe Verzeichnis wie das # lokale Backup-Ziel. # Auf BACKUP_MOUNTPOINT wird geprueft, ob noch genuegend Speicherplatz # zur Verfuegung steht. BACKUP_MOUNTPOINT="$TARGET_LCL" # Welche Verzeichnisse sollen gebackupt werden, welche nicht? DIRS_TO_BACKUP="/home /etc /boot /usr/local" EXCLUDES="/home/*/.beagle" # Binaries... (koennten noch besser definiert werden...) RSYNC="$(which rsync)" DU="$(which du)" ### ### Ab hier keine Variablendefinitionen mehr... ### echo "Now starting daily backup..." | $LOG # Logdatei anlegen und fuer alle lesbar machen: date > $LOG_FILE chmod 644 $LOG_FILE ############################## ### Lokales Backup ### ### ### ############################## # --- Lokale Backup-Partition mounten und die Namen feststellen ---> mount $TARGET_LCL 2>&1 | $LOG # Wir loeschen solange alte Verzeichnisse, bis der verfuegbare # Platz mindestens dem Volumen der Nutzlast entspricht. # Speicherplatzbedarf ermitteln: SPACE_DATA="$($DU -cs $DIRS_TO_BACKUP | tail -1 | awk '{print $1}')" SPACE_BACKUP_FREE="$(df | grep $BACKUP_MOUNTPOINT | awk '{print $4}')" # Jetzt loeschen... 10 MB sollen frei bleiben, sicherheitshalber while test $(($SPACE_DATA + 10000000)) -ge $SPACE_BACKUP_FREE; do echo "wir loeschen jetzt $TARGET_LCL/$(ls -1 $TARGET_LCL | grep -v "\." | head -n 1)" rm -rf "$TARGET_LCL/$(ls -1 $TARGET_LCL | grep -v "\." | head -n 1)" SPACE_BACKUP_FREE="$(df | grep $BACKUP_MOUNTPOINT | awk '{print $4}')" done # Wohin wollen wir die aktuelle Sicherung linken? PRIOR_DIR="$TARGET_LCL/$(ls -1 $TARGET_LCL | grep -v "\." | tail -n 1)" # Das Verzeichnis, in welches dieser Sicherungslauf # geschrieben wird. DEST_DIR="$TARGET_LCL/$(date +"%y%m%d%H%M")" mkdir "$DEST_DIR" # --- Backup auf lokales Backup-Medium ---> for SOURCE_DIR in $DIRS_TO_BACKUP; do echo "Now backing up $SOURCE_DIR to $DESTDIR" | $LOG rsync -axv --delete \ --exclude="$EXCLUDES" --delete-excluded\ --link-dest="$PRIOR_DIR" \ "$SOURCE_DIR" "$DEST_DIR" \ 2>&1 >> $LOG_FILE | $LOG RSYNC_RESULT="$?" echo "After backing up $SOURCE_DIR to $DESTDIR rsync returned $RSYNC_RESULT" | $LOG done umount $TARGET_LCL echo "Daily backup is now exiting." | $LOG exit ===schnapp So, das wars erstmal. Folgendes muß man beachten: In der Zielpartition muß immer mindestens ein Verzeichnis existieren, welches bei einem ls -1 weiter oben einsortiert wird als dasjenige, welches das Skript anlegen will. Das ist normalerweise immer der Fall, wenn man das Skript einfach täglich laufen läßt. Nur beim allerersten Lauf legt man mit mkdir /backup/local/000000 ein solches Dummyverzeichnis an. Gibt es dieses Verzeichnis nicht, so kriegt das Skript Schluckauf. Bitte unbedingt das Skript mal kurz durchgehen. Bei mir läuft es auf einigen Servern einwandfrei seit längerem. Aber die Fehlerbehandlung usw. ist natürlich nicht optimal, wenn irgend ein Binary (rsync zB) fehlt. Außerdem wird nicht geprüft, ob die Nutzlast vielleicht größer ist als die Backup-Partition überhaupt an Platz bietet. Dann geht's natürlich auch in die Hose. Das Skript liegt in /etc/cron.daily, läuft also als root. Bei Rückfragen einfach melden. Und für Verbesserungsvorschläge bin ich natürlich auch offen ;) -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Am Donnerstag 02 April 2009 17:45:11 schrieb Fabian Ohde:

Thomas Michalka schrieb:

...

Hallo Fabian,

-------- Original-Nachricht --------

...

Datum: Sun, 29 Mar 2009 12:22:35 +0200 Von: Fabian Ohde An: "opensuse-de@opensuse.org" Betreff: backup rsync

ich möchte mein /home/fabian mit rsync auf eine externe (/media/disk/BACKUP/home/fabian) sichern.

Wenn es etwas mehr sein darf und Du heute schon eine Vollsicherung in das Verzeichnis hinter --link-dest durchgeführt hättest (wegen der relativen Pfade mußt Du im richtigen Verzeichnis sein!):

$> rsync -ahhHvWx --stats \ --log-file="2009-03-29---daily.01/home/fabian__2009-03-29__daily.log" \ --link-dest="$PWD/2009-03-11---daily.02/home/fabian" \ /home/fabian/ 2009-03-29---daily.01/home/fabian ^ / am Ende ist wg. d. Fktn. v. --link-dest wichtig (siehe den kürzlichen Thread über rsync)

Nach einer Sicherung in *.daily.01 kann man alle Verzeichnisse *.daily. so umbenennen, daß jedes um eine Stufe hochnummeriert ist, so daß Du mit mkdir -p *.daily.01/home/fabian neu erzeugen kannst. Warum das Ganze? Der Clou daran ist, das nur das erste Backup überhaupt alle Daten physisch auf die Platte schreibt. Bei allen späteren Backups werden für unveränderte Dateien Hardlinks angelegt, was sowohl enorm viel Platz als auch Backup-Zeit spart.

Das ganze mit einem Skript zu automatisieren empfiehlt sich sehr. Dafür braucht es allerdings einige strategische Vorüberlegungen, z.B. "Wieviele Backup-Generationen sollte ich aufbewahren?" und "Welche Sicherungsintervalle sollte es geben (z.B. hourly, daily, weekly, monthly)?"

Viel Spaß beim Ausprobieren!

Tom

Also eine 1:1 die immer up to date gehalten wird, reicht mir voll. Mit welchen rsync Befehl kann ich solche "diff" synchronisationen fahren?

warum das Rad noch mals neu erfinden, wie schon frührer im Thread gemailt: http://www.rsnapshot.org/ Bye Jürgen -- Dr.rer.nat. Juergen Vollmer, Viktoriastrasse 15, D-76133 Karlsruhe Tel: +49(721) 92 04 87 1 Fax: +49(721) 92 04 87 2 Juergen.Vollmer@informatik-vollmer.de www.informatik-vollmer.de Internet-Telefonie: www.skype.com Benutzer: juergen.vollmer

Thomas Michalka schrieb:

-------- Original-Nachricht --------

...

Datum: Thu, 2 Apr 2009 22:26:00 +0200 Von: "Dr. Jürgen Vollmer" An: opensuse-de@opensuse.org Betreff: Re: backup rsync

...

Am Donnerstag 02 April 2009 17:45:11 schrieb Fabian Ohde:

...

Thomas Michalka schrieb:

...

Hallo Fabian, [...]

Also eine 1:1 die immer up to date gehalten wird, reicht mir voll. Mit welchen rsync Befehl kann ich solche "diff" synchronisationen fahren?

Also, mehr als eine komplette Komandozeile und eine Erläuterung des Prinzips der Rotation von mehreren Backup-Generationen kann ich Dir in diesem Rahmen nicht hinschreiben. Ein bißchen mußt Du schon selber tun: Du solltest erstmal die Manpage (man rsync) lesen, die wirklich hervorragend ist. Wenn Du noch mehr Hintergrund willst, dann melde Dich per PM, und Du bekommst eine kleine Fundstellensammlung, die auch noch weitere, hier nicht angesprochene Aspekte (z.B. Sicherheit, Privatsphäre) abdeckt.

...

warum das Rad noch mals neu erfinden, wie schon frührer im Thread gemailt:

http://www.rsnapshot.org/

Ist schon klar, rsnapshot benutzt ja auch rsync, aber meine Schilderung des Prinzips sollte dieses verständlich machen, und ich hoffe, das hat es. Es kann m.E. nicht schaden, wenn man ein bißchen unter die Motorhaube schaut. Übrigens: nachdem ich vor einiger Zeit unter die Motorhaube von rsnapshot mithilfe seiner Manpage geschaut habe, habe ich mich für ein eigenes Backup-Skript mit rsync und ssh entschlossen. Rsnapshot macht einige Dinge, die ich so nicht wollte und die nicht umkonfigurierbar waren. Vieles macht rsnapshot einfacher, weil man sich nicht mehr eigens darum kümmern (aber doch konfigurieren) muß, aber das Mehr an Automatismus bzw. Featurismus macht es in bestimmten Aspekten auch weniger flexibel bzw. universell.

Das gute an solchen Dikussionen auf einer ML: der Hilfesuchende bekommt keinen Einheitsbrei serviert, sondern kann verschiedene Sichtweisen kennenlernen und für sich gegeneinander abwägen.

Ciao, Tom

hallo erstmal mach ich die Backups manuell.... mit " rsync -avb --delete /home/fabian/ /media/Backup/backup/home/fabian/ ". Das funktioniert soweit auch. Nur kann er trotz *Root Rechten*, überflüssige Ordner im Ziel (/media/Backup/backup/home/fabian/) nicht löschen... Was kann ich da machen? gruß fabian -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Andre Tann schrieb:

Hallo Fabian,

Fabian Ohde, Montag 13 April 2009:

...

erstmal mach ich die Backups manuell.... mit " rsync -avb --delete /home/fabian/ /media/Backup/backup/home/fabian/ ". Das funktioniert soweit auch. Nur kann er trotz *Root Rechten*, überflüssige Ordner im Ziel (/media/Backup/backup/home/fabian/) nicht löschen... Was kann ich da machen?

Du rufst rsync also als root auf, richtig?

Wenn rsync IO-Errors feststellt, dann löscht es nichts mehr:

If the sending side detects any I/O errors, then the deletion of any files at the destination will be automatically disabled. This is to prevent temporary filesystem failures (such as NFS errors) on the sending side causing a massive deletion of files on the destination.

Gibts vielleicht solche Fehler bei Dir?

also während er durchläuft kommt: /cannot delete non-empty directory: <Verzeichnis>/ die zusammenfassung zum schluss "/sent 5352120765 bytes received 16281 bytes 14291420.68 bytes/sec total size is 502598828752 speedup is 93.91 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1040) [sender=3.0.4]/ " -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org