rsnapshot und hardlinks auf dem zu sichernden Medium
Hallo, dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_, ist mir seit langem bekannt. Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen, hardlinks erstellen und fertig. Die reinen Daten nehmen auf der HDD 50 GB ein auf dem Rechner werden mir aber 80 GB angezeigt. So weit, so gut. Dasselbe mit Videos, die noch viel mehr Platz wegnehmen würden. Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum Platzsparen für sich selbst verwenden, sondern auch andere hardlinks erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand dann heraus, dass rsnapshot die von mir hard verlinkten Dateien doppelt oder dreifach speichert. Innerhalb der Sicherungen legt er zwar wieder hardlinks an; aber auf der Original-HDD vorhandene hardlinks ignoriert rsnapshot beharrlich. Natürlich habe ich im www schon nachgesehen, ob es dazu etwas gibt. Aber entweder stelle ich mich zum Suchen zu dumm an oder es geht nicht. Auch in /etc/rsnapshot.conf habe ich nichts gefunden, was darauf hinweisen würde. Daher frage ich mal in der Liste, ob man rsnapshot dazu bringen kann, bereits vorhandene hardlinks auf dem zu sichernden Medium 1:1 in die Sicherung zu übernehmen? Falls ja, wie? Das würde ja abermals Platz sparen. Gruß und Dank fürs Mitdenken Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Hallo Alex, Am 21.06.2014 17:59, schrieb Alex Winzer:
Hallo,
[...]
Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum Platzsparen für sich selbst verwenden, sondern auch andere hardlinks erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand dann heraus, dass rsnapshot die von mir hard verlinkten Dateien doppelt oder dreifach speichert. Innerhalb der Sicherungen legt er zwar wieder hardlinks an; aber auf der Original-HDD vorhandene hardlinks ignoriert rsnapshot beharrlich. Natürlich habe ich im www schon nachgesehen, ob es dazu etwas gibt. Aber entweder stelle ich mich zum Suchen zu dumm an oder es geht nicht. Auch in /etc/rsnapshot.conf habe ich nichts gefunden, was darauf hinweisen würde.
Daher frage ich mal in der Liste, ob man rsnapshot dazu bringen kann, bereits vorhandene hardlinks auf dem zu sichernden Medium 1:1 in die Sicherung zu übernehmen? Falls ja, wie? Überprüfe mal in der rsnapshot.conf, ob das -H Flag bei rsync_short_args gesetzt ist. So wie ich das lese sollte das aber Default sein. Falls es gesetzt ist, weiß ich leider auch nicht weiter
Gruß Manfred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Hallo Alex, On 21. Juni 2014 17:59:32 MESZ, Alex Winzer <alex.e-mail@gmx.de> wrote:
Hallo,
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_, ist mir seit langem bekannt. ... Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum Platzsparen für sich selbst verwenden, sondern auch andere hardlinks erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand ...
Daher frage ich mal in der Liste, ob man rsnapshot dazu bringen kann, bereits vorhandene hardlinks auf dem zu sichernden Medium 1:1 in die Sicherung zu übernehmen? Falls ja, wie? Das würde ja abermals Platz sparen.
Gruß und Dank fürs Mitdenken
Alex Mit rsnapshot habe ich das noch nicht probiert - mit rsync und der Option -link-dest (oder so ähnlich) geht das problemlos.
Gruß Martin -- Diese Nachricht wurde von meinem Android-Mobiltelefon mit K-9 Mail gesendet. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Am Sat, 21 Jun 2014 17:59:32 +0200 schrieb Alex Winzer <alex.e-mail@gmx.de>:
Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum Platzsparen für sich selbst verwenden, sondern auch andere hardlinks erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand dann heraus, dass rsnapshot die von mir hard verlinkten Dateien doppelt oder dreifach speichert.
Ich kenne rsnapshot nicht, aber ich denke, dass dies ein prinzipielles Problem von hardlinks ist: Nach Erstellung eines hardlink hast Du zwei Verzeichniseinträge, die auf dieselbe Datei zeigen und die beiden sind "gleichberechtigt", man kann also nach Erstellung eines hardlink nicht mehr unterscheiden, welches der ursprüngliche und welches der hardlink-Eintrag ist. Das rsnapshot seine eigenen hardlinks erkennt, wie Du anführst, lässt vermuten, dass es eine Tabelle seiner selbsterstellten hardlinks mitführt. Andernfalls müsste es dasselbe Problem haben. -- Mit freundlichen Grüßen, Tobias Crefeld. Vogelweide 2a D-85375 Neufahrn bei Freising Tel.: +49-8165-61249 xmpp (no email): crefeld@xabber.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Am 21. Juni 2014 22:13 schrieb Tobias Crefeld <tclx@klekih-petra.de>:
Ich kenne rsnapshot nicht, aber ich denke, dass dies ein prinzipielles Problem von hardlinks ist: Nach Erstellung eines hardlink hast Du zwei Verzeichniseinträge, die auf dieselbe Datei zeigen und die beiden sind "gleichberechtigt", man kann also nach Erstellung eines hardlink nicht mehr unterscheiden, welches der ursprüngliche und welches der hardlink-Eintrag ist.
Das macht alles rsync. Und die man-page sagt: "Note that rsync can only detect hard links between files that are inside the transfer set. If rsync updates a file that has extra hard-link connections to files outside the transfer, that linkage will be broken." Von daher wird's mit Hardlinks prinzipiell nicht funktionieren, fürchte ich. Gruß Martin -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Hallo Alex, On Saturday 21 June 2014 17:59:32 Alex Winzer wrote:
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_, ist mir seit langem bekannt. Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen, hardlinks erstellen und fertig.
Leider habe ich keine Hilfe bei deinem Problem, aber eine Frage. Benutzt du gezielt Hard- statt Soft-Links dafür und wenn ja, warum? Gruß mararm -- Thank God I'm an atheist. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Hallo, On 24.06.2014 19:06, mararm wrote:
Hallo Alex,
On Saturday 21 June 2014 17:59:32 Alex Winzer wrote:
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_, ist mir seit langem bekannt. Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen, hardlinks erstellen und fertig.
Danke zunächst erstmal für Eure zahlreichen Hinweise. Dass rsync symlinks grundsätzlich übertragen kann, war/ist mir bekannt. Ich nutze das bereits für mein 12stündliches Backup an eine anderen Standort. Und soweit ich das sehe führt rsnapshot auch keine Liste der hardlinks, sondern prüft die Dateien "einfach" der Reihe nach durch und wenn es Identität feststellt, wird ein Hardlink erstellt. Leider hatte ich dieses Wochenende kein Vollbackup gemacht. Ich werde aber - hoffentlich - nächstes Wochende mal mein Glück mit dem Schalter -H bei rsync_short_args probieren und dann berichten. Ich frage mich auch schon seit längerem, wie rsnapshot die Identität prüft. Bei meinen Backups per rsync benutze ich den Schalter -c bzw. --checksum, damit explizit nicht nur Datum etc. geprüft wird, sondern der gesamte Inhalt.
Leider habe ich keine Hilfe bei deinem Problem, aber eine Frage. Benutzt du gezielt Hard- statt Soft-Links dafür und wenn ja, warum?
Die entsprechenden Partitionen sind sämtlichst mittels samba als Fileserver freigegeben. Die Benutzer dürfen und sollen auch bestimmte Dateien, Verzeichnisse etc. umbenennen. In der Vergangenheit hatte ich es tatsächlich mit symlinks probiert. Wenn aber z.B. jemand den Namen eines Originalverzeichnisses ändert, ist der gesamte Inhalt des/der darauf verweisenden symlinks plötzlich verschwunden. Und samba zeigt die "defekten" symlinks - anders als auf dem System direkt - auch nicht mehr an, so dass man stutzig werden könnte, sondern sie gänzlich unsichtbar und manchmal merkt man später erst, dass etwas nicht stimmt. Hardlinks kann ich problemlos umbenennen, denn es gibt kein Original und keinen "Zeiger". Nur ein weiterer Vorteil ist, dass beim Löschen die andere Datei erhalten bleibt. Mir würden sicher noch mehr Gründe einfallen, was hier aber auch nicht das Thema ist. Dass rsnapshot symlinks als solche sichert und damit Platz spart, ist mir bekannt. Diese Variante scheidet aber aus den genannten Gründen aus. Gruß, Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Hallo, On 25.06.2014 09:51, Alex Winzer wrote:
On 24.06.2014 19:06, mararm wrote:
On Saturday 21 June 2014 17:59:32 Alex Winzer wrote:
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_, ist mir seit langem bekannt. Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen, hardlinks erstellen und fertig.
Danke zunächst erstmal für Eure zahlreichen Hinweise.
Dass rsync symlinks grundsätzlich übertragen kann, war/ist mir bekannt. Ich nutze das bereits für mein 12stündliches Backup an eine anderen Standort. Und soweit ich das sehe führt rsnapshot auch keine Liste der hardlinks, sondern prüft die Dateien "einfach" der Reihe nach durch und wenn es Identität feststellt, wird ein Hardlink erstellt.
Leider hatte ich dieses Wochenende kein Vollbackup gemacht. Ich werde aber - hoffentlich - nächstes Wochende mal mein Glück mit dem Schalter -H bei rsync_short_args probieren und dann berichten. Ich frage mich auch schon seit längerem, wie rsnapshot die Identität prüft. Bei meinen Backups per rsync benutze ich den Schalter -c bzw. --checksum, damit explizit nicht nur Datum etc. geprüft wird, sondern der gesamte Inhalt.
Heute konnte ich es probieren. Leider hat es nicht geklappt. Folgende Fehlermeldung(en) kommt: [29/Jun/2014:18:01:31] /usr/bin/rsync -Hv --delete --numeric-ids --relative --delete-excluded --link-dest=/mnt/backup/weekly.1/.snapsh ots/ /srv /mnt/backup/weekly.0/.snapshots/ [29/Jun/2014:18:01:31] /usr/bin/rsnapshot weekly: ERROR: /usr/bin/rsync syntax or usage error. Does this version of rsync support --li nk-dest? Das geht schon einmal nicht. Leider kann ich das Backup heute nicht nochmal fahren. Mein Kollege mault schon rum, wegen der offline Zeit ABER: Ich habe gesehen, dass als Parameter folgendes mitgegeben wird: [25/Aug/2013:12:53:14] /usr/bin/rsync -av --delete --numeric-ids --relative --delete-excluded --link-dest=/mnt/backup/weekly.1/.snapsh ots/ /opt /mnt/backup/weekly.0/.snapshots/ Es fehlt also das -a. Ob es wirklich daran liegt, kann ich also leider erst nächste Woche probieren und werde dann der Vollständigkeit halber wieder berichten.
Leider habe ich keine Hilfe bei deinem Problem, aber eine Frage. Benutzt du gezielt Hard- statt Soft-Links dafür und wenn ja, warum?
[...]
Dass rsnapshot symlinks als solche sichert und damit Platz spart, ist mir bekannt. Diese Variante scheidet aber aus den genannten Gründen aus.
Ich habe natürlich weiter gesucht. rsnapshot scheint irgendwie mit samba zu tun tu haben. Wie auch immer gibt es jedenfalls seit mehr als 2 Jahren einen Request für genau die von mir gewünschte Funktion. Es steht immer noch auf open. Gruß, Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Hallo, On 29.06.2014 20:07, Alex Winzer wrote:
On 25.06.2014 09:51, Alex Winzer wrote:
On 24.06.2014 19:06, mararm wrote:
On Saturday 21 June 2014 17:59:32 Alex Winzer wrote:
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_, ist mir seit langem bekannt. Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen, hardlinks erstellen und fertig.
Danke zunächst erstmal für Eure zahlreichen Hinweise.
[...] Wie versprochen, hier nun das Update: Der Schalter -H hat mich auf die richtige Fährte geführt. /etc/rsnapshot.conf sieht so aus: # Default rsync args. All rsync commands have at least these options set. # #rsync_short_args -a #rsync_long_args --delete --numeric-ids --relative --delete-excluded
Da muss man auch erstmal darauf kommen, dass man das -a mit setzen muss, damit es klappt. Ich hätte erwartet, dass das rsnapshot von allein macht. Mit folgendem setting habe ich jetzt rsnapshot beigebracht aus 82 GB noch 61 GB zu machen bzw. zu nutzen: rsync_short_args -aH Ich freu mich! Danke für Eure Hinweise. Gruß, Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
participants (6)
-
Alex Winzer -
Manfred Kreisl -
mararm -
Martin Hofius -
Martin Schröder -
Tobias Crefeld