deduplizieren mit Linux
Hallo, kennt jemand eine freie Lösung um dedupliziert zu sichern? Ich habe zwar ein Script zur Hand das mittels Links einiges leisten kann aber ggf. gibt es ja Alternativen. Gruß Ralf Prengel Manager Customer Care Comline AG Hauert 8 D-44227 Dortmund/Germany Fon +49 231 97575 904 Fax +49 231 97575 257 Mobil +49 151 10831 157 EMail Ralf.Prengel@comline.de www.comline.de Vorstand Stephan Schilling, Erwin Leonhardi Aufsichtsrat Dr. Franz Schoser (Vorsitzender) HR Dortmund B 14570 USt.-ID-Nr. DE 124727422 Für die Erstellung unserer Dokumente benutzen wir die Produkte aus dem Microsoft Office 2007 Paket. Sollte sich ein Anhang in der Mail befinden, der mit einer älteren Office Version nicht geöffnet werden kann, installieren Sie bitte das Compatibility Pack für Office 2007. http://www.microsoft.com/downloads/details.aspx?FamilyID=941b3470-3ae9-4aee-8f43-c6bb74cd1466&DisplayLang=de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo, 06.05.2010 10:10, prengel wrote:
Hallo,
kennt jemand eine freie Lösung um dedupliziert zu sichern?
Ich kenne da vor allem BackupPC. Problem: Sehr viele Hardlinks, das kann ab einem gewissen Punkt fsck's unmöglich machen, und ein Backup das prinzipbedingt irgendwann nicht mehr zu prüfen ist halte ich für problematisch. Ansonsten mal http://www.nexenta.com/corp/blog/2010/02/19/vtl-for-zfs-based-zvols-cool-and... ansehen. Kenne ich selber noch nicht.
Ich habe zwar ein Script zur Hand das mittels Links einiges leisten kann aber ggf. gibt es ja Alternativen.
Dazu müsste man natürlich erstmal wissen was eigentlich dedupliziert werden soll - ich kenn' mich praktisch nur mit Backups aus :-) Arno
Gruß Ralf Prengel Manager Customer Care Comline AG Hauert 8 D-44227 Dortmund/Germany
Fon +49 231 97575 904 Fax +49 231 97575 257 Mobil +49 151 10831 157 EMail Ralf.Prengel@comline.de
www.comline.de Vorstand Stephan Schilling, Erwin Leonhardi Aufsichtsrat Dr. Franz Schoser (Vorsitzender) HR Dortmund B 14570 USt.-ID-Nr. DE 124727422
Für die Erstellung unserer Dokumente benutzen wir die Produkte aus dem Microsoft Office 2007 Paket. Sollte sich ein Anhang in der Mail befinden, der mit einer älteren Office Version nicht geöffnet werden kann, installieren Sie bitte das Compatibility Pack für Office 2007. http://www.microsoft.com/downloads/details.aspx?FamilyID=941b3470-3ae9-4aee-8f43-c6bb74cd1466&DisplayLang=de
-- Arno Lehmann IT-Service Lehmann Sandstr. 6, 49080 Osnabrück www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am 06.05.2010 11:25, schrieb Arno Lehmann:
Hallo,
06.05.2010 10:10, prengel wrote:
Hallo,
kennt jemand eine freie Lösung um dedupliziert zu sichern?
Ich kenne da vor allem BackupPC. Problem: Sehr viele Hardlinks, das kann ab einem gewissen Punkt fsck's unmöglich machen, und ein Backup das prinzipbedingt irgendwann nicht mehr zu prüfen ist halte ich für problematisch.
Yeap, mit so einem Ansatz bin ich auch schon in schwere See geraten. Daher die Suche nach einem anderen Ansatz. gruß Ralf Prengel Manager Customer Care Comline AG Hauert 8 D-44227 Dortmund/Germany Fon +49 231 97575 904 Fax +49 231 97575 257 Mobil +49 151 10831 157 EMail Ralf.Prengel@comline.de www.comline.de Vorstand Stephan Schilling, Erwin Leonhardi Aufsichtsrat Dr. Franz Schoser (Vorsitzender) HR Dortmund B 14570 USt.-ID-Nr. DE 124727422 Für die Erstellung unserer Dokumente benutzen wir die Produkte aus dem Microsoft Office 2007 Paket. Sollte sich ein Anhang in der Mail befinden, der mit einer älteren Office Version nicht geöffnet werden kann, installieren Sie bitte das Compatibility Pack für Office 2007. http://www.microsoft.com/downloads/details.aspx?FamilyID=941b3470-3ae9-4aee-8f43-c6bb74cd1466&DisplayLang=de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Arno Lehmann, Donnerstag 06 Mai 2010:
Ich kenne da vor allem BackupPC. Problem: Sehr viele Hardlinks, das kann ab einem gewissen Punkt fsck's unmöglich machen, und ein Backup das prinzipbedingt irgendwann nicht mehr zu prüfen ist halte ich für problematisch.
-v bitte - worin besteht das Problem? Ich fahre da nämlich seit einiger (längerer) Zeit Backups, die im Prinzip genau wie rsnapshot funktionieren, und bin dabei noch nie in Schwierigkeiten gekommen. Die letzte Maschine läuft allerdings mit einer Unzahl von kleinen Dateien, Sicherungsziel ist eine 2-TB-Platte, also ein riesiges Filesystem, welches lange nicht vollaufen wird. Da wird also mit der Zeit eine große Menge an Hardlinks entstehen. Dateisystem ist xfs. Schwierigkeiten hatte ich bislang noch nie. Daher mein Interesse. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hi, 06.05.2010 12:36, Andre Tann wrote:
Arno Lehmann, Donnerstag 06 Mai 2010:
Ich kenne da vor allem BackupPC. Problem: Sehr viele Hardlinks, das kann ab einem gewissen Punkt fsck's unmöglich machen, und ein Backup das prinzipbedingt irgendwann nicht mehr zu prüfen ist halte ich für problematisch.
-v bitte - worin besteht das Problem? Ich fahre da nämlich seit einiger (längerer) Zeit Backups, die im Prinzip genau wie rsnapshot funktionieren, und bin dabei noch nie in Schwierigkeiten gekommen.
Die letzte Maschine läuft allerdings mit einer Unzahl von kleinen Dateien, Sicherungsziel ist eine 2-TB-Platte, also ein riesiges Filesystem, welches lange nicht vollaufen wird. Da wird also mit der Zeit eine große Menge an Hardlinks entstehen.
Ich zitiere mal aus http://thunk.org/tytso/blog/2009/01/12/wanted-incremental-backup-solutions-t... "For example, in one very extreme case, a user reported to me that their backup filesystem contained 88 million inodes, of which 77 million of them were directories. Even if we assume that every directory was only a single block long, that still means that during e2fsck’s pass 2 processing, 77 million times 4k, or 308 gigabytes, worth of directory blocks must be read into memory by e2fsck’s pass 2." Der Autor ist wohl kompetent das Problem zu beurteilen :-)
Dateisystem ist xfs. Schwierigkeiten hatte ich bislang noch nie.
XFS mag sich im Detail beim fsck anders verhalten, aber das zu Grunde liegende Problem bleibt bestehen: Es muss im Zweifelsfall der gesamte Bestand an Dateinamen mit allen Verzeichnissen abgeglichen werden um falsche inode-counts zu finden und korrigieren zu können. Entsprechend schildert z.B. http://www.ureader.de/msg/125915926.aspx wohl genau das Problem. (Nur kurz mit google gesucht; der Bericht ist nicht besonders neu.)
Daher mein Interesse.
Aber gerne... und natürlich noch meine Empfehlung: Backups mit Bacula machen. Aber sehr grosse Hardlink-Anzahlen machen da auch Probleme... Arno -- Arno Lehmann IT-Service Lehmann Sandstr. 6, 49080 Osnabrück www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
prengel wrote:
kennt jemand eine freie Lösung um dedupliziert zu sichern? Ich habe zwar ein Script zur Hand das mittels Links einiges leisten kann aber ggf. gibt es ja Alternativen.
Verstehe ich Dich? "Deduplizieren" meint, dass Dateien nicht doppelt gesichert werden? Sprich ein Backup, dass nur inkrementell sichert und trotzdem immer den vollen Datenbestand liefert? Du sucht rsnapshot. Oder ich habe Dich nicht verstanden. Gruß Jan -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am 06.05.2010 11:27, schrieb Jan Handwerker:
prengel wrote:
kennt jemand eine freie Lösung um dedupliziert zu sichern? Ich habe zwar ein Script zur Hand das mittels Links einiges leisten kann aber ggf. gibt es ja Alternativen.
Verstehe ich Dich? "Deduplizieren" meint, dass Dateien nicht doppelt gesichert werden? Sprich ein Backup, dass nur inkrementell sichert und trotzdem immer den vollen Datenbestand liefert?
Du sucht rsnapshot.
Hardlinks führen ab einer gewissen Menge zu Problemen im Filesystem. Gruß Ralf Prengel Manager Customer Care Comline AG Hauert 8 D-44227 Dortmund/Germany Fon +49 231 97575 904 Fax +49 231 97575 257 Mobil +49 151 10831 157 EMail Ralf.Prengel@comline.de www.comline.de Vorstand Stephan Schilling, Erwin Leonhardi Aufsichtsrat Dr. Franz Schoser (Vorsitzender) HR Dortmund B 14570 USt.-ID-Nr. DE 124727422 Für die Erstellung unserer Dokumente benutzen wir die Produkte aus dem Microsoft Office 2007 Paket. Sollte sich ein Anhang in der Mail befinden, der mit einer älteren Office Version nicht geöffnet werden kann, installieren Sie bitte das Compatibility Pack für Office 2007. http://www.microsoft.com/downloads/details.aspx?FamilyID=941b3470-3ae9-4aee-8f43-c6bb74cd1466&DisplayLang=de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Ralph, Am Donnerstag 06 Mai 2010 10:10:58 schrieb prengel:
kennt jemand eine freie Lösung um dedupliziert zu sichern?
Backup oder.
Ich habe zwar ein Script zur Hand das mittels Links einiges leisten kann aber ggf. gibt es ja Alternativen.
dirvish leistet bei mir seit Jahren gute Dienste. Verwendet rsync und legt für jede Sicherung eine Verzeichnisstruktur an. Die Dateien in der neuen Struktur sind Hardlinks auf ältere. Einfach zu konfigurieren und läuft wie Lieschen Müller es erwartet. http://www.dirvish.org/ Gruß Heiner -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Ralf, Am Thursday 06 May 2010 10:10:58 schrieb prengel:
Hallo,
kennt jemand eine freie Lösung um dedupliziert zu sichern? Ich habe zwar ein Script zur Hand das mittels Links einiges leisten kann aber ggf. gibt es ja Alternativen.
Suchst du so etwas? http://www.lessfs.com/wordpress/ Google spuckt da ne menge Zeugs aus. Gruß Frank -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo zusammen, prengel prengel meinte am Donnerstag, den 06.05.2010 um 10:10 Uhr wegen:deduplizieren mit Linux
kennt jemand eine freie Lösung um dedupliziert zu sichern? Ich habe zwar ein Script zur Hand das mittels Links einiges leisten kann aber ggf. gibt es ja Alternativen.
meinst Du rsync? http://rsync.samba.org/ oder unison http://linuxwiki.de/unison -- Beste Grüße Christian -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (7)
-
Andre Tann -
Arno Lehmann -
Christian Meseberg -
Frank Babies -
Heiner Kuhlmann -
Jan Handwerker -
prengel