Hallo, ich möchte mein System umziehen und dafür alle Dateien sichern. Es sind ca. 8 TB. Ich habe hier ext4 mit 7 Directories. Was wäre die beste Möglichkeit um später wieder alles zu installieren? bzip? tar? Wie lange würde es schätzungsweise bei einem I7-Core dauern? Danke für Informationen. Gruss Bernd

Hallo Bernd, Habe da ein kleines Verständnisproblem: Möchtest Du a) das gesamte Betriebssystem samt allen Nutzerdaten „klonen“ und auf einem anderen Rechner wieder möglichst unverändert zum Laufen bringen? b) Oder „nur“ die Nutzerdaten sichern und auf einem anderen Rechner ins dort bereits vorhandene System einspielen? c) Den vorhandenen Rechner „plattmachen“ und ein neues System installieren? Persönlich halte ich das Einpacken von so vielen Daten in ein einziges Archiv für zeitraubend und potentiell fehleranfällig (eine wirklich groooooße Datei). Ob etwas wie bzip überhaupt viel bringt, ist obendrein fragwürdig. Viele heute übliche Datenformate sind bereits komprimiert und lassen sich kaum verkleinern. Das gilt für verbreitete Audio/Video-Formate, Fotos und auch für Images von z.B. Linux-DVDs. Es kommt halt darauf an, was für Daten Du hast. Wenn es „nur“ um das Sichern von Daten geht (kein Klonen des Systems) ginge das doch sicher sehr leicht mit rsync auf eine (oder mehrere) externe Festplatte(n). Natürlich brauchst Du ohne Kompression den vollen Speicherplatz von 8TB, aber wie gesagt, häufig nützt Kompression wenig. Im Falle b) geht das auch bequem über das Netzwerk. Gruß Kara -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 06.03.2017 17:57, schrieb Kara:

...

Hallo, ich möchte mein System umziehen und dafür alle Dateien sichern. Es sind ca. 8 TB. Ich habe hier ext4 mit 7 Directories. Was wäre die beste Möglichkeit um später wieder alles zu installieren? bzip? tar? Wie lange würde es schätzungsweise bei einem I7-Core dauern? Danke für Informationen. Gruss Bernd

Hallo Bernd,

Habe da ein kleines Verständnisproblem:

Möchtest Du a) das gesamte Betriebssystem samt allen Nutzerdaten „klonen“ und auf einem anderen Rechner wieder möglichst unverändert zum Laufen bringen? b) Oder „nur“ die Nutzerdaten sichern und auf einem anderen Rechner ins dort bereits vorhandene System einspielen? c) Den vorhandenen Rechner „plattmachen“ und ein neues System installieren?

Persönlich halte ich das Einpacken von so vielen Daten in ein einziges Archiv für zeitraubend und potentiell fehleranfällig (eine wirklich groooooße Datei). Ob etwas wie bzip überhaupt viel bringt, ist obendrein fragwürdig. Viele heute übliche Datenformate sind bereits komprimiert und lassen sich kaum verkleinern. Das gilt für verbreitete Audio/Video-Formate, Fotos und auch für Images von z.B. Linux-DVDs. Es kommt halt darauf an, was für Daten Du hast.

Wenn es „nur“ um das Sichern von Daten geht (kein Klonen des Systems) ginge das doch sicher sehr leicht mit rsync auf eine (oder mehrere) externe Festplatte(n). Natürlich brauchst Du ohne Kompression den vollen Speicherplatz von 8TB, aber wie gesagt, häufig nützt Kompression wenig.

Im Falle b) geht das auch bequem über das Netzwerk.

Gruß

Kara Hallo Kara,

ich möchte nur die Nutzerdaten auf einem anderen Rechner bringen. Aber, es sollte keine Spiegelung sein; sondern als komprimierte Dateien mit Verzeichnissen. BSP. Verzeichnis /home/a mit allen Unterverzeichnisse und Dateien aber komprimiert. Grund für die Komprimierung ist der Speicherbedarf. Deshalb auch die Frage, wieviel Speicher werden dabei Erfahrungsgemäss benötigt. Ich weiss, dass bei Video- und Musikdateien die Komprimierung anders ist als bei Textdateien. @Manfred wieso geht denn deine Glaskugel mal wieder nicht? Musst du reparieren! Welchen Fehler zeigt die denn in der Logdatei an? Oder einen Bugreport schreiben. Trotzdem lieben Gruss aus Köln Bernd -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 06.03.2017 um 20:33 schrieb Kara:

Hallo Bernd,

da sehe ich wenig Licht…

Ergebnis einiger flüchtiger Tests:

1.

tar -cjf Archiv.tar.bz /home/Datenordner

wobei /home/Datenordner symbolisch gemeint ist. Sehr langsam. Wirklich langsam. Bzip2 nutzt nur einen CPU-Kern. Kann man das irgendwie ändern? So dauert es wirklich lange. Grausam.

2.

tar -cf Archiv.tar /Datenordner

schnell und unkomprimiert – danach:

Grafische Version des Programms 7-Zip (Windowsprogramm mit Wine gestartet) auf das entstandene Archiv angesetzt. Nutzt alle CPU-Kerne beim Komprimieren mit bzip. Ergebnis: Etwa 35 MB/s. Nicht gerade berauschend (Intel(R) Core(TM) i7-5820K CPU @ 3.30GHz). Ob das an Wine liegt, entzieht sich meiner Kenntnis. Gegenprüfung mangels Windows auf diesem PC nicht möglich. Jedenfalls war es _deutlich_ schneller als bzip2 auf der Konsole.

Für einen längeren Test mit richtig großen Datenmengen fehlt mir jetzt die Geduld – Sorry. Das Ergebnis der Kompression war leider durchweg ernüchternd. Getestet habe ich (wenige) Videos, Musik, eine Linux-DVD und ein wenig Kleinkram. Durchweg behielten die Testarchive mehr als 95% der Größe der Quelldaten. Bei den Videos war der Effekt fast gleich Null. Wenn Deine Daten nicht signifikant anderer Natur sind, wird Kompression Dir wenig bis gar nichts nützen und nur eine Menge Zeit und Strom kosten.

Gruß

Kara

Hallo Kara, du versuchst bereits komprimierte Daten nochmal zu komprimieren. Schätze, du kannst dir jetzt schon denken, daß das ziemlich aussichtslos ist, aber daher kommen auch die "nur" 95%! In Anbetracht dessen, finde ich die immerhin 95% sogar noch ziemlich gut ;-) Gruss Martin -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 06.03.2017 um 19:15 schrieb Bernhard Junk:

Am 06.03.2017 17:57, schrieb Kara:

...

...

Hallo, ich möchte mein System umziehen und dafür alle Dateien sichern. Es sind ca. 8 TB. Ich habe hier ext4 mit 7 Directories. Was wäre die beste Möglichkeit um später wieder alles zu installieren? bzip? tar? Wie lange würde es schätzungsweise bei einem I7-Core dauern? Danke für Informationen. Gruss Bernd

Hallo Bernd,

Habe da ein kleines Verständnisproblem:

Möchtest Du a) das gesamte Betriebssystem samt allen Nutzerdaten „klonen“ und auf einem anderen Rechner wieder möglichst unverändert zum Laufen bringen? b) Oder „nur“ die Nutzerdaten sichern und auf einem anderen Rechner ins dort bereits vorhandene System einspielen? c) Den vorhandenen Rechner „plattmachen“ und ein neues System installieren?

Persönlich halte ich das Einpacken von so vielen Daten in ein einziges Archiv für zeitraubend und potentiell fehleranfällig (eine wirklich groooooße Datei). Ob etwas wie bzip überhaupt viel bringt, ist obendrein fragwürdig. Viele heute übliche Datenformate sind bereits komprimiert und lassen sich kaum verkleinern. Das gilt für verbreitete Audio/Video-Formate, Fotos und auch für Images von z.B. Linux-DVDs. Es kommt halt darauf an, was für Daten Du hast.

Wenn es „nur“ um das Sichern von Daten geht (kein Klonen des Systems) ginge das doch sicher sehr leicht mit rsync auf eine (oder mehrere) externe Festplatte(n). Natürlich brauchst Du ohne Kompression den vollen Speicherplatz von 8TB, aber wie gesagt, häufig nützt Kompression wenig.

Im Falle b) geht das auch bequem über das Netzwerk.

Gruß

Kara Hallo Kara,

ich möchte nur die Nutzerdaten auf einem anderen Rechner bringen. Aber, es sollte keine Spiegelung sein; sondern als komprimierte Dateien mit Verzeichnissen. BSP. Verzeichnis /home/a mit allen Unterverzeichnisse und Dateien aber komprimiert. Grund für die Komprimierung ist der Speicherbedarf. Deshalb auch die Frage, wieviel Speicher werden dabei Erfahrungsgemäss benötigt. Ich weiss, dass bei Video- und Musikdateien die Komprimierung anders ist als bei Textdateien. Video, Audio und bereits komprimierte Archive: Komprimierung gleich 0 Text: gut bis sehr gute Komprimierbarkeit Binaries: mittelmäßig

Aber, da eine Schätzung abgeben halte ich für schier unmöglich, das musst Du schon selber herausfinden Und bzgl. Zeitaufwand, da die Komprimiererei sequentiell abläuft, nützen dir deine vielen Cores leider rein gar nichts, außer Du startest für jedes Verzeichnis gleichzeitig einen Job Aber da spielt dann wieder der Disk I/O eine Rolle, also wieder Glaskugel befragen

@Manfred wieso geht denn deine Glaskugel mal wieder nicht? Musst du reparieren! Welchen Fehler zeigt die denn in der Logdatei an? Oder einen Bugreport schreiben. Die wurde überstrapaziert

Gruß Manfred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 06.03.2017 um 21:21 schrieb Manfred Kreisl:

Aber da spielt dann wieder der Disk I/O eine Rolle, also wieder Glaskugel befragen

...

@Manfred wieso geht denn deine Glaskugel mal wieder nicht? Musst du reparieren! Welchen Fehler zeigt die denn in der Logdatei an? Oder einen Bugreport schreiben. Die wurde überstrapaziert

Gruß Manfred

Oder, aber, seine Glaskugel spricht Standart A und Deine Standart B. Gruß Hugo Egon Maurer -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo Kara,

du versuchst bereits komprimierte Daten nochmal zu komprimieren. Schätze, du kannst dir jetzt schon denken, daß das ziemlich aussichtslos ist, aber daher kommen auch die "nur" 95%! In Anbetracht dessen, finde ich die immerhin 95% sogar noch ziemlich gut ;-)

Gruss Martin

Hallo Martin, das war mir in der Theorie durchaus klar. Doch meine Neugier es praktisch zu sehen ließ mir keine Ruhe, also habe ich es ganz einfach ausprobiert. Die 95% sind sicher schon optimistisch. Es waren im Testordner auch ein paar für Kompression brauchbare Daten (wav zum Beispiel). Heute ist doch so gut wie alles Gängige schon komprimiert. Jpg, mp3 (und ähnliche), mp4 (und ähnliche). Selbst bei ohnehin meist kleinen Office-Dateien wie odt oder pdf kommt nichts mehr raus – die sind auch schon intern verkleinert. Mir fällt wenig ein, wo man noch durch Kompression viel sparen kann. @Bernhard: Wie Christian schon sagte: „Die neue Platte muss das aufnehmen können.“ Kurze Suche im Netz förderte zu Tage, dass auch schon Platten mit 10TB erhältlich sind. Diese sind aber im Preis pro TB bisher überproportional teuer (alles Server-Platten für den 24/7 Betrieb). Festplatten mit 8TB sind für ca. 250€ zu haben. Auch nicht gerade ein Schnäppchen… doch eine Alternative sehe ich leider nicht. Gruß Kara -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 07.03.2017 um 08:28 schrieb Axel Birndt:

Am 06.03.2017 um 20:33 schrieb Kara:

...

1.

tar -cjf Archiv.tar.bz /home/Datenordner

wobei /home/Datenordner symbolisch gemeint ist. Sehr langsam. Wirklich langsam. Bzip2 nutzt nur einen CPU-Kern. Kann man das irgendwie ändern? So dauert es wirklich lange. Grausam.

Ich werfe mal den folgenden Link in die Runde, ohne das jetzt selbst geprüft zu haben:

https://forum.ubuntuusers.de/topic/ubuntu-alle-cpu-kerne-nutzen/

Insofern mal nur als Anregung:

Zitat: " gzip vs pigz

xz vs pxz

7zip vs p7zip

pbzip2 vs bzip2

Eigentlich existieren zu jedem Packer Entspechungen, die mehrere Cores nutzen können."

Sorry noch als Ergänzung, dank google :-) http://stackoverflow.com/questions/12313242/utilizing-multi-core-for-targzip... https://www.heise.de/ix/artikel/Force-Majeure-935147.html -- Gruß/Kind regards Axel ------------------------------ -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org