Hat tar bzw. ext3 evtl. Probleme mit wirklich GROSSEN Dateien?
Hallo Liste, ich habe ein Backup meines SuSE 9.3-Systems und versuche das gerade in's frisch aufgesetzte 10.3 einzuspielen. Leider habe ich Ärger mit einem meiner Backups. Es handelt sich um ein übergroßes tar.bz2-Archiv, welches bei der Erstellung mit split auf 9 CD-gerechte 700MB-Brocken zerschnipselt wurde. Durch Vereinigung der Dateien mit cat erstellte ich nun eine fast 7 GB große Datei. Beim Versuch, diese tar.bz2-Datei mit "tar xjvf" zu entpacken kommt nach vermutlich ca. 2-3GB (kann nicht genau sagen, an welcher Stelle dies wirklich auftritt, diese Angabe ist eher gefühlsmäßig) die Meldung, dass das Archiv korrupt sei... Kann es sein, dass mir hier mein Filesystem einen Streich spielt, oder muss ich davon ausgehen, dass schon bei der Erstellung des Archivs etwas schief gegangen ist? Das benutzte Filesystem auf beiden Rechnern war ext3. Zwischendurch wurden die CD-gerechten Einzelteile auf SMB- bzw. CIFS-Shares gelagert. Marko
Marko Käning wrote:
Hallo Liste,
ich habe ein Backup meines SuSE 9.3-Systems und versuche das gerade in's frisch aufgesetzte 10.3 einzuspielen. Leider habe ich Ärger mit einem meiner Backups.
Es handelt sich um ein übergroßes tar.bz2-Archiv, welches bei der Erstellung mit split auf 9 CD-gerechte 700MB-Brocken zerschnipselt wurde. Durch Vereinigung der Dateien mit cat erstellte ich nun eine fast 7 GB große Datei.
Beim Versuch, diese tar.bz2-Datei mit "tar xjvf" zu entpacken kommt nach vermutlich ca. 2-3GB (kann nicht genau sagen, an welcher Stelle dies wirklich auftritt, diese Angabe ist eher gefühlsmäßig) die Meldung, dass das Archiv korrupt sei...
Kann es sein, dass mir hier mein Filesystem einen Streich spielt, oder muss ich davon ausgehen, dass schon bei der Erstellung des Archivs etwas schief gegangen ist?
http://suse-linux-faq.koehntopp.de/q/q-backup-nicht_targz.html -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am Donnerstag, 10. Juli 2008 11:52:03 schrieb Sandy Drobic:
Marko Käning wrote:
Hallo Liste,
ich habe ein Backup meines SuSE 9.3-Systems und versuche das gerade in's frisch aufgesetzte 10.3 einzuspielen. Leider habe ich Ärger mit einem meiner Backups.
Es handelt sich um ein übergroßes tar.bz2-Archiv, welches bei der Erstellung mit split auf 9 CD-gerechte 700MB-Brocken zerschnipselt wurde. Durch Vereinigung der Dateien mit cat erstellte ich nun eine fast 7 GB große Datei.
Beim Versuch, diese tar.bz2-Datei mit "tar xjvf" zu entpacken kommt nach vermutlich ca. 2-3GB (kann nicht genau sagen, an welcher Stelle dies wirklich auftritt, diese Angabe ist eher gefühlsmäßig) die Meldung, dass das Archiv korrupt sei...
Kann es sein, dass mir hier mein Filesystem einen Streich spielt, oder muss ich davon ausgehen, dass schon bei der Erstellung des Archivs etwas schief gegangen ist?
http://suse-linux-faq.koehntopp.de/q/q-backup-nicht_targz.html
hinterher ist man immer schlauer :-) deshalb beim nächstenmal split-tar http://www.informatik-vollmer.de/software/split-tar.html benutzen Splits a large tar archive into a set of smaller ones. Creates a set of tar archives direct from the files and directories. Die entstehenden Dateien sind "selbständige" Tar-(gz)-Archive, d.h. wenn eines kaputt geht, kann man die anderen immer noch auspacken. Bye Jürgen -- Dr.rer.nat. Juergen Vollmer, Viktoriastrasse 15, D-76133 Karlsruhe Tel: +49(721) 92 04 87 1 Fax: +49(721) 92 04 87 2 Juergen.Vollmer@informatik-vollmer.de www.informatik-vollmer.de Internet-Telefonie: www.skype.com Benutzer: juergen.vollmer
http://suse-linux-faq.koehntopp.de/q/q-backup-nicht_targz.html Schnief, die FAQ inklusive dieses Punktes kenn ich schon...
hinterher ist man immer schlauer :-) Genau! :(
deshalb beim nächstenmal split-tar http://www.informatik-vollmer.de/software/split-tar.html benutzen Gut zu wissen...
Die entstehenden Dateien sind "selbständige" Tar-(gz)-Archive, d.h. wenn eines kaputt geht, kann man die anderen immer noch auspacken. Genau aus diesem Grund nutze ich privat und jetzt auch dienstlich storeBackup. (Habe aber offenbar ein paar kleine Probleme wg. meiner umlaut- und Sonderzeichenlastigen Pfadnamen, weshalb ich wohl auch noch rsnapshot ausprobieren werde.)
Mir ist trotzdem nicht klar, warum mein Archiv nach ca. 2-3 GB nicht mehr verarbeitbar ist. Ich habe nämlich *ZWEI* alte Backups, die ungefähr an der gleichen Stelle die Hufe hochreißen... Hat ext3 oder der Kernel damit vielleicht doch ein Problem??? Ciao, Marko
Marko Käning wrote:
http://suse-linux-faq.koehntopp.de/q/q-backup-nicht_targz.html Schnief, die FAQ inklusive dieses Punktes kenn ich schon...
hinterher ist man immer schlauer :-) Genau! :(
deshalb beim nächstenmal split-tar http://www.informatik-vollmer.de/software/split-tar.html benutzen Gut zu wissen...
Die entstehenden Dateien sind "selbständige" Tar-(gz)-Archive, d.h. wenn eines kaputt geht, kann man die anderen immer noch auspacken. Genau aus diesem Grund nutze ich privat und jetzt auch dienstlich storeBackup. (Habe aber offenbar ein paar kleine Probleme wg. meiner umlaut- und Sonderzeichenlastigen Pfadnamen, weshalb ich wohl auch noch rsnapshot ausprobieren werde.)
Mir ist trotzdem nicht klar, warum mein Archiv nach ca. 2-3 GB nicht mehr verarbeitbar ist. Ich habe nämlich *ZWEI* alte Backups, die ungefähr an der gleichen Stelle die Hufe hochreißen... Hat ext3 oder der Kernel damit vielleicht doch ein Problem???
Die wahrscheinlichste Ursache ist, dass du keinen Platz in /tmp mehr hast, um das Archiv temporär auszupacken. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Die wahrscheinlichste Ursache ist, dass du keinen Platz in /tmp mehr hast, um das Archiv temporär auszupacken.
Mittlerweile weiß ich, dass ext3 bis zu 16 GB out-of-the-box kann. Das kann's also wirklich nicht sein. Aber an /tmp habe ich bisher nicht gedacht, weil ich glaubte, dass bei "tar xjvf a.tar.bz2 ." alle Dateien in das lokale Verzeichnis extrahiert werden und da ich keine einzelnen Dateien größer als mein /tmp habe, sollte dies eigentlich funktionieren. Aber danke für den Hinweis, ich werde es nochmal durchlaufen lassen und /tmp beobachten.
Pipeviewer brachte an's Licht, dass der Abbruch bei 1,61 GB passiert: kaening@flmpc35:~/temp/unpack3> pv ] 28% ETA 0:32:10 bzip2: Data integrity error when decompressing. Input file = (stdin), output file = (stdout) It is possible that the compressed file(s) have become corrupted. You can use the -tvv option to test integrity of such files. You can use the `bzip2recover' program to attempt to recover data from undamaged sections of corrupted files. tar: Unerwartetes Dateiende im Archiv. tar: Unerwartetes Dateiende im Archiv. tar: Nicht behebbarer Fehler: Programmabbruch. ] 28% ETA 0:32:27 1,61GB 0:12:41 [2,17MB/s] [==============> ] 28% :((( -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Marko Käning wrote:
Es handelt sich um ein übergroßes tar.bz2-Archiv, welches bei der Erstellung mit split auf 9 CD-gerechte 700MB-Brocken zerschnipselt wurde. Durch Vereinigung der Dateien mit cat erstellte ich nun eine fast 7 GB große Datei.
Beim Versuch, diese tar.bz2-Datei mit "tar xjvf" zu entpacken kommt nach vermutlich ca. 2-3GB (kann nicht genau sagen, an welcher Stelle dies wirklich auftritt, diese Angabe ist eher gefühlsmäßig) die Meldung, dass das Archiv korrupt sei...
Wenn das Archib bz2-komprimiert ist, dann würde ich es als ersten Schritt mal einfach dekomprimieren. bunzip2 datei.tar.bz2 Wenn das schon scheitert, weisst du mit Sicherheit, dass die Datei kaputt ist und brauchst nicht an anderen Stellen nach der Ursache zu suchen. Joachim -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (4)
-
Dr. Jürgen Vollmer -
Joachim Marx -
Marko Käning -
Sandy Drobic