Hallo Liste, ich erlebe es jetzt mehrfach, dass mir Kopieren mit dem Konqueror einfach so mal abraucht. Gibt es irgendwo Beschränkungen beim Kopieren? Ich wollte hier jemandes Daten, der wie wild alles mögliche Zeugs aus dem Internet gezogen hat, sprich, zigtausende von Kleinstdateien auf die Platte gehauen hat, nur von einer Partition auf eine andere kopieren. Und es geht einfach nicht. cp -a (als root!) schreit rum, es hätte nicht die notwendigen Berechtigungen und Konqui, zuletzt auch mit root-Rechten, raucht irgendwann kommentarlos ab. Auch wenn man ihm sagt, die Punktdateien überspringen. Ein paar mault er an, andere nicht. [Gerettet habe ich die Daten vorher mal über den Eigentümer und ein eigens dafür geschaffenes nfs-Verzeichnis; jetzt habe ich diese Daten (2.5 GB) auf ein neues nfs-Laufwerk kopiert - da hat funktioniert; nur vom nfs-Laufwerk bekomme ich die Daten weder auf /tmp noch in eines meiner Arbeitsverzeichnisse. Dabei sollen die Daten mal auf eine externe USB-Festplatte (mit vfat) kopiert werden. Der Besitzer hat nur Windose. Ursprünglich lagen die Daten mal auf einer Suse 9.0 mit reiserfs]. Ich versteh die Welt nicht mehr. (Bei einem cvs-Baum, eine halbe Million Dateien, aber mit sauberen Berechtigungen, ging letztendlich auch nichts mehr. Da half dann nur noch ein rm -rf, um wenigstens die anderen Daten von einer Festplatte auf die andere Kopieren zu können). So ein paar schlappe Gigs müssen doch bequem zu kopieren sein. Kann man das wirklich so falsch anpacken? Helga -- ## OpenSource-Werkstatt in Reutlingen -- http://www.eschkitai.de/ ## Etikette - Nein Danke? -- http://www.suse-etikette.de.vu/
Helga Fischer, Montag, 7. August 2006 19:16:
cp -a (als root!) schreit rum, es hätte nicht die notwendigen Berechtigungen
Vielleicht schreit cp gar nicht zu unrecht rum - hast Du ein Problem mit dem Dateisystem?
(Bei einem cvs-Baum, eine halbe Million Dateien, aber mit sauberen Berechtigungen, ging letztendlich auch nichts mehr. Da half dann nur noch ein rm -rf, um wenigstens die anderen Daten von einer Festplatte auf die andere Kopieren zu können).
Eine halbe Million Dateien sollten eigentlich kein Problem sein. Ob cp kann weiß ich nicht, rsync kann jedenfalls. Und jetzt erklärst Du uns noch, wie Du auf die Idee kamst, den Konqueror mit root-Rechten laufen zu lassen. Nur so aus Interesse... -- Andre Tann
Am Montag 7 August 2006 19:27 schrieb Andre Tann:
Helga Fischer, Montag, 7. August 2006 19:16:
cp -a (als root!) schreit rum, es hätte nicht die notwendigen Berechtigungen
Vielleicht schreit cp gar nicht zu unrecht rum - hast Du ein Problem mit dem Dateisystem?
Hmmm... die Antwort wollte ich nicht hören. Mein Dateisystem ist xfs.
(Bei einem cvs-Baum, eine halbe Million Dateien, aber mit sauberen Berechtigungen, ging letztendlich auch nichts mehr. Da half dann nur noch ein rm -rf, um wenigstens die anderen Daten von einer Festplatte auf die andere Kopieren zu können).
Eine halbe Million Dateien sollten eigentlich kein Problem sein.
Irgendwie hatte ich damit aber böse Probleme. Allerdings habe ich noch nie solche Mengen durch die Gegend geschoben.
Ob cp kann weiß ich nicht,
Sollte eigentlich.
rsync kann jedenfalls.
rsync kommt als nächsten Schritt dran, dann werden mal meine Gebrauchsdatenbestände dubliziert. Bisher habe ich nur Ausschnitte gesichert.
Und jetzt erklärst Du uns noch, wie Du auf die Idee kamst, den Konqueror mit root-Rechten laufen zu lassen. Nur so aus Interesse...
Weil kein User mit dem Rechteschema der zu kopierenden Dateien existiert. Und weil Konqui keinen Stress mit Punktdateien macht sondern sie einfach mitnimmt. cp -a macht das ja nur, wenn das oberste Verzeichnis ein sichtbares ist und nimmt dann alles mit. chmod -R ignoriert ja Punktdateien auch, und Konqui nudelt sie durch. Helga -- ## OpenSource-Werkstatt in Reutlingen -- http://www.eschkitai.de/ ## Etikette - Nein Danke? -- http://www.suse-etikette.de.vu/
Helga Fischer, Montag, 7. August 2006 19:39:
Hmmm... die Antwort wollte ich nicht hören. Mein Dateisystem ist xfs.
Also xfs_check /dev/hda... Auch xfs kann nix dafür, wenn die Platte unter ihm das Blubbern anfängt.
Weil kein User mit dem Rechteschema der zu kopierenden Dateien existiert.
?
Und weil Konqui keinen Stress mit Punktdateien macht sondern sie einfach mitnimmt.
?
chmod -R ignoriert ja Punktdateien auch, und Konqui nudelt sie durch.
~> la test/ [...] -rw------- 1 andre users 0 2006-08-07 20:00 test -rw------- 1 andre users 0 2006-08-07 20:00 .test ~> chmod -R 777 test/ ~> la test [...] -rwxrwxrwx 1 andre users 0 2006-08-07 20:00 test -rwxrwxrwx 1 andre users 0 2006-08-07 20:00 .test Ist Dein Linux etwa noch älter als das von David? -- Andre Tann
Hallo Andre, Am Montag 7 August 2006 20:03 schrieb Andre Tann:
Helga Fischer, Montag, 7. August 2006 19:39:
Hmmm... die Antwort wollte ich nicht hören. Mein Dateisystem ist xfs.
Also xfs_check /dev/hda... Auch xfs kann nix dafür, wenn die Platte unter ihm das Blubbern anfängt.
Ja, schon richtig. (Ich habe jetzt gesehen, dass - mich in den Hintern kneif - die Daten noch auf dem alten Rechner liegen. nfs halt. Ich probiere gerade das fish-Protokoll aus).
Weil kein User mit dem Rechteschema der zu kopierenden Dateien existiert.
?
Die Daten haben eine UID, die es weder im einen, noch im anderen System gibt.
Und weil Konqui keinen Stress mit Punktdateien macht sondern sie einfach mitnimmt.
?
chmod -R ignoriert ja Punktdateien auch, und Konqui nudelt sie durch.
~> la test/ [...] -rw------- 1 andre users 0 2006-08-07 20:00 test -rw------- 1 andre users 0 2006-08-07 20:00 .test
~> chmod -R 777 test/
~> la test [...] -rwxrwxrwx 1 andre users 0 2006-08-07 20:00 test -rwxrwxrwx 1 andre users 0 2006-08-07 20:00 .test
Ist Dein Linux etwa noch älter als das von David?
Höchstens mein Wissen; chmod brauche ich in meiner Einpersonenumgebung höchst selten. (Ich hatte übrigens gegoogelt - in dieser Liste wurden eher gruslige Rezepte ausgetauscht, wie man die Punktdateien fertig macht - da ist Konqui wirklich bequem). Mir gehört ja alles, bis auf das, was das System beansprucht. Mein Linux tausche ich alle zwei Jahre aus. Zwar nicht begeistert, aber ich bin bekennende Faulenzerin. Und mit einem eigenen /home und eigenen Partitionen tut mir ein Systemaustausch in aller Regel nicht weh. Helga (Meine Kopierprobleme sind trotzdem komisch, aber meine Nutzdaten sitzen inzwischen alle auf einer niegelnagelneuen Platte. Auf die alte werde ich halt mal ein Auge haben. Vielleicht war der Störenfried auch USB). -- ## OpenSource-Werkstatt in Reutlingen -- http://www.eschkitai.de/ ## Etikette - Nein Danke? -- http://www.suse-etikette.de.vu/
Helga Fischer, Montag, 7. August 2006 21:02:
Ja, schon richtig. (Ich habe jetzt gesehen, dass - mich in den Hintern kneif - die Daten noch auf dem alten Rechner liegen. nfs halt. Ich probiere gerade das fish-Protokoll aus).
Bevor Du verschiedene Protokolle durchprobierst, würde ich lieber die Ursache des Fehlers versuchen zu finden. Denn wenn das FS Schrott ist, dann hilft auch ein Protokollwechsel nicht.
Die Daten haben eine UID, die es weder im einen, noch im anderen System gibt.
Das ist einem rsync -a wurscht. Die Daten gehören halt dann jemand mit irgendeiner ID. Ob es dafür in der passwd einen Eintrag gibt oder nicht interessiert rsync nicht.
(Meine Kopierprobleme sind trotzdem komisch, aber meine Nutzdaten sitzen inzwischen alle auf einer niegelnagelneuen Platte. Auf die alte werde ich halt mal ein Auge haben. Vielleicht war der Störenfried auch USB).
USB als Störenfried halte ich für höchst wahrscheinlich. Ich habe immer wieder erhebliche Schwierigkeiten, per Knoppix Daten auf eine USB-Platte zu ziehen. Manchmal funktioniert es zwar, oft aber nicht, in welch letzterem Fall ich dann auf ein dd ... | ssh remote@host ausweiche. So erst heute wieder passiert. Wozu hat man schließlich Fileserver. Und ein Auge auf die Platte haben geht am besten mit smartctl... -- Andre Tann
Am Montag 7 August 2006 23:20 schrieb Andre Tann:
Helga Fischer, Montag, 7. August 2006 21:02:
Ja, schon richtig. (Ich habe jetzt gesehen, dass - mich in den Hintern kneif - die Daten noch auf dem alten Rechner liegen. nfs halt. Ich probiere gerade das fish-Protokoll aus).
Bevor Du verschiedene Protokolle durchprobierst,
Naja, mit dem fish hat es jetzt geklappt. Ein paar Punktdateien und *.lock-Files sind auf der Strecke gegeblieben.
würde ich lieber die Ursache des Fehlers versuchen zu finden. Denn wenn das FS Schrott ist, dann hilft auch ein Protokollwechsel nicht.
Wir reden hier aber inzwischen von vier verschiedenen Platten. [...]
(Meine Kopierprobleme sind trotzdem komisch, aber meine Nutzdaten sitzen inzwischen alle auf einer niegelnagelneuen Platte. Auf die alte werde ich halt mal ein Auge haben. Vielleicht war der Störenfried auch USB).
USB als Störenfried halte ich für höchst wahrscheinlich. Ich habe immer wieder erhebliche Schwierigkeiten, per Knoppix Daten auf eine USB-Platte zu ziehen.
Ah ja... USB wollte hier jetzt auch nicht. Unglücklicherweise musste ich auch noch vfat formatieren, weil der Besitzer der Daten nur Windosen hat, die auch noch einen großen Bogen um ntfs machen.
Manchmal funktioniert es zwar, oft aber nicht, in welch letzterem Fall ich dann auf ein dd ... | ssh remote@host ausweiche. So erst heute wieder passiert. Wozu hat man schließlich Fileserver.
Fileserver habe ich nur beschränkt.
Und ein Auge auf die Platte haben geht am besten mit smartctl...
Ja, werde ich mir einrichten. N8, Helga -- ## OpenSource-Werkstatt in Reutlingen -- http://www.eschkitai.de/ ## Etikette - Nein Danke? -- http://www.suse-etikette.de.vu/
Hi, On Mon, 07 Aug 2006, Helga Fischer wrote:
Am Montag 7 August 2006 23:20 schrieb Andre Tann:
Helga Fischer, Montag, 7. August 2006 21:02:
Ja, schon richtig. (Ich habe jetzt gesehen, dass - mich in den Hintern kneif - die Daten noch auf dem alten Rechner liegen. nfs halt. Ich probiere gerade das fish-Protokoll aus).
Bevor Du verschiedene Protokolle durchprobierst,
Naja, mit dem fish hat es jetzt geklappt. Ein paar Punktdateien und *.lock-Files sind auf der Strecke gegeblieben.
würde ich lieber die Ursache des Fehlers versuchen zu finden. Denn wenn das FS Schrott ist, dann hilft auch ein Protokollwechsel nicht.
Wir reden hier aber inzwischen von vier verschiedenen Platten.
bei denen die Kopie jedes mal über nfs lief? IIRC ist nfs nicht wirklich glücklich bei viieeelllen Dateien. Zumindest waren das meine letzten Erfahrungen damit. Leider war selbst smbfs stabieler... ca. 1 Jahr her. Greetings Daniel -- The universe is like a safe to which there is a combination but the combination is locked up in the safe. -- Peter DeVries
Daniel Lord, Mittwoch, 9. August 2006 22:22:
bei denen die Kopie jedes mal über nfs lief? IIRC ist nfs nicht wirklich glücklich bei viieeelllen Dateien. Zumindest waren das meine letzten Erfahrungen damit. Leider war selbst smbfs stabieler... ca. 1 Jahr her.
Welche Alternativen zu nfs hat man denn? Ich setze es hier auch unter einer nicht allzu kleinen Last ein, und bin nicht so arg zufrieden damit. Aber was nimmt man stattdessen?
The universe is like a safe to which there is a combination but the combination is locked up in the safe.
Erfreulicherweise sitzen wir im Safe, nicht außerhalb! -- Andre Tann
Daniel Lord schrieb:
bei denen die Kopie jedes mal über nfs lief? IIRC ist nfs nicht wirklich glücklich bei viieeelllen Dateien. Zumindest waren das meine letzten Erfahrungen damit. Leider war selbst smbfs stabieler... ca. 1 Jahr her.
Greetings Daniel
Nicht nur hier bei uns, sondern in vielen anderen IT-Umgebungen des Universums werden jeden Tag Daten Millionen Dateien über NFS kopiert. Das dürfte also an deiner speziellen Installation gelegen haben. -- Viele Grüße ------------------------------------------------------------------------ Michael
Hi, On Thu, 10 Aug 2006, Andre Tann wrote:
Daniel Lord, Mittwoch, 9. August 2006 22:22:
bei denen die Kopie jedes mal über nfs lief? IIRC ist nfs nicht wirklich glücklich bei viieeelllen Dateien. Zumindest waren das meine letzten Erfahrungen damit. Leider war selbst smbfs stabieler... ca. 1 Jahr her.
Welche Alternativen zu nfs hat man denn? Ich setze es hier auch unter einer nicht allzu kleinen Last ein, und bin nicht so arg zufrieden damit. Aber was nimmt man stattdessen?
Samba läuft (zumindest hier) stabiler. Allerdings nutze ich in meinen Umgebungen für viele Dateien rsync über ssh.
The universe is like a safe to which there is a combination but the combination is locked up in the safe.
Erfreulicherweise sitzen wir im Safe, nicht außerhalb!
Glück gehabt. Vielleicht finden wir dann irgend wann was... Greetings Daniel -- Fighting for peace is like fucking for virginity!
Hallo Daniel, einen Nachtrag will ich noch schreiben. Am Mittwoch 9 August 2006 22:22 schrieb Daniel Lord:
On Mon, 07 Aug 2006, Helga Fischer wrote:
Am Montag 7 August 2006 23:20 schrieb Andre Tann:
Helga Fischer, Montag, 7. August 2006 21:02:
Ja, schon richtig. (Ich habe jetzt gesehen, dass - mich in den Hintern kneif - die Daten noch auf dem alten Rechner liegen. nfs halt. Ich probiere gerade das fish-Protokoll aus).
Das fish-Protokoll war sehr erfolgreich, was das Kopieren von Rechner zu Rechner angeht. Und überraschend schnell.
Bevor Du verschiedene Protokolle durchprobierst,
Naja, mit dem fish hat es jetzt geklappt. Ein paar Punktdateien und *.lock-Files sind auf der Strecke gegeblieben.
würde ich lieber die Ursache des Fehlers versuchen zu finden. Denn wenn das FS Schrott ist, dann hilft auch ein Protokollwechsel nicht.
Wir reden hier aber inzwischen von vier verschiedenen Platten.
bei denen die Kopie jedes mal über nfs lief?
Lass mich überlegen. Original (Susi 9.0) auf Backup-Rechner (susi 9.3): NFS. Backup-Rechner (9.3) nach Rechner neu (Susi 10): *hups* Das weiß ich jetzt gar nicht mehr. Stress gab' erst richtig, als ich auf das externe Laufwerk kopieren wollte.
IIRC ist nfs nicht wirklich glücklich bei viieeelllen Dateien. Zumindest waren das meine letzten Erfahrungen damit.
Ich habe letztens meine kompletten Verzeichnisse über nfs umgezogen. Das funktionierte bis auf ein oder zwei Punktdateien des KDE-Baums in meinem home. Außerdem hat es mir irgendwo einen oder mehrere Indizes der Mail-Partition kaputt gemacht. Da musste ich schweren Herzens löschen und alles neu anlegen lassen. Von xfs nach xfs auf verschiedenen Partitionen, aber gleicher Platte liessen sich die Daten meines Kollegen anstandslos kopieren. Tutto kompletto alles ohne jegliche Fehlermeldung. Dafür stresst jetzt cdrecord wegen der Dateikodierung rum; das hat mich ja auch mal schwer genervt.
Leider war selbst smbfs stabieler... ca. 1 Jahr her.
Vielleicht sollte ich Samba mal näher treten. Bei der nächsten Kopieraktion, die hoffentlich noch eine Weile auf sich warten läßt. Ich werde demnächst mal eine externe Festplatte mit xfs + rsync einsetzen; mal sehen, was da für Stolperfallen lauern. Eigentlich sollte Kopieren ja kein Problem darstellen. Helga -- ## OpenSource-Werkstatt in Reutlingen -- http://www.eschkitai.de/ ## Etikette - Nein Danke? -- http://www.suse-etikette.de.vu/
Daniel Lord, Sonntag, 13. August 2006 15:59:
Samba läuft (zumindest hier) stabiler. Allerdings nutze ich in meinen Umgebungen für viele Dateien rsync über ssh.
rsync über ssh ist gut zum Kopieren. Aber einen Verzeichnisbaum kann man so natürlich für Benutzer nicht bereitstellen. samba habe ich auch versucht, aber erhebliche Schwierigkeiten gehabt, es linuxseitig zu importieren. Deswegen nehme ich halt doch nfs. Außerdem kommt es mir etwas kurios vor, auf eine MS-Erfindung ausweichen zu müssen, um Verzeichnisse im Netzwerk zu exportieren. -- Andre Tann
Am Sonntag, 13. August 2006 18:54 schrieb Andre Tann:
Außerdem kommt es mir etwas kurios vor, auf eine MS-Erfindung ausweichen zu müssen, um Verzeichnisse im Netzwerk zu exportieren.
Das SMB Protokoll, welches M$ Windows und Samba nutzen kommt nicht von Microsoft sondern von Intel oder IBM (Weiß nicht mehr wer von beiden es erfunden hat) MFG Markus
Am Sonntag, 13. August 2006 16:49 schrieb Helga Fischer:
Vielleicht sollte ich Samba mal näher treten. Bei der nächsten Kopieraktion, die hoffentlich noch eine Weile auf sich warten läßt.
Dann schau dir das mal an: http://www.unixboard.de/vb3/showthread.php?t=3714 Wenn du eine schön geordnete smb.conf haben willst, mit Sektionen und Kommentaren ist von SWAT abzuraten. MFG Markus
Hallo Helga, hallo Leute, Am Sonntag, 13. August 2006 16:49 schrieb Helga Fischer:
Vielleicht sollte ich Samba mal näher treten. Bei der nächsten Kopieraktion, die hoffentlich noch eine Weile auf sich warten läßt.
Damit hatte ich schon mal eine fröhliche Datenvermehrung, weil Symlinks zu ihren Zieldateien "aufgelöst" wurden... Die beste Methode für eine Komplettkopie ist IMHO immer noch tar, gern auch per SSH auf einen anderen Rechner ;-) Siehe hierzu auch die FAQ: 7.5. Wie kann ich einen kompletten Verzeichnisbaum auf eine andere Partition kopieren? http://suse-linux-faq.koehntopp.de/q/q-filesystems-kopieren.html Gruß Christian Boltz -- 1.-4.9.2006: Weinfest in Insheim Pig Slip, Hifi-Delity, AH-Band, Frank Petersen und die Deafen Goblins spielen bei der Landjugend. Mehr Infos: www.Landjugend-Insheim.de
Am Montag 14 August 2006 00:25 schrieb Christian Boltz:
Damit hatte ich schon mal eine fröhliche Datenvermehrung, weil Symlinks zu ihren Zieldateien "aufgelöst" wurden...
Die beste Methode für eine Komplettkopie ist IMHO immer noch tar, gern auch per SSH auf einen anderen Rechner ;-)
Ich nehme für sowas am liebsten rsync. -- Viele Grüße ------------------------------------------------------------------------ Michael
participants (6)
-
Andre Tann -
Christian Boltz -
Daniel Lord -
Helga Fischer -
Markus Wunder -
Michael Behrens