Kopiervorgang bleibt stehen
Hi, ich habe vor 2 Stunden einen Kopiervorgang (~100GB von einem LV snapshot auf das Original) gestartet. Der ist bei ca. 6,5GB stehen geblieben. Der Prozess läuft (Status D+, uninterruptable sleep), nimmt kaum CPU (lt. top) in Anspruch, ich habe keinen Zombie, meine Load Average beträgt ca. 4,2. Die Datei im Zielordner, die gerade kopiert wird, wächst auch nicht mehr an. Ich kann den Prozess mit CTRL+C nicht abbrechen, kill und kill -9 beenden den Prozess ebenfalls nicht. Original LV und snapshot liegen auf einer externen USB-Platte. Was kann ich tun, woran könnte das liegen ? Wenn der Kopiervorgang irgendwann mal beendet ist, mache ich ein fsck. Andere Ideen ? Bernd -- Bernd Lentes Systemadministration Institut für Entwicklungsgenetik HelmholtzZentrum münchen bernd.lentes@helmholtz-muenchen.de phone: +49 89 3187 1241 fax: +49 89 3187 3826 http://www.helmholtz-muenchen.de/idg Wer Visionen hat, soll zum Hausarzt gehen Helmut Schmidt Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Ingolstädter Landstr. 1 85764 Neuherberg www.helmholtz-muenchen.de Aufsichtsratsvorsitzende: MinDir´in Bärbel Brumme-Bothe Geschäftsführer: Prof. Dr. Günther Wess und Dr. Nikolaus Blum Registergericht: Amtsgericht München HRB 6466 USt-IdNr: DE 129521671 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Am 13. Januar 2012 16:10 schrieb Lentes, Bernd <bernd.lentes@helmholtz-muenchen.de>:
ich habe vor 2 Stunden einen Kopiervorgang (~100GB von einem LV snapshot auf das Original) gestartet. Der ist bei ca. 6,5GB stehen geblieben. Der Prozess läuft (Status D+, uninterruptable sleep), nimmt kaum CPU (lt. top) in Anspruch, ich habe keinen Zombie, meine Load Average beträgt ca. 4,2. Die Datei im Zielordner, die gerade kopiert wird, wächst auch nicht mehr an.
Was sagt vmstat? Gruß Martin -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Martin schrieb:
Am 13. Januar 2012 16:10 schrieb Lentes, Bernd <bernd.lentes@helmholtz-muenchen.de>:
ich habe vor 2 Stunden einen Kopiervorgang (~100GB von einem LV snapshot auf das Original) gestartet. Der ist bei ca. 6,5GB stehen geblieben. Der Prozess läuft (Status D+, uninterruptable sleep), nimmt kaum CPU (lt. top) in Anspruch, ich habe keinen Zombie, meine Load Average beträgt ca. 4,2. Die Datei im Zielordner, die gerade kopiert wird, wächst auch nicht mehr an.
Was sagt vmstat?
Dummerweise ist der Prozeß dann kurz nach Lesen Deiner email stehen geblieben. Was ich noch gesehen habe: - von/in die Swap-Partition gab es keinen IO. - ca. 50% der CPU waren wa, also "waiting for IO". Ich wird jetzt mal die Partitionen mit fsck prüfen. Berndq Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Ingolstädter Landstr. 1 85764 Neuherberg www.helmholtz-muenchen.de Aufsichtsratsvorsitzende: MinDir´in Bärbel Brumme-Bothe Geschäftsführer: Prof. Dr. Günther Wess und Dr. Nikolaus Blum Registergericht: Amtsgericht München HRB 6466 USt-IdNr: DE 129521671 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Bernd schrieb:
Martin schrieb:
Am 13. Januar 2012 16:10 schrieb Lentes, Bernd <bernd.lentes@helmholtz-muenchen.de>:
ich habe vor 2 Stunden einen Kopiervorgang (~100GB von einem LV snapshot auf das Original) gestartet. Der ist bei ca. 6,5GB stehen geblieben. Der Prozess läuft (Status D+, uninterruptable sleep), nimmt kaum CPU (lt. top) in Anspruch, ich habe keinen Zombie, meine Load Average beträgt ca. 4,2. Die Datei im Zielordner, die gerade kopiert wird, wächst auch nicht mehr an.
Was sagt vmstat?
Dummerweise ist der Prozeß dann kurz nach Lesen Deiner email stehen geblieben. Was ich noch gesehen habe:
- von/in die Swap-Partition gab es keinen IO. - ca. 50% der CPU waren wa, also "waiting for IO".
Ich wird jetzt mal die Partitionen mit fsck prüfen.
fsck.ext3 -vf hat keinen Fehler egeben. 0 bad blocks. Glücklicherweise ist der Fehler beim erneuten Kopieren wieder aufgetreten, allerdings an einer anderen Stelle (nach ca. 12GB kopierten Daten). vmstat sagt: ======================= pc53200:/media # vmstat 10 procs -----------memory---------- ---swap-- -----io---- -system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 2 296 98384 30476 13467152 0 0 878 153 1 4 2 9 87 2 0 0 3 296 98136 30568 13468088 0 0 1958 2025 2277 8533 0 3 44 52 0 0 3 296 97692 30656 13468000 0 0 1226 1613 2009 7983 1 3 43 52 0 0 3 296 98132 30752 13467904 0 0 1327 1432 2328 8939 1 5 39 56 0 1 2 296 98204 30840 13467816 0 0 1542 1596 2391 9272 0 3 40 57 0 ======================= Also, da ist schon IO-Last, iowait ist immer so um 50% (stimmt auch mit top überein) Der Prozess selbst ist in "uninterruptable sleep", wartet also auf IO: =========================== PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND ... 25351 root 18 0 5096 740 624 D 0 0.0 1:04.60 cp ... =========================== dmesg und /var/log/messages sagen nichts erhellendes. Wenn ich mir mit vmstat mal genauer anschaue, was auf dieser Partition so abgeht, fallen zwei Sachen auf: ========================== pc53200:/media # vmstat -d |grep -E 'disk|dm-9' disk- ------------reads------------ ------------writes----------- -----IO------ disk- ------------reads------------ ------------writes----------- -----IO------ dm-9 2055760 0 33804688 37015792 33486045 0 267888360 1726590024 290 35426 pc53200:/media # vmstat -d |grep -E 'disk|dm-9' disk- ------------reads------------ ------------writes----------- -----IO------ disk- ------------reads------------ ------------writes----------- -----IO------ dm-9 2055760 0 33804688 37015792 33486045 0 267888360 4230240280 289 35431 pc53200:/media # vmstat -d |grep -E 'disk|dm-9' disk- ------------reads------------ ------------writes----------- -----IO------ disk- ------------reads------------ ------------writes----------- -----IO------ dm-9 2055760 0 33804688 37015792 33486045 0 267888360 524333536 289 35436 pc53200:/media # vmstat -d |grep -E 'disk|dm-9' disk- ------------reads------------ ------------writes----------- -----IO------ disk- ------------reads------------ ------------writes----------- -----IO------ dm-9 2055760 0 33804688 37015792 33486045 0 267888360 3143788388 288 35441 ============================== Die Kommandos sind im Abstand von ca. 5 Sekunden abgesetzt worden. Es werden keine Sektoren mehr gelesen oder geschrieben. Die 4. und die 8. Spalte, die lt. man "milliseconds spent reading/writing" angibt, stimmt irgendwie nicht. Ich habe zwischen den Aufrufen immer ca. 5 Sekunden gewartet. Aber zwischen der 2. Messung (1515216200) und der 3. (1726590024) liegen angeblich 1726590024 - 1515216200 ms, das sind 211373,824 Sekunden !?! Oder hab ich da was falsch verstanden ? Upps. Während des Schreibens dieser mail fällt mir auf, daß der Kopiervorgang weitergegangen ist, bei ca. 17GB aber wieder stehen geblieben ist. dmesg und syslog sagen wieder nix. Ein ls auf den Zielordner funktioniert nicht, dauert anscheinend eeewiiig. vmstat bestätigt z.Zt wieder, daß kein Sektor gelesen oder geschrieben wird. Allerdings wieder so komische Zeitsprünge in der Spalte mit den Millisekunden: ============================== pc53200:/media/lv_extern_snapshot # vmstat -d |grep -E 'disk|dm-9' disk- ------------reads------------ ------------writes----------- -----IO------ disk- ------------reads------------ ------------writes----------- -----IO------ dm-9 2055804 0 33805040 37018324 34879472 0 279035776 203645588 1389 36975 pc53200:/media/lv_extern_snapshot # vmstat -d |grep -E 'disk|dm-9' disk- ------------reads------------ ------------writes----------- -----IO------ disk- ------------reads------------ ------------writes----------- -----IO------ dm-9 2055804 0 33805040 37018324 34879472 0 279035776 336417484 1389 36977 pc53200:/media/lv_extern_snapshot # vmstat -d |grep -E 'disk|dm-9' disk- ------------reads------------ ------------writes----------- -----IO------ disk- ------------reads------------ ------------writes----------- -----IO------ dm-9 2055804 0 33805040 37018324 34879472 0 279035776 1642876952 1388 36979 =============================== Ich hätte ja die USB-Platte im Verdacht, aber fsck hat ja keinen Fehler gebracht. Any ideas ? Bernd Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Ingolstädter Landstr. 1 85764 Neuherberg www.helmholtz-muenchen.de Aufsichtsratsvorsitzende: MinDir´in Bärbel Brumme-Bothe Geschäftsführer: Prof. Dr. Günther Wess und Dr. Nikolaus Blum Registergericht: Amtsgericht München HRB 6466 USt-IdNr: DE 129521671 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Hallo, Am Fri, 13 Jan 2012, Lentes, Bernd schrieb: [..]
Ich hätte ja die USB-Platte im Verdacht, aber fsck hat ja keinen Fehler gebracht.
Ich eher den USB-Controller in dem ext.-Gehäuse. Oder einen evtl. dazwischensteckenden Hub. Kannst du evtl. die Platte aus dem Gehäuse ausbauen und intern oder über ein anderes Interface/Gehäuse dranhängen? -dnh -- Haiku: Microsoft is bad. It seems secure at first glance. Then you read your mail. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
David schrieb:
Hallo,
Am Fri, 13 Jan 2012, Lentes, Bernd schrieb: [..]
Ich hätte ja die USB-Platte im Verdacht, aber fsck hat ja keinen Fehler gebracht.
Ich eher den USB-Controller in dem ext.-Gehäuse. Oder einen evtl. dazwischensteckenden Hub. Kannst du evtl. die Platte aus dem Gehäuse ausbauen und intern oder über ein anderes Interface/Gehäuse dranhängen?
-dnh
Hi, die Platte hat noch Garantie, da möchte ich nix aufschrauben. Ich lass aber momentan mal ein "fsck.ext3 -v -cc -C 0 /dev/Pfad_zu_LV" über die beiden LV's laufen. Mal sehen, was das bringt. Bernd Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Ingolstädter Landstr. 1 85764 Neuherberg www.helmholtz-muenchen.de Aufsichtsratsvorsitzende: MinDir´in Bärbel Brumme-Bothe Geschäftsführer: Prof. Dr. Günther Wess und Dr. Nikolaus Blum Registergericht: Amtsgericht München HRB 6466 USt-IdNr: DE 129521671 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Am 15.01.2012 14:13, schrieb Lentes, Bernd:
David schrieb:
Hallo,
Am Fri, 13 Jan 2012, Lentes, Bernd schrieb: [..]
Ich hätte ja die USB-Platte im Verdacht, aber fsck hat ja keinen Fehler gebracht.
Ich eher den USB-Controller in dem ext.-Gehäuse. Oder einen evtl. dazwischensteckenden Hub. Kannst du evtl. die Platte aus dem Gehäuse ausbauen und intern oder über ein anderes Interface/Gehäuse dranhängen?
-dnh
Hi,
die Platte hat noch Garantie, da möchte ich nix aufschrauben. Ich lass aber momentan mal ein "fsck.ext3 -v -cc -C 0 /dev/Pfad_zu_LV" über die beiden LV's laufen. Mal sehen, was das bringt.
Bernd
Wie kriegt die Platte Strom? Schon festgestellt, dass die USB-Ports zur Stromversorgung zu wenig liefern... meist gehen sie mal und mal nicht, das würde gut auf deine Fehler passen... kannst du eine externe Stromversorgung anhängen cu jth (der seine externe 500GB-USB-HD seit 2 Jahren am 12V-Solarnetz hängen hat) -- www.teddylinx.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Jörg schrieb:
David schrieb:
Hallo,
Am Fri, 13 Jan 2012, Lentes, Bernd schrieb: [..]
Ich hätte ja die USB-Platte im Verdacht, aber fsck hat ja keinen Fehler gebracht.
Ich eher den USB-Controller in dem ext.-Gehäuse. Oder einen evtl. dazwischensteckenden Hub. Kannst du evtl. die Platte aus dem Gehäuse ausbauen und intern oder über ein anderes Interface/Gehäuse dranhängen?
-dnh
Hi,
die Platte hat noch Garantie, da möchte ich nix aufschrauben. Ich lass aber momentan mal ein "fsck.ext3 -v -cc -C 0
/dev/Pfad_zu_LV" über die beiden LV's laufen.
Mal sehen, was das bringt.
Bernd
Wie kriegt die Platte Strom? Schon festgestellt, dass die USB-Ports zur Stromversorgung zu wenig liefern... meist gehen sie mal und mal nicht, das würde gut auf deine Fehler passen... kannst du eine externe Stromversorgung anhängen
Hallo Jörg, die Platte kriegt Strom per Netzteil. Ich mach da jetzt einen Garantietausch draus und hoffe das gut ist. "fsck.ext3 -v -cc -C 0 /dev/Pfad_zu_LV" hat keinen Fehler gezeigt. Danke für alle Tipps. Bernd Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Ingolstädter Landstr. 1 85764 Neuherberg www.helmholtz-muenchen.de Aufsichtsratsvorsitzende: MinDir´in Bärbel Brumme-Bothe Geschäftsführer: Prof. Dr. Günther Wess und Dr. Nikolaus Blum Registergericht: Amtsgericht München HRB 6466 USt-IdNr: DE 129521671 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Jörg schrieb:
David schrieb:
Hallo,
Am Fri, 13 Jan 2012, Lentes, Bernd schrieb: [..]
Ich hätte ja die USB-Platte im Verdacht, aber fsck hat ja keinen Fehler gebracht.
Ich eher den USB-Controller in dem ext.-Gehäuse. Oder einen evtl. dazwischensteckenden Hub. Kannst du evtl. die
Platte aus dem
Gehäuse ausbauen und intern oder über ein anderes Interface/Gehäuse dranhängen?
-dnh
Hi,
die Platte hat noch Garantie, da möchte ich nix aufschrauben. Ich lass aber momentan mal ein "fsck.ext3 -v -cc -C 0 /dev/Pfad_zu_LV" über die beiden LV's laufen. Mal sehen, was das bringt.
Bernd
Wie kriegt die Platte Strom? Schon festgestellt, dass die USB-Ports zur Stromversorgung zu wenig liefern... meist gehen sie mal und mal nicht, das würde gut auf deine Fehler passen... kannst du eine externe Stromversorgung anhängen
Hallo Jörg,
die Platte kriegt Strom per Netzteil.
Ich mach da jetzt einen Garantietausch draus und hoffe das gut ist. "fsck.ext3 -v -cc -C 0 /dev/Pfad_zu_LV" hat keinen Fehler gezeigt. Danke für alle Tipps.
Hallo, bei einer baugleichen Platte (stammt aus derselben Lieferung) ist jetzt der gleiche Fehler aufgetaucht. 2 kaputte Platten gleichzeitig ? Kann ich nicht glauben. Kann es ein, daß LVM auf USB-Platten nicht so rund läuft ? Bernd Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Ingolstädter Landstr. 1 85764 Neuherberg www.helmholtz-muenchen.de Aufsichtsratsvorsitzende: MinDir´in Bärbel Brumme-Bothe Geschäftsführer: Prof. Dr. Günther Wess und Dr. Nikolaus Blum Registergericht: Amtsgericht München HRB 6466 USt-IdNr: DE 129521671 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
participants (4)
-
David Haller -
Joerg Thuemmler -
Lentes, Bernd -
Martin Schröder