Datendurchsatz beim Kopieren großer Dateien
Hallo Liste, wenn ich große Dateien von einer HD-Partition auf eine andere oder dieselbe Partition kopiere, sackt der Datendurchsatz drastisch ab (auf erbärmliche 600MB/s) und die Kopieroperation dauert ewig. Kernel 2.6.13 und 2.6.18, Filesystem ist ext3, RAID1. Hat jemand eine Idee, an welcher Stelle ich suchen muss bzw ob/wie daran etwas zu ändern ist? Joachim -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Joachim Marx schrieb:
Hallo Liste,
wenn ich große Dateien von einer HD-Partition auf eine andere oder dieselbe Partition kopiere, sackt der Datendurchsatz drastisch ab (auf erbärmliche 600MB/s) und die Kopieroperation dauert ewig. Wow, 600MB/s -- und das ist dir zu langsam ???? Die schnellsten SATA Platten reizen noch nicht mal die SATA-1 Spezifikation aus, und die liegt bei 150MB/s
Gruß Manfred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Manfred Kreisl wrote:
Joachim Marx schrieb:
wenn ich große Dateien von einer HD-Partition auf eine andere oder dieselbe Partition kopiere, sackt der Datendurchsatz drastisch ab (auf erbärmliche 600MB/s) und die Kopieroperation dauert ewig. Wow, 600MB/s -- und das ist dir zu langsam ???? Die schnellsten SATA Platten reizen noch nicht mal die SATA-1 Spezifikation aus, und die liegt bei 150MB/s
Witzbold ... Das war natürlich ein Tippfehler. Es sind 600KB/s. Festplatten mit 600 MB/s hätte ich auch mal gerne. Joachim -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am Freitag 29 August 2008 schrieb Joachim Marx:
Manfred Kreisl wrote:
Joachim Marx schrieb:
wenn ich große Dateien von einer HD-Partition auf eine andere oder dieselbe Partition kopiere, sackt der Datendurchsatz drastisch ab (auf erbärmliche 600MB/s) und die Kopieroperation dauert ewig.
Wow, 600MB/s -- und das ist dir zu langsam ???? Die schnellsten SATA Platten reizen noch nicht mal die SATA-1 Spezifikation aus, und die liegt bei 150MB/s
Witzbold ... Das war natürlich ein Tippfehler. Es sind 600KB/s.
Wenn die Datei wirklich groß ist und nicht mehr gepuffert werden kann, dürfte das ständige hin- und herspringern der Schreib-/Leseköpfe die Performance versauen. Und bei nem Raid1 muss das wohl auch noch koordiniert bei zwei Platten synchron erfolgen, das dürfte die Latenzzeiten mächtig nach oben schieben.
Festplatten mit 600 MB/s hätte ich auch mal gerne.
Wird wohl noch ein paar Jahre dauern. Aber die Zeiten in denen SCSI auf FAST-SCSI (max. 10 anstelle von 5 MB/s) umgestellt wurde, sind ja noch gar nicht so lange her. -- Machs gut | http://www.iivs.de/schwinde/buerger/tremmel/ | http://packman.links2linux.de/ Manfred | http://www.knightsoft-net.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On Fri, 29 Aug 2008 11:13:44 -0500 Joachim Marx <suselists@socim.info> wrote:
wenn ich große Dateien von einer HD-Partition auf eine andere oder dieselbe Partition kopiere, sackt der Datendurchsatz drastisch ab (auf erbärmliche 600MB/s) und die Kopieroperation dauert ewig. Kernel 2.6.13 und 2.6.18, Filesystem ist ext3, RAID1.
Welche Hardware hast Du, dass 600 MB/s als erbärmlich gelten können?
Hat jemand eine Idee, an welcher Stelle ich suchen muss bzw ob/wie daran etwas zu ändern ist?
hdparm oder sdparm (je nach Controller) ? top (während Transfer) ? dmesg (danach) ? -- Gruß, Tobias. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Liste,
wenn ich große Dateien von einer HD-Partition auf eine andere oder dieselbe Partition kopiere, sackt der Datendurchsatz drastisch ab (auf erbärmliche 600MB/s) und die Kopieroperation dauert ewig. Kernel 2.6.13 und 2.6.18, Filesystem ist ext3, RAID1. Hat jemand eine Idee, an welcher Stelle ich suchen muss bzw ob/wie daran etwas zu ändern ist?
Probier mal mit dd und groooosser Blocksize, z.B. dd if=quelle of=ziel bs=500M mit freundlichen Grüßen Bernd Melchers -- -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Bernd, Bernd Melchers wrote:
Probier mal mit dd und groooosser Blocksize, z.B. dd if=quelle of=ziel bs=500M
Gleich ausprobiert: dd mit bs=500M bringt mir gegenüber einem Kopieren mit cp einen Geschwindigkeitsgewinn von ca 25% bei einer 4GB Datei. Nicht dramatisch, aber immerhin etwas. Danke für den Hinweis. Joachim -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am Monday 15 September 2008 18:28:18 schrieb Joachim Marx:
Hallo Bernd,
Bernd Melchers wrote:
Probier mal mit dd und groooosser Blocksize, z.B. dd if=quelle of=ziel bs=500M
Gleich ausprobiert: dd mit bs=500M bringt mir gegenüber einem Kopieren mit cp einen Geschwindigkeitsgewinn von ca 25% bei einer 4GB Datei. Nicht dramatisch, aber immerhin etwas. Danke für den Hinweis. Joachim
Hallo Joachim, probiere mal rsync aus. Tschö, Emil -- Registered Linux User since 19940320 -------------------------------------------------- Emil Stephan, Marktplatz 39, 53773 Hennef, Germany voice: +49-2242-84438 Accelerate Windows: 9.81 m/sec^2 would be adequate -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Joachim Marx wrote:
Hallo Liste,
wenn ich große Dateien von einer HD-Partition auf eine andere oder dieselbe Partition kopiere, sackt der Datendurchsatz drastisch ab (auf erbärmliche 600MB/s) und die Kopieroperation dauert ewig. Kernel 2.6.13 und 2.6.18, Filesystem ist ext3, RAID1. Hat jemand eine Idee, an welcher Stelle ich suchen muss bzw ob/wie daran etwas zu ändern ist?
Was für ein Mainboard/Controller? Normalerweise ist der Durchsatz gut, solange noch RAM für die Pufferung der Schreib-/Lesezugriffe vorhanden ist. Kopieraktionen innerhalb einer Platte sind immer sehr langsam. Bei mir ist das etwas anders, da ich einen RAID-Controller mit Cache habe, der auch das Kopieren auf dem RAID selbst sehr schnell vornimmt. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (7)
-
Bernd Melchers -
Emil Stephan -
Joachim Marx -
Manfred Kreisl -
Manfred Tremmel -
Sandy Drobic -
Tobias Crefeld