Hallo zusammen, Marco Bakera meinte am Mittwoch, den 06.01.2016 um 17:52 Uhr wegen:Klonen einer Festplatte mit dd - Transferrate

Christian Meseberg schrieb am 06.01.2016 um 17:37:

...

Gibt es eine Möglichkeit, die Transferrate zu beeinflussen?

Vielleicht hilft 'ionice' weiter.

Hallo Marco, habe mal danach im Internet gesucht. Die Verbindung zu dd habe ich nicht gefunden, allenfalls zu rsync. Wenn ich das richtig verstehe, wird durch ionice die Priorität gesteuert? -- Beste Grüße Christian Schade, das XMMS gerade nichts spielt :( -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 06.01.2016 um 18:38 schrieb Norbert Zawodsky:

Am 06.01.2016 um 18:02 schrieb Christian Meseberg:

...

Hallo zusammen,

Marco Bakera meinte am Mittwoch, den 06.01.2016 um 17:52 Uhr wegen:Klonen einer Festplatte mit dd - Transferrate

...

Christian Meseberg schrieb am 06.01.2016 um 17:37:

...

Gibt es eine Möglichkeit, die Transferrate zu beeinflussen? Vielleicht hilft 'ionice' weiter. Hallo Marco,

habe mal danach im Internet gesucht. Die Verbindung zu dd habe ich nicht gefunden, allenfalls zu rsync. Wenn ich das richtig verstehe, wird durch ionice die Priorität gesteuert?

Hi,

dass es schneller beginnt und dann langsamer wird wird wahrscheinlich daran liegen dass der kernel die Plattenzugriffe (disk I/O) im RAM cached. Irgendwann ist der RAM=cache voll und dann wird die Transferrate des IDE/SATA/SCSI/wasauchimmer Busses zum Flaschenhals.

schau dir mal den bs= parameter von dd an. vielleicht hilft eine "gescheite" blocksize? Z.B. bs=1M

probiers einfach. hilft's nix, schadet's nix

Norbert

Hab gerade gesehen, du verwendest den bs= parameter ohnehin. wieder einmal ein Fall von "zuerst denken, dann schreiben" ... Wieviel RAM hat denn die Maschine? -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 06.01.2016 um 18:47 schrieb Christian Meseberg:

Hallo zusammen,

Manfred Kreisl meinte am Mittwoch, den 06.01.2016 um 18:33 Uhr wegen:Klonen einer Festplatte mit dd - Transferrate

...

Hallo Christian,

...

Am 06.01.2016 um 17:37 schrieb Christian Meseberg:

...

Hallo zusammen, ich beschäftige mich gerade mit dem Klonen einer Fetsplatet mitteld dd und benutze dd if=/dev/sda of=/dev/sdc bs=1M & ddpid=$! ; while [ $(ps -ao pid | grep $ddpid) ]; do kill -SIGUSR1 $ddpid; sleep 10; done

Die Transferrate beginnte mit ca. 32 MB/s uns sinkt nach ca. 11 GB kopierter Daten auf ca. 11 MB/s und wird stetig langsamer. Seltsam, an was für Platten sind das denn?

...

Da stimmt generell was nicht, mit halbwegs aktueller Hardware sollte da locker 100MB/s drinnen sein

...

Ich würde da erst einmal hdparm -t /dev/sd[a|c] ausführen um zu sehen. wie hoch die Leserate so ist und auf /dev/sdc mal ein paar GB mittels dd schreiben, so in der Art: dd if=/dev/zero of=/dev/sdc bs=100M count=20 um zu sehen, wie hoch die Schreibrate ist.

...

...

Insgesamt müssen heute 60 GB übertragen werden, beim nächsten Projekt 250 GB.

Gibt es eine Möglichkeit, die Transferrate zu beeinflussen?

Mit bs=, aber das hast Du ja schon verwendet. ionice bringt da wahrscheinlich nichts, der Wurm liegt bestimmt woanders (s.o.)

Danke erstmal. Die 60 GB ziehe ich jetzt erstmal durch. Sind zu 2/3 fertig.

Die Quell-HD ist eine ältere 60 GB SATA aus einen Lenovo T60 und die Ziel HD ist eine neuere Kingston SSD 120 GB. Die genaueren Bezeichnungen habe ich nicht griffbereit. Dann muss das einfach schneller gehen. Habe erst vor ein paar Tagen eine 150MB Partition mit dd von einer 2.5" HD auf eine SSD kopiert, da kam ich locker über 100MB/s, Rechner war da ein Notebook mit i5. Es sei denn es gibt Leseprobleme bei der Quell-HD, das sieht mir ganz danach aus.

Gruß Manfred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo zusammen, Michael Höhne meinte am Mittwoch, den 06.01.2016 um 23:42 Uhr wegen:Klonen einer Festplatte mit dd - Transferrate

Am Wed, 6 Jan 2016 22:54:28 +0100 schrieb Tobias Crefeld :

...

Warum so kompliziert? Eigentlich geht es Dir um dd if=/dev/sda of=/dev/sdc bs=1M

Er möchte halt eine Fortschrittsanzeige haben, daher sendet er alle 10 Sekunden ein entsprechendes Signal an den dd-Prozess.

Hallo zusammen, den Flaschenhals in meinem System konnte ich noch nicht lokalisieren. Mit einem Clonzille-Livesystem komme ich auf ca. 2 GB/min, dass bleibt dann unverändert bis zum Schluss. Ist wohl die beste Lösung. -- Beste Grüße Christian Schade, das XMMS gerade nichts spielt :( -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo zusammen, Tobias Crefeld meinte am Sonntag, den 10.01.2016 um 08:12 Uhr wegen:Klonen einer Festplatte mit dd - Transferrate

Am Wed, 6 Jan 2016 23:42:59 +0100 schrieb Michael Höhne :

...

Am Wed, 6 Jan 2016 22:54:28 +0100 schrieb Tobias Crefeld :

...

Warum so kompliziert? Eigentlich geht es Dir um dd if=/dev/sda of=/dev/sdc bs=1M

Er möchte halt eine Fortschrittsanzeige haben, daher sendet er alle 10 Sekunden ein entsprechendes Signal an den dd-Prozess.

Schon, aber bei Performance-Problemen, versuche ich doch primär, so wenig Nebeneinflüsse wie möglich im Boot zu haben.

Transfergeschwindigkeiten kann ich einfacher mit Tools wie dstat, iostat oder iotop messen.

Ein neuer Versuch zeigte, dass der Flaschenhals in den SATA-Ports lag. Ich hatte SATA-II mit SATA-III verwendet. Habe jetzt beide Platten auf SATA-III und nun sind es 105 MB/s, die nach 80 GB nur wenig auf 101 MB/s abgefallen sind. Derzeit läuft die Kopie einer 250 GB Platte. Die Optionen zur Kontrolle der Transferrate mit dd hatte ich im Ubuntu-Wiki gefunden. Beiträge zu dstat, iostat oder iotop hatte mir google nicht vorgeschlagen. Da nimmt man als Anfänger eben das, was als erprobt beschrieben wurde. Vielen Dank an Alle die geholfen haben. -- Beste Grüße Christian Schade, das XMMS gerade nichts spielt :( -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo, On Wed, 06 Jan 2016, Tobias Crefeld wrote:

Am Wed, 6 Jan 2016 17:37:13 +0100 schrieb Christian Meseberg

...

ich beschäftige mich gerade mit dem Klonen einer Fetsplatet mitteld dd und benutze dd if=/dev/sda of=/dev/sdc bs=1M & ddpid=$! ; while [ $(ps -ao pid | grep $ddpid) ]; do kill -SIGUSR1 $ddpid; sleep 10; done

Warum so kompliziert? Eigentlich geht es Dir um dd if=/dev/sda of=/dev/sdc bs=1M

Um einzugrenzen, ob Quell- oder Ziel-Storage bremst, würde ich dd von /dev/sda nach /dev/null und danach von /dev/zero nach /dev/sdc durchführen und währenddessen die jeweiligen Transferraten beobachten.

Mit obigen Kommandos lässt sich das langsame Medium genau ermitteln. Wenn es um eine "detailierte" Fortschrittsanzeige geht, könnte man z.B. pv (pipe view) nutzen. dd if=/dev/sda bs=8M | pv > /dev/null bzw. /dev/sdc Die Block Size würde ich auf jeden Fall deutlich über 1M setzen. Greetings Daniel -- failure is always an option -- unknown -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 10.01.2016 um 07:47 schrieb Peter Geerds:

Hallo!

Am 09.01.2016 um 21:03 Uhr schrieb Daniel Lord:

...

...

Warum so kompliziert? Eigentlich geht es Dir um dd if=/dev/sda of=/dev/sdc bs=1M

Warum so kompliziert? Man könnte auch dieses Programm benutzen:

dcfldd Da würde selbst ich die Finger von lassen "dcfldd is based on an extremely old version of dd" (gefunden hier: http://forensicswiki.org/wiki/Dcfldd)

Gruß Manfred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 10.01.2016 um 15:22 schrieb Bernd Obermayr:

Manfred Kreisl schrieb:

...

Am 10.01.2016 um 07:47 schrieb Peter Geerds:

...

Hallo!

Am 09.01.2016 um 21:03 Uhr schrieb Daniel Lord:

...

...

Warum so kompliziert? Eigentlich geht es Dir um dd if=/dev/sda of=/dev/sdc bs=1M

Warum so kompliziert? Man könnte auch dieses Programm benutzen:

dcfldd Da würde selbst ich die Finger von lassen "dcfldd is based on an extremely old version of dd" (gefunden hier: http://forensicswiki.org/wiki/Dcfldd)

Gruß Manfred

Hi, der Nachfolger bei Opensuse heisst dc3dd Ja, danke. Den hab ich auch vorhin gefunden und kurz getestet :-)

-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Am 08.01.2016 um 18:52 schrieb Christian Meseberg:

Hallo zusammen,

Christian Meseberg meinte am Mittwoch, den 06.01.2016 um 17:37 Uhr wegen:Klonen einer Festplatte mit dd - Transferrate

...

Hallo zusammen, ich beschäftige mich gerade mit dem Klonen einer Fetsplatet mitteld dd und benutze dd if=/dev/sda of=/dev/sdc bs=1M & ddpid=$! ; while [ $(ps -ao pid | grep $ddpid) ]; do kill -SIGUSR1 $ddpid; sleep 10; done

...

Die Transferrate beginnte mit ca. 32 MB/s uns sinkt nach ca. 11 GB kopierter Daten auf ca. 11 MB/s und wird stetig langsamer.

Ich habe in dem Lenovo T60 eine neue SSD mit 120 GB eingebaut. Das System habe ich erst mit dd übertragen, dann aber doch neu mit einer OS 13.1 installiert. Der Umzug mit dd (Klonen einer Festplatte mit dd - Transferrate) war keine gute Lösung, da die Partitionen später nicht in der Größe verändert werden können. Auch hatte Grub2 So ein Unfug. Für ClickiBuntis ist GParted hierfür die beste Wahl, ansonsten geht das genauso mit Kommandozeilentools (man muss hierbei allerdings wissen was man tut) Probleme und musste mit Grub ersetzt werden. Mit allen Sehr seltsam. Das Problem lag wahrscheinlich daran, dass als Partition nicht die UUID sondern die ID verwendet wurde. Und die ändert sich bei neuer Platte natürlich Anpasssungsarbeiten ist die Neuinstallation der besser Weg. Das klingt mir aber sehr nach Windows-geschädigtem Linux-User

Ich hatte mich zu dem ersteren Versuchg entschieden, das für das Gerät kein Backupmedium greifbar war. Habe dann die Platten in einen anderen PC eingebaut und die persönlichen Daten übertragen.

Alternativ hätte ich noch Partitionen einbinden können, aber in der alten Plattenstruktur waren schon alle Möglichkeiten verbraucht.

Wer ähnliches plant, sollte der Neuinstallation den Verzug geben. Würde ich persönlich nie auf die Idee kommen, es so zu machen

Gruß Manfred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo, Am Fri, 08 Jan 2016, Christian Meseberg schrieb:

Manfred Kreisl meinte am Freitag, den 08.01.2016 um 19:15 Uhr wegen:OT. Wechsel einer HD

...

...

Ich habe in dem Lenovo T60 eine neue SSD mit 120 GB eingebaut. Das System habe ich erst mit dd übertragen, dann aber doch neu mit einer OS 13.1 installiert. Der Umzug mit dd (Klonen einer Festplatte mit dd - Transferrate) war keine gute Lösung, da die Partitionen später nicht in der Größe verändert werden können. Auch hatte Grub2 So ein Unfug. Für ClickiBuntis ist GParted hierfür die beste Wahl, ansonsten geht das genauso mit Kommandozeilentools (man muss hierbei allerdings wissen was man tut)

gparted hatte genau wie parted in yast nur das Verkleinern, nicht aber das Vergrößern der Partitionen angeboten. Mag sein, dass es einen Weg gibt, auf Kommandozeile. Das zu erlernen für 2x Anwenden ist mir doch etwas aufwendig.

Du hast vermutlich nur übersehen, daß du - ERST die Partition vergrößern mußt - UND DANN das Dateisystem vergrößern kannst Hab ich nicht[1] gesagt, daß du dd dd sein läßt, die neue Platte nach Gusto partitionierst und formatierst (und dabei gleich z.B. auf ext4 umsteigst was auf ner SSD sinnvoller ist als ext3), dann die Daten per rsync rüberschaufelst[0], noch grub auf die neue HDD/SSD druff (ok, das ist nicht ganz trivial): entweder mußt du arg mit Optionen jonglieren oder mit dem ollen Grub von HDD die SSD booten (trivial, einfach den alten Eintrag kopieren und die Festplattenbezeichnung anpassen), dann von der neuen HDD/SSD den grub auf die neue HDD/SSD installieren (fdisk -l hilft bei der Wahl des richtigen devices) und fertig ist die Laube. Das noch per chainloader-Booteintrag testen (bis dahin booted man ja von der ollen HDD)!, und dann kann man umstellen. Sowas mach ich noch mit 3 Bierchen hinter der Binde. BTDT. Allerdings guck ich dann nicht nur 3mal auf die Kommandozeilen sondern 5 oder 6 mal oder so und denk dazwischen nochmal sehr angestrengt nach :) Bis ich mir dann auch dann ganz ganz 100%ig sicher bin :) Das beste: du kannst, solange du nicht beim rsync die olle HDD mit der neuen HDD/SSD verwechselst (bzw. deren Mountpunkte, und ohne --delete sollte das sogar auch dann nix anrichten, AFAIR) immer wieder von vorne anfangen! Sogar wenn du beim grub-install Mist baust kannst du das beheben, du mußt nur irgendwas booten, was nen passenden grub drauf hat (z.B. die SUSE-Inst-DVD und dann von dort aus den grub (via chroot usw. ins alte System) restaurieren). Und das ist schon praktisch der worst-case, daß du dir so den grub versemmelst. Lieber (s.o.) 2-3 mal, ggfs. 5-6 mal, oder schlicht so oft, bis du 100% sicher bist, daß du auf das richtige device schreibst nachgucken. -dnh, der das schon, öhm, überleg, mit einer Unterbrechung, seit 1999 so macht (in Varianten, erst mit LILO und tar IIRC ...), über ca. 20 HDDs auf die z.Z. noch erste SSD...[2] [0] z.B. per rsync -vcauxPAXSH / /NEW/ [1] wenn nicht, dann hätte ich sollen [2] System 1 wurde von 1999 bis ~2010, System 2 (~2010 neuinstalliert) ab dann eben so über zusammen insgesamt soviele HDDs umgezogen. -- I'm broken. Please show this to someone who can fix can fix -- A message in a TeX system (Kudos to H J Haataja for the sig) -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo zusammen, Manfred Kreisl meinte am Freitag, den 08.01.2016 um 21:41 Uhr wegen:OT. Wechsel einer HD

Hallo,

Am 08.01.2016 um 19:57 schrieb Christian Meseberg: [...]

...

...

...

Wer ähnliches plant, sollte der Neuinstallation den Verzug geben. Würde ich persönlich nie auf die Idee kommen, es so zu machen

irgendwie zweideutig.

Was würdest Du so nie tun - den Umzug mit dd oder die Neuinstallation?

Wie ich schon in einer früheren Mail erwähnte, hab ich gerade den Umzug der root Partition von HD auf SSD mittels dd gemacht - inclusive Vergrößerung derselben (Partition).

Das Vergrößern ging bei mir wohl nicht, da root und swap zusammen in einer extend lagen. Das hatte ich damals beim Umstieg von XP so gemacht, weil ich die versteckte Partition mit den Systemdateien nicht löschen wollte. Ich werde das bei nächster Gelegnehiet nochmals testen.

Um die Frage konkret zu beantworten: Neuinstallation Bei meinen Installation steckt so viel Konfigurationsarbeit drinnen, sodass ich eine Neuinstallation nur in meinen kühnsten Alpträumen machen würde.

das verstehe ich. Danke für die Hilfe. -- Beste Grüße Christian Schade, das XMMS gerade nichts spielt :( -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo zusammen, Manfred Kreisl meinte am Samstag, den 09.01.2016 um 15:50 Uhr wegen:OT. Wechsel einer HD

Nur noch zum Verständnis? Was verstehst Du unter extend? Erweiterte Partition oder was? Wenn ja, dann hätte auch diese Partition vergrößert werden können/müssen, sofern dahinter nichts mehr gewesen wäre. Aber das ist jetzt ja hinfällig, Du hast ja eh alles platt gemacht ;-)

Ja genau, erweiterte Partition. Das habe ich erst bei der Neuinstallation gemerkt, weil ich die Partitionierung von Hand machen musste, schon wegen der Verschlüsselung. An der Stelle wollte ich aber nicht mehr zurück. Vielen Dank für die Ratschläge und schönes Wochenende für Alle ;) -- Beste Grüße Christian Schade, das XMMS gerade nichts spielt :( -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org