DVD-RAM-Zugriffe sehr langsam/Dateisystem fuer DVD-RAMs
Hallo, ich habe eine DVD-RAM (von Maxwell; Laufwerk: LG 4082B) mit einem ext2 Dateisystem (mke2fs -b 2048 -m 0) formatiert. Allein das Formatieren dauerte schon etwa 2,5 Minuten. Beim Kopieren ist mir aufgefallen, dass der Laser des Laufwerks scheinbar dauernd hin- und herspringt und der gesamte Kopiervorgang (Backup des /etc-Verzeichnisses mit grob 7500 kleinen Dateien) ziemlich lange dauert. Bei sehr grossen Dateien ist das hin- und herspringen des Lasers nicht so sehr ausgepraegt, der Kopiervorgang dauert bei einer 1 GB grossen Datei aber immerhin noch seine 10,5 Minuten (sollte in unter 6 Minuten zu schaffen sein). Selbst das Loeschen zweier 1 GB grosser Dateien dauert minutenlang. Bei Verwendung eines UDF-Dateisystems hoert man den Laser nicht dauernd hin- und herspringen (auch bei kleinen Dateien) und der Kopiervorgang geht allem Anschein nach fluessiger vonstatten (habe ich aber nicht genau nachgemessen). Allerdings ist UDF weniger gut geeignet fuer Backups. Woran liegt das Verhalten bei ext2? Wie sehen eure Erfahrungen mit ext2 und DVD-RAMs aus? Irgendwelche Ideen, Tipps, weitere Optionen beim Formatieren? Danke im Voraus fuer Kommentare und Anregungen. Gruss, Christian
Hi On Thursday 23 September 2004 01:31, Christian Schneider wrote:
Woran liegt das Verhalten bei ext2? Wie sehen eure Erfahrungen mit ext2 und DVD-RAMs aus? Irgendwelche Ideen, Tipps, weitere Optionen beim Formatieren? Meine Erfahrungen sehen ähnlich aus. Wenn es keine zwingenden Gründe für ext2 gibt dann nimm udf oder fat. DVD-RAM scheint irgendwie nicht mit ext2 zu harmonieren.
mfg Axel
Am Donnerstag, 23. September 2004 09:40 schrieb Axel Heinrici: Hi Axel,
Hi
On Thursday 23 September 2004 01:31, Christian Schneider wrote:
Woran liegt das Verhalten bei ext2? Wie sehen eure Erfahrungen mit ext2 und DVD-RAMs aus? Irgendwelche Ideen, Tipps, weitere Optionen beim Formatieren?
Meine Erfahrungen sehen ähnlich aus. Wenn es keine zwingenden Gründe für ext2 gibt dann nimm udf oder fat. DVD-RAM scheint irgendwie nicht mit ext2 zu harmonieren.
Geht andere Dateisysteme auch? Z.B. ext3 /Reiser? Und wie bekomme ich das auf die Scheibe ? Parted?
mfg Axel
-- CU at the trails Boris
Hallo, Am Donnerstag, 23. September 2004 11:28 schrieb Boris S.:
Geht andere Dateisysteme auch? Z.B. ext3 /Reiser? Und wie bekomme ich das auf die Scheibe ? Parted?
Ext3 und ReiserFS haben ein Journal und sind sicherlich weniger gut fuer den Einsatz auf DVD-RAMs geeignet. Ich schaetze mal, dass dann der Laser noch weniger Ruhe hat als bei ext2. Parted ist ein Tool zum Partitionieren. Laut Manpage kann es mit einigen Dateisystemen wohl ein wenig umgehen (anlegen, Groesse aendern,...). Was es sonst noch kann, weiss ich nicht. Zum Anlegen von Dateisystemen nimmst du vermutlich besser direkt mkfs.reiserfs, mkfs.ext3, mkudffs usw.
CU at the trails
Boris
Gruss, Christian
Am Freitag, 24. September 2004 00:53 schrieb Christian Schneider: Hallo Christian,
Hallo,
Am Donnerstag, 23. September 2004 11:28 schrieb Boris S.:
Geht andere Dateisysteme auch? Z.B. ext3 /Reiser? Und wie bekomme ich das auf die Scheibe ? Parted?
Ext3 und ReiserFS haben ein Journal und sind sicherlich weniger gut fuer den Einsatz auf DVD-RAMs geeignet. Ich schaetze mal, dass dann der Laser noch weniger Ruhe hat als bei ext2.
Dachte ich mir schon fast.
Parted ist ein Tool zum Partitionieren. Laut Manpage kann es mit einigen Dateisystemen wohl ein wenig umgehen (anlegen, Groesse aendern,...). Was es sonst noch kann, weiss ich nicht.
Zum Anlegen von Dateisystemen nimmst du vermutlich besser direkt mkfs.reiserfs, mkfs.ext3, mkudffs usw.
Danke für den Tip. -- CU at the trails Boris
Am Donnerstag, 23. September 2004 09:40 schrieb Axel Heinrici:
Hi
Hi,
On Thursday 23 September 2004 01:31, Christian Schneider wrote:
Woran liegt das Verhalten bei ext2? Wie sehen eure Erfahrungen mit ext2 und DVD-RAMs aus? Irgendwelche Ideen, Tipps, weitere Optionen beim Formatieren?
Meine Erfahrungen sehen ähnlich aus. Wenn es keine zwingenden Gründe für ext2 gibt dann nimm udf oder fat. DVD-RAM scheint irgendwie nicht mit ext2 zu harmonieren.
UDF habe ich mal ausprobiert, aber leider habe ich einige zu lange Dateinamen (da waere Basteln angesagt), die Dateirechte waeren futsch und soweit ich mich erinnere ist im SuSE-9.0-default-Kernel die UDF-Schreibunterstuetzung noch als "dangerous" gekennzeichnet (ok, der Kernel waere noch das kleinste Problem). Und FAT auf einer DVD-RAM? Das kann ja nicht mal zwischen Gross- und Kleinschreibung unterscheiden (wie es damit bei UDF aussieht, weiss ich nicht). Schade, dass es nun bei einer so doofen Sache wie einem Dateisystem problematisch wird. :-( Ich glaube mittlerweile auch, dass der Kernel da etwas mit zu tun hat (s. Antwort auf Manfreds Mail).
mfg Axel
Trotzdem danke. Gruss, Christian
Hi On Friday 24 September 2004 00:56, Christian Schneider wrote:
Und FAT auf einer DVD-RAM? Das kann ja nicht mal zwischen Gross- und Kleinschreibung unterscheiden (wie es damit bei UDF aussieht, weiss ich nicht). Ich benutze auch Windows. IIRC war FAT die Standardeinstellung mit dem Windows das formatiert hat. IMHO ist es eh nicht sinnvoll Dateinamen zu benutzen, die sich nur durch Groß-/Kleinschreibung unterscheiden. Und FAT kann ja immerhin Groß-/Kleinschreibung anzeigen. Schade, dass es nun bei einer so doofen Sache wie einem Dateisystem problematisch wird. :-( Ich kenne deinen Anwendungsfall nicht. Für meine Zwecke tut es FAT jedenfalls. Und wenn man mal ideologische Abneigungen bei Seite tut, dann kann man FAT schon irgendwie verantworten, finde ich.
Ich glaube mittlerweile auch, dass der Kernel da etwas mit zu tun hat (s. Antwort auf Manfreds Mail). Die Zeit, die du in die Untersuchung des ganzen gesteckt hast, wirst du vermutlich mit keinem Dateisystem wieder oder Kernel wieder rausholen. :-)
Wo kaufst du eigentlich die DVD-RAMs? mfg Axel
Am Freitag, 24. September 2004 10:06 schrieb Axel Heinrici:
Ich benutze auch Windows. IIRC war FAT die Standardeinstellung mit dem Windows das formatiert hat.
weil Windows von Hause aus nichts andres auf DVD-rams formatieren kann... für UDF brauchst Du Zusatz-Tools.
IMHO ist es eh nicht sinnvoll Dateinamen zu benutzen, die sich nur durch Groß-/Kleinschreibung unterscheiden.
wie oft hast Du schon z.B. html-Files eines Windows-Nutzers bekommen und konntest die nicht sofort nutzen :( Datei groß, Referenz klein oder sowas ...
Ich kenne deinen Anwendungsfall nicht. Für meine Zwecke tut es FAT jedenfalls. Und wenn man mal ideologische Abneigungen bei Seite tut, dann kann man FAT schon irgendwie verantworten, finde ich.
die maximale Dateigröße kann schon mal zu einem Problem werden :( wenn man die Kapazität ausnutzen will.
Die Zeit, die du in die Untersuchung des ganzen gesteckt hast, wirst du vermutlich mit keinem Dateisystem wieder oder Kernel wieder rausholen. :-)
mmh, wenn es danach geht, müsste ich ausschlisslich Windows verwenden, denn da funktionierten eigendlich alle Geräte sofort mit dem mitgelieferten Treiber, bei Linux musste ich oft basteln/suchen/fluchen. Gruss Andreas
Andreas Loesch wrote:
mmh, wenn es danach geht, müsste ich ausschlisslich Windows verwenden, denn da funktionierten eigendlich alle Geräte sofort mit dem mitgelieferten Treiber, bei Linux musste ich oft basteln/suchen/fluchen.
Endlich gibt's mal einer zu ;) Nicht dass ich ein besonderer Windows-Fan wäre - viel mehr sind ja die Hardware-Hersteller schuld, die ihr Zeug nicht standarfkonform machen, oder einfach nur an Windows denken - aber Fakt ist einfach, dass man unter Linux für fast alles wesentlich viel mehr Zeit _verschwendet_. Leider.
Am Freitag, 24. September 2004 16:26 schrieb Patrick Nagel:
Andreas Loesch wrote:
mmh, wenn es danach geht, müsste ich ausschlisslich Windows verwenden, denn da funktionierten eigendlich alle Geräte sofort mit dem mitgelieferten Treiber, bei Linux musste ich oft basteln/suchen/fluchen.
Endlich gibt's mal einer zu ;)
was gebe ich zu? Ja die Hardwarehersteller unterstützen Windows besser,
aber Fakt ist einfach, dass man unter Linux für fast alles wesentlich viel mehr Zeit _verschwendet_. Leider.
verschwenden ist relativ, warum hab ich früher als Kind lieber mit Lego, Fishertechnik und Märklin Metall gespielt als mit Playmobil? das Basteln macht doch Spass... Gruss Andreas
Am Donnerstag, 23. September 2004 01:31 schrieb Christian Schneider:
ich habe eine DVD-RAM (von Maxwell; Laufwerk: LG 4082B) mit einem ext2 Dateisystem (mke2fs -b 2048 -m 0) formatiert. Allein das Formatieren dauerte schon etwa 2,5 Minuten. Beim Kopieren ist mir aufgefallen, dass der Laser des Laufwerks scheinbar dauernd hin- und herspringt und der gesamte Kopiervorgang (Backup des /etc-Verzeichnisses mit grob 7500 kleinen Dateien) ziemlich lange dauert. Bei sehr grossen Dateien ist das hin- und herspringen des Lasers nicht so sehr ausgepraegt, der Kopiervorgang dauert bei einer 1 GB grossen Datei aber immerhin noch seine 10,5 Minuten (sollte in unter 6 Minuten zu schaffen sein). Selbst das Loeschen zweier 1 GB grosser Dateien dauert minutenlang.
Soweit ich weiß hat DVD-RAM einen doppelten Verify, also alles was geschrieben wird, wird zweimal zur Kontrolle gelesen und verglichen um Schreibfehler auszuschließen. Da ist langsames schreiben recht normal, ähnlich wie bei MO-Laufwerken.
Bei Verwendung eines UDF-Dateisystems hoert man den Laser nicht dauernd hin- und herspringen (auch bei kleinen Dateien) und der Kopiervorgang geht allem Anschein nach fluessiger vonstatten (habe ich aber nicht genau nachgemessen). Allerdings ist UDF weniger gut geeignet fuer Backups.
Hast Du Vergleichswerte, z.B. mit der 1 GB Datei? UDF wurde ja für sowas ausgelegt, kann schon sein, dass das effizienter umgeht, dass da allerdings ein großer zeitlicher Unterschied dabei rauskommt, kann ich mir kaum vorstellen. -- Machs gut | http://www.iivs.de/schwinde/buerger/tremmel/ | http://packman.links2linux.de/ Manfred | http://www.knightsoft-net.de
Hallo, Am Donnerstag, 23. September 2004 22:01 schrieb Manfred Tremmel:
Am Donnerstag, 23. September 2004 01:31 schrieb Christian Schneider:
Bei Verwendung eines UDF-Dateisystems hoert man den Laser nicht dauernd hin- und herspringen (auch bei kleinen Dateien) und der Kopiervorgang geht allem Anschein nach fluessiger vonstatten (habe ich aber nicht genau nachgemessen). Allerdings ist UDF weniger gut geeignet fuer Backups.
Hast Du Vergleichswerte, z.B. mit der 1 GB Datei? UDF wurde ja für sowas ausgelegt, kann schon sein, dass das effizienter umgeht, dass da allerdings ein großer zeitlicher Unterschied dabei rauskommt, kann ich mir kaum vorstellen.
Zwecklos, da bekomme ich einfach keine reproduzierbaren und representativen Zeiten hin. Ich habe die gleiche 1GB Datei erneut auf die DVD-RAM mit ext2 geschrieben (gebootet mit SuSE-default-Kernel): ueber 12 Minuten! Dabei war der Desktop kaum zu benutzen (dauerndes Ruckeln, keine oder sehr spaete Reaktionen auf Maus- oder Tastaturaktionen). Da ich etwas von einem Kernel-Problem gelesen habe, das angeblich im 2.6er behoben ist habe ich einen 2.6er gebootet. Das Ruckeln war weg, das Kopieren der 1GB Datei (auf ein ext2 FS) dauerte aber nun weit ueber 20 Minuten! Vielleicht sollte ich erstmal eine Scheibe von einem anderen Hersteller testen!? Gruss, Christian
Am Freitag, 24. September 2004 00:55 schrieb Christian Schneider:
Am Donnerstag, 23. September 2004 22:01 schrieb Manfred Tremmel:
Hast Du Vergleichswerte, z.B. mit der 1 GB Datei?
Zwecklos, da bekomme ich einfach keine reproduzierbaren und representativen Zeiten hin.
seltsam, auch nciht mit 2.6?
Ich habe die gleiche 1GB Datei erneut auf die DVD-RAM mit ext2 geschrieben (gebootet mit SuSE-default-Kernel): ueber 12 Minuten! Dabei war der Desktop kaum zu benutzen (dauerndes Ruckeln, keine oder sehr spaete Reaktionen auf Maus- oder Tastaturaktionen).
Da ich etwas von einem Kernel-Problem gelesen habe, das angeblich im 2.6er behoben ist habe ich einen 2.6er gebootet. Das Ruckeln war weg, das Kopieren der 1GB Datei (auf ein ext2 FS) dauerte aber nun weit ueber 20 Minuten!
ihc hab hier ein Debiansystem mit einem DVD-Ram (irgendsoein LG-Teil) mit Kernel 2.6.7 und _ohne_ ide-scsi da habe ich vor einiger zeit mal Tests mit dem ext2-FS gemacht: andreas@einstein:~/tmp$ time dd if=/dev/urandom of=testfile bs=1024k count=1000 1000+0 Datensätze ein 1000+0 Datensätze aus 1048576000 bytes transferred in 339,946311 seconds (3084534 bytes/sec) real 5m39.992s user 0m0.010s sys 5m25.455s 1/ Filesystem mit Blockgröße von 2048 anlegen: einstein:/media# time mke2fs -b 2048 -m 0 /dev/hdd [...] real 2m54.545s user 0m0.019s sys 0m0.199s 2/ Testdatei auf FS kopieren: andreas@einstein:~/tmp$ time cp testfile /media/dvdram/ real 14m1.718s user 0m0.307s sys 0m5.083s in diesem Zeit-Fenster ist das mehrfach reproduzierbar. 3/Filesystem mit blockgröße 4096 anlegen: einstein:/media# time mke2fs -b 4096 -m 0 /dev/hdd mke2fs 1.35 (28-Feb-2004) [...] real 1m37.748s user 0m0.010s sys 0m0.204s 4/ und datei kopieren andreas@einstein:~/tmp$ time cp testfile /media/dvdram/ real 11m56.132s user 0m0.319s sys 0m4.486s die blockgröße macht sich bei einer entsprechenden Datei bemerkbar :) hier fehlen mir noch Tests mit 'realen' Dateigrößen Verteilungen aber an sich 6/ ok, wie macht sich udf? einstein:/media# time mkudffs --media-type=dvdram /dev/hdd start=0, blocks=16, type=RESERVED start=16, blocks=3, type=VRS start=19, blocks=237, type=USPACE start=256, blocks=1, type=ANCHOR start=257, blocks=16, type=PVDS start=273, blocks=1, type=LVID start=274, blocks=2236173, type=PSPACE start=2236447, blocks=1, type=ANCHOR start=2236448, blocks=239, type=USPACE start=2236687, blocks=16, type=RVDS start=2236703, blocks=1, type=ANCHOR real 0m0.833s user 0m0.002s sys 0m0.008s einstein:/media# 7/ Kopieren der Random-Datei: andreas@einstein:~/tmp$ time cp testfile /media/dvdram/ real 11m29.087s user 0m0.357s sys 0m5.404s 8/ zum schluss hab ich nochmal die gleiche Zahl an Bytes aus /dev/zero bzw aus /dev/urandom direkt auf ein Medium geschrieben: einstein:/media# time dd if=/dev/zero of=/dev/hdd bs=1024k count=1000 1000+0 Datensätze ein 1000+0 Datensätze aus 1048576000 bytes transferred in 477,818662 seconds (2194506 bytes/sec) real 7m57.856s user 0m0.013s sys 0m2.926s einstein:/media# time dd if=/dev/urandom of=/dev/hdd bs=1024k count=1000 1000+0 Datensätze ein 1000+0 Datensätze aus 1048576000 bytes transferred in 503,240246 seconds (2083649 bytes/sec) real 8m23.272s user 0m0.014s sys 5m29.195s
Vielleicht sollte ich erstmal eine Scheibe von einem anderen Hersteller testen!?
einmal das, dann evtl. mal mit cd-ide versuchen. Mein System ist in der Zeit wunderbar reaktiv und verhält sich für normale Office-Sachen Textschreiben / Mail/News lesen+schreiben / WWW wie sonst auch. und die Zeiten decken sich auch mit einem Zitat aus einer News mit einem Zitat der c't, das ich mal gefunden habe: <quote> Hmm, Verifying ist automatisch dabei. Ich zitiere aus der c't 18/2003 S.124 ff. "Auf die nominale DVD-RAM-Geschwindigkeit von 3X kommt der LG-Brenner nur beim Lesen. Die Schreibgeschwindigkeit wird durch ein automatisches Verify quasi halbiert.Effektiv benötigt man so mit UDF zehn und mit FAT32 sogar 15 Minuten, um 1 GByte an Daten zu schreiben. Die automatische Schreibüberprüfung lässt sich selbst mit einer separaten Brennsoftware nicht umgehen - dies soll aber mit einer späteren Firmware-Revision möglich werden." </quote> Gruss Andreas
Hi, Am Freitag, 24. September 2004 11:36 schrieb Andreas Loesch:
Am Freitag, 24. September 2004 00:55 schrieb Christian Schneider:
Am Donnerstag, 23. September 2004 22:01 schrieb Manfred Tremmel:
Hast Du Vergleichswerte, z.B. mit der 1 GB Datei?
Zwecklos, da bekomme ich einfach keine reproduzierbaren und representativen Zeiten hin.
seltsam, auch nciht mit 2.6?
Wie schon geschrieben: ueber 20 Minuten mit einem 2.6er (genauer 2.6.5-... Mantel). Der 2.6.8.1er braucht "nur" etwa 15 Minuten, liegt also noch im Rahmen (heute getestet).
ihc hab hier ein Debiansystem mit einem DVD-Ram (irgendsoein LG-Teil) mit Kernel 2.6.7 und _ohne_ ide-scsi da habe ich vor einiger zeit mal Tests mit dem ext2-FS gemacht: [Testdaten]
Vielleicht sollte ich erstmal eine Scheibe von einem anderen Hersteller testen!?
einmal das, dann evtl. mal mit cd-ide versuchen.
Unter den 2.6er Kernels verwende ich nur ide-cd. Daran kann es also vermutlich nicht liegen.
Mein System ist in der Zeit wunderbar reaktiv und verhält sich für normale Office-Sachen Textschreiben / Mail/News lesen+schreiben / WWW wie sonst auch.
und die Zeiten decken sich auch mit einem Zitat aus einer News mit einem Zitat der c't, das ich mal gefunden habe: <quote> Hmm, Verifying ist automatisch dabei. Ich zitiere aus der c't 18/2003 S.124 ff.
"Auf die nominale DVD-RAM-Geschwindigkeit von 3X kommt der LG-Brenner nur beim Lesen. Die Schreibgeschwindigkeit wird durch ein automatisches Verify quasi halbiert.Effektiv benötigt man so mit UDF zehn und mit FAT32 sogar 15 Minuten, um 1 GByte an Daten zu schreiben. Die automatische Schreibüberprüfung lässt sich selbst mit einer separaten Brennsoftware nicht umgehen - dies soll aber mit einer späteren Firmware-Revision möglich werden." </quote>
Danke fuer den Hinweis. Die Zeiten bei mir sind also noch halbwegs ok (abgesehen von den ueber 20 Minuten) und Deine Tests bestaetigen die Zahlen aus der ct ja zusaetzlich. Zudem wird bestaetigt, dass es Unterschiede zwischen den verschiedenen Dateisystemen gibt.
Gruss Andreas
So, will jetzt mein erstes, ernstes Backup brennen. Mal sehen, wie lange es so dauert. Gruss, Christian
Am Samstag, 25. September 2004 01:06 schrieb Christian Schneider:
seltsam, auch nciht mit 2.6?
Wie schon geschrieben: ueber 20 Minuten mit einem 2.6er (genauer 2.6.5-... Mantel). Der 2.6.8.1er braucht "nur" etwa 15 Minuten, liegt also noch im Rahmen (heute getestet).
dann hatte der 2.6.5 wohl eine Macke :)
Danke fuer den Hinweis. Die Zeiten bei mir sind also noch halbwegs ok (abgesehen von den ueber 20 Minuten) und Deine Tests bestaetigen die Zahlen aus der ct ja zusaetzlich. Zudem wird bestaetigt, dass es Unterschiede zwischen den verschiedenen Dateisystemen gibt.
und die 20minuten kann man ja auf den kernel schieben. es kann natürlich immer noch Unterschiede zwischen verschiedenen Medien geben. Ich hab auch schon gelesen, dass Leute direkt Archive ohne Filesystem auf das Medium schreiben, bei meinen Tests hab ich ja gesehen, dass das direkte schreiben noch deutlich schneller war, evtl. wäre das auch noch eine alternative. Allerdings hab ich mich damit noch nciht näher beschäftigt :) Gruss Andreas
Hallo, Am Samstag, 25. September 2004 18:14 schrieb Andreas Loesch:
Am Samstag, 25. September 2004 01:06 schrieb Christian Schneider:
seltsam, auch nciht mit 2.6?
Wie schon geschrieben: ueber 20 Minuten mit einem 2.6er (genauer 2.6.5-... Mantel). Der 2.6.8.1er braucht "nur" etwa 15 Minuten, liegt also noch im Rahmen (heute getestet).
dann hatte der 2.6.5 wohl eine Macke :)
Koennte sein. ;-) Ich habe jetzt mein erstes Backup des Home-Verzeichnisses auf DVD-RAM geschrieben (mit rsync). Es handelt sich um etwa 1,7 GB mit groesseren und kleineren Dateien. Der Kernel war der 2.6.8.1er. Hat im Durchschnitt nur knapp 600kB/s geschafft. :-( Das ist meine Geduld aber schnell am Ende (entspricht ja auch nur etwa dem Brennen einer CD mit 4-facher Geschwindigkeit und wer macht das heute noch?).
Ich hab auch schon gelesen, dass Leute direkt Archive ohne Filesystem auf das Medium schreiben, bei meinen Tests hab ich ja gesehen, dass das direkte schreiben noch deutlich schneller war, evtl. wäre das auch noch eine alternative. Allerdings hab ich mich damit noch nciht näher beschäftigt :)
Das waere auch noch eine Idee. Dann spart man sich alles, was mit ext2 zutun hat. Vielleicht probiere ich das mal aus.
Gruss Andreas
Gruss, Christian
participants (6)
-
Andreas Loesch -
Axel Heinrici -
Boris S. -
Christian Schneider -
Manfred Tremmel -
Patrick Nagel