smartdrive für linux ?!? Gibts das vieleicht....?
Hallo Linux Gemeinde! sagt mal, weis einer von euch ob es soetwas wir SMARTDRV auch für Linux gibt....? Ich benötige ein PlattenCache um Plattenzugriffe auf einem ReiserFS oder XFS zu beschleunigen, da meine Platten (es sind schon die schnellsten COMPAQ SCSI-scheiben die es gibt) zu langsam sind. Oder wie kann ich sonst das Cache-Verhalten des OS evtl beeinflussen? Hintergrund: ein Rsync Server der 6gb Daten enthält und an den sich 108 andere Rsync Server andocken um diese Daten zu täglich ziehen. Anmerkung: ich benutze dabei den CRC und kann auf den nicht verzichten... Alle Hinweise/Anregungen von euch zur Verbesserung sind willkommen! gruss Stephan
On 28 Jan 2003 at 11:53, Scheufen Stephan wrote:
Hallo Linux Gemeinde! sagt mal, weis einer von euch ob es soetwas wir SMARTDRV auch für Linux gibt....?
Ich benötige ein PlattenCache um Plattenzugriffe auf einem ReiserFS oder XFS zu beschleunigen, da meine Platten (es sind schon die schnellsten COMPAQ SCSI-scheiben die es gibt) zu langsam sind. Oder wie kann ich sonst das Cache-Verhalten des OS evtl beeinflussen?
Hintergrund: ein Rsync Server der 6gb Daten enthält und an den sich 108 andere Rsync Server andocken um diese Daten zu täglich ziehen. Anmerkung: ich benutze dabei den CRC und kann auf den nicht verzichten...
Alle Hinweise/Anregungen von euch zur Verbesserung sind willkommen!
Hauptspeicher, Hauptspeicher und nochmals Hauptspeicher. Alles, was die Kiste nicht für laufende Prozesse braucht, ist automatisch cache. Sowas wie smartdrv gibts hier nicht (extra), das macht das System sowieso schon. Alternativ denke mal über ein Raid-Array nach. Insbesondere Raid1 ist fürs _Lesen_ schnell (nicht unbedingt fürs Schreiben, da die Daten hier auf 2 Platten gleichzeitig müssen). Andreas
Scheufen Stephan wrote:
Hallo Linux Gemeinde! sagt mal, weis einer von euch ob es soetwas wir SMARTDRV auch für Linux gibt....?
Ich benötige ein PlattenCache um Plattenzugriffe auf einem ReiserFS oder XFS zu beschleunigen, (...)
Hintergrund: ein Rsync Server der 6gb Daten enthält und an den sich 108 andere Rsync Server andocken um diese Daten zu täglich ziehen. Anmerkung: ich benutze dabei den CRC und kann auf den nicht verzichten...
Dir wuerde selbst ein SMARTDRV nicht helfen (Es sei denn, du haettest mehr als 6GB Hauptspeicher), weil beim Mirroring ja alles sequentiell lesen musst. Jeder Cache ist da irgendwo fehl am Platze. Wie hast du deine Festplatten organisiert? Meiner Meinung nach muesstest du mit einem "Stripe"-Verfahren arbeiten um eine hohe Lesegeschwindigkeit zu erzielen. Hast du die mount-Option "noatime" gesetzt? Das sorgt dafuer, das nicht auch noch Daten geschrieben werden muessen, wenn deine Mirrors zugreifen. Bei einem Filearchiv sollte das auch funktionieren. Hast du schon ermittelt, ob dein Flaschenhals ueberhaupt am Durchsatz des Plattenspeichers liegt? CRC klingt CPU-Zeit hungrig. Peter
Hi Stephan Scheufen Stephan schrieb:
Hallo Linux Gemeinde! sagt mal, weis einer von euch ob es soetwas wir SMARTDRV auch für Linux gibt....?
Ich benötige ein PlattenCache um Plattenzugriffe auf einem ReiserFS oder XFS zu beschleunigen, da meine Platten (es sind schon die schnellsten COMPAQ SCSI-scheiben die es gibt) zu langsam sind. Oder wie kann ich sonst das Cache-Verhalten des OS evtl beeinflussen?
Hintergrund: ein Rsync Server der 6gb Daten enthält und an den sich 108 andere Rsync Server andocken um diese Daten zu täglich ziehen. Anmerkung: ich benutze dabei den CRC und kann auf den nicht verzichten...
Alle Hinweise/Anregungen von euch zur Verbesserung sind willkommen!
wenn du nicht grade ~6,5GB Hauptspeicher investieren willst bringt das vermutlich ziemlich wenig, aber was schon ne Menge bringt wenn du mal die Datenpartition auf ext2 umstellst, du wirst dich wundern wie schnell das plötzlich geht, und falls es mehr als ein Prozessor ist sowieso. Und dann hab ich bei rsync die Erfahrung gemacht das man crc nur einschalten sollte wenn man ein sehr krasses Mißverhältnis zwischen einem Bandbreitenengpaß und einem gigantischen Prozessorleistungsüberschuss hat. In allen anderen Fällen geht stupides Kopieren (evtl. mit gzipptem stream) deutlich schneller. Erschwerend kommt hinzu das rsync ab 1..2 GB recht zäh wird, nicht zuletzt weil dort mit ls -r gearbeitet wird und der Puffer wo es rein läuft dann arg lahmt, kann man zwar abstellen wenn es wg. Pufferüberlauf abstürzt aber davon wird es auch nicht nennenswert schneller. Eine sinvolle Lösung könnte zb. sein das Du auf allen beteiligten Maschinen eine Art crc/md5 *) chache anlegst und dann per eigenem script nur das kopierst was du wirklich brauchst. Und sieh zu das die (Haupt-)Rechenleistung auf den Clients verbraten wird, dann skaliert das auch einigermassen. *) einfach per script den pfad, zeitstempel und ggf. prüfsumme in eine datei oder eine mysql db schreiben und auf der anderen Seite auswerten. MfG. Falk
participants (4)
-
Andreas Kyek
-
Falk Sauer
-
Peter Wiersig
-
Scheufen Stephan