welches Filesystem für Projekt mit mehr als 1,2 Millionen kleiner Files?
Hallo Liste, Wir möchten ein Projekt umsetzen, für das wir alle halbe Jahr ca 500.000 kleine Dateien zum Umwandeln bekommen. Zwei Fragen: a) Welche Dateisysteme sind dafür am besten geeignet (Performance)? Laut Linux-Magazin hat reiserfs bei so großer Anzahl Dateien wohl Vorteile... b) Soll die Verzeichnisstruktur flach oder tief ausgelegt werden?Was ist performanter? Vielen Dank! -- Mit freundlichen Grüßen Markus Feilner -- Linux Solutions, Training, Seminare und Workshops - auch Inhouse Feilner IT Linux & GIS Erlangerstr. 2 93059 Regensburg fon: +49 941 70 65 23 - mobil: +49 170 302 709 2 web: http://feilner-it.net mail: mfeilner@feilner-it.net
Hallo,
Markus Feilner
Wir möchten ein Projekt umsetzen, für das wir alle halbe Jahr ca 500.000 kleine Dateien zum Umwandeln bekommen. Zwei Fragen: a) Welche Dateisysteme sind dafür am besten geeignet (Performance)? Laut Linux-Magazin hat reiserfs bei so großer Anzahl Dateien wohl Vorteile... das ist was man so liest.
b) Soll die Verzeichnisstruktur flach oder tief ausgelegt werden?Was ist performanter? eine flache Verzeichnisstruktur bringt echt Performance Einbussen auch unter ReiserFS. Meine Erfahrung ist, so ab 10.000 Dateien pro Verzeichnis dauert ein "ls" _lang_ "find" hingegen geht. Ich würde also eine verschachtelte Struktur wählen und höchstens einige 1.000 Dateien reinpacken.
Bitte jetzt aber kein Flame-War, das ist einfach miene Erfahrung auf meinem (System) Bye Jürgen -- Dr.rer.nat. Juergen Vollmer, Viktoriastrasse 15, D-76133 Karlsruhe Tel: +49(721) 9204871 Fax: +49(721) 24874 Juergen.Vollmer@[informatik-vollmer.de|alumni.uni-karlsruhe.de|acm.org] www.informatik-vollmer.de
On Wed, Feb 04, 2004 at 04:56:06PM +0100, Dr. Jürgen Vollmer wrote:
Bitte jetzt aber kein Flame-War, das ist einfach miene Erfahrung auf meinem (System)
Peter Wiersig
Weil du nicht ahnst, wo "ls" seine Zeit verbringt, hier die Beschleuningung: "ls -U" ist schnell.
ok, ans Sortieren bei ls habe ich nicht gedacht. Aber meine Erfahrung war auch gespeist aus der Tatsache, daß andere Programme mit er Zeit in die Knie gehen, wenn ein Verzeichnis zu voll wird. Diese Programme wollten entweder eine bestimmte Datei lesen oder auch eine neue in das Verzeichnis schreiben. Bye Jürgen -- Dr.rer.nat. Juergen Vollmer, Viktoriastrasse 15, D-76133 Karlsruhe Tel: +49(721) 9204871 Fax: +49(721) 24874 Juergen.Vollmer@[informatik-vollmer.de|alumni.uni-karlsruhe.de|acm.org] www.informatik-vollmer.de
On Wednesday 04 February 2004 16:56, Dr. Jürgen Vollmer wrote:
unter ReiserFS. Meine Erfahrung ist, so ab 10.000 Dateien pro Verzeichnis dauert ein "ls" _lang_ "find" hingegen geht.
Das liegt daran, daß "ls" die Ausgabe sortiert. "ls" liest das Verzeichnis genauso schnell ein wie "find", muß dann aber ein "sort" auf die Namen machen. Das hat aber mit dem Dateisystem nix mehr zu tun. Kristian -- http://www.amazon.de/exec/obidos/wishlist/18E5SVQ5HJZXG
Markus Feilner schrieb:
Wir möchten ein Projekt umsetzen, für das wir alle halbe Jahr ca 500.000 kleine Dateien zum Umwandeln bekommen. Zwei Fragen: a) Welche Dateisysteme sind dafür am besten geeignet (Performance)? Laut Linux-Magazin hat reiserfs bei so großer Anzahl Dateien wohl Vorteile...
Das ist schwer zu sagen, erst recht wenn man die Anwendungsfälle nicht kennt. Wird hauptsächlich gelesen oder auch geschrieben? Wie oft das ganze, ...? Wie lange dauert eine Operation im Durchschnitt? Nach "filesystem" "benchmarks" oder "performance" gegoogelt, bringt einen auch nicht wirklich weiter. Falls die Verarbeitungsdauer einer einzelnen Datei sehr hoch ist, ist es wahrscheinlich am sinnvollsten, eigene Tests durchzuführen. Falls sehr häufig wahlfrei auf den Inhalt zugegriffen werden muß, kann es auch Sinn machen, die Dateien vor der Verarbeitung in eine Datenbank einzulesen. V.a. wenn deren Inhalt noch in normale VARCHARS paßt.
b) Soll die Verzeichnisstruktur flach oder tief ausgelegt werden?Was ist performanter?
Bei ReiserFS sollte die Verzeichnisstruktur keine Rolle spielen: http://www.linuxgazette.com/issue55/florido.html -- Viele Grüße, Alex
Onsdag 04 februar 2004 22:11 skrev Alexander Veit:
Markus Feilner schrieb:
Wir möchten ein Projekt umsetzen, für das wir alle halbe Jahr ca 500.000 kleine Dateien zum Umwandeln bekommen. Zwei Fragen: a) Welche Dateisysteme sind dafür am besten geeignet (Performance)? Laut Linux-Magazin hat reiserfs bei so großer Anzahl Dateien wohl Vorteile...
Das ist schwer zu sagen, erst recht wenn man die Anwendungsfälle nicht kennt. Wird hauptsächlich gelesen oder auch geschrieben? Wie oft das ganze, ...? Wie lange dauert eine Operation im Durchschnitt?
Nach "filesystem" "benchmarks" oder "performance" gegoogelt, bringt einen auch nicht wirklich weiter. Falls die Verarbeitungsdauer einer einzelnen Datei sehr hoch ist, ist es wahrscheinlich am sinnvollsten, eigene Tests durchzuführen.
Mal mit packet "Bonnie" versucht ;-) Obwohl die Dateien klein sei spilt platz wohl auch eine Rolle. !! Ich brauche ReiserFS für ein Project mit viele Test-reihen mit viele kleine Dateien (2000) pro test in viele Variationen. Wird einmal Geschrieben und danach einmal Analysiert. Daten von der Analyse wird dann in mysql gespeichert. Und ich bin damit sehr zufrieden. Mehr info bitte om da besser beraten zu können !!! ;-) Schuldige mein rostiges Deutsch Johan
Falls sehr häufig wahlfrei auf den Inhalt zugegriffen werden muß, kann es auch Sinn machen, die Dateien vor der Verarbeitung in eine Datenbank einzulesen. V.a. wenn deren Inhalt noch in normale VARCHARS paßt.
b) Soll die Verzeichnisstruktur flach oder tief ausgelegt werden?Was ist performanter?
Bei ReiserFS sollte die Verzeichnisstruktur keine Rolle spielen: http://www.linuxgazette.com/issue55/florido.html
-- Viele Grüße, Alex
participants (6)
-
Alexander Veit -
Dr. Jürgen Vollmer -
Kristian Köhntopp -
Markus Feilner -
Peter Wiersig -
yep＠osterbo-net.dk