Cluster Filesysteme / Parallele Speicherloesungen
Frage: Hat jemand Erfahrung mit Cluster (bzw. Distributed) Filesystemen oder parallelen Speicherloesungen und wuerde ggf. Erfahrungswerte beisteuern? Es gibt ja mittlerweile so einge Produkte in dieser Hinsicht und natuerlich hat jedes FS bzw. jede Speicherloesung gewisse Vor- und Nachteile. Leider zeigt die Erfahrung, dass die Praxis oft nicht ganz mit der Theorie in Einklang zu bringen ist, insbesondere was Wartungsaufwand, Skalierbarkeit, Datendurchsatz etc angeht. Natuerlich muss man ein wenig genauer hinschauen und "das beste Filesystem"(tm) bzw. "die beste Speicherloesung" haengt auch davon ab, welche Programme und Applikationen wie, wie oft und wann auf Dateien zugreifen, und so weiter und so fort. Mich wuerde im Prinzip einfach generell mal Erfahrungswerte interessieren, ohne jetzt eine Diskussion von vorne herein auf eine bestimmte Richtung festzulegen. Es geht in meinem Falle grob gesagt um ca. 2 bis 4 Petabytes an Speicherplatz, die von ca. 500 bis 2000 Cluster-Knoten angesprochen werden. Wir haben in der Vergangenheit zwei kommerzielle parallele HPC Speicherloesung gehabt, waren aber mit dem Datendurchsatz und vor allem der Zuverlaessigkeit eines der Systems nicht besonders beeindruckt. Gruesse aus London, Thomas -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On Monday 18 July 2011, Thomas Hertweck wrote:
Frage: Hat jemand Erfahrung mit Cluster (bzw. Distributed) Filesystemen oder parallelen Speicherloesungen und wuerde ggf. Erfahrungswerte beisteuern? Es gibt ja mittlerweile so einge Produkte in dieser Hinsicht und natuerlich hat jedes FS bzw. jede Speicherloesung gewisse Vor- und Nachteile. Leider zeigt die Erfahrung, dass die Praxis oft nicht ganz mit der Theorie in Einklang zu bringen ist, insbesondere was Wartungsaufwand, Skalierbarkeit, Datendurchsatz etc angeht. Natuerlich muss man ein wenig genauer hinschauen und "das beste Filesystem"(tm) bzw. "die beste Speicherloesung" haengt auch davon ab, welche Programme und Applikationen wie, wie oft und wann auf Dateien zugreifen, und so weiter und so fort.
Mich wuerde im Prinzip einfach generell mal Erfahrungswerte interessieren, ohne jetzt eine Diskussion von vorne herein auf eine bestimmte Richtung festzulegen. Es geht in meinem Falle grob gesagt um ca. 2 bis 4 Petabytes an Speicherplatz, die von ca. 500 bis 2000 Cluster-Knoten angesprochen werden. Wir haben in der Vergangenheit zwei kommerzielle parallele HPC Speicherloesung gehabt, waren aber mit dem Datendurchsatz und vor allem der Zuverlaessigkeit eines der Systems nicht besonders beeindruckt.
Nicht ganz unbeteiligt wuerde ich Dir empfehlen, einen Blick auf FhgFS von Fraunhofer zu werfen: http://www.fhgfs.com/cms/ FhgFS ist keine freie Software, aber immerhin kostenlos. FhgFS unterstuetzt parallele Daten- und auch parallele Metadatenserver. D.h. Datendurchsatz und Skalierbarkeit haben oberste Prioritaet, das liegt auch daran, dass es aus der Abteilung HPC bei Fraunhofer stammt: http://www.itwm.fraunhofer.de/abteilungen/hpc.html (... wo ich auch arbeite, aber nicht am Dateisystem, ich benutze es nur). In der taeglichen Arbeit verhaelt es sich unauffaellig, d.h. es funktioniert einfach. Selbst installiert habe ich es noch nicht (...aber das soll einfach sein). Kernel-Patches sind *nicht* notwendig, aktuelle Kernel werden unterstuetzt, ich glaube, auch 3.0rc schon. Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Thomas, ich habe grade einen Blick auf deine Homepage geworfen, ich glaube, du kennst uns (Fraunhofer ITWM, Abteilung HPC). Jedenfalls hatten wir schonmal ein Projekt mit Fugro. Ich hoffe, du warst nicht von FhgFS enttaeuscht ? Gruesse aus Kaiserslautern Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On Monday 18 July 2011, Alexander Neundorf wrote:
Hallo Thomas,
Ups, die sollte privat sein... Sorry, Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (2)
-
Alexander Neundorf
-
Thomas Hertweck