Re: GlusterFs unter OS11.1 oder notfalls 11.3
Hi Georg,
Am Donnerstag, 7. Oktober 2010 09:03:50 schrieb Georg Schilling:
OK, dann sollte das nicht das Hemmniss sein. ;-)
das kommt auf die Tagesform an. ;-)
Nun, diese Diskussionen gibt es oft, viel und in unterschiedlichster Ausprägung. Fakt ist, das Lustre aus der Open-Source-Welt kommt und damals von Sun für die HPC-Welt gepuscht wurde. Erstens kann ich mir nicht so ganz vorstellen, das Sun *räusper* Oracle gute Lustre-Leute gehen lässt, zweitens denke ich, das es selbst im Falle deiner Befürchtung $irgendwie offen weiter geht. Schau dir die momentane Situation um Ex-OpenSolaris an.
oder so wie bei LibreOffice ...
Auf der andren Seite stelle ich mir gerade die Frage, womit denn Exadata2 intern läuft. Freizeitbedingt bin ich jetzt aber zu faul zum googeln.
da hab ich nur Hinweise auf 11R2 gefunden als DB, über den Rest schweigt man sich anscheinend aus.
Und wenn man sich die Anzahl von HPC-Clustern mit Lustre anschaut, wird selbst ein Larry nicht so einfach nen Pin auf seine Kunden machen. Alleine schon aus Angst vor den Pechfackeln und Mistgabeln.
das kommt immer drauf an wieviele seiner Kunden da Wartungsverträge drüber laufen haben, larry hat schon einiges an software beerdigen lassen.
Und was das "nativ mit Bordmitteln" mounten angeht wäre das schon auch eines der Killerfeatures.
OK, das haben wir erreicht. Auf Grund der "Intelligenz" des FS kann ein Lustre-Mount nur über eigene Wege gehen. In Abhängigkeit von OS ist der mount aber schnell für den Client gebastelt.
d.h. aber auch das der client ein wenig eigene Rechenleistung investieren muß und das ein mount an einem Windows system mglw. nur über einen zwischengeschalteten Samba geht.
Hast Du selber Lustre schon mal unter OS getestet?
Ich hab mit virtuellen Maschinen ein wenig unter 11.1/11.2 (AFAIK) rumgebastelt und interessante Ergebnisse erzielt, die jedoch... naja, interessant, mehr aber auch nicht waren. Unter ESX hatte ich einen Durchsatz von ~300MB/s, wobei die VMs auf einem FC-SAN lagen.
Das macht imho eher weniger Sinn sowas als VM laufen zu lassen, für Tests ok, aber nicht als Datenlager, es sei denn der Kasten hat noch andere Aufgaben und lokal etwas Plattenspeicher übrig.
Spaß macht das Monster mit viel schneller Hardware. Das durfte ich im HPC- Bereich mal beschnuppern. Da geht das wie Sau! Mir fehlen nur im Job sowie in meiner Freizeit die sinnvollen Einsatzgebiete, sowie die Hardware. ;-) Hier hab ich Raten von ~7GB/s gesehen. Dafür ging der Mount dann aber auch über QDR-Infiniband.
Wie gesagt, mir geht es um _viel, schnellen, sicheren_ Massenspeicher aus rel. _preiswerten_ Komponenten, wo man den einmal geconften Grundstock problemlos erweitern und im laufenden Betrieb sukzessive erneuern kann.
Was auf jeden Fall geschmeidig ging, war die Kombination von Lustre und SLES11, sowie CentOS. Politisch würde ich heute sagen, das OEL wohl die erste Wahl wäre. Bei OS-Versionen wird sicherlich immer ein wenig Bastelei dabei sein.
die bastelei bei 11.3 für Oracle 11.R2 war mir diesmal wirklich zu viel füher(tm) gab es ein paar rpms die den alten sch* den oracle immer dazu braucht auch in neueren OS oder SuSE distris bereit gestellt haben, bei 11.3 Fehlanzeige, auf einem SLES 11 ging das praktisch out of the box, so wie man sich das vorstellt. Das würde aber bedeuten das ich für Lustre da ein paar recht Zeitaufwändige (wg. der Datenmenge) Migrationen vor mir hätte.
Mein Fazit: Wenn dich das nicht abschreckt, schau es dir an. Es gibt eine recht belebte Mailingliste mit ausreichend Freaks, die bis auf die unterste Dateisystemebene mithalten können.
ist zumindest schon mal ein dicker Punkt dafür
Mache dir aber auch immer Gedanken über Backup&Restore; das kann mit Lustre in einem produktiven HPC-Umfeld wichtig - oder im negativen Fall- teuer werden. Stichwort: Pechfackeln und Mistgabeln ;-)
mein backup läuft mit - wer hätte es gedacht - bacula, das liesse sich da bestimmt irgendwie einbringen.
Was ich selber nie gesehen oder unter der Tastatur hatte ist GPFS. Das wird auch im HPC-Umfeld eingesetzt und hat zumindest aus Sicht der Stabilität keinen schlechten Eindruck bei mir hinterlassen. Es soll angeblich auch schneller sein als Lustre, wobei ich das mal auf die Hardware schieben würde:
Lustre: <http://www.fz-juelich.de/jsc/juropa/configuration/> GPFS: <http://www.fz-juelich.de/jsc/service/sco_ibmBGP>
hm, ich fürchte das ist 3-6 nummern zu dick
PS: Und wegen der ganzen Pechfackeln und Mistgabeln mit einem Tribute to Ratti. Was macht der heute überhaupt?
Kai NeAhung Gruss Falk -- MfG. Falk Sauer -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am 08.10.2010 15:25, schrieb Falk Sauer:
Hi Georg,
¡Hola Falk, irgendwie ist die Mail untergegangen.
Am Donnerstag, 7. Oktober 2010 09:03:50 schrieb Georg Schilling: [...] Auf der andren Seite stelle ich mir gerade die Frage, womit denn Exadata2 intern läuft. Freizeitbedingt bin ich jetzt aber zu faul zum googeln.
da hab ich nur Hinweise auf 11R2 gefunden als DB, über den Rest schweigt man sich anscheinend aus.
Etwas anderes habe ich auch nicht gefunden. Ich tippe auf OCFS oder ZFS.
Und wenn man sich die Anzahl von HPC-Clustern mit Lustre anschaut, wird selbst ein Larry nicht so einfach nen Pin auf seine Kunden machen. Alleine schon aus Angst vor den Pechfackeln und Mistgabeln.
das kommt immer drauf an wieviele seiner Kunden da Wartungsverträge drüber laufen haben, larry hat schon einiges an software beerdigen lassen.
Das stimmt. Und kommerziell wird es in diesem Bereich IMHO nicht weiter gehen. Es tut sich aber (zumindest auf Lustre bezogen) ein wenig auf: <http://lists.lustre.org/pipermail/lustre-discuss/2010-October/014278.html>
Und was das "nativ mit Bordmitteln" mounten angeht wäre das schon auch eines der Killerfeatures.
OK, das haben wir erreicht. Auf Grund der "Intelligenz" des FS kann ein Lustre-Mount nur über eigene Wege gehen. In Abhängigkeit von OS ist der mount aber schnell für den Client gebastelt.
d.h. aber auch das der client ein wenig eigene Rechenleistung investieren muß und das ein mount an einem Windows system mglw. nur über einen zwischengeschalteten Samba geht.
*grübel* Ja, der Client muss natürlich auch ein wenig rechnen, aber das mit Windows und Samba habe ich nicht verstanden.
Hast Du selber Lustre schon mal unter OS getestet?
Ich hab mit virtuellen Maschinen ein wenig unter 11.1/11.2 (AFAIK) rumgebastelt und interessante Ergebnisse erzielt, die jedoch... naja, interessant, mehr aber auch nicht waren. Unter ESX hatte ich einen Durchsatz von ~300MB/s, wobei die VMs auf einem FC-SAN lagen.
Das macht imho eher weniger Sinn sowas als VM laufen zu lassen, für Tests ok, aber nicht als Datenlager, es sei denn der Kasten hat noch andere Aufgaben und lokal etwas Plattenspeicher übrig.
Auch dann nicht. Denn wenn du HPC machst, kannst du dir die 45678 Schichten sparen, die Bremsen ja nur.
Spaß macht das Monster mit viel schneller Hardware. Das durfte ich im HPC- Bereich mal beschnuppern. Da geht das wie Sau! Mir fehlen nur im Job sowie in meiner Freizeit die sinnvollen Einsatzgebiete, sowie die Hardware. ;-) Hier hab ich Raten von ~7GB/s gesehen. Dafür ging der Mount dann aber auch über QDR-Infiniband.
Wie gesagt, mir geht es um _viel, schnellen, sicheren_ Massenspeicher aus rel. _preiswerten_ Komponenten, wo man den einmal geconften Grundstock problemlos erweitern und im laufenden Betrieb sukzessive erneuern kann.
Aktuell aus dem Gespräch mit einem Kollegen: <http://www.pnfs.com/> kommt wohl erst so richtig mit NFS4.1 <http://fhgfs.com/cms/> würde ich mir mal anschauen
Was auf jeden Fall geschmeidig ging, war die Kombination von Lustre und SLES11, sowie CentOS. Politisch würde ich heute sagen, das OEL wohl die erste Wahl wäre. Bei OS-Versionen wird sicherlich immer ein wenig Bastelei dabei sein.
die bastelei bei 11.3 für Oracle 11.R2 war mir diesmal wirklich zu viel füher(tm) gab es ein paar rpms die den alten sch* den oracle immer dazu braucht auch in neueren OS oder SuSE distris bereit gestellt haben, bei 11.3 Fehlanzeige, auf einem SLES 11 ging das praktisch out of the box, so wie man sich das vorstellt. Das würde aber bedeuten das ich für Lustre da ein paar recht Zeitaufwändige (wg. der Datenmenge) Migrationen vor mir hätte.
That`s it!
Mein Fazit: Wenn dich das nicht abschreckt, schau es dir an. Es gibt eine recht belebte Mailingliste mit ausreichend Freaks, die bis auf die unterste Dateisystemebene mithalten können.
ist zumindest schon mal ein dicker Punkt dafür
Mache dir aber auch immer Gedanken über Backup&Restore; das kann mit Lustre in einem produktiven HPC-Umfeld wichtig - oder im negativen Fall- teuer werden. Stichwort: Pechfackeln und Mistgabeln ;-)
mein backup läuft mit - wer hätte es gedacht - bacula, das liesse sich da bestimmt irgendwie einbringen.
Bestimmt. Nach meinem Kenntnisstand ist ein Backup/Restore von einzelnen Dateien auf den Knoten aber ein wenig tricky. Wenn du den Dateinamen haben willst, darfst du den Datenbankinhalt zu der Datei durchsuchen, die Infos mit modulo32 errechnen und dann auf deinen Knoten suchen, die die Datei irgendwo gestripped haben. Und komplette Restores im TB-Bereich dauern ein "wenig".
Was ich selber nie gesehen oder unter der Tastatur hatte ist GPFS. Das wird auch im HPC-Umfeld eingesetzt und hat zumindest aus Sicht der Stabilität keinen schlechten Eindruck bei mir hinterlassen. Es soll angeblich auch schneller sein als Lustre, wobei ich das mal auf die Hardware schieben würde:
Lustre: <http://www.fz-juelich.de/jsc/juropa/configuration/> GPFS: <http://www.fz-juelich.de/jsc/service/sco_ibmBGP>
hm, ich fürchte das ist 3-6 nummern zu dick
Filesystem ist Filesystem, manchmal nur ein wenig anders skaliert. ;-)
PS: Und wegen der ganzen Pechfackeln und Mistgabeln mit einem Tribute to Ratti. Was macht der heute überhaupt?
Kai NeAhung
Furchtbar! ;-) Schönes Wochenende, Georg -- georg schilling systemhaus SAR gmbh tel: +49 2401 9195-33 http://www.sar.de arnold-sommerfeld-ring 27 fax: +49 2401 9195-66 52499 baesweiler amtsgericht aachen - hrb. 5729 - gf hans-juergen schenkelberg ----------------------------------------------------------------------- - IT-Projekte mit M.O.T.I.vation sicher zum Erfolg führen: www.sar.de - ----------------------------------------------------------------------- !DSPAM:245,4cb7fde826271753971224! -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (2)
-
Falk Sauer -
Georg Schilling