OT: spezielle Speicherloesung gesucht
Hallo Zusammen, sorry das ich jetzt hier total OT bin, aber vielleicht kann mir jemand Helfen. ein Bekannter von mir sucht im Kundenauftrag eine spezielle Speicherlösung. Hier mal Kurz die Facts: - die Lösung muss nicht mobil sein. - im Grunde wird ein Ersatz für eine Festplatte gesucht - Geschindigkeit ist in diesem Fall das A und O. - es wird mindestens 24GB benötigt - der Kunde macht wissenschaftliche Berechnungen - die zu bearbeitenden Dateien sind jeweils bis zu 24GB groß Der momentane Engpass ist bisher der Datentransfer zur Festplatte. Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher. Wenn es nicht anders geht, wuerde alternativ für den Kunden nur ein neuer Rechner in Frage kommen, der aber mindestens 24GB Arbeitsspeicher hat und diese "am Stück" adressieren kann - aber mir fällt jetzt kein Geraet so auf Anhieb ein ;) MfG Olli
Am Mittwoch, 17. August 2005 12:47 schrieb Oliver Braun:
- im Grunde wird ein Ersatz für eine Festplatte gesucht - Geschindigkeit ist in diesem Fall das A und O. - es wird mindestens 24GB benötigt
- die zu bearbeitenden Dateien sind jeweils bis zu 24GB groß
Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher. Wenn es nicht anders geht, wuerde alternativ für den Kunden nur ein neuer Rechner in Frage kommen, der aber mindestens 24GB Arbeitsspeicher hat und diese "am Stück" adressieren kann - aber mir fällt jetzt kein Geraet so auf Anhieb ein ;)
ich denke mal mit den anforderungen verlässt man eindeutig den bereich der pc-kompatiblen HW. Dein bekannter sollte sich mal im bereich der großen unix server umsehn, z.b. sun fire oder ibm rs6000 :/ bye, MH -- Die unaufgeforderte Zusendung einer Werbemail an Privatleute verstößt gegen §1 UWG und 823 I BGB (Beschluß des LG Berlin vom 2.8.1998 Az: 16 O 201/98). Jede kommerzielle Nutzung der übermittelten persönlichen Daten sowie deren Weitergabe an Dritte ist ausdrücklich untersagt! gpg key fingerprint: 5F64 4C92 9B77 DE37 D184 C5F9 B013 44E7 27BD 763C
Oliver Braun wrote:
ein Bekannter von mir sucht im Kundenauftrag eine spezielle Speicherlösung. Hier mal Kurz die Facts: - die Lösung muss nicht mobil sein. - im Grunde wird ein Ersatz für eine Festplatte gesucht - Geschindigkeit ist in diesem Fall das A und O. - es wird mindestens 24GB benötigt - der Kunde macht wissenschaftliche Berechnungen - die zu bearbeitenden Dateien sind jeweils bis zu 24GB groß
Du kannst zwar mit einem RAID0 über mehrere Platten sehr hohe Geschwindigkeiten erreichen, aber trotzdem wird dies nicht in den Bereich von Zugriffszeiten wie beim RAM kommen.
Der momentane Engpass ist bisher der Datentransfer zur Festplatte. Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher.
Damit dürfte auch so ziemlich das Ende der Fahnenstange erreicht sein. Ich kenne leider nicht die exakten Anforderungen, wo genau der Engpass liegt und was für Ansprüche die Software stellt, deshalb kann ich auch keinen eindeutigen Rat geben.
Wenn es nicht anders geht, wuerde alternativ für den Kunden nur ein neuer Rechner in Frage kommen, der aber mindestens 24GB Arbeitsspeicher hat und diese "am Stück" adressieren kann - aber mir fällt jetzt kein Geraet so auf Anhieb ein ;)
Damit verlässt du den Bereich der normalen Hardware. Entweder ein Cluster oder eine Multiprozessormaschine mit hoher RAM-Ausstattung. Was, das hängt von der Anwendung ab und ob das RAM komplett von einem einzigen Prozess addressier sein muss. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
Hallo, On Aug 17 12:47 Oliver Braun wrote (shortened):
Der momentane Engpass ist bisher der Datentransfer zur Festplatte. Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher. Wenn es nicht anders geht, wuerde alternativ für den Kunden nur ein neuer Rechner in Frage kommen, der aber mindestens 24GB Arbeitsspeicher hat und diese "am Stück" adressieren kann - aber mir fällt jetzt kein Geraet so auf Anhieb ein ;)
32-Bit können direkt nur 4GB adressieren. Der Kernel kann mit speziellen Mechnanismen dennoch mehr als 4GB auch auf 32-Bit Platformen adressieren. Je mehr Speicher über 4GB man hat, desto schlechter funktioniert das d.h. desto mehr merkt man die "speziellen Mechnanismen" in der Systemperformance. Daher: Wenn schon Neukauf, dann ein 64-Bit System, vorzugsweise AMD64. Gruss, Johannes Meixner -- SUSE LINUX Products GmbH, Maxfeldstrasse 5 Mail: jsmeix@suse.de 90409 Nuernberg, Germany WWW: http://www.suse.de/
Oliver Braun wrote:
Hallo Zusammen,
sorry das ich jetzt hier total OT bin, aber vielleicht kann mir jemand Helfen.
ein Bekannter von mir sucht im Kundenauftrag eine spezielle Speicherlösung.
Da wären Siemens, IBM und Co. der richtige Ansprechpartner. EMC macht auch nette Storage-Lösungen. In jedem Fall 3 Nummern zu groß für das kleine Systemhaus um die Ecke. Gruß
Oliver Braun schrieb:
Hallo Zusammen,
sorry das ich jetzt hier total OT bin, aber vielleicht kann mir jemand Helfen.
ein Bekannter von mir sucht im Kundenauftrag eine spezielle Speicherlösung. Hier mal Kurz die Facts: - die Lösung muss nicht mobil sein. - im Grunde wird ein Ersatz für eine Festplatte gesucht - Geschindigkeit ist in diesem Fall das A und O. - es wird mindestens 24GB benötigt - der Kunde macht wissenschaftliche Berechnungen - die zu bearbeitenden Dateien sind jeweils bis zu 24GB groß
Der momentane Engpass ist bisher der Datentransfer zur Festplatte. Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher. Wenn es nicht anders geht, wuerde alternativ für den Kunden nur ein neuer Rechner in Frage kommen, der aber mindestens 24GB Arbeitsspeicher hat und diese "am Stück" adressieren kann - aber mir fällt jetzt kein Geraet so auf Anhieb ein ;)
MfG
Olli
Hallo, leider ist dein "Engpass" nicht genauer definiert, dies macht eine richtige Einschätzung extrem schwer. Solltest der Server derzeit nur eine Festplatte besitzen, sollte der eine Erweiterung in Richtung Raidcontroller erfolgen. Der Raidcontroller sollte dann mit möglichst viel Cache ausgestatte sein und viele schnelle Festplatten im Raid 0 oder 10 haben. In schnelle Systemen sind damit Leseraten von mehr als 400mb/sec und Schreibrate mit mehr als 200mb/sec möglich. Viel mehr gibt der PCI bus auch schon nicht her. Die zweite Möglichkeit ist die von dir angedeutete. 64bit System mit viel ram und einer Ram disk. Hier ist allerdings die Frage läst sich die Software unter diesen System betreiben? Dritte schnelle Storage Lösung. Vierte Möglichkeit; andere Hardwareplattform, Erfahrungsgemäss sind die Server von SUN, SGI etc der PC Architektur im I/O Umfeld Haushoch überlegen. Nachteile sehr teuer, fraglich ob sich die benötigte Software portieren lässt. Meine Empfehlung wäre die Anforderungen genau zu definieren und bei Herstellern wie IBM, Siemens, EMC etc direkt anzufragen. Die haben das nötige Know How in diesem Bereich. Mit freundlichen Gruss Marc Schubert PS: Welchen durchsatz liefert das System derzeit?
From: "Oliver Braun"
Hallo Zusammen,
sorry das ich jetzt hier total OT bin, aber vielleicht kann mir jemand Helfen.
ein Bekannter von mir sucht im Kundenauftrag eine spezielle Speicherlösung. Hier mal Kurz die Facts: - die Lösung muss nicht mobil sein. - im Grunde wird ein Ersatz für eine Festplatte gesucht - Geschindigkeit ist in diesem Fall das A und O. - es wird mindestens 24GB benötigt - der Kunde macht wissenschaftliche Berechnungen - die zu bearbeitenden Dateien sind jeweils bis zu 24GB groß
Der momentane Engpass ist bisher der Datentransfer zur Festplatte. Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher. Wenn es nicht anders geht, wuerde alternativ für den Kunden nur ein neuer Rechner in Frage kommen, der aber mindestens 24GB Arbeitsspeicher hat und diese "am Stück" adressieren kann - aber mir fällt jetzt kein Geraet so auf Anhieb ein ;)
nun ich habe erst vor kurzem ein solches Gerät für einen Kunden angeboten (4 x Opteron mit 32 GB RAM), allerdings hat das seinen finanziellen Rahmen gesprengt ;) Daniel
Hallo Zusammen, ersteinmal vielen Dank für die konstruktiven Beitraege in der kurzen Zeit. MfG Olli p.s.: Ich habe noch weitere Infos erhalten und gebe die einfach mal so weiter: -------------------------snip------------------------- danke für die Antworten. Hier noch einige Details zum Kunden. Bei seiner Anwendung wird die ganze Zeit auf einer Datei rumgerechnet, welche ca. 24GB groß ist. Liegt diese Datei auf der Platte, ist der Datentransfer zur Platte der Engpass. Zur Zeit hat der Kunde einen Dual-Xeon (3.2) von uns. Die CPU-Auslastung liegt aufgrund des "Festplattenproblems" um 40%. Aus den Festplatten ist wohl nicht mehr rauszuholen (15.000er, Vortex-Contr., Raid 0). Der Kunde würde bei genügend Arbeitsspeicher im Rechner eine entsprechende Ram-Disk anlegen und die Datei darin ablegen. Leider ist das Adressieren von mind. 24GB am Stück wohl nicht so einfach. Viele (Mehrprozessor-)Systeme können zwar bis zu 32GB Speicher verwalten, weisen diese aber jeweils in Teilstücken den einzelnen CPUs zu. Beispielsweise kann der Opteron wohl nur 8GB direkt ansprechen. Übriegens. Der Kunde ist nicht aufs Betriebssystem festgelegt. Seine (selbstgeschriebene) Anwendung würde auch unter Linux laufen. Einer der Hersteller, der sowas kann, wäre SGI. Allerdings sprengen die den Preisrahmen deutlich. Wir liegen hier im EK bereits deutlich über 50.000 Euronen. Deswegen gab es die Überlegung nach einem externen Speichermedium zu suchen, was schnell genug ist. --------------------------snap---------------------------
Hi Oliver
From: "Oliver Braun"
[...]
Der Kunde würde bei genügend Arbeitsspeicher im Rechner eine entsprechende Ram-Disk anlegen und die Datei darin ablegen. Leider ist das Adressieren von mind. 24GB am Stück wohl nicht so einfach. Viele (Mehrprozessor-)Systeme können zwar bis zu 32GB Speicher verwalten, weisen diese aber jeweils in Teilstücken den einzelnen CPUs zu. Beispielsweise kann der Opteron wohl nur 8GB direkt ansprechen.
ist dem wirklich so? Mir ist von einer solchen Einschränkung nichts bekannt. Allerdings muß man natürlich auf ein 64 Bit OS zurückgreifen um das zu adressieren ...
Einer der Hersteller, der sowas kann, wäre SGI. Allerdings sprengen die den Preisrahmen deutlich. Wir liegen hier im EK bereits deutlich über 50.000 Euronen.
na gut für das 4x Opteron + 32 GB wären auch schon 25.000 HEK fällig gewesen ... Gruß Daniel
Hallo,
"Oliver Braun"
Hallo Zusammen,
ersteinmal vielen Dank für die konstruktiven Beitraege in der kurzen Zeit.
MfG Olli
p.s.: Ich habe noch weitere Infos erhalten und gebe die einfach mal so weiter:
-------------------------snip------------------------- danke für die Antworten.
Hier noch einige Details zum Kunden.
Bei seiner Anwendung wird die ganze Zeit auf einer Datei rumgerechnet, welche ca. 24GB groß ist. Liegt diese Datei auf der Platte, ist der Datentransfer zur Platte der Engpass. Zur Zeit hat der Kunde einen Dual-Xeon (3.2) von uns. Die CPU-Auslastung liegt aufgrund des "Festplattenproblems" um 40%. Aus den Festplatten ist wohl nicht mehr rauszuholen (15.000er, Vortex-Contr., Raid 0).
Der Kunde würde bei genügend Arbeitsspeicher im Rechner eine entsprechende Ram-Disk anlegen und die Datei darin ablegen. Leider ist das Adressieren von mind. 24GB am Stück wohl nicht so einfach. Viele (Mehrprozessor-)Systeme können zwar bis zu 32GB Speicher verwalten, weisen diese aber jeweils in Teilstücken den einzelnen CPUs zu. Beispielsweise kann der Opteron wohl nur 8GB direkt ansprechen. Übriegens. Der Kunde ist nicht aufs Betriebssystem festgelegt. Seine (selbstgeschriebene) Anwendung würde auch unter Linux laufen.
Einer der Hersteller, der sowas kann, wäre SGI. Allerdings sprengen die den Preisrahmen deutlich. Wir liegen hier im EK bereits deutlich über 50.000 Euronen.
Deswegen gab es die Überlegung nach einem externen Speichermedium zu suchen, was schnell genug ist.
Wenn denn der Prozess threading-fähig ist, würde ich über einen Cluster nachdenken und die Operationen entsprechend der Clustergröße verteilen. Der Cluster kann ja überwiegend aus preiswerten Diskless Clients bestehen, wichtig ist hier dann nur die Netzwerkstruktur, das sollte dannn ein Gigabitnetz sein. -Dieter -- Dieter Klünter | Systemberatung http://www.dkluenter.de GPG Key ID:8EF7B6C6
Hallo Dieter, aber auch in diesem Fall bleibt die der Zugriff auf die Datei das Problem. Da schafft auch ein Gigabitnetz keine abhilfe, dieses wäre immer noch langsamer als die Festplatten am Raidcontroller. MfG Marc Schubert
Wenn denn der Prozess threading-fähig ist, würde ich über einen Cluster nachdenken und die Operationen entsprechend der Clustergröße verteilen. Der Cluster kann ja überwiegend aus preiswerten Diskless Clients bestehen, wichtig ist hier dann nur die Netzwerkstruktur, das sollte dannn ein Gigabitnetz sein.
-Dieter
Hallo,
Marc Schubert
Hallo Dieter,
[...]
Wenn denn der Prozess threading-fähig ist, würde ich über einen Cluster nachdenken und die Operationen entsprechend der Clustergröße verteilen. Der Cluster kann ja überwiegend aus preiswerten Diskless Clients bestehen, wichtig ist hier dann nur die Netzwerkstruktur, das sollte dannn ein Gigabitnetz sein.
aber auch in diesem Fall bleibt die der Zugriff auf die Datei das Problem. Da schafft auch ein Gigabitnetz keine abhilfe, dieses wäre immer noch langsam er als die Festplatten am Raidcontroller.
So ich habe den TOFU mal umgebaut, damit man den Thread besser lesen kann. Der Vorteil eines Clusters besteht u.a. darin, dass man Prozesse auf mehrere Prozessoren und entsprechende Speicher verteilt werden kann, die einzelnen Nodes haben gar keine Platte, sondern arbeiten nur und leiten das Ergebnis weiter Das Programm muss gegebenenfalls etwas umgeschrieben werden, damit die Daten mit einer Preloader-Funktion zuerst auf den Cluster verteilt werden, erst das Zurückschreiben, am Ende des Prozesses, auf eine Platte wäre dann mit Zeitverzögerungen verbunden, aber auch dieses Problem liesse sich lösen. Ein Beispiel sind die Renderfarmen für die Berechnung von animierten Bildern. Eine zeitlang habe ich einen 24er Alpha Cluster als Renderfarm betrieben, ich weiss also, was machbar ist. -Dieter -- Dieter Klünter | Systemberatung http://www.dkluenter.de GPG Key ID:8EF7B6C6
Hi, Dieter Kluenter schrieb:
Der Vorteil eines Clusters besteht u.a. darin, dass man Prozesse auf mehrere Prozessoren und entsprechende Speicher verteilt werden kann, die einzelnen Nodes haben gar keine Platte, sondern arbeiten nur und leiten das Ergebnis weiter Das Programm muss gegebenenfalls etwas umgeschrieben werden, damit die Daten mit einer Preloader-Funktion zuerst auf den Cluster verteilt werden, erst das Zurückschreiben, am Ende des Prozesses, auf eine Platte wäre dann mit Zeitverzögerungen verbunden, aber auch dieses Problem liesse sich lösen. Ein Beispiel sind die Renderfarmen für die Berechnung von animierten Bildern. Eine zeitlang habe ich einen 24er Alpha Cluster als Renderfarm betrieben, ich weiss also, was machbar ist.
Das kommt aber immer auf das Problem an. Rendering ist inhärent parallel und damit ein Paradeproblem für Cluster. Nimm eine Molekülsimulation und ein Cluster wird zur Schnecke. Wenn also das Problem des OP nicht wirklich gut parallelisierbar ist, dann hilft wahrscheinlich nur ein ccNUMA-System bei dem dann nur eine CPU genutzt wird und die anderen nur den Speicher bereitstellen. Oder aber eine 64bit-Kiste, die das mit einer CPU schafft. Viele Grüße -michael -- Es gibt zwei Grundsätze für Erfolg und Glück: 1. Erzähle anderen nicht alles, was du weißt. PGP public key: http://www.michael-klemm.net/public.key
Oliver Braun wrote:
[....] Hier noch einige Details zum Kunden.
Bei seiner Anwendung wird die ganze Zeit auf einer Datei rumgerechnet, welche ca. 24GB groß ist. Liegt diese Datei auf der Platte, ist der Datentransfer zur Platte der Engpass. Zur Zeit hat der Kunde einen Dual-Xeon (3.2) von uns. Die CPU-Auslastung liegt aufgrund des "Festplattenproblems" um 40%. Aus den Festplatten ist wohl nicht mehr rauszuholen (15.000er, Vortex-Contr., Raid 0). [....]
Ich kann Dieter nur recht geben! Wir haben bei 3D Projekten ueblicherweise mit Terabytes(!) (oder zumindest etlichen hundert Gigabytes) an Daten zu tun, und kein Mensch bei uns wuerde auf die Idee kommen, das alles im Speicher halten zu wollen (auch wenn es mitunter praktisch waere ;-)). Es ist auch nicht noetig, wenn die Programme zum Verarbeiten entsprechend ausgelegt sind - das gute Parallelisieren ist natuerlich A und O des Ganzen, damit weder I/O Bounds noch Network Bounds entstehen... So gibt es bei uns, wenn das Programm auf dem Cluster laeuft, ueblicherweise mehrere sog. Reader, die nichts anderes machen, als die Daten von Platte zu lesen und den Slaves (die Cluster-Knoten, welche die eigentlichen Rechnungen durchfuehren) zur Verfuegung stellen. Dabei wird von mehreren NFS-Servern gleichzeitig gelesen, damit es keine Probleme gibt. Slaves gibt es normalerweise weit ueber hundert. Bei guter Parallelisierung entstehen so keine I/O Bounds, weil die Reader bereits vorausschauend lesen koennen und die Daten schon von der Platte gelesen wurden, wenn sie gebraucht werden. Das Filesystem spielt evtl. auch noch eine Rolle bei dem Spielchen. Man braucht natuerlich fuer die Kommunikation ein einigermassen schnelles Netzwerk. Und, wie schon gesagt, es haengt viel davon ab, wie parallelisiert wird, ob es Probleme gibt oder nicht (zu kleine Pakete, zu grosse Pakete, usw.). Wir kommen so mit 4GB RAM pro Dual-CPU 32-bit Cluster Knoten aus. Unsere 64-bit Cluster haben mehr RAM. Wenn man natuerlich innerhalb des parallelisierten Programms an einem Check Point ankommt und dann gleichzeitig alle Slaves schreiben wollen, dann gehts schon rund :-) CU, Th.
Hallo Oliver, Am Mittwoch, den 17.08.2005, 12:47 +0200 schrieb Oliver Braun:
Hallo Zusammen,
sorry das ich jetzt hier total OT bin, aber vielleicht kann mir jemand Helfen.
ein Bekannter von mir sucht im Kundenauftrag eine spezielle Speicherlösung. Hier mal Kurz die Facts: - die Lösung muss nicht mobil sein. - im Grunde wird ein Ersatz für eine Festplatte gesucht - Geschindigkeit ist in diesem Fall das A und O. - es wird mindestens 24GB benötigt - der Kunde macht wissenschaftliche Berechnungen - die zu bearbeitenden Dateien sind jeweils bis zu 24GB groß
Der momentane Engpass ist bisher der Datentransfer zur Festplatte. Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher.
http://www.superssd.com/products_sub.htm könnte genau zu deinem Problem passen. Preise habe ich zwar keine aus der Nähe, sollte aber wohl unter 50.000,-- Euro liegen. :-), wenn auch nur knapp. Dell nimmt für die 320´er mit 16GB etwas um 37.800,-- Dollar und die passende Karte nochmal so um die 4200,-- Dollar. Die deutsche Webseite findet das leider nicht. Gruß Jens
Hi, On Wed, 17 Aug 2005, Jens Keizer wrote:
Am Mittwoch, den 17.08.2005, 12:47 +0200 schrieb Oliver Braun:
sorry das ich jetzt hier total OT bin, aber vielleicht kann mir jemand Helfen.
ein Bekannter von mir sucht im Kundenauftrag eine spezielle Speicherlösung. Hier mal Kurz die Facts: - die Lösung muss nicht mobil sein. - im Grunde wird ein Ersatz für eine Festplatte gesucht - Geschindigkeit ist in diesem Fall das A und O. - es wird mindestens 24GB benötigt - der Kunde macht wissenschaftliche Berechnungen - die zu bearbeitenden Dateien sind jeweils bis zu 24GB groß
Der momentane Engpass ist bisher der Datentransfer zur Festplatte. Der Kunde hat derzeit "nur" 12GB Arbeitsspeicher.
http://www.superssd.com/products_sub.htm
könnte genau zu deinem Problem passen. Preise habe ich zwar keine aus der Nähe, sollte aber wohl unter 50.000,-- Euro liegen. :-), wenn auch nur knapp.
Alternativ einfach ein Board von Tyan nehmen, das eben 26GB RAM verkraftet. Wenn er das dann noch permanenten Speichern will eben ne schnelle SCSI Platte dazu. Dann ist er wahrscheinlich glücklich. Wenn nicht muß er eben den großen Geldbeutel zücken. Greetings Daniel -- Bill Gates wacht jedes Jahr im Februar auf und verkündet der Welt Dinge die alle mit Plan schon 5 Jahre vorher gewusst haben, die aber dank Windows nicht möglich sind.
participants (12)
-
Daniel Bauer -
Daniel Lord -
Dieter Kluenter -
Jens Keizer -
Johannes Meixner -
Marc Schubert -
Mathias Homann -
Michael Klemm -
Oliver Braun -
Ralf Prengel -
Sandy Drobic -
Thomas Hertweck