Hallo,
Marc Schubert
Hallo Dieter,
[...]
Wenn denn der Prozess threading-fähig ist, würde ich über einen Cluster nachdenken und die Operationen entsprechend der Clustergröße verteilen. Der Cluster kann ja überwiegend aus preiswerten Diskless Clients bestehen, wichtig ist hier dann nur die Netzwerkstruktur, das sollte dannn ein Gigabitnetz sein.
aber auch in diesem Fall bleibt die der Zugriff auf die Datei das Problem. Da schafft auch ein Gigabitnetz keine abhilfe, dieses wäre immer noch langsam er als die Festplatten am Raidcontroller.
So ich habe den TOFU mal umgebaut, damit man den Thread besser lesen kann. Der Vorteil eines Clusters besteht u.a. darin, dass man Prozesse auf mehrere Prozessoren und entsprechende Speicher verteilt werden kann, die einzelnen Nodes haben gar keine Platte, sondern arbeiten nur und leiten das Ergebnis weiter Das Programm muss gegebenenfalls etwas umgeschrieben werden, damit die Daten mit einer Preloader-Funktion zuerst auf den Cluster verteilt werden, erst das Zurückschreiben, am Ende des Prozesses, auf eine Platte wäre dann mit Zeitverzögerungen verbunden, aber auch dieses Problem liesse sich lösen. Ein Beispiel sind die Renderfarmen für die Berechnung von animierten Bildern. Eine zeitlang habe ich einen 24er Alpha Cluster als Renderfarm betrieben, ich weiss also, was machbar ist. -Dieter -- Dieter Klünter | Systemberatung http://www.dkluenter.de GPG Key ID:8EF7B6C6