OT: Linux Cluster mit alten 486er Rechnern
Hi Liste, bei uns in der Schule stehen eine Menge alte 486er Rechner rum. Weil die zu nix benutzt werden habe ich irgendwann mal die Idee gehabt, einfach mal zum ausprobieren, daraus ein Clustersystem zu bauen. Vielleicht mit 4-6 Nodes. Verbinden wollte ich das ganze mit nem 8 Port Token Ring Switch. Jetzt meine Fragen, lohnt es sich überhaupt soetwas anzufangen, oder sind die Rechner zu langsam und verbrauchen deswegen den grössten Teil ihrer Rechenleistung zum "chatten" mit den anderen Nodes, oder ist das bei so wenig Nodes egal? Müssen alle Node's völlig identisch sein? Macht es mehr Sinn bei den Rechnern das jeder seine eigene Platte mit eigenem SuSE Linux installiert hat, oder das die alle von einem Rechner über LAN booten? Geht das überhaut mit der SuSE Distribution? Habe momentan als neueste 7.1 hier. Ich habe jetzt verschiedene Software Pakete gefunden, die afaik das Prozess Management zwischen den Nodes übernehmen. Welche ist davon für SuSE Linux zu empfehlen? Wenn das mit SuSE überhaupt geht, wobei ich nicht wüsste warum es nicht gehen sollte. Kann mir jemand antworten auf diese Fragen geben, oder mir Pages nennen wo ich die Antworten finde. Denn wenn ich in einer Suchmaschine danach suche, dann bekomme ich meistens nur irgendwelche Seiten auf denen irgendeine Forschungsgesellschaft oder sonstiges mit ihrem Cluster "rumprollt". *SCNR* Danke für die Bemühungen schonmal im Voraus. Und Entschuldigung wenn das ganze etwas OT ist. Obwohl ich finde das es das nur ganz leicht ist. :) MfG Philipp
Hallo Philip, schau Dir mal http://www.mosix.org an. Da findest Du einen Kernel-Patch, der es möglich macht aus mehreren Rechnernn einen Clusterverbund zu bilden. Die Installation ist recht einfach, man muss aber schon ein wenig Ahnung haben (Kernel konfigurieren und compilieren sollte man schon können). Ob so ein Cluster Sinn macht? Das hängt stark vom Anwendungsgebiet ab, Ich benutze z.B. einen zwei-Node-Mosix-Cluster um MP3´s mit Lame und Krabber zu berechnen. Nachdem ich mir vorgenommen hatte meine komplette CD-Sammlung in MP3 umzuwandeln (ca. 200 CD´s mit über 3.000 Liedern) hat mir der Mosix-Cluster etwas 50% Zeitersparnis gebracht. Allerdings bezweifle ich, daß "eine handvoll" 486er so viel Rechnleistung bringen, daß es sich für sehr rechenaufwenidge Aufgaben lohnt so einen Cluster zu bauen. Mal abgesehen davon, daß eine Token-Ring-Netzanbindung auch nicht unbedingt die erste Wahl für einen Clusterbetrieb ist. Aber zum Probieren reichts wohl. Ich würde aber an deiner Stelle trotzdem mal einen Cluster bauen. Der Wissensgewinn ist es allemahl wert. Gruß Dejan Philipp Strube schrieb:
Hi Liste,
bei uns in der Schule stehen eine Menge alte 486er Rechner rum. Weil die zu nix benutzt werden habe ich irgendwann mal die Idee gehabt, einfach mal zum ausprobieren, daraus ein Clustersystem zu bauen. Vielleicht mit 4-6 Nodes. Verbinden wollte ich das ganze mit nem 8 Port Token Ring Switch. Jetzt meine Fragen, lohnt es sich überhaupt soetwas anzufangen, oder sind die Rechner zu langsam und verbrauchen deswegen den grössten Teil ihrer Rechenleistung zum "chatten" mit den anderen Nodes, oder ist das bei so wenig Nodes egal?
Müssen alle Node's völlig identisch sein?
Macht es mehr Sinn bei den Rechnern das jeder seine eigene Platte mit eigenem SuSE Linux installiert hat, oder das die alle von einem Rechner über LAN booten?
Geht das überhaut mit der SuSE Distribution? Habe momentan als neueste 7.1 hier.
Ich habe jetzt verschiedene Software Pakete gefunden, die afaik das Prozess Management zwischen den Nodes übernehmen. Welche ist davon für SuSE Linux zu empfehlen? Wenn das mit SuSE überhaupt geht, wobei ich nicht wüsste warum es nicht gehen sollte.
Kann mir jemand antworten auf diese Fragen geben, oder mir Pages nennen wo ich die Antworten finde. Denn wenn ich in einer Suchmaschine danach suche, dann bekomme ich meistens nur irgendwelche Seiten auf denen irgendeine Forschungsgesellschaft oder sonstiges mit ihrem Cluster "rumprollt". *SCNR*
Danke für die Bemühungen schonmal im Voraus. Und Entschuldigung wenn das ganze etwas OT ist. Obwohl ich finde das es das nur ganz leicht ist. :)
MfG Philipp
-- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfügbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com
Am Samstag, 3. November 2001 17:48 schrieb Dejan Milosavljevic:
Hallo Philip,
Ob so ein Cluster Sinn macht? Das hängt stark vom Anwendungsgebiet ab, Ich benutze z.B. einen zwei-Node-Mosix-Cluster um MP3´s mit Lame und Krabber zu berechnen. Nachdem ich mir vorgenommen hatte meine komplette CD-Sammlung in MP3 umzuwandeln (ca. 200 CD´s mit über 3.000 Liedern) hat mir der Mosix-Cluster etwas 50% Zeitersparnis gebracht.
Also wenn ich das richtig verstanden habe, wenn ich einfach nen WebServer für 500 Mann (circa) darauf laufen lassen will, der ne kleine php page bereitstellen soll über die die besucher unsere LAN Party Infos kriegen? Ist nur ne Möglichkeit den Rechner so zu betreiben.
Allerdings bezweifle ich, daß "eine handvoll" 486er so viel Rechnleistung bringen, daß es sich für sehr rechenaufwenidge Aufgaben lohnt so einen Cluster zu bauen. Mal abgesehen davon, daß eine Token-Ring-Netzanbindung auch nicht unbedingt die erste Wahl für einen Clusterbetrieb ist. Aber zum Probieren reichts wohl.
Ich habe ja eigentlich nichtmal nen Anwendungsbereich für das Teil (ausser vielleiht die webserver idee) ich will eigentlich nurmal eins bauen, ums mal gemacht zu haben. Nur wenn die Rechner zu langsam sund und / oder ich mit 486ern auf viele unnötige Probleme stosse dann lass ichs lieber und warte bis ich bessere Rechner kriege.
Ich würde aber an deiner Stelle trotzdem mal einen Cluster bauen. Der Wissensgewinn ist es allemahl wert.
Genau das ist eigentlich der einzige Grund den ich habe. :)
Gruß Dejan
Hallo Philip, nicht jede Anwendung lässt sich sinnvoll in einem (Mosix)Cluster betreiben. So muss erst einmal gewährleistet sein, daß die Anwendung in Mehrere Threads aufteilbar ist. Ein gutes Beispiel ist Krabber. Da kann man z.B. angeben, daß bis zu sechs Krabberinstanzen gleichzeitig an bis zu sechs MP3-Liedern rechnen sollen. Die sechs Instanzen verteilen sich dann über die einzelnen Rechner des Clusters. Mit Mosix wirst Du aber den Apache sowieso nicht clustern können, da Mosix (noch) nicht in der Lage ist Prozesse auf Nodes auszulagern, die auf einen Socket zugreifen. Socketmigration ist bei Mosix noch in der Entstehung. Wie sich das mit anderen Clusterlösungen verhält (z.B. Beowulf) weiß ich nicht. Gruß Dejan Philipp Strube schrieb:
Am Samstag, 3. November 2001 17:48 schrieb Dejan Milosavljevic:
Hallo Philip,
Ob so ein Cluster Sinn macht? Das hängt stark vom Anwendungsgebiet ab, Ich benutze z.B. einen zwei-Node-Mosix-Cluster um MP3´s mit Lame und Krabber zu berechnen. Nachdem ich mir vorgenommen hatte meine komplette CD-Sammlung in MP3 umzuwandeln (ca. 200 CD´s mit über 3.000 Liedern) hat mir der Mosix-Cluster etwas 50% Zeitersparnis gebracht.
Also wenn ich das richtig verstanden habe, wenn ich einfach nen WebServer für 500 Mann (circa) darauf laufen lassen will, der ne kleine php page bereitstellen soll über die die besucher unsere LAN Party Infos kriegen? Ist nur ne Möglichkeit den Rechner so zu betreiben.
Allerdings bezweifle ich, daß "eine handvoll" 486er so viel Rechnleistung bringen, daß es sich für sehr rechenaufwenidge Aufgaben lohnt so einen Cluster zu bauen. Mal abgesehen davon, daß eine Token-Ring-Netzanbindung auch nicht unbedingt die erste Wahl für einen Clusterbetrieb ist. Aber zum Probieren reichts wohl.
Ich habe ja eigentlich nichtmal nen Anwendungsbereich für das Teil (ausser vielleiht die webserver idee) ich will eigentlich nurmal eins bauen, ums mal gemacht zu haben. Nur wenn die Rechner zu langsam sund und / oder ich mit 486ern auf viele unnötige Probleme stosse dann lass ichs lieber und warte bis ich bessere Rechner kriege.
Ich würde aber an deiner Stelle trotzdem mal einen Cluster bauen. Der Wissensgewinn ist es allemahl wert.
Genau das ist eigentlich der einzige Grund den ich habe. :)
Gruß Dejan
-- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfügbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com
Hallo,
Philipp Strube
Hi Liste,
bei uns in der Schule stehen eine Menge alte 486er Rechner rum. Weil die zu nix benutzt werden habe ich irgendwann mal die Idee gehabt, einfach mal zum ausprobieren, daraus ein Clustersystem zu bauen. Vielleicht mit 4-6 Nodes. Verbinden wollte ich das ganze mit nem 8 Port Token Ring Switch. Jetzt meine Fragen, lohnt es sich überhaupt soetwas anzufangen, oder sind die Rechner zu langsam und verbrauchen deswegen den grössten Teil ihrer Rechenleistung zum "chatten" mit den anderen Nodes, oder ist das bei so wenig Nodes egal?
Müssen alle Node's völlig identisch sein?
Macht es mehr Sinn bei den Rechnern das jeder seine eigene Platte mit eigenem SuSE Linux installiert hat, oder das die alle von einem Rechner über LAN booten?
Geht das überhaut mit der SuSE Distribution? Habe momentan als neueste 7.1 hier.
Nur zum Ueben und Experimentieren würde ich das Beowulf Projekt empfehlen, ist auf den SuSE-CD's enthalten. Eine Platte brauchen die einzelnen Nodes eigentlich nicht, nur eine Bootdiskette, allerdings sollten Start- und Endnode ein Platte als Speichermedium nutzen. Die 486er Prozessoren sind schon OK, es geht ja um das Verteilen von Rechenleistung, wichtig ist dann nur, dass die Prozesse auch Multithreading beherrschen. -Dieter -- Dieter Kluenter | Systemberatung Tel:040.64861967 | Fax: 040.64891521 mailto: dkluenter@schevolution.com http://www.schevolution.com/tour
Am Sonntag, 4. November 2001 12:20 schrieb Dieter Kluenter:
Hallo,
Hallo :)
Nur zum Ueben und Experimentieren würde ich das Beowulf Projekt empfehlen, ist auf den SuSE-CD's enthalten. Eine Platte brauchen die einzelnen Nodes eigentlich nicht, nur eine Bootdiskette, allerdings sollten Start- und Endnode ein Platte als Speichermedium nutzen. Die 486er Prozessoren sind schon OK, es geht ja um das Verteilen von Rechenleistung, wichtig ist dann nur, dass die Prozesse auch Multithreading beherrschen.
-Dieter
Hmm ok, eigentlich ist das auch das einzige was ich vor habe. Die Rechenleistung brauch ich nicht, es geht mir nur darum einfach mal nen Cluster gebaut zu haben, weil ich finde wenn ich sowas selbst gemacht habe, dann habe ich die Materie besser verstanden als wenn ich einfach was drüber lese. Also kann ich einen Teil der Cluster einfach über Diskette booten? Ich hatte nämlich schon befürchtungen das ich das über Netzwerk machen muss, und das ist ja an sich schon nicht ganz einfach. AFAIK. Ein Freund von mir hat das mal lange Zeit versucht, und es hat nicht wirklich funktioniert. Naja danke für die Idee mit dem Beowulf. Daran hatte ich auch schon gedacht. Die Mosix Lösung habe ich auch gedownloadet, muss ich mich aber erst mit beschäftigen. Was ich noch nicht ganz verstanden habe, was installiere ich eigentlich auf den einzelnen Clients? Installiere ich überall (wenn ich in jedem eine Festplatte haben sollte) SuSE (vielleicht minimal + netzwer) und Beowulf? Die Rechner wären wahrscheinlich: 486 DX 100 512 MB IDE Festplatte 32 - 64 MB Ram Diskettenlaufwerk Netzwerkkarte
Hallo,
Philipp Strube
Am Sonntag, 4. November 2001 12:20 schrieb Dieter Kluenter:
Hallo,
Hallo :)
Nur zum Ueben und Experimentieren würde ich das Beowulf Projekt empfehlen, ist auf den SuSE-CD's enthalten. Eine Platte brauchen die einzelnen Nodes eigentlich nicht, nur eine Bootdiskette, allerdings sollten Start- und Endnode ein Platte als Speichermedium nutzen. Die 486er Prozessoren sind schon OK, es geht ja um das Verteilen von Rechenleistung, wichtig ist dann nur, dass die Prozesse auch Multithreading beherrschen.
-Dieter
Hmm ok, eigentlich ist das auch das einzige was ich vor habe. Die Rechenleistung brauch ich nicht, es geht mir nur darum einfach mal nen Cluster gebaut zu haben, weil ich finde wenn ich sowas selbst gemacht habe, dann habe ich die Materie besser verstanden als wenn ich einfach was drüber lese. Also kann ich einen Teil der Cluster einfach über Diskette booten? Ich hatte nämlich schon befürchtungen das ich das über Netzwerk machen muss, und das ist ja an sich schon nicht ganz einfach. AFAIK. Ein Freund von mir hat das mal lange Zeit versucht, und es hat nicht wirklich funktioniert. Naja danke für die Idee mit dem Beowulf. Daran hatte ich auch schon gedacht. Die Mosix Lösung habe ich auch gedownloadet, muss ich mich aber erst mit beschäftigen. Was ich noch nicht ganz verstanden habe, was installiere ich eigentlich auf den einzelnen Clients? Installiere ich überall (wenn ich in jedem eine Festplatte haben sollte) SuSE (vielleicht minimal + netzwer) und Beowulf?
Die Rechner wären wahrscheinlich:
486 DX 100 512 MB IDE Festplatte 32 - 64 MB Ram Diskettenlaufwerk Netzwerkkarte
Die Hardware sieht doch schon gut aus, was du dringend benoetigen wirst, ist ein Switch, bitte kein Hub. Die Nodes müssen im Prinzip nur booten und netzwerkfähig sein, da genügt eine Diskette mit Minimalsystem. Die Threads verteilt der Master, dieser Nutzt quasi nur die Prozessorleistung der Nodes, aehnlich wie ein SMP System. Aber sieh dir mal Beowulf an, das ist ziemlich ausfuehrlich dokumentiert. Ich weiss jetzt nicht ob es noch Dokumtationen der WDR Computernacht von 1999 (oder war es erst 2000) gibt, da wurde ja in Paderborn ein Linuxcluster von ueber 500 Nodes aufgebaut, die Scripts und Doku dazu standen einige Zeit im Netz zur Verfügung. -Dieter -- Dieter Kluenter | Systemberatung Tel:040.64861967 | Fax: 040.64891521 mailto: dkluenter@schevolution.com http://www.schevolution.com/tour
Hi Philipp, Philipp Strube wrote:
ich sehe zwei Gruende die dagegen Sprechen. Und noch ein paar Antworten und Anregungen dazu.
bei uns in der Schule stehen eine Menge alte 486er Rechner rum. Weil die zu nix benutzt werden habe ich irgendwann mal die Idee gehabt, einfach mal zum ausprobieren, daraus ein Clustersystem zu bauen. Vielleicht mit 4-6 Nodes.
1. Diese Rechner werden - mal rein geschaetzt - vielleicht als Cluster so schnell sein wie ein aktueller AMD Thunderbird oder Intel Pentium IV. Dennoch schlucken die 486 Rechner deutlich mehr Strom als dieser eine aktuelle. Die Kosten fuer ein aktuelles System hast du damit also sehr schnell wieder drin. Ueberzeug also wenn du die Rechenzeit brauchst lieber jemanden dir den neuen Rechner zu finanzieren, weil ihn das auf Dauer billiger kommen wird.
Verbinden wollte ich das ganze mit nem 8 Port Token Ring Switch.
2. Token Ring? Ah! Schafft das nicht nur 16 MBit/s? Und hast du auch die passenden TR-Karten? Wenn nein moechte ich dich daraufheinweisen das die neu eine Menge Geld kosten.
Jetzt meine Fragen, lohnt es sich überhaupt soetwas anzufangen, oder sind die Rechner zu langsam und verbrauchen deswegen den grössten Teil ihrer Rechenleistung zum "chatten" mit den anderen Nodes, oder ist das bei so wenig Nodes egal?
Es lohnt sich unter einem Gesichtspunkt: Wenn du wissen moechtest wie ein Cluster funktioniert. Sprich du baust das Ding und nimmst es in Betrieb, machst Testrechnungen. Aber dein Ziel sollte es nicht sein wirklich etwas damit rechnen zu wollen, das lohnt sich nicht.
Müssen alle Node's völlig identisch sein?
AFAKI nein. Je nach Rechenaufgabe kann es auch reizvoll sein eine eigene Netzwerkimplementierung zu basteln, die die Rechenlast selbstaendig im Netzwerk verteilt. Da ist es auch keinen Fall wichtig. Sowas mach ich fuer das Raytracen von Filmen. Jan -- ETES - Espenhain & Theofel EDV-Systemhaus GbR Libanonstrasse 58 A * D-70184 Stuttgart Phone +49 711 4895550 * Fax +49 711 4809761 EMail: info@etes.de --- URL: www.etes.de
Am Sonntag, 4. November 2001 14:55 schrieb Jan Theofel:
Hi Philipp,
1. Diese Rechner werden - mal rein geschaetzt - vielleicht als Cluster so schnell sein wie ein aktueller AMD Thunderbird oder Intel Pentium IV. Dennoch schlucken die 486 Rechner deutlich mehr Strom als dieser eine aktuelle. Die Kosten fuer ein aktuelles System hast du damit also sehr schnell wieder drin. Ueberzeug also wenn du die Rechenzeit brauchst lieber jemanden dir den neuen Rechner zu finanzieren, weil ihn das auf Dauer billiger kommen wird.
Um die Rechenzeit geht es wie gesagt nur sekundär. Wenn ich damit irgendwas machen kann, gut. Wenn nicht ist egal, es geht primär nur um die Erfahrung mal einen Cluster gebaut zu haben.
Verbinden wollte ich das ganze mit nem 8 Port Token Ring Switch.
2. Token Ring? Ah! Schafft das nicht nur 16 MBit/s? Und hast du auch die passenden TR-Karten? Wenn nein moechte ich dich daraufheinweisen das die neu eine Menge Geld kosten.
Die Karten und den Switch habe ich schon. Sind der Schule von irgendeiner Firma gesponsort worden die es nichtmehr brauchten. Kosten mich also nichts. Genau wie die Rechner. Dem Informatik Lehrer ist es egal, er braucht das Zeug für die Schule auch nichtmehr, und ist eigentlich immer Interessiert an was neuem son Clustern ist auch für ihn was neues.
Müssen alle Node's völlig identisch sein?
AFAKI nein. Je nach Rechenaufgabe kann es auch reizvoll sein eine eigene Netzwerkimplementierung zu basteln, die die Rechenlast selbstaendig im Netzwerk verteilt. Da ist es auch keinen Fall wichtig. Sowas mach ich fuer das Raytracen von Filmen.
Ist das ungefähr so wie dieses SETI@home Projekt? Also ginge das auch wenn ich die Rechner aus meinem Netzwerk oder dem aus der Schule, nur wenn die nix anderes machen auch noch integriere? Diese Frage ist jetzt nur rein hypothetisch, weil ich ja auch die Rechenzeit nicht angewiesen bin, ist (um das nochmal zu erwähnen) alles nur zu Lernzwecken.
Jan
MfG Philipp
Hi Phillip, Philipp Strube wrote:
Müssen alle Node's völlig identisch sein?
AFAKI nein. Je nach Rechenaufgabe kann es auch reizvoll sein eine eigene Netzwerkimplementierung zu basteln, die die Rechenlast selbstaendig im Netzwerk verteilt. Da ist es auch keinen Fall wichtig. Sowas mach ich fuer das Raytracen von Filmen.
Ist das ungefähr so wie dieses SETI@home Projekt?
Bei mir ja. Ich habe zwei Skripte in Perl geschrieben. Das eine laeuft auf dem Server und verteilt die Aufgaben, das andere laeuft auf dem Client und nimmt diese entgegen, stoesst den lokalen Rechenprozess (POV-Ray) an und schickt spaeter das Ergebnis zurueck. Allerdings habe ich natuerlich nicht ein besonderes gutes Interface, sprich man muss alles von Hand konfigurieren (direkt im Sourcecode) und muss wissen, welche zusaetzlichen Dienste man wie installieren muss.
Also ginge das auch wenn ich die Rechner aus meinem Netzwerk oder dem aus der Schule, nur wenn die nix anderes machen auch noch integriere?
Sobald wir einen oeffentlichen Server aufsetzen (Mann, wann kommt endlich unsere Standleitung? :-) koenntest du deine Rechner ueber eine Waehlverbindung an einem unserer Rechenprojekte teilnehmen lassen. So wie eben bei Seti@home. Allerdings sind die Daten wohl eher nicht fuer dich geeignet, da POV-Ray mit unseren Bildern auf 486 nicht wirklich Sinn macht.
Diese Frage ist jetzt nur rein hypothetisch, weil ich ja auch die Rechenzeit nicht angewiesen bin, ist (um das nochmal zu erwähnen) alles nur zu Lernzwecken.
Dazu ist es natuerlich in Ordnung. Jan -- ETES - Espenhain & Theofel EDV-Systemhaus GbR Libanonstrasse 58 A * D-70184 Stuttgart Phone +49 711 4895550 * Fax +49 711 4809761 EMail: info@etes.de --- URL: www.etes.de
participants (4)
-
Dejan Milosavljevic -
Dieter Kluenter -
Jan Theofel -
Philipp Strube