Hallo zusammen, ich stehe möglicherweise bald vor der Aufgabe, eine Maschine mit ca. 10 TB Nutzlast zu bauen und als Webserver ins Netz zu hängen. Die Nutzlast besteht im wesentlichen aus einer SQL-Datenbank (also insgesamt LAMP), welche die Metadaten enthält. Nach denen kann man dann suchen, und schließlich die gewünschte Datei runterladen. Die Dateien sind Files von jeweils ca. 30 GB. Davon gibt es derzeit etwa 100 Stück, und jedes Jahr sollen ein paar dazukommen. Das ist alles technisch kein Problem, einzig die Größe gibt mir etwas zu denken: wie baut man eine Maschine mit solch einem großen Storage? Wer liefert sie, wie richtet man sie ein? Falls hier jemand schon sowas gemacht hat, würde ich mich über ein paar Hinweise freuen, auf welche Schwierigkeiten man stößt. Die Punkte, die mir so einfallen, wären: - 10 TB mit 500er Platten = 20 Platten + ein paar dazu fürs RAID/Hotspare usw. Welcher Controller erlaubt den Anschluß von über 20 Platten? - Baut man überhaupt so große Maschinen am Stück, oder baut man einen ganz normalen Server, an den man dann per FireWire/Fibrechannel das Storage-Rack untendran hängt? - Partitionstabelle: Für normale Partitionstabellen ist bei 2 TB Schluß. Wie kriegt man eine 10-TB-Partition auf die Füße? Und welches RAID setzt man dafür sinnvollerweise ein? Bei 20-30 Platten dürfte ja öfter mal eine ausfallen, und ich will nicht jede Woche hinfahren und tauschen müssen. - Tja, und dann braucht man noch einen Provider, der nicht nur die Co-Location hergibt, sondern auch nicht übellaunig wird, wenn da kräftig an der Maschine gesaugt wird. Danke und Gruß. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Andre, Andre Tann schrieb:
Hallo zusammen,
ich stehe möglicherweise bald vor der Aufgabe, eine Maschine mit ca. 10 TB Nutzlast zu bauen und als Webserver ins Netz zu hängen. Die Nutzlast besteht im wesentlichen aus einer SQL-Datenbank (also insgesamt LAMP), welche die Metadaten enthält. Nach denen kann man dann suchen, und schließlich die gewünschte Datei runterladen. Die Dateien sind Files von jeweils ca. 30 GB. Davon gibt es derzeit etwa 100 Stück, und jedes Jahr sollen ein paar dazukommen. Da wäre auch die Frage der Sicherung... der Files
- 10 TB mit 500er Platten = 20 Platten + ein paar dazu fürs RAID/Hotspare usw. Welcher Controller erlaubt den Anschluß von über 20 Platten? Vielleicht ein SAN? Könntest Du z.B. mit FibreChannel an die Maschine hängen. 10TB schreien ja geradezu nach einer professionellen Büchse wie z.B. von EMC² oder IBM? http://www.elektronik-kompendium.de/sites/net/0906071.htm http://www-03.ibm.com/systems/de/storage/san/ - Tja, und dann braucht man noch einen Provider, der nicht nur die Co-Location hergibt, sondern auch nicht übellaunig wird, wenn da kräftig an der Maschine gesaugt wird.
Bei so einer Datenmenge solltest Du vielleicht auch schon ein Cluster mit Loadbalancer o.ä. haben? http://www.hosteurope.de/produkte/Managed-Hosting-Produkte Gruß Axel -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Axel, Axel Birndt, Mittwoch, 20. Februar 2008 10:32:
Da wäre auch die Frage der Sicherung... der Files
Das ist kein Problem, denn der Kunde liefert die Files zwar an, hält sie aber sowieso selbst im Archiv weiter vor. Schmiert die Kiste ab, so würde man die Daten eben wieder aus dem Archiv kramen.
Vielleicht ein SAN? Könntest Du z.B. mit FibreChannel an die Maschine hängen.
Ja, sowas in der Art... Habe gerade gesehen, daß es eine 4-HE-jbod mit 24 Platten gibt, die man über Fibre an den 1-HE-Server hängen könnte. Macht zusammen 5 HE. Und mit 1-TB-SATA-Platten wäre man bei gut 20 TB im Maximalausbau.
Bei so einer Datenmenge solltest Du vielleicht auch schon ein Cluster mit Loadbalancer o.ä. haben?
Glaube nicht, daß Lastverteilung hier so wichtig ist. Das wird ja eine reine Download-Geschichte, und da ist die Netzwerkanbindung der Flaschenhals. Die SQL-Datenbank jedenfalls dürfte bei ihren 50 oder 100 oder auch 500 Datensätzen nicht ins Schwitzen kommen.
OK, das sehe ich mir noch an, vielleicht gibts schon was fertiges dort. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann schrieb:
Bei so einer Datenmenge solltest Du vielleicht auch schon ein Cluster mit Loadbalancer o.ä. haben?
Glaube nicht, daß Lastverteilung hier so wichtig ist. Das wird ja eine reine Download-Geschichte, und da ist die Netzwerkanbindung der Flaschenhals. Die SQL-Datenbank jedenfalls dürfte bei ihren 50 oder 100 oder auch 500 Datensätzen nicht ins Schwitzen kommen.
Ich meinte auch eher, wegen der Ausfallsicherheit ;) Aber natürlich kenne ich Eure Anforderungen nicht... -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am 20.02.08 schrieb Andre Tann <atann@gmx.net>:
Das ist alles technisch kein Problem, einzig die Größe gibt mir etwas zu denken: wie baut man eine Maschine mit solch einem großen Storage? Wer liefert sie, wie richtet man sie ein?
HP, IBM, Dell, ... :-)
- Baut man überhaupt so große Maschinen am Stück, oder baut man einen ganz normalen Server, an den man dann per FireWire/Fibrechannel das Storage-Rack untendran hängt?
Brauchst Du wirklich FC? Da die Dateien eh' per Internet weggeschickt werden sollen, würde ein schnelles NAS ausreichen.
- Partitionstabelle: Für normale Partitionstabellen ist bei 2 TB Schluß. Wie kriegt man eine 10-TB-Partition auf die Füße? Und
Nur bei ext{2,3}. xfs hat da keine Probleme. Aber natürlich wird bei großen Partitionen der fschk langsamer und braucht mehr Speicher.
welches RAID setzt man dafür sinnvollerweise ein? Bei 20-30 Platten dürfte ja öfter mal eine ausfallen, und ich will nicht jede Woche hinfahren und tauschen müssen.
RAID6. Gruß Martin -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Martin Schröder, Mittwoch, 20. Februar 2008 10:36:
Brauchst Du wirklich FC? Da die Dateien eh' per Internet weggeschickt werden sollen, würde ein schnelles NAS ausreichen.
Stimmt schon, Fibre ist vielleicht zuviel des guten.
Nur bei ext{2,3}. xfs hat da keine Probleme. Aber natürlich wird bei großen Partitionen der fschk langsamer und braucht mehr Speicher.
Was hat die Partitionstabelle mit dem Dateisystem zu tun? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On Wed, 20 Feb 2008 10:17:25 +0100, Andre Tann wrote:
Die Punkte, die mir so einfallen, wären:
- 10 TB mit 500er Platten = 20 Platten + ein paar dazu fürs RAID/Hotspare usw. Welcher Controller erlaubt den Anschluß von über 20 Platten?
Mit sowas z.B. geht das, da sind Dank 24 Einschüben aktuell maximal 24 Terrabyte möglich: http://www.thomas-krenn.de/de/server-systeme/4HE-5HE-rack-server/4HE-intel-d... Dazu noch ein 3ware Controller - der 9690SA soll bis zu 128 Geräte unterstützen : http://www.3ware.com/products/pdf/9690SA_SAS_DS_082107b.pdf Philipp -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann schrieb:
Hallo zusammen,
- Tja, und dann braucht man noch einen Provider, der nicht nur die Co-Location hergibt, sondern auch nicht übellaunig wird, wenn da kräftig an der Maschine gesaugt wird.
emc baut so etwas http://germany.emc.com/?fromGlobalSiteSelect Als Provider ggf. mal mit hetzner sprechen. Die machen eigentlich einen guten Support. -- i.A. Ralf Prengel Customer Care Manager Comline AG Hauert 8 D-44227 Dortmund/Germany Fon +49231 97575- 904 Fax +49231 97575- 905 EMail ralf.prengel@comline.de www.comline.de Vorstand Stephan Schilling,Erwin Leonhardi Aufsichtsrat Dr. Franz Schoser (Vorsitzender) HR Dortmund B 14570 USt.-ID-Nr. DE 124727422 www.comline.de Vorstand Stephan Schilling, Erwin Leonhardi Aufsichtsrat Dr. Franz Schoser (Vorsitzender) HR Dortmund B 14570 USt.-ID-Nr. DE 124727422 Wir stellen aus: CeBIT · Public Sector Parc HANNOVER, 4.-9. Maerz 2008 Halle 9, Stand C60 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann [20.02.2008 10:17]:
Hallo zusammen,
ich stehe möglicherweise bald vor der Aufgabe, eine Maschine mit ca. 10 TB Nutzlast zu bauen und als Webserver ins Netz zu hängen. Die Nutzlast besteht im wesentlichen aus einer SQL-Datenbank (also insgesamt LAMP), welche die Metadaten enthält. Nach denen kann man dann suchen, und schließlich die gewünschte Datei runterladen. Die Dateien sind Files von jeweils ca. 30 GB. Davon gibt es derzeit etwa 100 Stück, und jedes Jahr sollen ein paar dazukommen.
Das ist alles technisch kein Problem, einzig die Größe gibt mir etwas zu denken: wie baut man eine Maschine mit solch einem großen Storage? Wer liefert sie, wie richtet man sie ein?
Sun X4500 ("Unterstützte Festplatten: Bis zu 48 im laufenden Betrieb austauschbare interne 3,5-Zoll-SATA II-Festplatten mit 250 GB, 500 GB, 750 GB oder 1 TB und 7.200 U/min für eine Gesamtkapazität von bis zu 48 TB"). Bei uns ein paar im Einsatz, unter Solaris 10 mit ZFS. Datendurchsatz bei NFS-Freigaben > 60 GB/s bei hinreichend großen Dateien. Doch, man kann unter Solaris auch einen Webserver betreiben ;-)
Falls hier jemand schon sowas gemacht hat, würde ich mich über ein paar Hinweise freuen, auf welche Schwierigkeiten man stößt.
Wenn die Kiste nach dem 10. Ein- und Ausschalten immer noch bootet, ist sie OK :-). Wir hatten bei der 3. Kiste genau das Problem, dass sie nach dem Ausschalten nicht wieder booten wollte. Steht inzwischen bei Sun im Messlabor. Natürlich ist Solaris nicht jedermenschs Sache... Und ohne ZFS ist die Kiste nur halb so schön :-/
Die Punkte, die mir so einfallen, wären:
- 10 TB mit 500er Platten = 20 Platten + ein paar dazu fürs RAID/Hotspare usw. Welcher Controller erlaubt den Anschluß von über 20 Platten?
Jeder richtige RAID-Controller ;-). Sun 6xxx-Reihe z. B., da ist auch Anschlussmöglichkeit für mehrere JBODs.
- Baut man überhaupt so große Maschinen am Stück, oder baut man einen ganz normalen Server, an den man dann per FireWire/Fibrechannel das Storage-Rack untendran hängt?
Das hängt von Dir ab. Wir haben beide Kombinationen im Einsatz, den Thumper gibt es noch nicht allzu lange. Vorher hatten wir meist 1 Sun 3510 (FC)/3511 (SATA) plus 4 JBODs, jeweils 12 Platten zu 300 GB.
- Partitionstabelle: Für normale Partitionstabellen ist bei 2 TB Schluß. Wie kriegt man eine 10-TB-Partition auf die Füße? Und welches RAID setzt man dafür sinnvollerweise ein? Bei 20-30 Platten dürfte ja öfter mal eine ausfallen, und ich will nicht jede Woche hinfahren und tauschen müssen.
Was sind "normale Partitionstabellen"? Unter ZFS ist auch > 10 TB kein Problem. Außerdem kannst Du ja in 30 GB-Scheiben partitionieren, legst eben jede Datei in ein separates Filesystem und mountest entsprechend.
- Tja, und dann braucht man noch einen Provider, der nicht nur die Co-Location hergibt, sondern auch nicht übellaunig wird, wenn da kräftig an der Maschine gesaugt wird.
Tja, als Forschungseinrichtung sind wir dem DFN angeschlossen... HTH Werner -- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
2008/2/20 Werner Flamme <werner.flamme@ufz.de>:
Andre Tann [20.02.2008 10:17]:
Hallo zusammen,
ich stehe möglicherweise bald vor der Aufgabe, eine Maschine mit ca. 10 TB Nutzlast zu bauen und als Webserver ins Netz zu hängen. Die Nutzlast besteht im wesentlichen aus einer SQL-Datenbank (also insgesamt LAMP), welche die Metadaten enthält. Nach denen kann man dann suchen, und schließlich die gewünschte Datei runterladen. Die Dateien sind Files von jeweils ca. 30 GB. Davon gibt es derzeit etwa 100 Stück, und jedes Jahr sollen ein paar dazukommen.
Das ist alles technisch kein Problem, einzig die Größe gibt mir etwas zu denken: wie baut man eine Maschine mit solch einem großen Storage? Wer liefert sie, wie richtet man sie ein?
Sun X4500 ("Unterstützte Festplatten: Bis zu 48 im laufenden Betrieb austauschbare interne 3,5-Zoll-SATA II-Festplatten mit 250 GB, 500 GB, 750 GB oder 1 TB und 7.200 U/min für eine Gesamtkapazität von bis zu 48 TB"). Bei uns ein paar im Einsatz, unter Solaris 10 mit ZFS. Datendurchsatz bei NFS-Freigaben > 60 GB/s bei hinreichend großen Dateien.
Hätte ich jetzt auch empfohlen ;-) . Wir haben hier schon ein paar Racks voll mit den Thumpern und die sind schon ganz nett als NFS-Server.
Doch, man kann unter Solaris auch einen Webserver betreiben ;-)
Ja, Apache läuft auch problemlos auf Solaris. kk Rgbx������ץ���r���҉碝��V������ uﮞ˛���m�)z{.��+�I��w���^jY^���~�m�ޜ�&��ݢ��m�(�g���brG�J'��w�j)Z��^�ˬy��i����� ��
participants (7)
-
Andre Tann -
Axel Birndt -
Karsten Künne -
Martin Schröder -
Philipp Thomas -
Ralf Prengel -
Werner Flamme