Hallo Andre Andre Tann schrieb:

Die unterscheiden sich ja gar nicht wesentlich im Preis einer 15k-SAS mit 300 GB kostet soviel wie eine mit 400 GB, aber nur 10k.

Ich finde diese Dinger mit ca. 270 EUR ganz schön teuer im Vergleich zu SATA-Platten, wo eine 300er für 50 EUR zu haben ist. Den Vorteil sehe ich da außer in der Drehzahl nicht. Aber bei dem Preisunterschied kann ich locker ein paar zusätzliche SATA-Platten ins RAID10 packen, und hole dadurch den Geschwindigkeitsvorteil wieder raus, und komme trotzdem noch günstiger weg.

Ohne jetzt die Datenblätter der einzelnen Platten vor mir zu haben, vermute ich den Grund für den Preisunterschied mal in der MTBF-Zeit. Zusätzlich sollte ein entsprechend starkes Netzteil nicht vergessen werdn - ich persönlich würde für so einen Fall zu mindestens 850W tendieren. LG, Sascha -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Hallo Andre Andre Tann schrieb:

Sascha Piculjan, Donnerstag, 8. Mai 2008 14:05:

Das wäre in der Tat ein Argument. Aber ein erstes Googeln hat diesen Unterschied nicht zutage gefördert. Außerdem: wieso soll das Protokoll auf der Schnittstelle einen Unterschied in der Fehleranfälligkeit machen?

Gut, war lediglich eine Vermutung von mir - hier bist du wohl mit Google und den genauen Plattentypen (die ich nicht wissen konnte) mittlerweile etwas schlauer als ich. Wobei ich hier nicht auf das Protokoll der Schnittstelle meinte sondern die "erwartete mechanische Laufzeit" der Platte(n), welche ja "schon damals bei SCSI" höher war als bei IDE. Bei SAS und SATA sollte ich mir wieder mal aktuelle Datenblätter ansehen, welche meine Behauptung bestätigen oder aber auch widerlegen.

Wieso das denn...? Eine Platte zieht nach meinen Messungen ca. 6-10 Watt. Hab ich also zehn sparsame Platten, dann brauchen die 60 Watt, beim Einschalten mehr, aber nicht viel mehr.

Hier hatte ich auf "persönliche Erfahrungswerte" und einer Schätzung (da ich deine genaue Plattenanzahl nur raten konnte) zurückgegriffen: Ich hatte es bei einem Fileserver mal in der Praxis erlebt, dass ein 400W-Netzteil in einer Maschine mit 6 Platten (2x SCSI fürs System, 4x IDE für Daten) unterdimensioniert war. Ich hatte damals insofern Probleme, als dass ich Lese- und Schreibfehler auf den einzelnen Platten hatte, die ich in keiner anderen Maschine reproduzieren konnte. "Schuss ins blaue" war dann, die Datenplatten in besagter Maschine abstecken und einzeln wieder anzustecken, wodurch ich damals meinem Problem auf die Schliche gekommen bin. Nach dem Einbau eines 550W-Netzteiles und ansonsten identem restlichen System waren meine Probleme dann aus der Welt... LG, Sascha -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Andre Tann wrote:

Sandy Drobic, Donnerstag, 8. Mai 2008 12:52:

...

...

bin gerade dabei, einen Server zusammenzustellen, auf dem v.a. ein IMAP-Server (Courier) und ein File-Server (Samba, NFS) laufen sollen. Volumen sind so ca. 200-300 GB. Genau an dem Punkt solltest du zuerst das Konzept überdenken. Ich würde einen gemeinsamen Server nur dann verwenden, wenn Performance nicht so wichtig ist und der Preis eine Rolle spielt.

Im Moment laufen für die beiden Aufgaben getrennte Maschinen. Ich möchte sie aber zusammenlegen, weil ich gerne eine Storage-Maschine für alles haben will, d.h. für den Fileservice, für den IMAP-Spool, usw. Den IMAP-Spool exportiere ich dann per NFS in den IMAP-Server rein. Das geht mit Cyrus nicht, aber mit Courier umso besser.

Hm, deine Ausführungen in deiner Ausgangsmail haben sich etwas anders angehört. Bitte bedenke, dass auch eine Vielzahl von Diensten auf einer Maschine die Administration verkompliziert und allein dadurch die Zuverlässigkeit gesenkt wird.

Auf diese Weise habe ich nur eine Maschine, in die ich eine Vielzahl von Platten stecken muß mit entsprechenden Kosten für den Kontroller. In der IMAP-Maschine brauche ich dann nur noch ein popeliges RAID1 und zwei Platten, und fertig. Man könnte da sogar ein Softraid fahren, und so den Preis für den Controller einsparen.

Bleargh!

...

Sobald der Server für viele User dienen soll oder Performance eine wichtige Rolle spielt, sind getrennte Server absolute Pflicht.

Viele User = zig? hunderte? tausende? In meinem Fall sind es max. ca. 25 User. Die aber wollen Mailspools mit bis zu 10-15 GB pro Nase haben.

(Bevor die Zwischenfrage kommt: ja, 300 GB Nutzlast für all das reicht aus, größer ist das verfügbare Volumen im Moment auch nicht, und es ist schon seit einiger Zeit konstant mit ca. 60-70% ausgelastet.)

300 GB für alles? Das ist doch allein schon der Platz für die Mails, wenn ich das so richtig sehe. Normalerweise geht man davon aus, dass der in Anspruch genommene Plattenplatz sich alles zwei Jahre verdoppelt. Bei uns in der Firma kommt dies etwa hin.

...

Mache mal folgenden Test:

- kopiere ein paar Gigabyte an Daten (vor allem viele kleine Dateien wie auf einem Imap-Server) auf den Server und messe die Zeit.

- mache das gleiche wie vorher, aber starte zwei Kopiervorgänge.

Du wirst feststellen, dass der Kopiervorgang im zweiten Fall nicht doppelt so lange dauert wie vielleicht erwartet, sondern erheblich länger als doppelt, da die Köpfe der Festplatten ständig zwischen den beiden Kopieraufgaben hin und herspringen.

Das ist klar, aber letztlich ist der Flaschenhals ohnehin das Netzwerk. Denn mehr als 100 MBit kriegt der Server sowieso nicht angeliefert. Und die IMAP-Nutzer sind über die Replublik verteilt und kommen sowieso nur über eine 4-MBit-Leitung ins Haus.

Na ja, sobald die User anfangen, in ihrem 15GB Mailwust Suchbefehle anzustoßen und eine Hunderttausend Mails dafür durchackern, wird die Perfomance schnell in den Keller gehen, dafür ist keine dicke Leitung notwendig.

...

Für den Fileserver ist RAID6 eine gute Wahl, vorausgesetzt du nimmst einen ordentlichen Controller, den die RAID-Berechnungen nicht ausbremsen.

Der Händler schlägt da einen 3ware 9650SE vor, und nach dem, was ich zu diesem Controller finde, scheint das Ding ganz OK zu sein.

Ja, der wird von Suse auch gut unterstützt.

...

Für den Imapserver kommt eigentlich nur RAID 10 in Frage mit möglichst vielen Platten. Dies verteilt die IO-Last auf möglichst viele Platten.

Wie ist denn das bei RAID-10 mit mehr als 4 Platten - werden da immer die Platten paarweise zu RAID1 zusammengefaßt, und da obendrauf ein RAID0 gelegt? Wenn ja, dann führt doch in diesem Fall der Ausfall einer einzigen Platte immer zum Verlust der Redundanz. Oder sehe ich da was falsch?

Nein, nicht direkt. Das RAID0 besteht immer aus RAID1-Einheiten mit je zwei Platten. Nur dann, wenn beide Platten aus einem RAID1 ausfallen, gehen Daten verloren. Im Unterschied zum RAID5 müssen aber nicht alles alle Daten bei einem Rebuild synchronisiert werden, sondern nur die Daten des kleinen RAID1. Das Rebuild ist damit erheblich schneller und belastet auch die Gesamtleistung nicht so heftig wie ein Rebuild auf einem RAID5.

...

Als RAID-Controller ein RAID6-geeigneter Controller mit 512 MB batterie-gepuffertem Cache, dazu Hotplug-Platten je nach Geldbeutel. Wenn genügend Budget vorhanden ist, dann 15k-SAS-Platten, ansonsten 10k-SAS.

Die unterscheiden sich ja gar nicht wesentlich im Preis einer 15k-SAS mit 300 GB kostet soviel wie eine mit 400 GB, aber nur 10k.

Ich finde diese Dinger mit ca. 270 EUR ganz schön teuer im Vergleich zu SATA-Platten, wo eine 300er für 50 EUR zu haben ist. Den Vorteil sehe ich da außer in der Drehzahl nicht. Aber bei dem Preisunterschied kann ich locker ein paar zusätzliche SATA-Platten ins RAID10 packen, und hole dadurch den Geschwindigkeitsvorteil wieder raus, und komme trotzdem noch günstiger weg.

Die 15k-SAS haben zwei entscheidende Merkmale: es sind explizit für Serverdienste ausgelegte Platten mit hoher Lebensdauer/Garantie und dann haben sie extrem kurze Zugriffszeiten, welche sich enorm bei Zugriffen auf viele kleine Dateien bemerkbar machen. Das Preisverhältnis zwischen einer 15k-SAS-Platte und einer 7.2k-SATA ist etwa 7-10, das ist in der Tat sehr heftig und nur dann angeraten, wenn man das mehr an Leistung wirklich braucht. Ein gut genutzter Imap-Server kann dies tatsächlich nutzen. Auf einem Fileserver, wo die Dateien in der Größe gut gemischt sind, hätte ich mit SATA-Platten auf einem RAID5 kein Problem. Ein Fileserver, der Millionen von kleinen Dateien dutzenden oder gar hunderten von Usern zur Verfügung stellen muss, ist 15k-SAS Pflicht. Du kannst natürlich die Lese-/Schreibleistung steigern, indem die Zugriffe auf mehr Platten verteilt werden. Dies wird aber dann in den Hintergrund rücken, wenn es um viele kleine Dateien geht. Und wie gesagt, denke immer daran, dass in ein oder zwei Jahren der Server auch noch die notwendige Kapazität und Leistung haben muss. Nimm eine günstige Maschine mit RAID5 auf 4 SATA-Platten und eine flinke Maschine mit Quadcore und 6 146GB-SAS-Platten. Dann hast du für die nächsten 4 Jahre Ruhe und zufriedene Anwender. Das sind etwa 5000-6000 Euro für Markenserver, etwa ein Drittel weniger, wenn es keine Marke sein muss. Wenn das zu teuer ist, dann ist der Preis die entscheidende Größe, und du musst sehen, wie hoch das Budget ist. Entscheide dann, was du dafür bekommst und ob es nur für einen oder für zwei Server reicht. Ich würde auch erst einmal Leistungsmessungen vornehmen an den vorhandenen Servern, um zu sehen, ob es wirklich Engpässe insbesondere bei IO gibt auf den vorhandenen Servern. Wenn nicht, dann bleibe bei günstigen SATA-Servern und nimm dafür dann ein paar Platten mehr, gib aber dem RAID-Controller möglichst viel Cache und eine BBU. Das letztere kann ein Problem sein, da die BBU oft nur für wenig Cache ausgelegt ist. Andererseits ist die BBU meist für 72 Stunden ausgelegt, und der Server sollte aber nach erheblich kürzerer Zeit wieder am Netz hängen. Ein Wort noch zum Controller: ich habe hier einen Areca-Controller, der seit zwei Jahren stabil läuft. Aber die Firmware und die Überwachungssoftware haben doch einige kleine Macken gehabt, deshalb würde ich die Qualität eher als Beta einstufen. Aus dem Grunde habe ich auch 3Ware vorgeschlagen. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Andre Tann wrote:

Sandy Drobic, Donnerstag, 8. Mai 2008 15:07:

...

Hm, deine Ausführungen in deiner Ausgangsmail haben sich etwas anders angehört.

...OK, dann hab ich mich mißverständlich ausgedrückt, sorry.

...

Bitte bedenke, dass auch eine Vielzahl von Diensten auf einer Maschine die Administration verkompliziert und allein dadurch die Zuverlässigkeit gesenkt wird.

Im Prinzip hast Du da völlig recht. samba und nfsserver sollten aber noch nicht zu komplex sein für eine Maschine.

Nein, es sind ja beides Fileserver-Dienste, nur halt andere Protokolle.

Weil ich das im Prinzip aber genauso sehe wie Du will ich das folgendermaßen machen: eine fette Maschine als Storage für alles.

Dann eine weitere, die nichts anderes macht, als Wirt für vmware-server-Maschinen zu sein. Und auf diese Gastsysteme packe ich dann die einzelnen Installationen, die die ganzen Dienste anbieten: eine virtuelle Maschine IMAP und smtp, eine weitere virtuelle Maschine mit Infrastruktur-Krams wie dhcp, ntp, ldap, dns. Und so weiter. Sobald diese zweite Maschine zu stark ausgelastet wird, stelle ich eine dritte daneben, wieder nur als Wirt, und packe ein paar der vmware-Server-Installationen, die vorher auf der zweiten waren, auf die dritte Maschine.

Wir haben hier eine VM-Server-Maschine mit 2 Quadcore-CPUs, die sind auch mit 15 virtuellen Servern noch nicht ausgelastet. Kritischer ist die Festplatten-Performance, da muss bei IO-kritischen Servern wie Imap auf jeden Fall eine physikalische Partition in der VM direkt gemountet sein.

So bekomme ich die Kisten einerseits schön ausgelastet, kann andererseits die Last verteilen, wenn es zuviel wird, und ich spare mir eine größere Zahl an Servern. Und nicht zuletzt: die ganzen KVM-Switches bzw. KVM-Over-IP kann ich mir sparen, macht alles die vmware-Konsole.

Strom- und Platzsparen war in der Tat auch bei uns ein wichtiger Punkt.

[Softraid]

...

Bleargh!

Ist das ein Fachbegriff? ;)

[...]

...

...

Wie ist denn das bei RAID-10 mit mehr als 4 Platten - werden da immer die Platten paarweise zu RAID1 zusammengefaßt, und da obendrauf ein RAID0 gelegt? Wenn ja, dann führt doch in diesem Fall der Ausfall einer einzigen Platte immer zum Verlust der Redundanz. Oder sehe ich da was falsch? Nein, nicht direkt. Das RAID0 besteht immer aus RAID1-Einheiten mit je zwei Platten. Nur dann, wenn beide Platten aus einem RAID1 ausfallen, gehen Daten verloren.

Ja, data loss nur, wenn zwei Platten des gleichen RAID1 kippen. Aber Verlust der Redundanz schon bei einem Auswall.

Das ist richtig. ABer RAID6 hat leider nicht die Performance von RAID10.

...

Die 15k-SAS haben zwei entscheidende Merkmale: es sind explizit für Serverdienste ausgelegte Platten mit hoher Lebensdauer/Garantie und dann haben sie extrem kurze Zugriffszeiten, welche sich enorm bei Zugriffen auf viele kleine Dateien bemerkbar machen.

OK, dann muß ich mir die Datenblätter mal im Einzelnen ansehen. Das wäre schon ein Argument. Aber wenn man sechs Platten nimmt, dann ist der Unterschied schon enorm. Kann man fast schon ne weitere kleine Maschine kaufen davon.

Das ist eben der kritische Punkt, ob die Leistung wirklicht benötigt wird. Eine 146MB-SAS-Platte kostet etwa 200 Euro. Dafür bekommt man ein vielfaches an SATA-Platz. Andererseits spart man sich vielleicht so einen weiteren Server, weil eine Maschine die Last schafft.

...

Nimm eine günstige Maschine mit RAID5 auf 4 SATA-Platten und eine flinke Maschine mit Quadcore und 6 146GB-SAS-Platten. Dann hast du für die nächsten 4 Jahre Ruhe und zufriedene Anwender. Das sind etwa 5000-6000 Euro für Markenserver, etwa ein Drittel weniger, wenn es keine Marke sein muss.

Wozu meinst Du jetzt die zwei Maschinen, samba und nfs?

Nö, ein Fileserver, ein Imapserver.

...

Wenn das zu teuer ist, dann ist der Preis die entscheidende Größe, und du musst sehen, wie hoch das Budget ist. Entscheide dann, was du dafür bekommst und ob es nur für einen oder für zwei Server reicht.

5 TEUR sind schon drin, ich habe auch kein Budget, sondern kriege, was ich gut begründen kann.

Sehr gut. Dann benötigst du Argumente, warum die Dimensionierung des/der Server wie sein soll. Die bekommst du nur durch Teststellung von solchen Diensten. Setze einen Imapserver auf, fülle ihn mit wirklichen Daten und sage dann deinen Anwendern, dass sie mal ihre Mails durchstöbern sollen. Wenn normale Operationen wie das Öffnen eines Ordners, das Öffnen einer Mail oder das Suchen nach bestimmten Mails zu lange dauert, dann kommt es zu Frust bei Anwendern. Zu lange ist bei oft genutzen Aktionen wie Öffnen eines Ordners im Bereich von 2 Sekunden. Das Öffnen einer Mail sollte weniger als eine Sekunde dauern. Wenn 20 Anwender gleichzeitig zugreifen und viele Aktionen ausführen, kann dies schon die Maschine etwas auslasten. Wenn das Zugriffs/Suchprofil aber nicht ungewöhnlich ist, dann sollten auch normale SATA-Platten damit kein Problem haben.

...

Ich würde auch erst einmal Leistungsmessungen vornehmen an den vorhandenen Servern, um zu sehen, ob es wirklich Engpässe insbesondere bei IO gibt auf den vorhandenen Servern.

Das kann ich jetzt noch nicht so genau sagen, weil derzeit SMTP/IMAP auf einer eigenen Maschine sitzen, samba/nfs auf einer anderen, und vor allem weil derzeit IMAP noch fast keine Rolle spielt. Die Bedeutung von IMAP wird aber jetzt stark zunehmen, und den Storage-Kram will ich wie gesagt auf eine einzige Maschine legen.

Hm, dann würde ich sehr vorsichtig sein, was die Schätzungen über den notwendigen Mailstorage betrifft. Unser Mailserver ist in den letzten zwei Jahren enorm viel dicker geworden. Vor fünf Jahren waren weniger als 10 GB notwendig für alles Daten inclusive Logs. Jetzt brauchen wir 20 mal mehr Platz, und der Verbrauch an Speicherplatz wächst immer schneller.

...

Ein Wort noch zum Controller: ich habe hier einen Areca-Controller, der seit zwei Jahren stabil läuft. Aber die Firmware und die Überwachungssoftware haben doch einige kleine Macken gehabt, deshalb würde ich die Qualität eher als Beta einstufen. Aus dem Grunde habe ich auch 3Ware vorgeschlagen.

Jep, der Händler hat sowieso fast nur die im Programm, und alleine die Tatsache, daß ich eine Susi aus der Box raus auf so einem Controller installiert bekomme, spricht schon mal für ihn. Ich hab nämlich keine Lust auf F6-Disketten oder so einen Kram ;)

Bei 10.3 wird der Areca inwischen auch nativ unterstützt. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org

Andre Tann wrote:

Sandy Drobic, Donnerstag, 8. Mai 2008 15:07:

...

Nimm eine günstige Maschine mit RAID5 auf 4 SATA-Platten und eine flinke Maschine mit Quadcore und 6 146GB-SAS-Platten. Dann hast du für die nächsten 4 Jahre Ruhe und zufriedene Anwender. Das sind etwa 5000-6000 Euro für Markenserver, etwa ein Drittel weniger, wenn es keine Marke sein muss.

Ich verstehe eigentlich noch immer nicht genau, warum Du das Storage von IMAP-Server und Fileserver trennen willst. Wenn ich das ganze Storage auf einer Maschine laufen lasse, dann reicht mir ein Controller, ein Plattenstapel, ein Backup, usw. Mache ich das auf zwei Maschinen, dann brauche ich alles, was teuer ist, doppelt.

Die Trennung des Storages ist dann notwendig, wenn der Storage nicht genügend Durchsatz hat, um beide Aufgaben parallel zu erledigen.

Und warum schlägst Du eine günstige und eine schnelle Quadcore-Kiste vor? Weder IMAP noch samba/nfs sind doch rechenintensiv. Ich denke mir, daß ich vor allem viel RAM reinpacke, um möglichst viel Cache zu haben. Ich dachte da so an 8 oder auch 16 GB, dann bliebe auch für ein paar VMs ausreichend Luft.

Samba ist in der Tat nicht rechenintensiv, aber Imap kann durchaus die CPU belasten, insbesondere, wenn Suchbefehle angestossen werden. Wenn du dann noch VMs auf der Maschine hast, welche die Platte ebenfalls mit IO belasten, dann hast du die Billigvariante: alle Funktionen, die physikalisch reinzupacken sind, verlangen von der einen Maschine IO. Wie gesagt, so langsam habe ich keine Lust mehr, viel zu spekulieren. Viel kommt einfach auf die Nutzungsprofile an, wie die Anwender mit dem System arbeiten und was für Dateien abgelegt sind und welche Leistung erwartet wird. Der Imapserver hat viele kleine Dateien, was den Durchsatz stark bremst, VMs haben ebenfalls einen stark bremsenden Einfluss, da innerhalb einer großen Datei laufend Veränderungen stattfinden (Wenn es keine physikalische Partition ist, sondern eine Imagedatei). Wenn dann noch der Fileserver mit IO die Maschine in Anspruch nimmt, dann ist der Server gut beschäftigt. Denke bitte auch an Wartung: ich habe echte Probleme, unseren VM-Server einmal neuzustarten oder Updates einzuspielen, da ich im laufenden Betrieb den VM-Server nicht runterfahren kann. Selbst ein Neustart muss vorher angekündigt werden, wenn ich den mal am Wochenende warte. Wenn ich das richtig sehe, vereinst du auf dieser Maschine alle kritischen Dienste, die ihr in eurer Firma benötigt, Wartung wird deshalb kitzlig, insbesondere, wenn die Abhängigkeiten unübersichtlich sind. Ein Kernel-Update kann den Start von VMs brechen, da der Server jedoch Kontakt mit dem Internet hat, sollten Updates eingespielt werden. Die Liste der Checks wird sehr lang, wenn du jemals das Betriebssystem aktualisierst. Solltest du wirklich alles auf eine Maschine packen, nimm möglichst viele Platten und einen Controller mit möglichst viel Cache. Mache auch Tests mit kleinen, großen und vielen parallelen Zugriffen und optimiere den Controllerdurchsatz, es lohnt sich. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org