Hi Liste Wir haben ein kleines Netzwerk in der Firma. Ein Server und mehrere Clients mit Gigabit verkabelt. Der Server stellt einige Verzeichnisse per NFS zur Verfügung. Feste Einträge in der fstab (SLES10 SP1). Wollte ein Backup mit rsync machen und das war unerträglich langsam. Dann hab ich mal versucht eine große Datei zu kopieren, das war ebenfalls mies. Die Übertragung fängt an mit ca. 45 MB/s und fällt dann ab. Hätte ich ein Diagramm wäre es ein richtig schönes Sägezahnprofil. Jetzt bin ich dem auf der Spur und teste herum. Die Einträge in der fstab standen bisher auf default. Ich hab die nach ein bißchen Recherche ein wenig modifiziert. Statt default hab ich nun rw,rsize=32...,wsize=32... 0 0 und in der exports zusätzlich async eingestellt. Damit ist es schon besser, aber immer noch diese Einbrüche. Sieht aus, wie irgendein Pufferprob. Pakete werden kopiert bis zu einer bestimmten Stelle, dann passiert kein Datenverkehr, dann wird er wieder aufgenommen usw. Getestet hab ich das mit einem Iso-Image (2,5GB) Interessanterweise, probiere ich es bei KDE mit dem Netzwerkbrowser über fish:// ist es deutlich schlechter. Mit Glück komm ich da auf 10MB/s, eher noch schlechter. ifconfig zeigt auf beiden Maschinen keine Kollisionen oder Verluste. Der Client hat einen Intel 2x3,0GHz mit 2GB RAM und der Server mit 4GB RAM. Alles SATAII-Platten. ethtool sagt: Speed: 1000Mb/s Duplex: Full Port: Twisted Pair PHYAD: 1 Transceiver: Internal Auto-negotiation: on Unerklärlich hohe Last sehe ich auch nicht. RAM ist auch noch genügend frei. Wo kann ich weiter suchen? Noch mehr an den Optionen rumschrauben? Oder kann ich das Netz noch anderweitig testen? Ich versuche gleich mal ohne KDE mit scp eine Datei zu kopieren. Mal schauen, ob es da auch hakt. Zusätzlich werde ich mal von einer Platte auf die andere kopieren um Probleme mit dem SATA-Anschluß auszuschließen. Läuft das interne kopieren schnell, dann kann es doch nur etwas am Netzwerk sein. Irgendeinen Tip, wo ich noch suchen kann? Bei einer großen Iso sollte doch ein konstanter Datenstrom bei rauskommen, oder? Danke und Gruß Bodo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo, Am Freitag, 31. Oktober 2008 10:14 schrieb Bodo Wlaka:
Der Server stellt einige Verzeichnisse per NFS zur Verfügung. Feste Einträge in der fstab (SLES10 SP1). Wollte ein Backup mit rsync machen und das war unerträglich langsam. Dann hab ich mal versucht eine große Datei zu kopieren, das war ebenfalls mies. Die Übertragung fängt an mit ca. 45 MB/s und fällt dann ab.
Ich hatte hier das gleiche Phänomen. Schuld war (nach langer Suche), dass der Server ständig versucht hat, den Hostnamen des Clients ordentlich aufzulösen und immer auf ne Antwort vom (externen) DNS gewartet hat. Bei unserem (ziemlich kleinen) Netz hat es dann geholfen, in die /etc/hosts des Servers die Hostnamen der Clients einzutragen und gut wars. Sicherlich kann man das mit nem ordentlich konfigurierten Nameserver bisschen schlauer machen, aber bei uns war die quick-and-dirty-Lösung ausreichend. -- Michael Herrmann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Michael Am Friday 31 October 2008 16:41:46 schrieb Michael Herrmann:
Ich hatte hier das gleiche Phänomen. Schuld war (nach langer Suche), dass der Server ständig versucht hat, den Hostnamen des Clients ordentlich aufzulösen und immer auf ne Antwort vom (externen) DNS gewartet hat. Bei unserem (ziemlich kleinen) Netz hat es dann geholfen, in die /etc/hosts des Servers die Hostnamen der Clients einzutragen und gut wars.
Ist schon drin. Das kannst also nicht sein. Ich habe da im Moment eher die Festplatten an sich in Verdacht. Sind SATA-Platten von Seagate? ST irgendwas. Mit hdparm -tT komm ich auf cached 12000 MB/s und read auf 70-90MB/s. Ich hab heut mal auf dem client probiert zu kopieren, also von einer Partition auf die andere Partition und da hakelt es auch. Mit hdparm hab ich dann mir die aktiven Einstellungen angesehen. 16bit und dma aus. Das setzen von c1 und d1 wird aber mit HDIO_irgendwas failed quittiert. Jetzt also mal Tante google anwerfen und schauen, was das bedeutet. Macht man das bei SATA anders oder braucht man das nicht so? Gruß Bodo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Bodo Wlaka wrote:
Hallo Michael
Am Friday 31 October 2008 16:41:46 schrieb Michael Herrmann:
Ich hatte hier das gleiche Phänomen. Schuld war (nach langer Suche), dass der Server ständig versucht hat, den Hostnamen des Clients ordentlich aufzulösen und immer auf ne Antwort vom (externen) DNS gewartet hat. Bei unserem (ziemlich kleinen) Netz hat es dann geholfen, in die /etc/hosts des Servers die Hostnamen der Clients einzutragen und gut wars.
Ist schon drin. Das kannst also nicht sein. Ich habe da im Moment eher die Festplatten an sich in Verdacht. Sind SATA-Platten von Seagate? ST irgendwas. Mit hdparm -tT komm ich auf cached 12000 MB/s und read auf 70-90MB/s.
Cached ist ziemlich bedeutungslos, aber nur 70-90 MB/s für Lesezugriffe ist wirklich langsam. Auf einem modernen RAID-System sollten da schon ein paar hundert MB/s herauskommen. Was ist das denn genau für eine Server? Welcher RAID-Adapter, was für Festplatten? Ich würde auch mal die Netzwerk-Einstellungen überprüfen, ob dort etwas im Argen liegt, etwa hohe Fehlerquoten bei der Übertragung. Ich habe vor kurzem einen kleinen Gigabit-Switch herausgeworfen, weil dieser die Übertragung auf wenige KByte/s gebremst hatte (war natürlich defekt). Teste erst einmal die Geschwindigkeit der Netzwerk-Verbindung zwischen Client und Server.
Ich hab heut mal auf dem client probiert zu kopieren, also von einer Partition auf die andere Partition und da hakelt es auch.
Das ist ja auch der schlimmste Fall. (^-^) Da läuft der gesamte Netzwerk-Verkehr erst zum Client und dann wieder zurück zum Server.
Mit hdparm hab ich dann mir die aktiven Einstellungen angesehen. 16bit und dma aus. Das setzen von c1 und d1 wird aber mit HDIO_irgendwas failed quittiert. Jetzt also mal Tante google anwerfen und schauen, was das bedeutet. Macht man das bei SATA anders oder braucht man das nicht so?
Nö, bei modernen OS wird SATA wie eine SCSI-Platte behandelt. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Sandy Am Friday 31 October 2008 20:52:47 schrieb Sandy Drobic:
Cached ist ziemlich bedeutungslos, aber nur 70-90 MB/s für Lesezugriffe ist wirklich langsam. Auf einem modernen RAID-System sollten da schon ein paar hundert MB/s herauskommen.
Hab ich was von RAID geschrieben?
Was ist das denn genau für eine Server?
Ist eine Workstation, die als Server fungiert. HP XW4600 Core2Duo 2x3 GHz 2GB RAM Er muß aber auch nicht allzuviel serven. Er stellt ein FE-Prog zur Verfügung incl. Lizenz, macht NFS, NIS, ntp und demnächst Mailserver. DER FE-CAD Kram wird aber auf den Clients gerechnet.
Welcher RAID-Adapter, was für Festplatten?
Wie geschrieben, irgendwelche Seagate ST irgendwas ,mit 16MB Cache. Bin jetzt zuhause und kann erst Montag genau nachsehen. RAID ist nicht. Hab ich aber schon vorgeschlagen.
Ich würde auch mal die Netzwerk-Einstellungen überprüfen, ob dort etwas im Argen liegt, etwa hohe Fehlerquoten bei der Übertragung. Ich habe vor kurzem einen kleinen Gigabit-Switch herausgeworfen, weil dieser die Übertragung auf wenige KByte/s gebremst hatte (war natürlich defekt).
Also mit ifconfig sehe ich keine Kollisionen oder Verluste.
Teste erst einmal die Geschwindigkeit der Netzwerk-Verbindung zwischen Client und Server.
Wie genau kann ich das machen ohne auf die Platten zu schreiben? So etwas hab ich bisher nicht gemacht.
Ich hab heut mal auf dem client probiert zu kopieren, also von einer Partition auf die andere Partition und da hakelt es auch. Das ist ja auch der schlimmste Fall. (^-^) Da läuft der gesamte Netzwerk-Verkehr erst zum Client und dann wieder zurück zum Server.
Aber doch nicht, wenn ich von einer Part. auf dem Client auf eine andere Part. vom selben Client kopiere. Die unterschiedlichen Part. lagen aber leider auf derselben Platte, also nicht sehr aussagefähig. Sind aber interessanterweise dieselben Anzeigen, wie über NFS.
Nö, bei modernen OS wird SATA wie eine SCSI-Platte behandelt.
Ok, dann seh ich mal mit sdparm nach. hdparm sagte was von 16bit default aber mit * markiert war udma7, wenn ich mich jetzt richtig erinnere. Was ich beobachtet habe ist kein konstanter Datenstrom übers Netz (xosview) sondern nur immer wieder Ausschläge. Mal läuft was, mal nix. Es sind immer wieder so ca. 200MB, dann Pause, dann wieder etc. Ich hab ein 2,5GB Isoimage und schieb das von einem Konqi-Fenster ins andere und sage kopieren. Es kommt das popup mit dem Fortschrittsbalken und da läuft es anfangs mit 50MB/s dann die Anzeige verzögert und während dem verzögert seh ich nix im xosview von Netzaktivität. Offensichtlich kommen die Daten von der Platte nur schleppend am Netzwerk an. Bloß wo hakt das? Gruß Bodo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Bodo Wlaka wrote:
Hallo Sandy
Am Friday 31 October 2008 20:52:47 schrieb Sandy Drobic:
Cached ist ziemlich bedeutungslos, aber nur 70-90 MB/s für Lesezugriffe ist wirklich langsam. Auf einem modernen RAID-System sollten da schon ein paar hundert MB/s herauskommen.
Hab ich was von RAID geschrieben?
Öhm... ein Server, der Freigaben bietet ohne mehrere Festplatten?
Was ist das denn genau für eine Server?
Ist eine Workstation, die als Server fungiert. HP XW4600 Core2Duo 2x3 GHz 2GB RAM
CPU und RAM sind völlig ausreichend.
Er muß aber auch nicht allzuviel serven. Er stellt ein FE-Prog zur Verfügung incl. Lizenz, macht NFS, NIS, ntp und demnächst Mailserver. DER FE-CAD Kram wird aber auf den Clients gerechnet.
NIS und NTP sind kein Problem, aber NFS und Mailserver brauchen Plattendurchsatz, wenn nicht alles im Schneckentempo laufen soll.
Welcher RAID-Adapter, was für Festplatten?
Wie geschrieben, irgendwelche Seagate ST irgendwas ,mit 16MB Cache. Bin jetzt zuhause und kann erst Montag genau nachsehen. RAID ist nicht. Hab ich aber schon vorgeschlagen.
Der Grund für RAID ist nicht nur die Ausfallsicherheit, wenn eine Festplatte abraucht (nicht falls, sondern WENN!!), sondern gerade bei Freigaben und I/O-intensiven Anwendungen wie Mailservern das Verteilen der IO-Last auf mehrere Festplatten. Je mehr parallel, desto besser. Je flinker die Platten sind, desto besser. Ich habe mir gerade einen Server mit Quadcore, 8GB RAM und Hardware-RAID mit 5 Hotplug-Festplatten (8 max.) für etwa 2400 Euro gekauft. Das liefert eine ganz andere Leistung als eine einzige Festplatte. Eine SATA-Festplatte schafft etwa 100 Iops, eine flinke 15k-SAS-Platte dagegen 300 Iops. Wenn also mehrere Serverdienste gleichzeitig laufen, die IO-anforderungen stellen wie NFS und Mailserver, dann laufen sämtliche Anforderungen durch den Flaschenhals der einen einzigen Festplatte. Gründe für RAID: - mehr IO-Durchsatz - Ausfallsicherheit Insbesondere der letzte Punkt wird häufig sträflich vernachlässigt. Denke einfach daran, wie lange es dauert, die Installation aus Installations-Medien und Backup (hast du ein Bare-Metal-Restore?) wiederherzustellen. Denke auch daran, dass in dieser Zeit die Mitarbeiter keinen Zugriff auf die Daten/Dienste haben und entsprechend Produktivität ausfällt. Bei 5 Mitarbeitern mag dies vielleicht noch nicht so kritisch sein, aber bei 50 oder mehr kommen schon Summen zusammen, die einen ordentlichen Server im Vergleich billig erscheinen lassen. Ich habe selbst hier zuhause bei mir nur Rechner mit RAID im Produktiv-Einsatz, die hinter einer USV laufen. Ich hasse die kurzzeitigen Stromausfälle (Brown-Outs)... :-((
Ich würde auch mal die Netzwerk-Einstellungen überprüfen, ob dort etwas im Argen liegt, etwa hohe Fehlerquoten bei der Übertragung. Ich habe vor kurzem einen kleinen Gigabit-Switch herausgeworfen, weil dieser die Übertragung auf wenige KByte/s gebremst hatte (war natürlich defekt).
Also mit ifconfig sehe ich keine Kollisionen oder Verluste.
Das ist schon einmal gut. Komischerweise hatte ich auch keine Ausfälle oder Meldungen im Log gesehen, aber mein kaputter Gigabit-Switch lies die Verbindung flattern wie ein Disco-Stroboskop.
Teste erst einmal die Geschwindigkeit der Netzwerk-Verbindung zwischen Client und Server.
Wie genau kann ich das machen ohne auf die Platten zu schreiben? So etwas hab ich bisher nicht gemacht.
Der einfachste Weg ist, mit Netcat auf dem einen Rechner zu empfangen netcat -l -p 20000 > /dev/null und auf dem anderen zu senden: dd if=/dev/zero bs=1024k count=1024 | time netcat ip-of-remote 20000 So wird die Platte überhaupt nicht in Anspruch genommen, und du siehst die Leistung der reinen Netzwerk-Verbindung. Tausche auch ruhig mal die Richtung. Du kannst dies auch auf einem Terminal laufen lassen und auf einem anderen Terminal mal iptraf starten. Dann kannst du den Durchsatz direkt mitverfolgen. dd if=/dev/zero | time netcat ip-of-remote 20000 das liest endlos aus und schickt die Daten über die Leitung, mit iptraf kannst du dann sehen, ob die Leistung konstant ist oder immer wieder einbricht. Deine Platte kannst du auch mit Tests wie smbtorture dbench und Konsorten mal testen. Eine Platte ist aber, wie gesagt, extrem mager für einen Fileserver.
Ich hab heut mal auf dem client probiert zu kopieren, also von einer Partition auf die andere Partition und da hakelt es auch. Das ist ja auch der schlimmste Fall. (^-^) Da läuft der gesamte Netzwerk-Verkehr erst zum Client und dann wieder zurück zum Server.
Aber doch nicht, wenn ich von einer Part. auf dem Client auf eine andere Part. vom selben Client kopiere. Die unterschiedlichen Part. lagen aber leider auf derselben Platte, also nicht sehr aussagefähig. Sind aber interessanterweise dieselben Anzeigen, wie über NFS.
Ah, dann hat das auch nichts mit dem netzwerk zu tun. Wenn du eine Datei vom Server auf den Client verschiebst, bzw. umgekehrt, hast du immer drei Komponenten, welche eine Rolle spielen: - Festplatte Server - Festplatte Client - Netzwerk-Verbindung Client-Server Mit dem netcat kannst du die Platten aus Problem ausschließen. Genauso kannst du auch ein dd if=/file/on/server of=/dev/null testen, um zu sehen, ob die Leistung der Serverplatte wirklich immer wieder einbricht.
Nö, bei modernen OS wird SATA wie eine SCSI-Platte behandelt.
Ok, dann seh ich mal mit sdparm nach. hdparm sagte was von 16bit default aber mit * markiert war udma7, wenn ich mich jetzt richtig erinnere.
Was ich beobachtet habe ist kein konstanter Datenstrom übers Netz (xosview) sondern nur immer wieder Ausschläge. Mal läuft was, mal nix. Es sind immer wieder so ca. 200MB, dann Pause, dann wieder etc.
Das klingt so, als ob ein Puffer vollläuft, der dann auf die Platte geschrieben wird, und danach wieder vollläuft...
Ich hab ein 2,5GB Isoimage und schieb das von einem Konqi-Fenster ins andere und sage kopieren. Es kommt das popup mit dem Fortschrittsbalken und da läuft es anfangs mit 50MB/s dann die Anzeige verzögert und während dem verzögert seh ich nix im xosview von Netzaktivität. Offensichtlich kommen die Daten von der Platte nur schleppend am Netzwerk an. Bloß wo hakt das?
Vielleicht ein Problem mit dem Konquerer. Versuche mal einfach, viele kleinere Dateien per cp zu kopieren, ob dies dann ohne Stocken geht. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Sandy Am Saturday 01 November 2008 00:26:21 schrieb Sandy Drobic:
CPU und RAM sind völlig ausreichend.
NIS und NTP sind kein Problem, aber NFS und Mailserver brauchen Plattendurchsatz, wenn nicht alles im Schneckentempo laufen soll.
Also Mailserver ist eher sekundär. Der wird eigentlich gerade nur eingerichtet um sich mal eine Nachricht zu schreiben, ohne Zettel auf dem Tisch zu hinterlassen. Eigentlich kann man dem Nachabrn es auch selbst sagen. Ist keine so große Firma, es soll bloß für später vorgesorgt werden. Ist also eher NFS.
Eine SATA-Festplatte schafft etwa 100 Iops, eine flinke 15k-SAS-Platte dagegen 300 Iops. Wenn also mehrere Serverdienste gleichzeitig laufen, die IO-anforderungen stellen wie NFS und Mailserver, dann laufen sämtliche Anforderungen durch den Flaschenhals der einen einzigen Festplatte.
Gründe für RAID: - mehr IO-Durchsatz - Ausfallsicherheit
Also ich hab meinen Chef zumindest teilweise überzeugt und gestern abend eine zweite Platte besorgt, die ich nachher einbaue. RAID ist zwar im Gespräch, bloß das ist ihm noch zu teuer. Ist auf später verschoben. Ich hab ihm mal Deine Mail ausgedruckt und zum lesen gegeben. ;-) USV ist auch angedacht.
Teste erst einmal die Geschwindigkeit der Netzwerk-Verbindung zwischen Client und Server.
Also der reine Netzwerktest ohne Plattenzugriff ergab 117MB/s also funktioniert Gigabit. Sobald ich auf dem Client (bis jetzt nur da getestet) mein Test.iso lesen und übers Netz nach irgendwo im Nirvana schicken sind es nur noch 62 MB/s. Und auch da schon diese Verzögerungen alle ~200MB.
Tausche auch ruhig mal die Richtung.
Werde ich nachher auch mal testen.
Mit dem netcat kannst du die Platten aus Problem ausschließen.
Sieht eher so aus, als wäre die Platten das Problem...
Genauso kannst du auch ein dd if=/file/on/server of=/dev/null testen, um zu sehen, ob die Leistung der Serverplatte wirklich immer wieder einbricht.
Das kommt auch nachher ran. Gestern durfte ich Bugzilla installieren.
Vielleicht ein Problem mit dem Konquerer. Versuche mal einfach, viele kleinere Dateien per cp zu kopieren, ob dies dann ohne Stocken geht.
Na, aufgefallen ist es mir, als ich vom Client ein Backup mit rsync gemacht habe. Als er bei den ganzen kleinen png-icons von KDE dran war, hat es je png ewig gedauert, bis er beim nächsten weitergemacht hat. Also rsync übers Netz auf einen anderen Rechner. Das war eher Minibit anstatt Gigabit. Bei mir zuhause mach ich auch ein Backup mit rsync und nach dem "Building filelist" hab ich im 100er Netz eigentlich einen recht hohen konstanten Datenstrom. Also werde ich heute weitersuchen und später die neue Platte einbauen für den NFS-Kram. Gruß und danke Bodo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Bodo Wlaka wrote:
Hallo Sandy
Am Saturday 01 November 2008 00:26:21 schrieb Sandy Drobic:
CPU und RAM sind völlig ausreichend.
NIS und NTP sind kein Problem, aber NFS und Mailserver brauchen Plattendurchsatz, wenn nicht alles im Schneckentempo laufen soll.
Also Mailserver ist eher sekundär. Der wird eigentlich gerade nur eingerichtet um sich mal eine Nachricht zu schreiben, ohne Zettel auf dem Tisch zu hinterlassen. Eigentlich kann man dem Nachabrn es auch selbst sagen. Ist keine so große Firma, es soll bloß für später vorgesorgt werden. Ist also eher NFS.
Ob sekundär oder nicht sekundär, unterschätze nicht, was viel Kleinvieh für Mist machen kann. (^-^)
Eine SATA-Festplatte schafft etwa 100 Iops, eine flinke 15k-SAS-Platte dagegen 300 Iops. Wenn also mehrere Serverdienste gleichzeitig laufen, die IO-anforderungen stellen wie NFS und Mailserver, dann laufen sämtliche Anforderungen durch den Flaschenhals der einen einzigen Festplatte.
Gründe für RAID: - mehr IO-Durchsatz - Ausfallsicherheit
Also ich hab meinen Chef zumindest teilweise überzeugt und gestern abend eine zweite Platte besorgt, die ich nachher einbaue. RAID ist zwar im Gespräch, bloß das ist ihm noch zu teuer. Ist auf später verschoben.
Verstehe ich, ehrlich gesagt, wirklich nicht. Ich habe gerade mal eingetippert: Ein System mit: - Towergehäuse mit Hotplug-Festplatten und Intel 3210 Server-Mainboard - Core2Duo 2,52 GHz - 4 GB RAM - 3Ware RAID-Controller - Batterie-Backupeinheit für RAID-Controller - 4 x 500 GB SATA2-Festplatten kostet keine 1600 Euro (brutto incl. Lieferung und Test mit Opensuse).
Ich hab ihm mal Deine Mail ausgedruckt und zum lesen gegeben. ;-)
USV ist auch angedacht.
Kostet für den Server etwa 200-300 Euro, das sollte drin sein. Spätestens, wenn man stundenlang schwitzend dransitzt, das defekte Dateisystem des Servers zu reparieren, weil mitten in der schönsten Arbeit die Stromversorgung für einen Sekundenbruchteil abgesackt ist. Dafür ist übrigens auch die BBU des RAID-Controllers gedacht. (^-^)
Teste erst einmal die Geschwindigkeit der Netzwerk-Verbindung zwischen Client und Server.
Also der reine Netzwerktest ohne Plattenzugriff ergab 117MB/s also funktioniert Gigabit.
Sehr gut, also wirklich die volle Leistung.
Sobald ich auf dem Client (bis jetzt nur da getestet) mein Test.iso lesen und übers Netz nach irgendwo im Nirvana schicken sind es nur noch 62 MB/s. Und auch da schon diese Verzögerungen alle ~200MB.
Dann muss wahrscheinlich der Puffer wieder auf die Platte geschrieben werden.
Sieht eher so aus, als wäre die Platten das Problem...
Nur eine Platte für einen Server ist schon extrem mager. Heutzutage ist die Festplatte praktisch immer das Nadelöhr. Die Festplatten sind zwar in der Kapazität stark gewachsen, die Zugriffszeiten und Transferraten haben jedoch nicht mit Schritt gehalten. In ein paar Jahren werden wir vermutlich vernünftige SSD-Laufwerke haben, dann wird auch das IO-Problem etwas gemildert werden.
Vielleicht ein Problem mit dem Konquerer. Versuche mal einfach, viele kleinere Dateien per cp zu kopieren, ob dies dann ohne Stocken geht.
Na, aufgefallen ist es mir, als ich vom Client ein Backup mit rsync gemacht habe. Als er bei den ganzen kleinen png-icons von KDE dran war, hat es je png ewig gedauert, bis er beim nächsten weitergemacht hat. Also rsync übers Netz auf einen anderen Rechner.
Auf was für einem Dateisystem? Wie voll ist das? -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Sandy, Martin Am Tuesday 04 November 2008 11:38:32 schrieb Sandy Drobic:
Ob sekundär oder nicht sekundär, unterschätze nicht, was viel Kleinvieh für Mist machen kann. (^-^)
Nee, ich denke dran. ;-)
Also ich hab meinen Chef zumindest teilweise überzeugt und gestern abend eine zweite Platte besorgt, die ich nachher einbaue. RAID ist zwar im Gespräch, bloß das ist ihm noch zu teuer. Ist auf später verschoben. Verstehe ich, ehrlich gesagt, wirklich nicht. Ich habe gerade mal eingetippert: kostet keine 1600 Euro (brutto incl. Lieferung und Test mit Opensuse).
Ich will mich dazu nicht detailliert äußern, obwohl ich da firmenintern mehr weiß. ;-) Nur soviel dazu, unsere Firma wurde Anfang des Jahres gegründet und im Moment sind wir ziemlich knapp. Wir sind Dienstleister für die Autoindustrie im Bereich Modellierung und FEM. Die sitzen gerade aus unerfindlichen Gründen auf ihrem Geld. ;-( Ich bearbeite aber meinen Chef immer wieder und zumindest hat er auf mich gehört und wir haben nun für das NFS eine zusätzliche Platte drin. ;-) Läuft erwartungsgemäß auch etwas flotter. Ich hab mal die Auszüge meiner bisherigen Tests, noch ohne NFS-Platte angehängt. Irgendwas stimmt da mMn. noch nicht ganz. Ich finde so um die 65 MB/s doch etwas lahm. Mit der zweiten Platte hat sich das Ganze auf 80 MB/s erhöht. Hab übrigens das Gleiche mal auf meinem Desktop zuhause gemacht und bin da auch etwas ernüchtert. Da schaffe ich mit dd if=test.iso of=/dev/null nur lahme 50 MB/s. hdparm war ja recht anschaulich, bloß mit sdparm blick ich nicht durch. So eine moderne SATA2-Platte sollte doch irgendwas um die 115 MB/s schaffen. Achso, im BIOS sind die Platten auf AHCI gestellt.
Also der reine Netzwerktest ohne Plattenzugriff ergab 117MB/s also funktioniert Gigabit. Sehr gut, also wirklich die volle Leistung.
Na, aufgefallen ist es mir, als ich vom Client ein Backup mit rsync gemacht habe. Als er bei den ganzen kleinen png-icons von KDE dran war, hat es je png ewig gedauert, bis er beim nächsten weitergemacht hat. Also rsync übers Netz auf einen anderen Rechner. Auf was für einem Dateisystem? Wie voll ist das?
Dateisystem ext3 und mit ca. 30% voll. Also das sollte es nicht sein. So und nun meine Tests: Client /etc/fstab xxx-tec100:/home /home nfs rw,rsize=32768,wsize=32768,intr,noatime 0 0 xxx-tec100:/SERVER1 /SERVER1 nfs ro,rsize=32768,intr,noatime 0 0 xxx-tec100:/SCRATCH100/AUSTAUSCH /AUSTAUSCH nfs rw,rsize=32768,wsize=32768,intr,noatime 0 0 xxx-tec100:/PROJECT /PROJECT nfs rw,rsize=32768,wsize=32768,intr,noatime 0 0 time dd if=test.iso of=/dev/null 5152256+0 records in 5152256+0 records out 2637955072 bytes (2,6 GB) copied, 40,5902 seconds, 65,0 MB/s 0.968u 4.056s 0:40.63 12.3% 0+0k 0+0io 3pf+0w time cp -aR /etc/ /AUSTAUSCH/test/ 0.032u 0.560s 0:03.78 15.6% 0+0k 0+0io 0pf+0w hdparm -i /dev/sdb /dev/sdb: Model=ST3500630AS , FwRev=3.AAK , SerialNo= 6QG36VVY Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% } RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4 BuffType=unknown, BuffSize=16384kB, MaxMultSect=16, MultSect=?16? CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120} PIO modes: pio0 pio1 pio2 pio3 pio4 DMA modes: mdma0 mdma1 mdma2 UDMA modes: udma0 udma1 udma2 AdvancedPM=no WriteCache=enabled Drive conforms to: Unspecified: ATA/ATAPI-1 ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7 * signifies the current active mode sdparm -i /dev/sdb /dev/sdb: ATA ST3500630AS 3.AA Device identification VPD page: Addressed logical unit: id_type: vendor specific [0x0], code_set: ASCII 00 20 20 20 20 20 20 20 20 20 20 20 20 36 51 47 33 6QG3 10 36 56 56 59 6VVY id_type: T10 vendor identification, code_set: ASCII vendor id: ATA vendor specific: ST3500630AS 6QG36VVY Server cat /etc/exports /home *(rw,async,no_root_squash) /SCRATCH100/AUSTAUSCH *(rw,async,no_root_squash) /SERVER1 *(ro,async,no_root_squash) /PROJECT *(rw,async,no_root_squash) dd if=/dev/zero | time netcat 192.168.1.102 20000 punt! 6891727+0 records in 6891727+0 records out 3528564224 bytes (3,5 GB) copied, 30,0213 seconds, 118 MB/s dd if=/SERVER1/software/Sys-ISO/SLED10SP_001.iso | time netcat 192.168.1.102 20000 7470784+0 records in 7470784+0 records out 3825041408 bytes (3,8 GB) copied, 64,4787 seconds, 59,3 MB/s time dd if=/SERVER1/software/Sys-ISO/SLED10SP_001.iso of=/dev/null 7470784+0 records in 7470784+0 records out 3825041408 bytes (3,8 GB) copied, 61,1845 seconds, 62,5 MB/s 1.336u 5.204s 1:01.33 10.6% 0+0k 0+0io 4pf+0w hdparm -i /dev/sdb /dev/sdb: Model=ST3500630AS , FwRev=3.AAK , SerialNo= 9QG97JNJ Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% } RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4 BuffType=unknown, BuffSize=16384kB, MaxMultSect=16, MultSect=?16? CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120} PIO modes: pio0 pio1 pio2 pio3 pio4 DMA modes: mdma0 mdma1 mdma2 UDMA modes: udma0 udma1 udma2 AdvancedPM=no WriteCache=enabled Drive conforms to: Unspecified: ATA/ATAPI-1 ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7 * signifies the current active mode sdparm -i /dev/sdb /dev/sdb: ATA ST3500630AS 3.AA Device identification VPD page: Addressed logical unit: id_type: vendor specific [0x0], code_set: ASCII 00 20 20 20 20 20 20 20 20 20 20 20 20 39 51 47 39 9QG9 10 37 4a 4e 4a 7JNJ id_type: T10 vendor identification, code_set: ASCII vendor id: ATA vendor specific: ST3500630AS 9QG97JNJ Gruß Bodo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Bodo Wlaka wrote:
Hallo Sandy, Martin
Am Tuesday 04 November 2008 11:38:32 schrieb Sandy Drobic:
Ob sekundär oder nicht sekundär, unterschätze nicht, was viel Kleinvieh für Mist machen kann. (^-^)
Nee, ich denke dran. ;-)
Also ich hab meinen Chef zumindest teilweise überzeugt und gestern abend eine zweite Platte besorgt, die ich nachher einbaue. RAID ist zwar im Gespräch, bloß das ist ihm noch zu teuer. Ist auf später verschoben. Verstehe ich, ehrlich gesagt, wirklich nicht. Ich habe gerade mal eingetippert: kostet keine 1600 Euro (brutto incl. Lieferung und Test mit Opensuse).
Ich will mich dazu nicht detailliert äußern, obwohl ich da firmenintern mehr weiß. ;-) Nur soviel dazu, unsere Firma wurde Anfang des Jahres gegründet und im Moment sind wir ziemlich knapp. Wir sind Dienstleister für die Autoindustrie im Bereich Modellierung und FEM. Die sitzen gerade aus unerfindlichen Gründen auf ihrem Geld. ;-(
Puh, ein Startup in dieser Zeit hat extrem schlechte Karten. Wundere dich nicht, wenn du ein einem Jahr ganz woanders beschäftigt bist.
Ich bearbeite aber meinen Chef immer wieder und zumindest hat er auf mich gehört und wir haben nun für das NFS eine zusätzliche Platte drin. ;-) Läuft erwartungsgemäß auch etwas flotter.
Ich hab mal die Auszüge meiner bisherigen Tests, noch ohne NFS-Platte angehängt. Irgendwas stimmt da mMn. noch nicht ganz. Ich finde so um die 65 MB/s doch etwas lahm. Mit der zweiten Platte hat sich das Ganze auf 80 MB/s erhöht.
Hab übrigens das Gleiche mal auf meinem Desktop zuhause gemacht und bin da auch etwas ernüchtert. Da schaffe ich mit dd if=test.iso of=/dev/null
nur lahme 50 MB/s.
Okay, das sieht auf meinem RAID etwas anders aus: dd if=testdatei.bin of=/dev/null bs=64M 137+1 records in 137+1 records out 9201975296 bytes (9.2 GB) copied, 23.7744 s, 387 MB/s Aber ich fürchte, dass du die Leistung ohne vernünftige Hardware nicht mehr steigern kannst.
time dd if=test.iso of=/dev/null 5152256+0 records in 5152256+0 records out 2637955072 bytes (2,6 GB) copied, 40,5902 seconds, 65,0 MB/s 0.968u 4.056s 0:40.63 12.3% 0+0k 0+0io 3pf+0w
Normal. Mehr wird da nur draus, wenn du mehrere Platten parallel ansteuerst. Die billigste Möglichkeit ist, einfach in einem Software-RAID mehrere Platten zu konfigurieren. Damit bekommst du für ein paar hundert Euro eine Performance, die spürbar besser ist. Nimm lieber 4 x 500 GB als 2 x 1000 GB. Wenn die Platten reinpassen und gekühlt werden können, hast du für wenig Geld viel Leistung. Du solltest dann aber vor dem Produktiv-Einsatz testen, wie eine Platte ausgetauscht wird. Mit Hotplug-Platten wäre das eine auch im laufenden Betrieb kein Problem. Man kann vielleicht noch etwas feilen an den Parametern des Dateisystems, aber viel macht dies auch nicht mehr aus: # dd if=testdatei.bin of=/dev/null 17972608+0 records in 17972608+0 records out 9201975296 bytes (9.2 GB) copied, 26.3865 s, 349 MB/s # dd if=testdatei.bin of=/dev/null bs=64M 137+1 records in 137+1 records out 9201975296 bytes (9.2 GB) copied, 23.6822 s, 389 MB/s -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am 4. November 2008 09:46 schrieb Bodo Wlaka <bodow@snafu.de>:
Also ich hab meinen Chef zumindest teilweise überzeugt und gestern abend eine zweite Platte besorgt, die ich nachher einbaue. RAID ist zwar im Gespräch, bloß das ist ihm noch zu teuer. Ist auf später verschoben.
SATA-Festplatten kosten inzwischen zuwenig, um sie nicht durch RAID abzusichern. Was kostet Deinen Chef ein Stillstand des Servers (/h, /d)? Gruß Martin -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (4)
-
Bodo Wlaka -
Martin Schröder -
Michael Herrmann -
Sandy Drobic