OT: speed der Filesysteme
Guten Tag SuSe Mailingliste, mir ist gerade aufgefallen, das ein hdparm -tT /dev/c0d1p1 (ein verbund von 7 Scsi Platten mit RAID 0) folgende Werte ergibt: /dev/ida/c0d1p1: Timing cached reads: 628 MB in 2.00 seconds = 313.49 MB/sec Timing buffered disk reads: 50 MB in 3.09 seconds = 16.19 MB/sec Das erscheint mir etwas zu wenig. Das System ist ein Compaq Proliant mit 4xP3 Xeons mit ca 3,5 GB Ram und wie oben schon geschrieben, 7 scsi Platten (ST39102LC Cheetah 9LP Capacity: 9.1 GB Speed: 10000 rpm Average Seek Time:5.4 ms) im Raid0 Verbund mit XFS (ReiseFS auch getestet mit ähnlichen Werten) an einem Compaq Smart Array 3200. Ich habe mich eben ein wenig erschrocken, das dortn icht etwas mehr zu erwarten ist. Das OS ist ein Suse Linux 10.1 . Der controller wurde bei der installation sofort erkannt und geladen ist der Treiber auch. Was kann denn das sein, dass das System so langsam ist? Ich dachte, das mindestens das doppelte drin sein müßte. Oder Liegt es evtl "nur" an Suse 10.1 ? -- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
Hi Sebastian, Am Dienstag, 5. September 2006 13:40 schrieb Sebastian Gödecke:
mir ist gerade aufgefallen, das ein hdparm -tT /dev/c0d1p1 (ein verbund von 7 Scsi Platten mit RAID 0) folgende Werte ergibt: /dev/ida/c0d1p1: Timing cached reads: 628 MB in 2.00 seconds = 313.49 MB/sec Timing buffered disk reads: 50 MB in 3.09 seconds = 16.19 MB/sec
ui, das is langsam. Da bringen meine per PCI angebundenen Platten ja wesentlich mehr... Teste mal mit bonnie bzw. bonnie++ und einer Dateigröße, die größer ist als Dein RAM. Das ist aussagekräftiger als hdparm. [...]
im Raid0 Verbund mit XFS (ReiseFS auch getestet mit ähnlichen Werten) an einem Compaq Smart Array 3200. Ich habe mich eben ein wenig erschrocken, das dortn icht etwas mehr zu erwarten ist. Das OS ist ein Suse Linux 10.1 . Der controller wurde bei der installation sofort erkannt und geladen ist der Treiber auch.
Ist das eine PCI-Steckkarte? Was hängt sonst noch alles am PCI-Bus?
Was kann denn das sein, dass das System so langsam ist? Ich dachte, das mindestens das doppelte drin sein müßte. Oder Liegt es evtl "nur" an Suse 10.1 ?
Meine Vermutung ist, dass es entweder am PCI-Bus oder am Treiber liegt. Du solltest auch mal die Prozessorlast checken während Du mit hdparm oder bonnie Dateien schreiben lässt. Grüße Philipp -- Ray's Rule of Precision: Measure with a micrometer. Mark with chalk. Cut with an axe. ###signature by fortune###
Guten Tag Philipp Zacharias, am Mittwoch, 6. September 2006 um 10:03 schrieben Sie:
Hi Sebastian,
Am Dienstag, 5. September 2006 13:40 schrieb Sebastian Gödecke:
mir ist gerade aufgefallen, das ein hdparm -tT /dev/c0d1p1 (ein verbund von 7 Scsi Platten mit RAID 0) folgende Werte ergibt: /dev/ida/c0d1p1: Timing cached reads: 628 MB in 2.00 seconds = 313.49 MB/sec Timing buffered disk reads: 50 MB in 3.09 seconds = 16.19 MB/sec
ui, das is langsam. Da bringen meine per PCI angebundenen Platten ja wesentlich mehr...
Teste mal mit bonnie bzw. bonnie++ und einer Dateigröße, die größer ist als Dein RAM. Das ist aussagekräftiger als hdparm. Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
[...]
im Raid0 Verbund mit XFS (ReiseFS auch getestet mit ähnlichen Werten) an einem Compaq Smart Array 3200. Ich habe mich eben ein wenig erschrocken, das dortn icht etwas mehr zu erwarten ist. Das OS ist ein Suse Linux 10.1 . Der controller wurde bei der installation sofort erkannt und geladen ist der Treiber auch.
Ist das eine PCI-Steckkarte? Was hängt sonst noch alles am PCI-Bus? Jupp ist eine PCI. Es hängen noch eine ISA, ISDN karte drin, die noch nicht in betrieb ist sowie 2 NIC und eine 4 Port NIC
Was kann denn das sein, dass das System so langsam ist? Ich dachte, das mindestens das doppelte drin sein müßte. Oder Liegt es evtl "nur" an Suse 10.1 ?
Meine Vermutung ist, dass es entweder am PCI-Bus oder am Treiber liegt. Du solltest auch mal die Prozessorlast checken während Du mit hdparm oder bonnie Dateien schreiben lässt. hmm, wie Kasimir in einer Mail geschrieben hat, liegne seine Werte in ähnlichen Dimensonen auf einen System, das in etwa so alt ist wie meins. Leider habe ich sonst keine vergleichbaren werte. Ob es an der SUSE Version liegt ? Läuft da 10.0 oder gar 9.3 besser/schneller? Grüße Philipp
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
Sebastian Gödecke schrieb:
Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
Hmm das ist extrem CPU-lastig. Auf meinem kleinen Heimserver mit Athlon 2800 1GB Hauptspeicher nforce2-Board und 3 IDE-Platten im Raid 5 ergibt sich folgendes : linux:/raid # bonnie -s 2000 Bonnie 1.4: File './Bonnie.26418', size: 2097152000, volumes: 1 Writing with putc()... done: 29135 kB/s 76.0 %CPU Rewriting... done: 19292 kB/s 10.8 %CPU Writing intelligently... done: 42763 kB/s 13.0 %CPU Reading with getc()... done: 22831 kB/s 59.8 %CPU Reading intelligently... done: 52613 kB/s 17.3 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux 1*2000 29135 76.0 42763 13.0 19292 10.8 22831 59.8 52613 17.3 237.9 1.4 Hast Du DMA an allen Platten aktiviert ? Benutzt Du Softraid oder ist das ein irgendwelches sog. Hard-Raid ? Falls ja, versuch mal einen anderen Treiber zu finden bzw. versuchs mal mit Softraid mfg K. Müller
Guten Tag Kasimir Müller, am Mittwoch, 6. September 2006 um 11:33 schrieben Sie:
Sebastian Gödecke schrieb:
Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
Hmm das ist extrem CPU-lastig. Auf meinem kleinen Heimserver mit Athlon 2800 1GB Hauptspeicher nforce2-Board und 3 IDE-Platten im Raid 5 ergibt sich folgendes : linux:/raid # bonnie -s 2000 Bonnie 1.4: File './Bonnie.26418', size: 2097152000, volumes: 1 Writing with putc()... done: 29135 kB/s 76.0 %CPU Rewriting... done: 19292 kB/s 10.8 %CPU Writing intelligently... done: 42763 kB/s 13.0 %CPU Reading with getc()... done: 22831 kB/s 59.8 %CPU Reading intelligently... done: 52613 kB/s 17.3 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux 1*2000 29135 76.0 42763 13.0 19292 10.8 22831 59.8 52613 17.3 237.9 1.4
Hast Du DMA an allen Platten aktiviert ? Benutzt Du Softraid oder ist das ein irgendwelches sog. Hard-Raid ? Falls ja, versuch mal einen anderen Treiber zu finden bzw. versuchs mal mit Softraid
mfg
K. Müller Hallo, Also das ist ein HardRaid mit 7 SCSI; soweit ich weiß, kann man da kein DMA einschalten. Ich lasse gerade noch einen Test mit bonnie++ und -s 6600 durchlaufen und dort sieht die CPU last schon besser aus. Auf Softraid wollte ich nicht umschwenken, da ich ja einen extra Controller dafür habe. Der soltle das doch ordentlich erledigen und mir die CPU dabei nicht unnötig in Anspruch nehmen.
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
am Mittwoch, 06. September 2006 um 11:44 schrieben Sie:
am Mittwoch, 6. September 2006 um 11:33 schrieben Sie:
Sebastian Gödecke schrieb:
Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
Hmm das ist extrem CPU-lastig. Auf meinem kleinen Heimserver mit Athlon 2800 1GB Hauptspeicher nforce2-Board und 3 IDE-Platten im Raid 5 ergibt sich folgendes : linux:/raid # bonnie -s 2000 Bonnie 1.4: File './Bonnie.26418', size: 2097152000, volumes: 1 Writing with putc()... done: 29135 kB/s 76.0 %CPU Rewriting... done: 19292 kB/s 10.8 %CPU Writing intelligently... done: 42763 kB/s 13.0 %CPU Reading with getc()... done: 22831 kB/s 59.8 %CPU Reading intelligently... done: 52613 kB/s 17.3 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux 1*2000 29135 76.0 42763 13.0 19292 10.8 22831 59.8 52613 17.3 237.9 1.4
Hast Du DMA an allen Platten aktiviert ? Benutzt Du Softraid oder ist das ein irgendwelches sog. Hard-Raid ? Falls ja, versuch mal einen anderen Treiber zu finden bzw. versuchs mal mit Softraid
mfg
K. Müller Hallo, Also das ist ein HardRaid mit 7 SCSI; soweit ich weiß, kann man da kein DMA einschalten. Ich lasse gerade noch einen Test mit bonnie++ und -s 6600 durchlaufen und dort sieht die CPU last schon besser aus. Auf Softraid wollte ich nicht umschwenken, da ich ja einen extra Controller dafür habe. Der soltle das doch ordentlich erledigen und mir die CPU dabei nicht unnötig in Anspruch nehmen.
Hallo Sebastian Wie schauts denn Controller-seitig mit der Aktualität des Bios (sofern vorhanden) aus? Kann mich an einen ähnlichen Thread mit einem SATA-Controller erinnern, der vor längerer Zeit mal hier über die Liste ging, wo der erst mit nach nem Bios-Update richtig "wollte" und vorher auch ziemlich CPU-lastig seine Dienste verrichtet hat.
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
LG, Sascha
Guten Tag Sascha Piculjan, am Mittwoch, 6. September 2006 um 12:20 schrieben Sie:
am Mittwoch, 06. September 2006 um 11:44 schrieben Sie:
am Mittwoch, 6. September 2006 um 11:33 schrieben Sie:
Sebastian Gödecke schrieb:
Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
Hmm das ist extrem CPU-lastig. Auf meinem kleinen Heimserver mit Athlon 2800 1GB Hauptspeicher nforce2-Board und 3 IDE-Platten im Raid 5 ergibt sich folgendes : linux:/raid # bonnie -s 2000 Bonnie 1.4: File './Bonnie.26418', size: 2097152000, volumes: 1 Writing with putc()... done: 29135 kB/s 76.0 %CPU Rewriting... done: 19292 kB/s 10.8 %CPU Writing intelligently... done: 42763 kB/s 13.0 %CPU Reading with getc()... done: 22831 kB/s 59.8 %CPU Reading intelligently... done: 52613 kB/s 17.3 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux 1*2000 29135 76.0 42763 13.0 19292 10.8 22831 59.8 52613 17.3 237.9 1.4
Hast Du DMA an allen Platten aktiviert ? Benutzt Du Softraid oder ist das ein irgendwelches sog. Hard-Raid ? Falls ja, versuch mal einen anderen Treiber zu finden bzw. versuchs mal mit Softraid
mfg
K. Müller Hallo, Also das ist ein HardRaid mit 7 SCSI; soweit ich weiß, kann man da kein DMA einschalten. Ich lasse gerade noch einen Test mit bonnie++ und -s 6600 durchlaufen und dort sieht die CPU last schon besser aus. Auf Softraid wollte ich nicht umschwenken, da ich ja einen extra Controller dafür habe. Der soltle das doch ordentlich erledigen und mir die CPU dabei nicht unnötig in Anspruch nehmen.
Hallo Sebastian
Wie schauts denn Controller-seitig mit der Aktualität des Bios (sofern vorhanden) aus? Kann mich an einen ähnlichen Thread mit einem SATA-Controller erinnern, der vor längerer Zeit mal hier über die Liste ging, wo der erst mit nach nem Bios-Update richtig "wollte" und vorher auch ziemlich CPU-lastig seine Dienste verrichtet hat.
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
LG, Sascha Hallo, also ich habe nun mit der Konfigurationssoftware zu dem Server, nochmal nachgeschaut und siehe da: Array A : 3SCSI im RAID 5 mit aufteilung 75%lesen/25%schreiben (vorher war es 50/50) Array B : 6SCSI im RAID 0
Ich werde morgen nohc mal nachschauen, ob es auch wiklich alle die gleichen HDD's sind. Aber ich würde mir nun den Geschwindigkeits Verlust in etwa erklären können: das OS ist auf Array A; kommt nun eine aufforderung zum benchmark, muss es ja erst von dem RAID5 verarbeitet werden (war ja vorher mit 50&lesen/50%schreiben eingestellt) und kann dann erst zum RAID 0 weitergeleitet werden. evtl erklärt sich dadurch der Verlust . Dann kann es auch evtl sein, da eine andere HDD drin ist, die evtl dadurch das system ausbremst, da es sich nicht richtig in das system einbindet. werde das noch weiter untersuchen. -- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
Hallo Sebastian, Am Freitag, 8. September 2006 08:43 schrieb Sebastian Gödecke:
am Mittwoch, 6. September 2006 um 12:20 schrieben Sie:
am Mittwoch, 06. September 2006 um 11:44 schrieben Sie:
am Mittwoch, 6. September 2006 um 11:33 schrieben Sie:
Sebastian Gödecke schrieb:
Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
Hmm das ist extrem CPU-lastig. Auf meinem kleinen Heimserver mit Athlon 2800 1GB Hauptspeicher nforce2-Board und 3 IDE-Platten im Raid 5 ergibt sich folgendes : linux:/raid # bonnie -s 2000 Bonnie 1.4: File './Bonnie.26418', size: 2097152000, volumes: 1 Writing with putc()... done: 29135 kB/s 76.0 %CPU Rewriting... done: 19292 kB/s 10.8 %CPU Writing intelligently... done: 42763 kB/s 13.0 %CPU Reading with getc()... done: 22831 kB/s 59.8 %CPU Reading intelligently... done: 52613 kB/s 17.3 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux 1*2000 29135 76.0 42763 13.0 19292 10.8 22831 59.8 52613 17.3 237.9 1.4
Hast Du DMA an allen Platten aktiviert ? Benutzt Du Softraid oder ist das ein irgendwelches sog. Hard-Raid ? Falls ja, versuch mal einen anderen Treiber zu finden bzw. versuchs mal mit Softraid
mfg
K. Müller
Hallo, Also das ist ein HardRaid mit 7 SCSI; soweit ich weiß, kann man da kein DMA einschalten. Ich lasse gerade noch einen Test mit bonnie++ und -s 6600 durchlaufen und dort sieht die CPU last schon besser aus. Auf Softraid wollte ich nicht umschwenken, da ich ja einen extra Controller dafür habe. Der soltle das doch ordentlich erledigen und mir die CPU dabei nicht unnötig in Anspruch nehmen.
Hallo Sebastian
Wie schauts denn Controller-seitig mit der Aktualität des Bios (sofern vorhanden) aus? Kann mich an einen ähnlichen Thread mit einem SATA-Controller erinnern, der vor längerer Zeit mal hier über die Liste ging, wo der erst mit nach nem Bios-Update richtig "wollte" und vorher auch ziemlich CPU-lastig seine Dienste verrichtet hat.
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
LG, Sascha
Hallo, also ich habe nun mit der Konfigurationssoftware zu dem Server, nochmal nachgeschaut und siehe da: Array A : 3SCSI im RAID 5 mit aufteilung 75%lesen/25%schreiben (vorher war es 50/50) Array B : 6SCSI im RAID 0
Ich werde morgen nohc mal nachschauen, ob es auch wiklich alle die gleichen HDD's sind. Aber ich würde mir nun den Geschwindigkeits Verlust in etwa erklären können: das OS ist auf Array A; kommt nun eine aufforderung zum benchmark, muss es ja erst von dem RAID5 verarbeitet werden (war ja vorher mit 50&lesen/50%schreiben eingestellt) und kann dann erst zum RAID 0 weitergeleitet werden. evtl erklärt sich dadurch der Verlust . Dann kann es auch evtl sein, da eine andere HDD drin ist, die evtl dadurch das system ausbremst, da es sich nicht richtig in das system einbindet. werde das noch weiter untersuchen.
Das ist natürlich ein weiterer Engpass, wenn Du das OS auch noch mit über den gleichen Controller ansprichst. In was für einem PCI-Slot steckt der Controller überhaupt? 32Bit? 64Bit? PCI 2.0? 2.1? Bei einem 32Bit PCI 2.0 beträgt die maximale Bandbreite 0,12 GByte/s, bei PCI 2.1 0,25 GByte/s und bei einem 64Bit PCI 2.1 immerhin schon 0,5 GByte/s. Aber nur um das nochmal zu wiederholen: Diese Bandbreite teilen sich alle am PCI-Slot angeschlossenen Geräte! Bzw. teilen ist der falsche Ausdruck. Es ist ein Timedivisionmultiplex-Verfahren. Sprich es kann immer nur ein Gerät für einen bestimmten Zeitraum auf die Leitungen zugreifen. Somit können also nicht gleichzeitig die Netzwerkkarte und der Raidcontroller aktiv sein sondern immer nur nacheinander. Grüße Philipp -- Tact, n.: The unsaid part of what you're thinking. ###signature by fortune###
Guten Tag Philipp Zacharias, am Freitag, 8. September 2006 um 09:59 schrieben Sie:
Hallo Sebastian,
Am Freitag, 8. September 2006 08:43 schrieb Sebastian Gödecke:
am Mittwoch, 6. September 2006 um 12:20 schrieben Sie:
am Mittwoch, 06. September 2006 um 11:44 schrieben Sie:
am Mittwoch, 6. September 2006 um 11:33 schrieben Sie:
Sebastian Gödecke schrieb:
Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
Hmm das ist extrem CPU-lastig. Auf meinem kleinen Heimserver mit Athlon 2800 1GB Hauptspeicher nforce2-Board und 3 IDE-Platten im Raid 5 ergibt sich folgendes : linux:/raid # bonnie -s 2000 Bonnie 1.4: File './Bonnie.26418', size: 2097152000, volumes: 1 Writing with putc()... done: 29135 kB/s 76.0 %CPU Rewriting... done: 19292 kB/s 10.8 %CPU Writing intelligently... done: 42763 kB/s 13.0 %CPU Reading with getc()... done: 22831 kB/s 59.8 %CPU Reading intelligently... done: 52613 kB/s 17.3 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux 1*2000 29135 76.0 42763 13.0 19292 10.8 22831 59.8 52613 17.3 237.9 1.4
Hast Du DMA an allen Platten aktiviert ? Benutzt Du Softraid oder ist das ein irgendwelches sog. Hard-Raid ? Falls ja, versuch mal einen anderen Treiber zu finden bzw. versuchs mal mit Softraid
mfg
K. Müller
Hallo, Also das ist ein HardRaid mit 7 SCSI; soweit ich weiß, kann man da kein DMA einschalten. Ich lasse gerade noch einen Test mit bonnie++ und -s 6600 durchlaufen und dort sieht die CPU last schon besser aus. Auf Softraid wollte ich nicht umschwenken, da ich ja einen extra Controller dafür habe. Der soltle das doch ordentlich erledigen und mir die CPU dabei nicht unnötig in Anspruch nehmen.
Hallo Sebastian
Wie schauts denn Controller-seitig mit der Aktualität des Bios (sofern vorhanden) aus? Kann mich an einen ähnlichen Thread mit einem SATA-Controller erinnern, der vor längerer Zeit mal hier über die Liste ging, wo der erst mit nach nem Bios-Update richtig "wollte" und vorher auch ziemlich CPU-lastig seine Dienste verrichtet hat.
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
LG, Sascha
Hallo, also ich habe nun mit der Konfigurationssoftware zu dem Server, nochmal nachgeschaut und siehe da: Array A : 3SCSI im RAID 5 mit aufteilung 75%lesen/25%schreiben (vorher war es 50/50) Array B : 6SCSI im RAID 0
Ich werde morgen nohc mal nachschauen, ob es auch wiklich alle die gleichen HDD's sind. Aber ich würde mir nun den Geschwindigkeits Verlust in etwa erklären können: das OS ist auf Array A; kommt nun eine aufforderung zum benchmark, muss es ja erst von dem RAID5 verarbeitet werden (war ja vorher mit 50&lesen/50%schreiben eingestellt) und kann dann erst zum RAID 0 weitergeleitet werden. evtl erklärt sich dadurch der Verlust . Dann kann es auch evtl sein, da eine andere HDD drin ist, die evtl dadurch das system ausbremst, da es sich nicht richtig in das system einbindet. werde das noch weiter untersuchen.
Das ist natürlich ein weiterer Engpass, wenn Du das OS auch noch mit über den gleichen Controller ansprichst. In was für einem PCI-Slot steckt der Controller überhaupt? 32Bit? 64Bit? PCI 2.0? 2.1? Bei einem 32Bit PCI 2.0 beträgt die maximale Bandbreite 0,12 GByte/s, bei PCI 2.1 0,25 GByte/s und bei einem 64Bit PCI 2.1 immerhin schon 0,5 GByte/s. Aber nur um das nochmal zu wiederholen: Diese Bandbreite teilen sich alle am PCI-Slot angeschlossenen Geräte! Bzw. teilen ist der falsche Ausdruck. Es ist ein Timedivisionmultiplex-Verfahren. Sprich es kann immer nur ein Gerät für einen bestimmten Zeitraum auf die Leitungen zugreifen. Somit können also nicht gleichzeitig die Netzwerkkarte und der Raidcontroller aktiv sein sondern immer nur nacheinander.
Grüße Philipp Also ich habe nun 9 gleich SCSI platten an einem RAID 0 hängen. Alle anderen Karten am PCI sind zwar drin, aber nicht aktiv, bzw nicht konfiguriert oder mit nem Kabel versehen, sodass sie ihre Dienste tun könnten. Der kontroller ist auch wieder mit 75 read/25 write eingestellt. aber es hat sich nichts verbessert. Ich habe neulich nohc mal mit nem SLES 10 das ganze probiert, aber ähnliche werte. Eben noch mal mit Suse 10.0 auch ähnliche werte. Na, ich denke ich muss das noch einmal alles kontrollieren.
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
Am Mittwoch, 6. September 2006 11:08 schrieb Sebastian Gödecke:
am Mittwoch, 6. September 2006 um 10:03 schrieb Philipp Zacharias:
Am Dienstag, 5. September 2006 13:40 schrieb Sebastian Gödecke:
mir ist gerade aufgefallen, das ein hdparm -tT /dev/c0d1p1 (ein verbund von 7 Scsi Platten mit RAID 0) folgende Werte ergibt: /dev/ida/c0d1p1: Timing cached reads: 628 MB in 2.00 seconds = 313.49 MB/sec Timing buffered disk reads: 50 MB in 3.09 seconds = 16.19 MB/sec
ui, das is langsam. Da bringen meine per PCI angebundenen Platten ja wesentlich mehr...
Teste mal mit bonnie bzw. bonnie++ und einer Dateigröße, die größer ist als Dein RAM. Das ist aussagekräftiger als hdparm.
Hier die Werte: ich konnte aber keine 4000Mb nehmen, das wollte das Programm nicht. # bonnie -s 1000 Bonnie 1.4: File './Bonnie.4717', size: 1048576000, volumes: 1 Writing with putc()... done: 8068 kB/s 98.4 %CPU Rewriting... done: 73067 kB/s 98.9 %CPU Writing intelligently... done: 94358 kB/s 99.9 %CPU Reading with getc()... done: 8636 kB/s 100.0 %CPU Reading intelligently... done: 168362 kB/s 100.0 %CPU Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done... ---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek- -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)- Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU linux- 1*1000 8068 98.4 94358 99.9 73067 98.9 8636 100168362 100 16568.4 242
100% CPU-Last sind nicht gut. Versuch mal, ob Du einen Hersteller-Treiber findest oder mit Google ähnliche Probleme bei anderen Usern aufspüren kannst. Ich hätte spontan den Treiber in Verdacht. [...]
Ist das eine PCI-Steckkarte? Was hängt sonst noch alles am PCI-Bus?
Jupp ist eine PCI. Es hängen noch eine ISA, ISDN karte drin, die noch nicht in betrieb ist sowie 2 NIC und eine 4 Port NIC
Hier haben wir auch ein Problem: Alle am PCI-Bus angeschlossenen Karten teilen sich die Geschwindigkeit des PCI-Busses. Mal davon abgesehen, dass eine PCI-Karte für den Durchsatz, den Du planst, bei weitem unterdimensioniert ist (weil der Bus das nicht hergibt), wird die Geschwindigkeit auch noch aufgeteilt. [...]
hmm, wie Kasimir in einer Mail geschrieben hat, liegne seine Werte in ähnlichen Dimensonen auf einen System, das in etwa so alt ist wie meins. Leider habe ich sonst keine vergleichbaren werte. Ob es an der SUSE Version liegt ? Läuft da 10.0 oder gar 9.3 besser/schneller?
Naja, Kasimir hat seinen Platten aber scheinbar nicht an einem PCI-Controller hängen. Daher kann man das nicht vergleichen. Es kann sein, dass die 10.0 oder 9.3 andere Treiber mitbringt. Ist aber unwahrscheinlich. Du könntest das evtl. mit einem Livesystem testen. Primär würde ich die Fehler aber woanders suchen. Zieh mal alle anderen PCI-Karten, auf die Du verzichten kannst, raus. Und dann versuch mal herauszufinden über welchen Treiber der Controller angesprochen wird und ob es nicht einen aktuelleren direkt beim Hersteller gibt. Grüße Philipp PS: Bonnie kommt bei mir (Platten per IDE mit aktiviertem UDMA - was bei SCSI ja nicht geht/ nicht nötig ist) nie über 30% CPU. Du solltest definitiv hier ansetzen! -- "I can resist anything but temptation." ###signature by fortune###
Sebastian Gödecke schrieb:
Guten Tag SuSe Mailingliste,
im Raid0 Verbund mit XFS (ReiseFS auch getestet mit ähnlichen
Was ist der Sinn eines RAID0 mit 7 Platten ? Timing buffered disk reads: 56 MB in 3.11 seconds = 17.98 MB/sec Auf einem etwas älteren (5Jahre) externen Raid-Verbund über Adaptec-SCSI Kontroller unter Suse 9.0 : Timing buffered disk reads: 56 MB in 3.11 seconds = 17.98 MB/sec mfg K. Müller
Guten Tag Kasimir Müller, am Mittwoch, 6. September 2006 um 10:50 schrieben Sie:
Sebastian Gödecke schrieb:
Guten Tag SuSe Mailingliste,
im Raid0 Verbund mit XFS (ReiseFS auch getestet mit ähnlichen
Was ist der Sinn eines RAID0 mit 7 Platten ? Ich wollte eigentlich nur schnelle Leseleistungen haben; die Redundanz nicht wichtig bzw, brauche ich hier nicht. Timing buffered disk reads: 56 MB in 3.11 seconds = 17.98 MB/sec
Auf einem etwas älteren (5Jahre) externen Raid-Verbund über Adaptec-SCSI Kontroller unter Suse 9.0 : Timing buffered disk reads: 56 MB in 3.11 seconds = 17.98 MB/sec
mfg K. Müller
-- Mit freundlichen Grüßen Sebastian Gödecke mailto:sgoedecke@gmx.net
participants (4)
-
Kasimir Müller -
Philipp Zacharias -
Sascha Piculjan -
Sebastian Gödecke