Trotz 1,6GB swap: kernel: __alloc_pages: 0-order allocation failed (gfp=0x1d2/0)
ja hallo erstmal,.. ich muss mich derzeit um einen kleinen Lan-Server kümmern (SuSE 9.0 2.4.21) [0]. (Ein bisschen bind, samba, dhcp, apache, mysql, squid), der neuerdings Prozesse abschießt. Seine berzugten Opfer sind smbd, nmbd und Squid. Es traf aber auch mal den syslog-daemon, etc. Das ganze sieht dann z.B. so aus: Sep 26 08:57:58 kss kernel: __alloc_pages: 0-order allocation failed (gfp=0x1d2/0) Sep 26 08:57:58 kss kernel: VM: killing process smbd Verwirrend ist nur a) Die Ram/Swap-Auslastung: Es sind ca. 1.6GB frei (exkl. Cache, etc. - also wirklich frei) b) Die obere Zeit erscheint bei mir nur einmal, während sie bei vielen (also eher fast allen) anderen Posts, die ich im Internet gefunden habe, 2x erscheint. Weiß wer Rat? Danke, Keep smiling yanosz [0] Wenn ihr jetzt meint, dass sei einer dämliche Idee so etwas als Produktivsystem zu fahren - ihr habt ja Recht. Aber es legt nicht in meiner Macht dies zu ändern.
Jan Luehr schrieb:
ja hallo erstmal,..
ich muss mich derzeit um einen kleinen Lan-Server kümmern (SuSE 9.0 2.4.21) [0]. (Ein bisschen bind, samba, dhcp, apache, mysql, squid), der neuerdings Prozesse abschießt. Seine berzugten Opfer sind smbd, nmbd und Squid. Es traf aber auch mal den syslog-daemon, etc. Das ganze sieht dann z.B. so aus:
Sep 26 08:57:58 kss kernel: __alloc_pages: 0-order allocation failed (gfp=0x1d2/0) Sep 26 08:57:58 kss kernel: VM: killing process smbd
Verwirrend ist nur a) Die Ram/Swap-Auslastung: Es sind ca. 1.6GB frei (exkl. Cache, etc. - also wirklich frei) b) Die obere Zeit erscheint bei mir nur einmal, während sie bei vielen (also eher fast allen) anderen Posts, die ich im Internet gefunden habe, 2x erscheint.
Weiß wer Rat? Danke, Keep smiling yanosz
[0] Wenn ihr jetzt meint, dass sei einer dämliche Idee so etwas als Produktivsystem zu fahren - ihr habt ja Recht. Aber es legt nicht in meiner Macht dies zu ändern.
Hi, bist du sicher dass genau zu dem zeitpunkt wo er die Prozesse killt noch soviel swap/memory frei ist? Bei solchen Meldungen war bei mir immer der komplette Speicher/Swap voll. Wenn ich Glück hatte konnte ich noch den Übeltäter, meistens mysql/apache, stoppen und neustarten, bevor nichts mehr ging, und mich dann auf die Fehlersuche machen. Wenn es aus heiterem Himmel auftaucht würde ich spontan auf mysql/apache tippen.z.B. ein PHP Skript was in der mysql-DB ein Statement ausführt und das dann in Schleife läuft!? Du könntest z.B. top, vmstat, oder sar regelmässig laufen lassen und das Swapverhalten überprüfen. Wenn du nicht viel Zeit zum debuggen hast würde ich dir empfehlen den 2.6er Kernel aufzuspielen. Im Vergleich zum 2.4 hat sich einiges getan, besonders im Bereich Memorymanagement. Gruss Lars -- http://www.lhits.eu http://blog.linuri.de http://www.kleinwalsertal-bilder.de
ja hallo erstmal,... Am Donnerstag, 28. September 2006 20:03 schrieb LHartung:
Jan Luehr schrieb:
bist du sicher dass genau zu dem zeitpunkt wo er die Prozesse killt noch soviel swap/memory frei ist? Bei solchen Meldungen war bei mir immer der komplette Speicher/Swap voll. Wenn ich Glück hatte konnte ich noch den Übeltäter, meistens mysql/apache, stoppen und neustarten, bevor nichts mehr ging, und mich dann auf die Fehlersuche machen.
Wenn es aus heiterem Himmel auftaucht würde ich spontan auf mysql/apache tippen.z.B. ein PHP Skript was in der mysql-DB ein Statement ausführt und das dann in Schleife läuft!?
Du könntest z.B. top, vmstat, oder sar regelmässig laufen lassen und das Swapverhalten überprüfen.
Das wäre eine Idee. Ich habe nie genau den Moment getroffen. Vmstat laufen zu lassen ist aber eine gute Idee.
Wenn du nicht viel Zeit zum debuggen hast würde ich dir empfehlen den 2.6er Kernel aufzuspielen. Im Vergleich zum 2.4 hat sich einiges getan, besonders im Bereich Memorymanagement.
Naja, ich hatte mal an einen neueren 2.4er gedacht. Lässt sich der 2.6er auf der alten SuSE ohne größere Anpassungen nutzen? Keep smiling yanosz
ja hallo erstmal,... Am Donnerstag, 28. September 2006 21:54 schrieb Jan Luehr:
ja hallo erstmal,...
Am Donnerstag, 28. September 2006 20:03 schrieb LHartung:
Jan Luehr schrieb:
bist du sicher dass genau zu dem zeitpunkt wo er die Prozesse killt noch soviel swap/memory frei ist? Bei solchen Meldungen war bei mir immer der komplette Speicher/Swap voll. Wenn ich Glück hatte konnte ich noch den Übeltäter, meistens mysql/apache, stoppen und neustarten, bevor nichts mehr ging, und mich dann auf die Fehlersuche machen.
Wenn es aus heiterem Himmel auftaucht würde ich spontan auf mysql/apache tippen.z.B. ein PHP Skript was in der mysql-DB ein Statement ausführt und das dann in Schleife läuft!?
Du könntest z.B. top, vmstat, oder sar regelmässig laufen lassen und das Swapverhalten überprüfen.
Das wäre eine Idee. Ich habe nie genau den Moment getroffen. Vmstat laufen zu lassen ist aber eine gute Idee.
Wenn du nicht viel Zeit zum debuggen hast würde ich dir empfehlen den 2.6er Kernel aufzuspielen. Im Vergleich zum 2.4 hat sich einiges getan, besonders im Bereich Memorymanagement.
Naja, ich hatte mal an einen neueren 2.4er gedacht. Lässt sich der 2.6er auf der alten SuSE ohne größere Anpassungen nutzen?
Auf dem System scheint einiges kaputt zu sein. Ich habe gerade versucht den 2.4.33.3 zu entpacken da sprang mir bei top entgegen: 30153 root 25 0 164m 164m 704 R 99.6 16.3 0:12.33 tar 30153 root 25 0 563m 563m 704 R 99.5 55.9 0:42.33 tar 30153 root 25 0 643m 643m 704 R 99.5 63.8 0:48.33 tar Dann habe ich abgebrochen. tar - also nicht bzip2(!) - liegt hier bei 99.5% CPU load und leckt mir so gewaltig in den Arbeitsspeicher herein, dass ich fast vom Stuhl falle. Was kann das nur passieren? Keep smiling yanosz
ja hallo erstmal,... Am Donnerstag, 28. September 2006 22:38 schrieb Jan Luehr:
bist du sicher dass genau zu dem zeitpunkt wo er die Prozesse killt noch soviel swap/memory frei ist? Bei solchen Meldungen war bei mir immer der komplette Speicher/Swap voll. Wenn ich Glück hatte konnte ich noch den Übeltäter, meistens mysql/apache, stoppen und neustarten, bevor nichts mehr ging, und mich dann auf die Fehlersuche machen.
Auf dem System scheint einiges kaputt zu sein. Ich habe gerade versucht den 2.4.33.3 zu entpacken da sprang mir bei top entgegen:
30153 root 25 0 164m 164m 704 R 99.6 16.3 0:12.33 tar 30153 root 25 0 563m 563m 704 R 99.5 55.9 0:42.33 tar 30153 root 25 0 643m 643m 704 R 99.5 63.8 0:48.33 tar
(Anmerkung: Hier geht es nur im einen Prozess - ich habe dies zu mehreren Zeitpunkten aus top entnommen.)
Dann habe ich abgebrochen. tar - also nicht bzip2(!) - liegt hier bei 99.5% CPU load und leckt mir so gewaltig in den Arbeitsspeicher herein, dass ich fast vom Stuhl falle. Was kann das nur passieren?
Keep smiling yanosz
Jan Luehr wrote:
Auf dem System scheint einiges kaputt zu sein. Ich habe gerade versucht den 2.4.33.3 zu entpacken da sprang mir bei top entgegen:
30153 root 25 0 164m 164m 704 R 99.6 16.3 0:12.33 tar 30153 root 25 0 563m 563m 704 R 99.5 55.9 0:42.33 tar 30153 root 25 0 643m 643m 704 R 99.5 63.8 0:48.33 tar
Dann habe ich abgebrochen. tar - also nicht bzip2(!) - liegt hier bei 99.5% CPU load und leckt mir so gewaltig in den Arbeitsspeicher herein, dass ich fast vom Stuhl falle. Was kann das nur passieren?
Gab es mal Stromausfälle oder sonstige Abstürze? Falls ja, würde ich das Dateisystem mal durchackern. Ich habe hier auch einen etwas älteren Server, der öfter mal etwas wärmer geworden ist. In Folge dessen ist die Elektronik wohl nicht mehr ganz fit, und das Dateisystem zeigte häufiger mal Macken. Teste auf jeden Fall mal das Dateisystem. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com
ja hallo erstmal,... Am Donnerstag, 28. September 2006 22:46 schrieb Sandy Drobic:
Jan Luehr wrote:
Auf dem System scheint einiges kaputt zu sein. Ich habe gerade versucht den 2.4.33.3 zu entpacken da sprang mir bei top entgegen:
30153 root 25 0 164m 164m 704 R 99.6 16.3 0:12.33 tar 30153 root 25 0 563m 563m 704 R 99.5 55.9 0:42.33 tar 30153 root 25 0 643m 643m 704 R 99.5 63.8 0:48.33 tar
Dann habe ich abgebrochen. tar - also nicht bzip2(!) - liegt hier bei 99.5% CPU load und leckt mir so gewaltig in den Arbeitsspeicher herein, dass ich fast vom Stuhl falle. Was kann das nur passieren?
Gab es mal Stromausfälle oder sonstige Abstürze? Falls ja, würde ich das Dateisystem mal durchackern. Ich habe hier auch einen etwas älteren Server, der öfter mal etwas wärmer geworden ist. In Folge dessen ist die Elektronik wohl nicht mehr ganz fit, und das Dateisystem zeigte häufiger mal Macken.
Teste auf jeden Fall mal das Dateisystem.
Args - zu allem überfluss ein reiser. Wie sage ich reiser, es soll beim nächsten boot das FS checken? tune2fs -c geht ja nicht... Keep smiling yanosz
Jan Luehr wrote:
ja hallo erstmal,...
Am Donnerstag, 28. September 2006 22:46 schrieb Sandy Drobic:
Jan Luehr wrote:
Auf dem System scheint einiges kaputt zu sein. Ich habe gerade versucht den 2.4.33.3 zu entpacken da sprang mir bei top entgegen:
30153 root 25 0 164m 164m 704 R 99.6 16.3 0:12.33 tar 30153 root 25 0 563m 563m 704 R 99.5 55.9 0:42.33 tar 30153 root 25 0 643m 643m 704 R 99.5 63.8 0:48.33 tar
Dann habe ich abgebrochen. tar - also nicht bzip2(!) - liegt hier bei 99.5% CPU load und leckt mir so gewaltig in den Arbeitsspeicher herein, dass ich fast vom Stuhl falle. Was kann das nur passieren? Gab es mal Stromausfälle oder sonstige Abstürze? Falls ja, würde ich das Dateisystem mal durchackern. Ich habe hier auch einen etwas älteren Server, der öfter mal etwas wärmer geworden ist. In Folge dessen ist die Elektronik wohl nicht mehr ganz fit, und das Dateisystem zeigte häufiger mal Macken.
Teste auf jeden Fall mal das Dateisystem.
Args - zu allem überfluss ein reiser. Wie sage ich reiser, es soll beim nächsten boot das FS checken? tune2fs -c geht ja nicht...
init 1 und dann die Partitionen umounten und checken. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com
ja hallo erstmal,.. Am Donnerstag, 28. September 2006 22:56 schrieb Sandy Drobic:
Jan Luehr wrote:
Am Donnerstag, 28. September 2006 22:46 schrieb Sandy Drobic:
Jan Luehr wrote:
Auf dem System scheint einiges kaputt zu sein. Ich habe gerade versucht den 2.4.33.3 zu entpacken da sprang mir bei top entgegen:
30153 root 25 0 164m 164m 704 R 99.6 16.3 0:12.33 tar 30153 root 25 0 563m 563m 704 R 99.5 55.9 0:42.33 tar 30153 root 25 0 643m 643m 704 R 99.5 63.8 0:48.33 tar
Dann habe ich abgebrochen. tar - also nicht bzip2(!) - liegt hier bei 99.5% CPU load und leckt mir so gewaltig in den Arbeitsspeicher herein, dass ich fast vom Stuhl falle. Was kann das nur passieren?
Gab es mal Stromausfälle oder sonstige Abstürze? Falls ja, würde ich das Dateisystem mal durchackern. Ich habe hier auch einen etwas älteren Server, der öfter mal etwas wärmer geworden ist. In Folge dessen ist die Elektronik wohl nicht mehr ganz fit, und das Dateisystem zeigte häufiger mal Macken.
Teste auf jeden Fall mal das Dateisystem.
Args - zu allem überfluss ein reiser. Wie sage ich reiser, es soll beim nächsten boot das FS checken? tune2fs -c geht ja nicht...
init 1 und dann die Partitionen umounten und checken.
Es handelt sich um / mit einem IDE-Raid-Controller, der AFAIK von Knoppix nicht unterstützt wird. Aber ich werde das morgen mal testen. Keep smiling yanosz
Jan Luehr wrote:
Teste auf jeden Fall mal das Dateisystem. Args - zu allem überfluss ein reiser. Wie sage ich reiser, es soll beim nächsten boot das FS checken? tune2fs -c geht ja nicht... init 1 und dann die Partitionen umounten und checken.
Es handelt sich um / mit einem IDE-Raid-Controller, der AFAIK von Knoppix nicht unterstützt wird. Aber ich werde das morgen mal testen.
Erkennt denn die Suse-Boot-CD den Controller? Dann nimm die halt. Ich hatte vor kurzem einen Test mit einem alten Compaq-RAID-Controller über Knoppix fahren können, einen Versuch ist es wert. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com
Jan Luehr schrieb:
Du könntest z.B. top, vmstat, oder sar regelmässig laufen lassen und das Swapverhalten überprüfen.
Das wäre eine Idee. Ich habe nie genau den Moment getroffen. Vmstat laufen zu lassen ist aber eine gute Idee.
top lässt sich auch batchmässig steuern und in ein File schreiben lassen.
Wenn du nicht viel Zeit zum debuggen hast würde ich dir empfehlen den 2.6er Kernel aufzuspielen. Im Vergleich zum 2.4 hat sich einiges getan, besonders im Bereich Memorymanagement.
Naja, ich hatte mal an einen neueren 2.4er gedacht. Lässt sich der 2.6er auf der alten SuSE ohne größere Anpassungen nutzen?
Im Prinzip schon, habe schon oft den 2.6er unter SuSE 9.0/9.3 installiert. Probleme könnte es nur mit deinem RAID Controller geben. Jedenfalls war es bei mir so dass nicht jede 2.6er Kernel Version mit meinen RAID Controller zurecht kam. Musste 1 oder 2 Kernelversionen ausprobieren. Gruss Lars -- http://www.lhits.eu http://blog.linuri.de http://www.kleinwalsertal-bilder.de
participants (4)
-
Jan Luehr -
LHartung -
Sandy Drobic -
Thomas Hertweck