OOM-Killer nach Patchen Server tot
Hallo, ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca. 2-3 Wochen eingespielt. Seit dem habe ich massive Probleme auf dem Server, die bis zum Totalausfall führen, ich finde ein Haufen seltsamer Meldungen im Log mit denen ich nichts anfangen kann, dass ist nur ein Auszug davon: [0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264] trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [1] => 2014-07-01T03:20:39.465341+02:00 web kernel: [19336.499279] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [2] => 2014-07-01T05:47:15.944643+02:00 web kernel: [28109.862779] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [3] => 2014-07-01T06:16:54.082534+02:00 web kernel: [29883.435734] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [4] => 2014-07-01T06:16:54.302037+02:00 web kernel: [29883.613492] lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [5] => 2014-07-01T07:01:13.049213+02:00 web kernel: [32535.921626] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [6] => 2014-07-01T07:01:13.107944+02:00 web kernel: [32535.934890] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [7] => 2014-07-01T07:17:13.752706+02:00 web kernel: [33494.258905] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [8] => 2014-07-01T07:17:14.002822+02:00 web kernel: [33494.271203] /usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [9] => 2014-07-01T07:28:48.631259+02:00 web kernel: [34187.163725] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [10] => 2014-07-01T07:34:55.209410+02:00 web kernel: [34550.328805] php-cgi invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0 [11] => 2014-07-01T07:34:56.535274+02:00 web kernel: [34550.666277] php-cgi invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [12] => 2014-07-01T07:35:03.632258+02:00 web kernel: [34561.226609] php-cgi invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 [13] => 2014-07-01T07:35:04.691031+02:00 web kernel: [34562.390885] httpd2-worker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [14] => 2014-07-01T07:35:18.883960+02:00 web kernel: [34576.100428] lsof invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [15] => 2014-07-01T08:13:53.806581+02:00 web kernel: [36885.211786] fail2ban-server invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [16] => 2014-07-01T08:13:56.257791+02:00 web kernel: [36885.225231] in:imklog invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0 sowas 2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097, comm: mysqld Not tainted 3.7.10-1.32-desktop #1 2014-07-01T03:20:40.421283+02:00 web kernel: [19336.499288] Call Trace: 2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300] [<ffffffff81004818>] dump_trace+0x88/0x300 2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305] [<ffffffff8158b573>] dump_stack+0x69/0x6f 2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309] [<ffffffff8158e079>] dump_header+0x70/0x200 2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313] [<ffffffff81112ad4>] oom_kill_process+0x244/0x390 Das ganze hatte den Server gestern Abend total abgeschossen, so dass nur noch auschalten geholfen hat. Bin über jeden Hilfe dankbar. Gruß Ingo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Moin moin, Am 2014-07-01 9:50, schrieb Ingo:
Hallo,
ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca. 2-3 Wochen eingespielt. Seit dem habe ich massive Probleme auf dem Server, die bis zum Totalausfall führen, ich finde ein Haufen seltsamer Meldungen im Log mit denen ich nichts anfangen kann, dass ist nur ein Auszug davon:
[0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264] trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [1] => 2014-07-01T03:20:39.465341+02:00 web kernel: [19336.499279] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [2] => 2014-07-01T05:47:15.944643+02:00 web kernel: [28109.862779] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [3] => 2014-07-01T06:16:54.082534+02:00 web kernel: [29883.435734] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [4] => 2014-07-01T06:16:54.302037+02:00 web kernel: [29883.613492] lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [5] => 2014-07-01T07:01:13.049213+02:00 web kernel: [32535.921626] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [6] => 2014-07-01T07:01:13.107944+02:00 web kernel: [32535.934890] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [7] => 2014-07-01T07:17:13.752706+02:00 web kernel: [33494.258905] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [8] => 2014-07-01T07:17:14.002822+02:00 web kernel: [33494.271203] /usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [9] => 2014-07-01T07:28:48.631259+02:00 web kernel: [34187.163725] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [10] => 2014-07-01T07:34:55.209410+02:00 web kernel: [34550.328805] php-cgi invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0 [11] => 2014-07-01T07:34:56.535274+02:00 web kernel: [34550.666277] php-cgi invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [12] => 2014-07-01T07:35:03.632258+02:00 web kernel: [34561.226609] php-cgi invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 [13] => 2014-07-01T07:35:04.691031+02:00 web kernel: [34562.390885] httpd2-worker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [14] => 2014-07-01T07:35:18.883960+02:00 web kernel: [34576.100428] lsof invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [15] => 2014-07-01T08:13:53.806581+02:00 web kernel: [36885.211786] fail2ban-server invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [16] => 2014-07-01T08:13:56.257791+02:00 web kernel: [36885.225231] in:imklog invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0
sowas
2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097, comm: mysqld Not tainted 3.7.10-1.32-desktop #1 2014-07-01T03:20:40.421283+02:00 web kernel: [19336.499288] Call Trace: 2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300] [<ffffffff81004818>] dump_trace+0x88/0x300 2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305] [<ffffffff8158b573>] dump_stack+0x69/0x6f 2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309] [<ffffffff8158e079>] dump_header+0x70/0x200 2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313] [<ffffffff81112ad4>] oom_kill_process+0x244/0x390
Das ganze hatte den Server gestern Abend total abgeschossen, so dass nur noch auschalten geholfen hat. Bin über jeden Hilfe dankbar.
Naja, die Frage ist doch wer braucht den ganzen Hauptspeicher. Möglicherweise eine kompromittierte Webseite (php etc.) welche massenhaft Mails generiert oder als Phishing Ziel dient. Mal schauen was vor oom-killer passiert ist. mfg max
Gruß Ingo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Am 01.07.2014 10:54, schrieb Markus Heinze:
Moin moin,
Am 2014-07-01 9:50, schrieb Ingo:
Hallo,
ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca. 2-3 Wochen eingespielt. Seit dem habe ich massive Probleme auf dem Server, die bis zum Totalausfall fÃŒhren, ich finde ein Haufen seltsamer Meldungen im Log mit denen ich nichts anfangen kann, dass ist nur ein Auszug davon:
[0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264] trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [1] => 2014-07-01T03:20:39.465341+02:00 web kernel: [19336.499279] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [2] => 2014-07-01T05:47:15.944643+02:00 web kernel: [28109.862779] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [3] => 2014-07-01T06:16:54.082534+02:00 web kernel: [29883.435734] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [4] => 2014-07-01T06:16:54.302037+02:00 web kernel: [29883.613492] lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [5] => 2014-07-01T07:01:13.049213+02:00 web kernel: [32535.921626] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [6] => 2014-07-01T07:01:13.107944+02:00 web kernel: [32535.934890] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [7] => 2014-07-01T07:17:13.752706+02:00 web kernel: [33494.258905] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [8] => 2014-07-01T07:17:14.002822+02:00 web kernel: [33494.271203] /usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [9] => 2014-07-01T07:28:48.631259+02:00 web kernel: [34187.163725] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [10] => 2014-07-01T07:34:55.209410+02:00 web kernel: [34550.328805] php-cgi invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0 [11] => 2014-07-01T07:34:56.535274+02:00 web kernel: [34550.666277] php-cgi invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [12] => 2014-07-01T07:35:03.632258+02:00 web kernel: [34561.226609] php-cgi invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 [13] => 2014-07-01T07:35:04.691031+02:00 web kernel: [34562.390885] httpd2-worker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [14] => 2014-07-01T07:35:18.883960+02:00 web kernel: [34576.100428] lsof invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [15] => 2014-07-01T08:13:53.806581+02:00 web kernel: [36885.211786] fail2ban-server invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [16] => 2014-07-01T08:13:56.257791+02:00 web kernel: [36885.225231] in:imklog invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0
sowas
2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097, comm: mysqld Not tainted 3.7.10-1.32-desktop #1 2014-07-01T03:20:40.421283+02:00 web kernel: [19336.499288] Call Trace: 2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300] [<ffffffff81004818>] dump_trace+0x88/0x300 2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305] [<ffffffff8158b573>] dump_stack+0x69/0x6f 2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309] [<ffffffff8158e079>] dump_header+0x70/0x200 2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313] [<ffffffff81112ad4>] oom_kill_process+0x244/0x390
Das ganze hatte den Server gestern Abend total abgeschossen, so dass nur noch auschalten geholfen hat. Bin ÃŒber jeden Hilfe dankbar.
Naja, die Frage ist doch wer braucht den ganzen Hauptspeicher. Möglicherweise eine kompromittierte Webseite (php etc.) welche massenhaft Mails generiert oder als Phishing Ziel dient. Mal schauen was vor oom-killer passiert ist. Ja habe ich mir schon angeschaut, aber es gibt nichts auffälliges. Ich bin mir nun sicher das es wieder mit php, apache oder fcgid zusammenhängt. Momentan lasse ich den Apache per Cron alle Stunde restarten. Nur wie schon beschrieben, lief der Webserver ein Jahr lang superstabil, bis gestern und da waren PHP-Patches dabei. Ich gehe also davon aus das sich hier durch die Patches was verändert hat. Es ist wohl tatsächlich so, dass der Server nach ca. 6-8 Stunden ein Speicherproblem bekommt und das dann irgendwann zum Absturz führt.
Gruß Ingo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
Am 2014-07-01 11:09, schrieb Ingo:
Am 01.07.2014 10:54, schrieb Markus Heinze:
Moin moin,
Am 2014-07-01 9:50, schrieb Ingo:
Hallo,
ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca. 2-3 Wochen eingespielt. Seit dem habe ich massive Probleme auf dem Server, die bis zum Totalausfall fÃŒhren, ich finde ein Haufen seltsamer Meldungen im Log mit denen ich nichts anfangen kann, dass ist nur ein Auszug davon:
[0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264] trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [1] => 2014-07-01T03:20:39.465341+02:00 web kernel: [19336.499279] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [2] => 2014-07-01T05:47:15.944643+02:00 web kernel: [28109.862779] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [3] => 2014-07-01T06:16:54.082534+02:00 web kernel: [29883.435734] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [4] => 2014-07-01T06:16:54.302037+02:00 web kernel: [29883.613492] lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [5] => 2014-07-01T07:01:13.049213+02:00 web kernel: [32535.921626] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [6] => 2014-07-01T07:01:13.107944+02:00 web kernel: [32535.934890] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [7] => 2014-07-01T07:17:13.752706+02:00 web kernel: [33494.258905] systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [8] => 2014-07-01T07:17:14.002822+02:00 web kernel: [33494.271203] /usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [9] => 2014-07-01T07:28:48.631259+02:00 web kernel: [34187.163725] mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [10] => 2014-07-01T07:34:55.209410+02:00 web kernel: [34550.328805] php-cgi invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0 [11] => 2014-07-01T07:34:56.535274+02:00 web kernel: [34550.666277] php-cgi invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [12] => 2014-07-01T07:35:03.632258+02:00 web kernel: [34561.226609] php-cgi invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 [13] => 2014-07-01T07:35:04.691031+02:00 web kernel: [34562.390885] httpd2-worker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [14] => 2014-07-01T07:35:18.883960+02:00 web kernel: [34576.100428] lsof invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [15] => 2014-07-01T08:13:53.806581+02:00 web kernel: [36885.211786] fail2ban-server invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [16] => 2014-07-01T08:13:56.257791+02:00 web kernel: [36885.225231] in:imklog invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0
sowas
2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097, comm: mysqld Not tainted 3.7.10-1.32-desktop #1 2014-07-01T03:20:40.421283+02:00 web kernel: [19336.499288] Call Trace: 2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300] [<ffffffff81004818>] dump_trace+0x88/0x300 2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305] [<ffffffff8158b573>] dump_stack+0x69/0x6f 2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309] [<ffffffff8158e079>] dump_header+0x70/0x200 2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313] [<ffffffff81112ad4>] oom_kill_process+0x244/0x390
Das ganze hatte den Server gestern Abend total abgeschossen, so dass nur noch auschalten geholfen hat. Bin ÃŒber jeden Hilfe dankbar.
Naja, die Frage ist doch wer braucht den ganzen Hauptspeicher. Möglicherweise eine kompromittierte Webseite (php etc.) welche massenhaft Mails generiert oder als Phishing Ziel dient. Mal schauen was vor oom-killer passiert ist. Ja habe ich mir schon angeschaut, aber es gibt nichts auffälliges. Ich bin mir nun sicher das es wieder mit php, apache oder fcgid zusammenhängt. Momentan lasse ich den Apache per Cron alle Stunde restarten. Nur wie schon beschrieben, lief der Webserver ein Jahr lang superstabil, bis gestern und da waren PHP-Patches dabei. Ich gehe also davon aus das sich hier durch die Patches was verändert hat. Es ist wohl tatsächlich so, dass der Server nach ca. 6-8 Stunden ein Speicherproblem bekommt und das dann irgendwann zum Absturz führt.
Wäre auch meine Vermutung das es php-fpm ist. Mal die Anzahl Server/Children/Request modifizieren in der php-fpm.conf und vor allem mal die Apache logs auswerten. Das Changelog von PHP auf deprecated und removed functions prüfen bzw. ob sich Funktionsaufrufe gändert haben. mfg max
Gruß Ingo -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
participants (2)
-
Ingo
-
Markus Heinze