Hallo, habe momentan gewaltige Probleme mit dem Serversystem. Anscheinend wird irgendwo (RAM/Festplatte????) der Speicher knapp, die Frage ist aber nur, wo? Für mich deutet es eher auf Hauptspeicher-Probleme hin. Aber ein "free" hat ergeben, dass von den 6 GB RAM ca. 4 GB frei sind. Nach einem Neustart (boot) funktioniert alles wieder (momentan). System: Opensuse 10.2, Kernel 2.6.20.4 (vanilla) Vielen Dank für Eure Hilfe, Günther hier ein kurzer Auszug aus /var/log/messages (sagt mir leider fast gar nichts): May 15 18:25:22 s2 kernel: ======================= May 15 18:25:22 s2 kernel: Mem-info: May 15 18:25:22 s2 kernel: DMA per-cpu: May 15 18:25:22 s2 kernel: CPU 0: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: CPU 1: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: CPU 2: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: CPU 3: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: CPU 4: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: CPU 5: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: CPU 6: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: CPU 7: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0 May 15 18:25:22 s2 kernel: Normal per-cpu: May 15 18:25:22 s2 kernel: CPU 0: Hot: hi: 186, btch: 31 usd: 7 Cold: hi: 62, btch: 15 usd: 51 May 15 18:25:22 s2 kernel: CPU 1: Hot: hi: 186, btch: 31 usd: 12 Cold: hi: 62, btch: 15 usd: 49 May 15 18:25:22 s2 kernel: CPU 2: Hot: hi: 186, btch: 31 usd: 21 Cold: hi: 62, btch: 15 usd: 47 May 15 18:25:22 s2 kernel: CPU 3: Hot: hi: 186, btch: 31 usd: 30 Cold: hi: 62, btch: 15 usd: 58 May 15 18:25:22 s2 kernel: CPU 4: Hot: hi: 186, btch: 31 usd: 48 Cold: hi: 62, btch: 15 usd: 60 May 15 18:25:22 s2 kernel: CPU 5: Hot: hi: 186, btch: 31 usd: 102 Cold: hi: 62, btch: 15 usd: 61 May 15 18:25:22 s2 kernel: CPU 6: Hot: hi: 186, btch: 31 usd: 4 Cold: hi: 62, btch: 15 usd: 58 May 15 18:25:22 s2 kernel: CPU 7: Hot: hi: 186, btch: 31 usd: 1 Cold: hi: 62, btch: 15 usd: 60 May 15 18:25:22 s2 kernel: HighMem per-cpu: May 15 18:25:22 s2 kernel: CPU 0: Hot: hi: 186, btch: 31 usd: 9 Cold: hi: 62, btch: 15 usd: 1 May 15 18:25:22 s2 kernel: CPU 1: Hot: hi: 186, btch: 31 usd: 129 Cold: hi: 62, btch: 15 usd: 13 May 15 18:25:22 s2 kernel: CPU 2: Hot: hi: 186, btch: 31 usd: 0 Cold: hi: 62, btch: 15 usd: 11 May 15 18:25:22 s2 kernel: CPU 3: Hot: hi: 186, btch: 31 usd: 3 Cold: hi: 62, btch: 15 usd: 8 May 15 18:25:22 s2 kernel: CPU 4: Hot: hi: 186, btch: 31 usd: 162 Cold: hi: 62, btch: 15 usd: 7 May 15 18:25:22 s2 kernel: CPU 5: Hot: hi: 186, btch: 31 usd: 6 Cold: hi: 62, btch: 15 usd: 12 May 15 18:25:22 s2 kernel: CPU 6: Hot: hi: 186, btch: 31 usd: 157 Cold: hi: 62, btch: 15 usd: 5 May 15 18:25:22 s2 kernel: CPU 7: Hot: hi: 186, btch: 31 usd: 87 Cold: hi: 62, btch: 15 usd: 12 May 15 18:25:22 s2 kernel: Active:112019 inactive:153137 dirty:5612 writeback:0 unstable:0 free:1074475 slab:209294 mapped:8687 pagetables:2392 May 15 18:25:22 s2 kernel: DMA free:3560kB min:68kB low:84kB high:100kB active:0kB inactive:0kB present:16256kB pages_scanned:0 all_unreclaimable? yes May 15 18:25:22 s2 kernel: lowmem_reserve[]: 0 873 7604 May 15 18:25:22 s2 kernel: Normal free:3660kB min:3744kB low:4680kB high:5616kB active:484kB inactive:540kB present:894080kB pages_scanned:1900 all_unre May 15 18:25:22 s2 kernel: lowmem_reserve[]: 0 0 53848 May 15 18:25:22 s2 kernel: HighMem free:4290680kB min:512kB low:7732kB high:14956kB active:447592kB inactive:612008kB present:6892544kB pages_scanned:0 May 15 18:25:22 s2 kernel: lowmem_reserve[]: 0 0 0 May 15 18:25:22 s2 kernel: DMA: 2*4kB 0*8kB 0*16kB 1*32kB 1*64kB 1*128kB 1*256kB 0*512kB 1*1024kB 1*2048kB 0*4096kB = 3560kB May 15 18:25:22 s2 kernel: Normal: 251*4kB 0*8kB 0*16kB 15*32kB 4*64kB 1*128kB 1*256kB 1*512kB 1*1024kB 0*2048kB 0*4096kB = 3660kB May 15 18:25:22 s2 kernel: HighMem: 7152*4kB 17229*8kB 51423*16kB 37413*32kB 19181*64kB 5493*128kB 578*256kB 16*512kB 3*1024kB 3*2048kB 2*4096kB = 42906 May 15 18:25:22 s2 kernel: Swap cache: add 199, delete 199, find 55/68, race 0+0 May 15 18:25:22 s2 kernel: Free swap = 2104128kB May 15 18:25:22 s2 kernel: Total swap = 2104472kB May 15 18:25:22 s2 kernel: Free swap: 2104128kB May 15 18:25:22 s2 kernel: 1966080 pages of RAM May 15 18:25:22 s2 kernel: 1736704 pages of HIGHMEM May 15 18:25:22 s2 kernel: 411006 reserved pages May 15 18:25:22 s2 kernel: 200089 pages shared May 15 18:25:22 s2 kernel: 0 pages swap cached May 15 18:25:22 s2 kernel: 5612 pages dirty May 15 18:25:22 s2 kernel: 0 pages writeback May 15 18:25:22 s2 kernel: 8687 pages mapped May 15 18:25:22 s2 kernel: 209294 pages slab May 15 18:25:22 s2 kernel: 2392 pages pagetables May 15 18:25:22 s2 kernel: Out of memory: kill process 21478 (nagios) score 5363 or a child May 15 18:25:22 s2 kernel: Killed process 21479 (nagios) May 15 18:25:22 s2 kernel: 1966080 pages of RAM May 15 18:25:22 s2 kernel: 1736704 pages of HIGHMEM May 15 18:25:22 s2 kernel: 411006 reserved pages May 15 18:25:22 s2 kernel: 199984 pages shared May 15 18:25:22 s2 kernel: 0 pages swap cached May 15 18:25:22 s2 kernel: 5612 pages dirty May 15 18:25:22 s2 kernel: 0 pages writeback May 15 18:25:22 s2 kernel: 8687 pages mapped May 15 18:25:22 s2 kernel: 209294 pages slab May 15 18:25:22 s2 kernel: 2392 pages pagetables May 15 18:25:22 s2 kernel: klogd invoked oom-killer: gfp_mask=0x4d0, order=0, oomkilladj=0 May 15 18:25:22 s2 kernel: [<c0145660>] out_of_memory+0x69/0x185 May 15 18:25:22 s2 kernel: [<c0146b69>] __alloc_pages+0x20a/0x294 May 15 18:25:22 s2 kernel: [<c0116319>] __activate_task+0x1c/0x29 May 15 18:25:22 s2 kernel: [<c015ada9>] cache_alloc_refill+0x277/0x469 May 15 18:25:22 s2 kernel: [<c015affb>] __kmalloc+0x60/0x77 May 15 18:25:22 s2 kernel: [<c0239b1c>] __alloc_skb+0x49/0xf7 May 15 18:25:22 s2 kernel: [<c02367a8>] sock_alloc_send_skb+0x71/0x19c May 15 18:25:22 s2 kernel: [<c0289f9a>] unix_dgram_sendmsg+0x16c/0x463 May 15 18:25:22 s2 kernel: [<c0233f3a>] sock_aio_write+0xf6/0x102 May 15 18:25:22 s2 kernel: [<c015d5d9>] do_sync_write+0xc7/0x10a May 15 18:25:22 s2 kernel: [<c0141037>] handle_edge_irq+0xe2/0x105 May 15 18:25:22 s2 kernel: [<c012d181>] autoremove_wake_function+0x0/0x35 May 15 18:25:22 s2 kernel: [<c0123090>] __capable+0xc/0x1f May 15 18:25:22 s2 kernel: [<c012d181>] autoremove_wake_function+0x0/0x35 May 15 18:25:22 s2 kernel: [<c015de2c>] vfs_write+0xbc/0x154 May 15 18:25:22 s2 kernel: [<c015e425>] sys_write+0x41/0x67 May 15 18:25:22 s2 kernel: [<c0103d68>] syscall_call+0x7/0xb [...] May 15 18:25:23 s2 kernel: Out of memory: kill process 20919 (nagios) score 3827 or a child May 15 18:25:23 s2 kernel: Killed process 20922 (check_ping) May 15 18:25:23 s2 kernel: Out of memory: kill process 21484 (amavisd) score 13098 or a child May 15 18:25:23 s2 kernel: Killed process 21484 (amavisd) May 15 18:25:23 s2 kernel: Out of memory: kill process 20912 (nagios) score 3823 or a child May 15 18:25:23 s2 kernel: Killed process 20913 (check_ping) May 15 18:25:23 s2 kernel: Out of memory: kill process 20924 (nagios) score 3823 or a child May 15 18:25:23 s2 kernel: Killed process 20925 (check_ping) May 15 18:25:23 s2 kernel: Out of memory: kill process 20938 (nagios) score 3823 or a child May 15 18:25:23 s2 kernel: Killed process 20939 (check_ping) May 15 18:25:23 s2 kernel: Out of memory: kill process 20941 (nagios) score 3823 or a child May 15 18:25:23 s2 kernel: Killed process 20943 (check_ping) -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Günther Zisham wrote:
Hallo,
habe momentan gewaltige Probleme mit dem Serversystem. Anscheinend wird irgendwo (RAM/Festplatte????) der Speicher knapp, die Frage ist aber nur, wo? Für mich deutet es eher auf Hauptspeicher-Probleme hin. Aber ein "free" hat ergeben, dass von den 6 GB RAM ca. 4 GB frei sind.
Dann sind es nicht die physikalischen Grenzen, sondern von einer Policy gesetzte Grenzen.
race 0+0 May 15 18:25:22 s2 kernel: Free swap = 2104128kB May 15 18:25:22 s2 kernel: Total swap = 2104472kB May 15 18:25:22 s2 kernel: Free swap: 2104128kB May 15 18:25:22 s2 kernel: 1966080 pages of RAM May 15 18:25:22 s2 kernel: 1736704 pages of HIGHMEM May 15 18:25:22 s2 kernel: 411006 reserved pages May 15 18:25:22 s2 kernel: 200089 pages shared May 15 18:25:22 s2 kernel: 0 pages swap cached May 15 18:25:22 s2 kernel: 5612 pages dirty May 15 18:25:22 s2 kernel: 0 pages writeback May 15 18:25:22 s2 kernel: 8687 pages mapped May 15 18:25:22 s2 kernel: 209294 pages slab May 15 18:25:22 s2 kernel: 2392 pages pagetables May 15 18:25:22 s2 kernel: Out of memory: kill process 21478 (nagios) score 5363 or a child May 15 18:25:22 s2 kernel: Killed process 21479 (nagios)
Auch der Rest der OOM-Meldungen bezieht sich auf Nagios. Schau doch mal nach, wieviele Prozesse und RAM Nagios in Anspruch nimmt und was die gesetzten Limits in /etc/security/limits.conf sind. Ich finde auch die Anzahl von "dirty" pages recht hoch. Hast du einige Anwendungen darauf laufen mit sehr hohen I/O-Anforderungen? -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Sandy Drobic schrieb:
Günther Zisham wrote:
Hallo,
habe momentan gewaltige Probleme mit dem Serversystem. Anscheinend wird irgendwo (RAM/Festplatte????) der Speicher knapp, die Frage ist aber nur, wo? Für mich deutet es eher auf Hauptspeicher-Probleme hin. Aber ein "free" hat ergeben, dass von den 6 GB RAM ca. 4 GB frei sind.
Dann sind es nicht die physikalischen Grenzen, sondern von einer Policy gesetzte Grenzen.
race 0+0 May 15 18:25:22 s2 kernel: Free swap = 2104128kB May 15 18:25:22 s2 kernel: Total swap = 2104472kB May 15 18:25:22 s2 kernel: Free swap: 2104128kB May 15 18:25:22 s2 kernel: 1966080 pages of RAM May 15 18:25:22 s2 kernel: 1736704 pages of HIGHMEM May 15 18:25:22 s2 kernel: 411006 reserved pages May 15 18:25:22 s2 kernel: 200089 pages shared May 15 18:25:22 s2 kernel: 0 pages swap cached May 15 18:25:22 s2 kernel: 5612 pages dirty May 15 18:25:22 s2 kernel: 0 pages writeback May 15 18:25:22 s2 kernel: 8687 pages mapped May 15 18:25:22 s2 kernel: 209294 pages slab May 15 18:25:22 s2 kernel: 2392 pages pagetables May 15 18:25:22 s2 kernel: Out of memory: kill process 21478 (nagios) score 5363 or a child May 15 18:25:22 s2 kernel: Killed process 21479 (nagios)
Auch der Rest der OOM-Meldungen bezieht sich auf Nagios. Schau doch mal nach, wieviele Prozesse und RAM Nagios in Anspruch nimmt und was die gesetzten Limits in /etc/security/limits.conf sind.
Diese Datei habe ich noch nie verwendet, sie ist bis auf ein paar Kommentare leer. Mit "top" habe ich nachgesehen und so gut wie nichts bei den einzelnen Prozessen gesehen. Jetzt kann ich leider nicht nachsehen, weil der Server inzwischen rebootet worden ist.
Ich finde auch die Anzahl von "dirty" pages recht hoch. Hast du einige Anwendungen darauf laufen mit sehr hohen I/O-Anforderungen?
Auf diesem Server läuft (zum Glück) recht wenig: momentan eigentlich nur Nagios (243 Hosts, 264 Services), Mrtg und MySql (650 MB an Datenbanken gesamt, hauptsächlich Netacct-Mysql). Für interne Zwecke (Servicemails von Nagios...) noch das Mailsystem (Postfix, Amavis), Apache und Named-Bind9. Aufgefallen ist es, weil bei einer täglichen Auswertung in Mysql unzählige Fehlermeldungen kamen. Außerdem hat er über den ganzen Tag verteilt noch folgende Prozesse aus dem Speicher geschossen: mysqld (33 Male), sh (1), amavisd (81), httpd2-prefork (6), nagios (333) Grüße, Günther -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Günther Zisham wrote:
Auch der Rest der OOM-Meldungen bezieht sich auf Nagios. Schau doch mal nach, wieviele Prozesse und RAM Nagios in Anspruch nimmt und was die gesetzten Limits in /etc/security/limits.conf sind.
Diese Datei habe ich noch nie verwendet, sie ist bis auf ein paar Kommentare leer.
Dann sollten die Defaults gelten. Ich weiss nicht, ob diese für deinen Fall ausreichen. http://susefaq.sourceforge.net/howto/pam.html Gilt das Problem mit den gekillten Prozessen auch für Dienste, die als Root laufen? Das würde dann limits.conf entlasten, da diese Einstellungen nicht für Root-Prozesse gelten.
Ich finde auch die Anzahl von "dirty" pages recht hoch. Hast du einige Anwendungen darauf laufen mit sehr hohen I/O-Anforderungen?
Auf diesem Server läuft (zum Glück) recht wenig: momentan eigentlich nur Nagios (243 Hosts, 264 Services), Mrtg und MySql (650 MB an Datenbanken gesamt, hauptsächlich Netacct-Mysql). Für interne Zwecke (Servicemails von Nagios...) noch das Mailsystem (Postfix, Amavis), Apache und Named-Bind9.
Aufgefallen ist es, weil bei einer täglichen Auswertung in Mysql unzählige Fehlermeldungen kamen.
Außerdem hat er über den ganzen Tag verteilt noch folgende Prozesse aus dem Speicher geschossen: mysqld (33 Male), sh (1), amavisd (81), httpd2-prefork (6), nagios (333)
Schau dir auch mal das Paket "sar" an, dies zeigt auch die IO-Belastung. Aber wenn das Problem wirklich der Fehlende Speicher für Prozesse ist, dann gehe ich eher von einem überschrittenen Limit aus, wenn free immer noch freien Speicher zeigt. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Sandy Drobic wrote:
Günther Zisham wrote:
Auch der Rest der OOM-Meldungen bezieht sich auf Nagios. Schau doch mal nach, wieviele Prozesse und RAM Nagios in Anspruch nimmt und was die gesetzten Limits in /etc/security/limits.conf sind. Diese Datei habe ich noch nie verwendet, sie ist bis auf ein paar Kommentare leer.
Dann sollten die Defaults gelten. Ich weiss nicht, ob diese für deinen Fall ausreichen.
Was sagt denn "ulimit -a"? -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Sandy Drobic schrieb:
Was sagt denn "ulimit -a"?
# ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited file size (blocks, -f) unlimited pending signals (-i) 61440 max locked memory (kbytes, -l) 32 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) 61440 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited (habe dabei nichts bewußt verändert) -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Günther Zisham wrote:
Sandy Drobic schrieb:
Was sagt denn "ulimit -a"?
# ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited file size (blocks, -f) unlimited pending signals (-i) 61440 max locked memory (kbytes, -l) 32 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) 61440 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited
(habe dabei nichts bewußt verändert)
Hm, welcher Kernel ist installiert? Bei 6 GB RAM vermutlich der Big-SMP? Bei meiner alten Maschine hier ist es # uname -r 2.6.13-15.15-smp # ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited file size (blocks, -f) unlimited max locked memory (kbytes, -l) 32 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 stack size (kbytes, -s) unlimited cpu time (seconds, -t) unlimited max user processes (-u) 4096 virtual memory (kbytes, -v) unlimited Das deutet schon darauf hin, dass einiges für viel RAM konfiguriert wurde. Mache mal regelmäßige Schnappschüssen von "cat /proc/meminfo", bis das System anfängt, Prozesse abzuschießen. Das würde mich interessieren. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Sandy Drobic schrieb:
Günther Zisham wrote:
Was sagt denn "ulimit -a"? # ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited file size (blocks, -f) unlimited
Sandy Drobic schrieb: pending signals (-i) 61440 max locked memory (kbytes, -l) 32 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) 61440 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited
(habe dabei nichts bewußt verändert)
Hm, welcher Kernel ist installiert? Bei 6 GB RAM vermutlich der Big-SMP?
Bei meiner alten Maschine hier ist es
# uname -r 2.6.13-15.15-smp
# uname -r 2.6.20.4-gz1 (Vanilla-Kernel, relativ patch-frei, nur ein ipmi-Patch drinnen) von den Kernel-Configs her im groben den Suse-Big-SMP als Vorbild genommen. Subarchitecture Type: Generic architecture (Summit, bigsmp, ES7000, default) Processor family: Core 2/newer Xeon Maximum number of CPUs: 16 SMT (Hyperthreading) scheduler support: ja Multi-core scheduler support: ja Preemption Model: No Forced Preemption (Server) High Memory Support: 64GB Memory Model: Flat Memory Timer frequency: 250 HZ
# ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited file size (blocks, -f) unlimited max locked memory (kbytes, -l) 32 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 stack size (kbytes, -s) unlimited cpu time (seconds, -t) unlimited max user processes (-u) 4096 virtual memory (kbytes, -v) unlimited
Das deutet schon darauf hin, dass einiges für viel RAM konfiguriert wurde.
Mache mal regelmäßige Schnappschüssen von "cat /proc/meminfo", bis das System anfängt, Prozesse abzuschießen. Das würde mich interessieren.
das Mitprotokollieren habe ich jetzt eingeschaltet, 2 x pro Stunde wird es in eine Datei geschrieben (mit Datum). momentan: # cat /proc/meminfo MemTotal: 6220296 kB MemFree: 722720 kB Buffers: 291368 kB Cached: 4606804 kB SwapCached: 84 kB Active: 1370664 kB Inactive: 3804792 kB HighTotal: 5368332 kB HighFree: 499060 kB LowTotal: 851964 kB LowFree: 223660 kB SwapTotal: 2104472 kB SwapFree: 2104388 kB Dirty: 5076 kB Writeback: 0 kB AnonPages: 277776 kB Mapped: 46844 kB Slab: 300912 kB SReclaimable: 154368 kB SUnreclaim: 146544 kB PageTables: 3176 kB NFS_Unstable: 0 kB Bounce: 0 kB CommitLimit: 5214620 kB Committed_AS: 607832 kB VmallocTotal: 118776 kB VmallocUsed: 9232 kB VmallocChunk: 108988 kB (habe nur bei den Buffers mal etwas mehr zugewiesen, alles andere ist standard) Das letzte Mal lief der Server ca. 23 Tage, bis das Problem kam. Ich möchte zumindest gerüstet sein, wenn es das nächste Mal auftritt. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Günther Zisham schrieb:
Sandy Drobic schrieb:
Mache mal regelmäßige Schnappschüssen von "cat /proc/meminfo", bis das System anfängt, Prozesse abzuschießen. Das würde mich interessieren.
das Mitprotokollieren habe ich jetzt eingeschaltet, 2 x pro Stunde wird es in eine Datei geschrieben (mit Datum).
momentan: # cat /proc/meminfo MemTotal: 6220296 kB MemFree: 722720 kB Buffers: 291368 kB Cached: 4606804 kB SwapCached: 84 kB Active: 1370664 kB Inactive: 3804792 kB HighTotal: 5368332 kB HighFree: 499060 kB LowTotal: 851964 kB LowFree: 223660 kB SwapTotal: 2104472 kB SwapFree: 2104388 kB Dirty: 5076 kB Writeback: 0 kB AnonPages: 277776 kB Mapped: 46844 kB Slab: 300912 kB SReclaimable: 154368 kB SUnreclaim: 146544 kB PageTables: 3176 kB NFS_Unstable: 0 kB Bounce: 0 kB CommitLimit: 5214620 kB Committed_AS: 607832 kB VmallocTotal: 118776 kB VmallocUsed: 9232 kB VmallocChunk: 108988 kB
(habe nur bei den Buffers mal etwas mehr zugewiesen, alles andere ist standard)
Das letzte Mal lief der Server ca. 23 Tage, bis das Problem kam. Ich möchte zumindest gerüstet sein, wenn es das nächste Mal auftritt.
Inzwischen ist es leider wieder aufgetreten (am anderen der beiden Server) und ich habe mit obigem Befehl folgendes geloggt: (automatischer Neustart erfolgte gestern um 16:01) gestern gestern gestern heute 15:25:01 15:55:01 16:25:01 10:55:01 MemTotal: 6220296 kB 6220296 kB 6220296 kB 6220240 kB MemFree: 101764 kB 158448 kB 5767824 kB 4948812 kB Buffers: 4104 kB 1676 kB 15584 kB 373340 kB Cached: 366008 kB 384968 kB 143084 kB 460904 kB SwapCached: 3876 kB 3800 kB 0 kB 0 kB Active: 3444180 kB 3366868 kB 322600 kB 689176 kB Inactive: 1823608 kB 1840544 kB 86412 kB 489660 kB HighTotal: 5368332 kB 5368332 kB 5368332 kB 5368332 kB HighFree: 92040 kB 149856 kB 4964524 kB 4549992 kB LowTotal: 851964 kB 851964 kB 851964 kB 851908 kB LowFree: 9724 kB 8592 kB 803300 kB 398820 kB SwapTotal: 2104472 kB 2104472 kB 2104472 kB 2104472 kB SwapFree: 2092932 kB 2092932 kB 2104472 kB 2104472 kB Dirty: 7908 kB 8388 kB 432 kB 9060 kB Writeback: 0 kB 0 kB 0 kB 0 kB AnonPages: 372508 kB 373908 kB 250104 kB 344944 kB Mapped: 34516 kB 34944 kB 41096 kB 44948 kB Slab: 828040 kB 831260 kB 27312 kB 70868 kB SReclaimable: 80016 kB 79752 kB 7880 kB 24976 kB SUnreclaim: 748024 kB 751508 kB 19432 kB 45892 kB PageTables: 4100 kB 3992 kB 3024 kB 3812 kB NFS_Unstable: 0 kB 0 kB 0 kB 0 kB Bounce: 0 kB 0 kB 0 kB 0 kB CommitLimit: 5214620 kB 5214620 kB 5214620 kB 5214592 kB Committed_AS: 676472 kB 680348 kB 586468 kB 673080 kB VmallocTotal: 118776 kB 118776 kB 118776 kB 118776 kB VmallocUsed: 9376 kB 9376 kB 8848 kB 9452 kB VmallocChunk: 108396 kB 108396 kB 109184 kB 108296 kB Was mir auffällt (vor dem Neustart, verglichen mit dem "frischen" System nach dem Neustart): MemFree ist deutlich wenig Active ist recht hoch Inactive ist recht hoch HighFree ist recht wenig LowFree ist recht wenig Slab (?) ist recht hoch SUnreclaim (?) ist recht hoch Was hat das zu bedeuten? Wie kann ich die wahren Verursacher genau eingrenzen? Könnte es etwas damit zu tun haben? http://www.heise.de/newsticker/meldung/90241 gefiltert nach "Out of memory" aus /var/log/messages: May 25 14:00:37 s1 kernel: Out of memory: kill process 9472 (amavisd) score 14448 or a child May 25 14:00:37 s1 kernel: Out of memory: kill process 9689 (amavisd) score 14167 or a child May 25 14:15:44 s1 kernel: Out of memory: kill process 14229 (amavisd) score 14916 or a child May 25 14:15:44 s1 kernel: Out of memory: kill process 14757 (amavisd) score 14164 or a child May 25 14:16:23 s1 kernel: Out of memory: kill process 15906 (amavisd) score 13232 or a child May 25 14:25:48 s1 kernel: Out of memory: kill process 17571 (amavisd) score 14328 or a child May 25 14:55:50 s1 kernel: Out of memory: kill process 27314 (amavisd) score 14208 or a child May 25 14:55:50 s1 kernel: Out of memory: kill process 28327 (amavisd) score 13418 or a child May 25 15:10:56 s1 kernel: Out of memory: kill process 660 (amavisd) score 14490 or a child May 25 15:11:17 s1 kernel: Out of memory: kill process 1843 (amavisd) score 13951 or a child May 25 15:11:17 s1 kernel: Out of memory: kill process 1053 (amavisd) score 13695 or a child May 25 15:11:17 s1 kernel: Out of memory: kill process 1944 (amavisd) score 13006 or a child May 25 15:25:58 s1 kernel: Out of memory: kill process 5808 (amavisd) score 14142 or a child May 25 15:25:58 s1 kernel: Out of memory: kill process 5748 (amavisd) score 13950 or a child May 25 15:33:21 s1 kernel: Out of memory: kill process 8568 (amavisd) score 14386 or a child May 25 15:33:21 s1 kernel: Out of memory: kill process 9481 (amavisd) score 13232 or a child May 25 15:41:09 s1 kernel: Out of memory: kill process 11651 (amavisd) score 18401 or a child Auf jeden Fall habe ich heute um ca. 06:00 den Kernel auf beiden Server upgegraded: von vanilla-2.6.20.4 auf vanilla-2.6.21.3 (in der Hoffnung dass eventuelle Kernel-Memory-Leaks dadurch behoben sein könnten) Wie kann ich die Aufteilung des Speichers (6GB) besser machen? An welcher Stelle mangelt es ursächlich? Liebe Grüße, Günther -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (2)
-
Günther Zisham -
Sandy Drobic