System läuft zwischendurch Amok

Hallo, in einem Netz bricht zwischendruch alles komplett zusammen. Die Switche werden regelrecht mit Paketen überflutet. Mittels OMD und check_mk habe ich jetzt einen Server ausgemacht der zum Zeitpunkt der Störung eine auffällig hohe CPU-Last zeigt. Passend finde ich in /var/log messages und warn reihenweise unten aufgeführte Einträge. Die Hardware ist jat 4 Jahre alt und läuft seit Jahren auch mit den gleichen Anwendungen/ Prozessen. Aus dem Bauch heraus würde ich sagen das System fängt an morsch zu werden und sollte auf neuere Hardware umziehen. Leider kann mein Monitoring nicht alle laufenden Prozesse permanent mitprüfen. Gibt es ein Tool das ich nutzen könnte um so raus zu bekommen welcher Prozess ggf. auf hohe Last geht indem ich alle Prozesse mitschreibe? Gruß system namesys:/var/log # cat /etc/SuSE-release openSUSE 11.0 (i586) VERSION = 11.0 namesys:/var/log # May 28 14:49:20 namesys kernel: printk: 536 messages suppressed. May 28 14:52:51 namesys kernel: The following is only an harmless informational message. May 28 14:52:51 namesys kernel: Unless you get a _continuous_flood_ of these messages it means May 28 14:52:51 namesys kernel: everything is working fine. Allocations from irqs cannot be May 28 14:52:51 namesys kernel: perfectly reliable and the kernel is designed to handle that. May 28 14:52:51 namesys kernel: kswapd0: page allocation failure. order:0, mode:0x20 May 28 14:52:51 namesys kernel: Pid: 20, comm: kswapd0 Tainted: P N 2.6.25.20-0.4-pae #1 May 28 14:52:51 namesys kernel: [<c01071d9>] dump_trace+0x63/0x227 May 28 14:52:51 namesys kernel: [<c0107c8a>] show_trace+0x15/0x29 May 28 14:52:51 namesys kernel: [<c02e3220>] dump_stack+0x5b/0x65 May 28 14:52:51 namesys kernel: [<c015f05b>] __alloc_pages+0x2de/0x2f5 May 28 14:52:51 namesys kernel: [<c0177602>] cache_alloc_refill+0x2b1/0x4bf May 28 14:52:51 namesys kernel: [<c017789a>] __kmalloc+0x8a/0xcf May 28 14:52:51 namesys kernel: [<c027d6c7>] __alloc_skb+0x4e/0xfc May 28 14:52:51 namesys kernel: [<c027e197>] __netdev_alloc_skb+0x17/0x34 May 28 14:52:51 namesys kernel: [<f919e61d>] tg3_poll+0x46d/0x907 [tg3] May 28 14:52:51 namesys kernel: [<c0280556>] net_rx_action+0xa6/0x18b May 28 14:52:51 namesys kernel: [<c012a119>] __do_softirq+0x79/0xe7 May 28 14:52:51 namesys kernel: [<c012a1cf>] do_softirq+0x48/0x57 May 28 14:52:51 namesys kernel: [<c012a2de>] irq_exit+0x38/0x6b May 28 14:52:51 namesys kernel: [<c0108311>] do_IRQ+0x76/0x89 May 28 14:52:51 namesys kernel: [<c0106a33>] common_interrupt+0x23/0x30 May 28 14:52:51 namesys kernel: [<c0188cfe>] d_kill+0x37/0x48 May 28 14:52:51 namesys kernel: [<c0188da5>] prune_one_dentry+0x96/0xa9 May 28 14:52:52 namesys kernel: [<c0188eb9>] prune_dcache+0x101/0x151 May 28 14:52:52 namesys kernel: [<c0188f1f>] shrink_dcache_memory+0x16/0x34 May 28 14:52:52 namesys kernel: [<c0162cb0>] shrink_slab+0xd8/0x132 May 28 14:52:52 namesys kernel: [<c01630a9>] kswapd+0x39f/0x4ba May 28 14:52:52 namesys kernel: [<c0135f6b>] kthread+0x3b/0x61 May 28 14:52:52 namesys kernel: [<c0106d37>] kernel_thread_helper+0x7/0x10 May 28 14:52:52 namesys kernel: ======================= May 28 14:52:52 namesys kernel: Mem-info: May 28 14:52:52 namesys kernel: DMA per-cpu: May 28 14:52:52 namesys kernel: CPU 0: hi: 0, btch: 1 usd: 0 May 28 14:52:52 namesys kernel: CPU 1: hi: 0, btch: 1 usd: 0 May 28 14:52:52 namesys kernel: Normal per-cpu: May 28 14:52:52 namesys kernel: CPU 0: hi: 186, btch: 31 usd: 174 May 28 14:52:52 namesys kernel: CPU 1: hi: 186, btch: 31 usd: 182 May 28 14:52:52 namesys kernel: HighMem per-cpu: May 28 14:52:52 namesys kernel: CPU 0: hi: 186, btch: 31 usd: 113 May 28 14:52:52 namesys kernel: CPU 1: hi: 186, btch: 31 usd: 76 May 28 14:52:52 namesys kernel: Active:528657 inactive:1076328 dirty:2674 writeback:0 unstable:0 May 28 14:52:52 namesys kernel: Active:528657 inactive:1076328 dirty:2674 writeback:0 unstable:0 May 28 14:52:52 namesys kernel: free:338734 slab:105508 mapped:276888 pagetables:1399 bounce:15 May 28 14:52:52 namesys kernel: DMA free:3520kB min:68kB low:84kB high:100kB active:4kB inactive:0kB present:16256kB pages_scanned:0 all_unreclaimable? no May 28 14:52:52 namesys kernel: lowmem_reserve[]: 0 873 9064 9064 May 28 14:52:52 namesys kernel: Normal free:1368kB min:3744kB low:4680kB high:5616kB active:90164kB inactive:312876kB present:894080kB pages_scanned:0 all_unreclaimable? no May 28 14:52:52 namesys kernel: lowmem_reserve[]: 0 0 65532 65532 May 28 14:52:52 namesys kernel: HighMem free:1350048kB min:512kB low:9300kB high:18092kB active:2024460kB inactive:3992436kB present:8388096kB pages_scanned:0 all_unreclaimable? no May 28 14:52:52 namesys kernel: lowmem_reserve[]: 0 0 0 0 May 28 14:52:52 namesys kernel: DMA: 368*4kB 0*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 1*2048kB 0*4096kB = 3520kB May 28 14:52:52 namesys kernel: Normal: 1*4kB 0*8kB 1*16kB 1*32kB 0*64kB 0*128kB 1*256kB 2*512kB 0*1024kB 0*2048kB 0*4096kB = 1332kB May 28 14:52:52 namesys kernel: HighMem: 0*4kB 1*8kB 3889*16kB 1679*32kB 98*64kB 12*128kB 2*256kB 706*512kB 284*1024kB 122*2048kB 79*4096kB = 1350008kB May 28 14:52:52 namesys kernel: 1569424 total pagecache pages May 28 14:52:52 namesys kernel: Swap cache: add 14, delete 0, find 0/0 May 28 14:52:52 namesys kernel: Free swap = 2104448kB May 28 14:52:52 namesys kernel: Total swap = 2104504kB May 28 14:52:52 namesys kernel: Free swap: 2104448kB May 28 14:52:52 namesys kernel: 2342912 pages of RAM May 28 14:52:52 namesys kernel: 2113536 pages of HIGHMEM May 28 14:52:52 namesys kernel: 284399 reserved pages May 28 14:52:52 namesys kernel: 1393585 pages shared May 28 14:52:52 namesys kernel: 14 pages swap cached May 28 14:52:52 namesys kernel: 2674 pages dirty May 28 14:52:52 namesys kernel: 0 pages writeback May 28 14:52:52 namesys kernel: 276888 pages mapped May 28 14:52:52 namesys kernel: 105508 pages slab May 28 14:52:52 namesys kernel: 1399 pages pagetables May 28 14:52:52 namesys kernel: rtc: lost 37 interrupts May 28 14:52:52 namesys kernel: The following is only an harmless informational message. May 28 14:52:52 namesys kernel: Unless you get a _continuous_flood_ of these messages it means May 28 14:52:52 namesys kernel: everything is working fine. Allocations from irqs cannot be May 28 14:52:52 namesys kernel: perfectly reliable and the kernel is designed to handle that. May 28 14:52:52 namesys kernel: kswapd0: page allocation failure. order:0, mode:0x20 May 28 14:52:52 namesys kernel: Pid: 20, comm: kswapd0 Tainted: P N -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo, Am Fri, 01 Jun 2012, Ralf Prengel schrieb:
top -b -d secs [-n iterations] [..]
Deine Netzwerkkarte hat evtl. nen Schuß bzw. der Treiber oder die Firmware nen Bug. # modinfo tg3 filename: /lib/modules/3.1.10-1.9-default/kernel/drivers/net/tg3.ko firmware: tigon/tg3_tso5.bin firmware: tigon/tg3_tso.bin firmware: tigon/tg3.bin version: 3.119 license: GPL description: Broadcom Tigon3 ethernet driver HTH, -dnh -- Ich weiß gar nicht, wie man das bei der FDP noch nennen soll. Das Hirn ist tot, aber die Ausscheidungsorgane funktionieren noch... -- Christoph Sieber -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org

Hallo, Am Fri, 01 Jun 2012, Ralf Prengel schrieb:
top -b -d secs [-n iterations] [..]
Deine Netzwerkkarte hat evtl. nen Schuß bzw. der Treiber oder die Firmware nen Bug. # modinfo tg3 filename: /lib/modules/3.1.10-1.9-default/kernel/drivers/net/tg3.ko firmware: tigon/tg3_tso5.bin firmware: tigon/tg3_tso.bin firmware: tigon/tg3.bin version: 3.119 license: GPL description: Broadcom Tigon3 ethernet driver HTH, -dnh -- Ich weiß gar nicht, wie man das bei der FDP noch nennen soll. Das Hirn ist tot, aber die Ausscheidungsorgane funktionieren noch... -- Christoph Sieber -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um den Listen Administrator zu erreichen, schicken Sie eine Mail an: opensuse-de+owner@opensuse.org
participants (2)
-
David Haller
-
Ralf Prengel