Hallo Liste, meine Kollegen schockieren /var/log/messages, denen einige Tage fehlen nicht. Mich schon. Gibt es Situationen, in denen ein Linuxrechner es wirklich nicht hinkriegt, seine üblichen Meldungen in die messages zu schreiben? Dieser Rechner läuft rund um die Uhr und eigentlich sollte er immer mal wieder ein Lebenszeichen in sein Tagebuch kritzeln (bildlich gesprochen). Hin und wieder kommt es vor, daß er so ausgelastet ist, daß man überhaupt nicht mehr auf ihn drauf kommt. Dann hilft nur ein Reboot. Dieser Ursache würde ich gerne auf den Grund gehen. Würde es Sinn machen, cron zu beauftragen, mir immer mal wieder die /var/log/messages zu zippen und per mail an einen anderen Rechner zu senden? Oder gibt es für so etwas ein noch besseres Tool? Helga -- ## Content Developer OpenOffice.org: lang/DE ## Office-Suite für Linux, Mac, Windows -- http://de.openoffice.org/ ## Werkstatt & Information zu OpenSource -- http://www.eschkitai.de/ ## Etikette, nein Danke? -- http://www.suse-etikette.de.vu/
Am Dienstag, 18. November 2003 23:15 schrieb Helga Fischer:
Hallo Liste,
meine Kollegen schockieren /var/log/messages, denen einige Tage fehlen nicht. Mich schon.
Gibt es Situationen, in denen ein Linuxrechner es wirklich nicht hinkriegt, seine üblichen Meldungen in die messages zu schreiben? Dieser Rechner läuft rund um die Uhr und eigentlich sollte er immer mal wieder ein Lebenszeichen in sein Tagebuch kritzeln (bildlich gesprochen). Hin und wieder kommt es vor, daß er so ausgelastet ist, daß man überhaupt nicht mehr auf ihn drauf kommt. Dann hilft nur ein Reboot. Dieser Ursache würde ich gerne auf den Grund gehen.
normalerweise schreibt alleine der Cron unter Suse regelmäßig Einträge: --- Schnipp --- Nov 18 21:49:52 Thor -- MARK -- Nov 18 21:59:00 Thor /USR/SBIN/CRON[5400]: (root) CMD ( rm -f /var/spool/cron/ lastrun/cron.hourly) Nov 18 22:09:51 Thor -- MARK -- Nov 18 22:29:51 Thor -- MARK -- Nov 18 22:49:51 Thor -- MARK -- Nov 18 22:59:00 Thor /USR/SBIN/CRON[5616]: (root) CMD ( rm -f /var/spool/cron/ lastrun/cron.hourly) Nov 18 23:09:50 Thor -- MARK -- Nov 18 23:29:50 Thor -- MARK -- --- Schnapp --- Wenn der Server so ausgelastet ist, das nichteinmal mehr der Syslog Prozessorzeit erhält irgendwelche Einträge zu schreiben, dann sollte man ernsthaft die Prozesse prüfen, ob da nicht jemand einen Prozess mit Nice -19 anstartet, unwahrscheinlich aber man weiss ja nie.
Würde es Sinn machen, cron zu beauftragen, mir immer mal wieder die /var/log/messages zu zippen und per mail an einen anderen Rechner zu senden? Oder gibt es für so etwas ein noch besseres Tool?
Macht schon Sinn wenn man die Einträge einsehen will, wenn aber der Server ausgelastet ist, dann wird man sie wohl nicht erhalten. Ich würde lieber einen permanenten Tail über ssh auf einen anderen Rechner ausgeben: ssh root@thor tail -f /var/log/messages dieses kann auch ohne follow -f als Cronjob auf einem zweiten Rechner ausgeführt werden, die Ausgaben kann man sich dann ja als lokale Mail zusenden lassen. Auf der zu überwachenden Maschine reicht dann ein kleiner Cronjob wie: logger Ichlebenoch den könnte man aber auch über ssh setzen :) Alternativ kann man noch über den Einsatz von Nagios oder BigSister nachdenken wenn schon keine allgemeine Überwachung exisitiert. Gruß Rafael -- www.pinguin-and-knights.org 2003 by Lontro
Rafael Kolless, Dienstag, 18. November 2003 23:51:
--- Schnipp --- Nov 18 21:49:52 Thor -- MARK -- Nov 18 21:59:00 Thor /USR/SBIN/CRON[5400]: (root) CMD ( rm -f /var/spool/cron/ lastrun/cron.hourly) Nov 18 22:09:51 Thor -- MARK -- Nov 18 22:29:51 Thor -- MARK -- Nov 18 22:49:51 Thor -- MARK -- Nov 18 22:59:00 Thor /USR/SBIN/CRON[5616]: (root) CMD ( rm -f /var/spool/cron/ lastrun/cron.hourly) Nov 18 23:09:50 Thor -- MARK -- Nov 18 23:29:50 Thor -- MARK -- --- Schnapp ---
Dein Pinguin langweilt sich aber ziemlich... Du solltest ihm was zu tun geben.
Wenn der Server so ausgelastet ist, das nichteinmal mehr der Syslog Prozessorzeit erhält irgendwelche Einträge zu schreiben, dann sollte man ernsthaft die Prozesse prüfen, ob da nicht jemand einen Prozess mit Nice -19 anstartet, unwahrscheinlich aber man weiss ja nie.
Naja, könnte ein cronjob sein, der Amok läuft. Hatte ich schon hier und da mal, weiß aber nicht mehr, wie ich es beseitigt habe. Vielleicht würde es Helga helfen, mal alles aus cron.daily/weekly/hourly rauszuholen und zu gucken, ob das dann immer noch passiert. -- Andreas Feile www.feile.net
Am Di, den 18.11.2003 schrieb Helga Fischer um 23:15:
Hallo Liste,
meine Kollegen schockieren /var/log/messages, denen einige Tage fehlen nicht. Mich schon.
Gibt es Situationen, in denen ein Linuxrechner es wirklich nicht hinkriegt, seine üblichen Meldungen in die messages zu schreiben? Dieser Rechner läuft rund um die Uhr und eigentlich sollte er immer mal wieder ein Lebenszeichen in sein Tagebuch kritzeln (bildlich gesprochen). Hin und wieder kommt es vor, daß er so ausgelastet ist, daß man überhaupt nicht mehr auf ihn drauf kommt. Dann hilft nur ein Reboot. Dieser Ursache würde ich gerne auf den Grund gehen.
Würde es Sinn machen, cron zu beauftragen, mir immer mal wieder die /var/log/messages zu zippen und per mail an einen anderen Rechner zu senden? Oder gibt es für so etwas ein noch besseres Tool?
Also zippen und versenden bringt ja noch mehr Last auf die Kiste. Du kannst aber Deine Syslogeinträge direkt auf nen Logserver schieben. Also auf dem Host einfach in der /etc/syslog.conf eintragen: *.* @logserver Auf dem Logserver musst Du den syslogd natürlich auch so einstellen das er die Nachriten annimmt. Wie das weis ich nun auch nicht aus dem Kopf. man syslogd hilft sicherlich :-) Wenn Du msyslog verwendest kannst Du sogar in eine MySQL DB loggen lassen. ;-) Gruss Manuel
Hallo Helga, On Tue, Nov 18, 2003 at 11:15:40PM +0100, Helga Fischer wrote:
meine Kollegen schockieren /var/log/messages, denen einige Tage fehlen nicht. Mich schon.
mich auch :)
Gibt es Situationen, in denen ein Linuxrechner es wirklich nicht hinkriegt, seine üblichen Meldungen in die messages zu schreiben?
ja aber das sind Ausnahmen. Besonders dann wenn der syslogd in ein lokales /var/log/messages schreibt. Evtl. mal einen USB-Stick oder eine weitere Platte reinhängen auf die nur logs geschrieben werden.
Dieser Rechner läuft rund um die Uhr und eigentlich sollte er immer mal wieder ein Lebenszeichen in sein Tagebuch kritzeln (bildlich gesprochen).
man 8 syslogd <SNIP> -m interval The syslogd logs a mark timestamp regularly. The default interval between two -- MARK -- lines is 20 minutes. This can be changed with this option. Setting the interval to zero turns it off entirely. </SNAP>
Hin und wieder kommt es vor, daß er so ausgelastet ist, daß man überhaupt nicht mehr auf ihn drauf kommt. Dann hilft nur ein Reboot. Dieser Ursache würde ich gerne auf den Grund gehen.
Dazu solltest Du zuerst einmal feststellen wann sowas passiert. (alle 2min Marken ins Log) Dann ist natürlich eine ständig offene ssh shell (tail -f /var/log/messages ; exit) eine Möglichkeit. Ausserdem ist interessant was auf der Kiste läuft (laufen soll) Einträge in /etc/crontab /etc/cron.* Oder Cron mal ganz abschalten und Backups von Hand anstossen. atop ist ein nettes Programm das man für solche Zwecke (finden eines Fehlerhaften Prozesses) auch ganz gut einsetzen kann. http://freshmeat.net/projects/atop/?topic_id=862%2C152%2C253
Würde es Sinn machen, cron zu beauftragen, mir immer mal wieder die /var/log/messages zu zippen und per mail an einen anderen Rechner zu senden? Oder gibt es für so etwas ein noch besseres Tool?
dann macht es schon mehr Sinn den syslogd immer auf den anderen Rechner loggen zu lassen. Wenn er abschmiert bekommst du dann zwar keine Mail aber das ist auch alles was du an debugging Info bekommst. Evtl. findest du auch logcheck noch interessant. http://sourceforge.net/projects/sentrytools/ Nach dem reboot findet sich nichts in den Logs etwas das auf den Fehler hindeutet? awk '/(VM|(E|e)rror|ERROR|(F|f)(ail|ed))/ {print $0}' /var/log/messages Bzw. besser mal selber schauen. Ich hab da sicher noch ganz viel vergessen :) Da das ein Server ist tippe ich mal auf ein SCSI System. Wenn ja auf die Terminierung achten. Besonders externe CDROMs mit defektem Anschlusskabel/Terminierung sind sch****. Fehlender oder Fehlerhafter SWAP / zu wenig RAM kann evtl. auch so was verursachen. Dazu muss es aber schon sehr heiss hergehen. (P133 64MB RAM 124MB SWAP und ca 40 Win Clients die Squid/Samba/Apache/ Postfix/DHCP/DNS/DSL nutzen bereitet keine Probleme) Auch mal ab und zu mit cat /proc/interrupts schauen ob sich dort bei ideX viel tut. War in grauer Vorzeit mal ein Problem mit einer defekten Platte das sich vor dem Absturz immer so ankündigte. (ohne Meldung in /var/log/messages) Wo steht der Server eigentlich? Kann den die Putzfrau treten? Oder mal mit dem Staubsauger überfahren? Denen fallen ab und an Gemeinheiten ein auf die ein Normalsterblicher nie kommen würde. :\ Greetings Daniel PS: Ich geh mal davon aus das ist immernoch dein altes Sorgenkind :) Backup und ein Trustix/Debian oder von mir aus auch ne SuSE Minimal Installation drauf. Dann weisst du was Sache ist :) Oder mal ein Knoppix als Ersatz benutzen (je nach Anwendung). -- Leider weiß ich nur, was ich will - aber nicht, was ich tue: -- Enrico Kunz auf suse-linux
Hallo Daniel, Am Mittwoch November 19 2003 01:58 schrieb Daniel Lord:
On Tue, Nov 18, 2003 at 11:15:40PM +0100, Helga Fischer wrote:
meine Kollegen schockieren /var/log/messages, denen einige Tage fehlen nicht. Mich schon.
mich auch :)
Beruhigend. [...]
Nach dem reboot findet sich nichts in den Logs etwas das auf den Fehler hindeutet?
Das ist ja gerade das gemeine: Das Log enthält eine Lücke von fünf Tagen, weiter geht es dann mit den Einträgen nach dem Reboot. Das teilt mir der syslogd mit. Aber alles, was davor war, ist weg.
Da das ein Server ist tippe ich mal auf ein SCSI System. Wenn ja auf die Terminierung achten. Besonders externe CDROMs mit defektem Anschlusskabel/Terminierung sind sch****.
Das scheint aber zu laufen. Sonst kämen die Fehler vielleicht öfter vor. Ich müßte nachgucken, aber der letzte Vorfall war so vor zehn Tagen.
Fehlender oder Fehlerhafter SWAP / zu wenig RAM kann evtl. auch so was verursachen. Dazu muss es aber schon sehr heiss hergehen. (P133 64MB RAM 124MB SWAP und ca 40 Win Clients die Squid/Samba/Apache/ Postfix/DHCP/DNS/DSL nutzen bereitet keine Probleme)
Die Kiste hat zwei GHz an Proz, Platte ist auch ausreichend dimensioniert. RAM sollte auch genug da sein, ich klappere die Daten mal ab.
Auch mal ab und zu mit cat /proc/interrupts schauen ob sich dort bei ideX viel tut. War in grauer Vorzeit mal ein Problem mit einer defekten Platte das sich vor dem Absturz immer so ankündigte. (ohne Meldung in /var/log/messages)
Ah, interessant.
Wo steht der Server eigentlich? Kann den die Putzfrau treten? Oder mal mit dem Staubsauger überfahren? Denen fallen ab und an Gemeinheiten ein auf die ein Normalsterblicher nie kommen würde. :\
Werde ich mal nachfragen.
Greetings Daniel
PS: Ich geh mal davon aus das ist immernoch dein altes Sorgenkind
Yup, gut geraten. Ist immer noch die gleiche Kiste. Alles andere, das mit der Geschichte zusammenhängt oder zusammenhängen könnte, ist nicht so sehr listenfähig.
:) Backup und ein Trustix/Debian oder von mir aus auch ne SuSE Minimal Installation drauf. Dann weisst du was Sache ist :) Oder mal ein Knoppix als Ersatz benutzen (je nach Anwendung).
Würde ich ja so gerne tun... Helga -- ## Content Developer OpenOffice.org: lang/DE ## Office-Suite für Linux, Mac, Windows -- http://de.openoffice.org/ ## Werkstatt & Information zu OpenSource -- http://www.eschkitai.de/ ## Etikette, nein Danke? -- http://www.suse-etikette.de.vu/
Hallo Helga, Am Tue, 18 Nov 2003, Helga Fischer schrieb:
meine Kollegen schockieren /var/log/messages, denen einige Tage fehlen nicht. Mich schon.
Gut so.
Gibt es Situationen, in denen ein Linuxrechner es wirklich nicht hinkriegt, seine üblichen Meldungen in die messages zu schreiben?
Theoretisch(!) ja. Praktisch IMO nein. Denn dann steckt wohl eher der Wurm(sic!) so tief im Gebaelk, dass man das "Haus" besser abreissen sollte.
Dieser Rechner läuft rund um die Uhr und eigentlich sollte er immer mal wieder ein Lebenszeichen in sein Tagebuch kritzeln (bildlich gesprochen). Hin und wieder kommt es vor, daß er so ausgelastet ist, daß man überhaupt nicht mehr auf ihn drauf kommt. Dann hilft nur ein Reboot. Dieser Ursache würde ich gerne auf den Grund gehen.
s.u.
Würde es Sinn machen, cron zu beauftragen, mir immer mal wieder die /var/log/messages zu zippen und per mail an einen anderen Rechner zu senden?
IMO nein. Bei der Kiste scheint mir Hopfen und Malz verloren zu sein.
Oder gibt es für so etwas ein noch besseres Tool?
Wenn es eine SuSE ist, dann gibt's so einen cronjob schon. Und auch bei anderen Linuxen gibt's sicher sowas. Anders formuliert: An deiner Stelle (ich erinnere mich an den sehr wahrscheinlichen "Befall" mit Rootkits o.ae.) wuerde ich den/die Server erstmal komplett plaetten (dd if=/dev/zero (!)) und dann neu aufsetzen. Das ist vermutlich weniger Arbeit, als wenn du an den Folgen von irgendwelchen Rootkits etc. rumdoktorst. Wenn du Argumentationshilfe fuer @PHB brauchst wegen dem unvermeidlichen Ausfall der/des Servers brauchst, kannst du dich ja nochmal melden... Achso: die Backups wuerde ich auch als korrumpiert ansehen!!! Da wuerde ich nur einzelne, per Hand ueberpruefte Dateien (html etc.) einspielen. Ansonsten kann ich dir nur empfehlen dich an Experten zu wenden, die sich mit der Analyse von sowas auskennen. Stichwort "Computer Forensics". Der CCC koennte da z.B. ein Ansprechpartner sein. Just my 2¢... -dnh PS: Mein Beileid. Wenn du Hinweise brauchst wo du dich auskotzen kannst, -> PM ;) -- A funny symbol that I can't read has just been input. Continue, and I'll forget that it ever happened. -- a TeX message
Moin, Am Di, den 18.11.2003 schrieb Helga Fischer um 23:15:
Hallo Liste,
meine Kollegen schockieren /var/log/messages, denen einige Tage fehlen nicht. Mich schon.
Stell doch die Uhr zurück. AUA. :-) Im Ernst: syslog über Netz hat man dir ja schon angeraten. Von deiner "zip"-Idee halte ich nix, denn wenn du ein Lastproblem hast, würdest du es a) verschärfen und b) sowieso nix vernünftiges erhalten. Mir fallen ein paar Sachen ein: - Gibt es einen Prozess, der Logfiles handled, z.B. sie archiviert/löscht/kürzt, ohne den Daemon neu zu starten? Evtl. eine Fehlfunktion von logrotate oder etwas ähnliches. - Eventuell gibt es Plattenfehler, und die Partition ist als remount readonly eingestellt - dann kann natürlich auch syslofd nix mehr schreiben - Hast du mal top gestartet, das Intervall auf 0.5 Sekunden gestellt (Ich glaube mit 's', und ja, er nimmt auch Kommazahlen kleiner 1)? Dann kannst du im Falle eines Hängers zur Kiste flitzen. top wird zwar, wie alles andere auch, "hängen", aber vielleicht zeigt die letzte Anzeige ja was sinnvolles. Hint: Powersaving und Screenblanking deaktivieren, die beste Anzeige nutzt nix in Schwarz-auf-schwarz. :-) - Ramtest? - Nicht destruktiver Platten-Lesetest? - Ein kleines Script im Hintergrund, welches Auslastung, Prozesse und Speicher mitloggt? Achtung: Nicht auf das verdächtige Medium, am besten über's Netz. - Kannst du Attacken übers Netz ausschliessen? Also prinzipiell korrekte, aber "anstrengende" Anfragen an apache, mysql,... und andere Arbeitstiere? - Bei mir immer erste Wahl bei Hängern: Scheiss-Netzwerkkarte. Mit Kingston-Karten habe ich diverse Suse-Kisten _angehalten_. (Nein, nicht abgeschossen: Sie wurden immer lahmer, bis sie standen, und dann ging nur noch Kaltstart) Ließ sich mit jedem Protokoll (ftp, smp, atalk,...) durch den Transfer großer Dateien auslösen. Beide Richtungen probieren! Gruß, Ratti -- -o) fontlinge | Font management for Linux | Schriftenverwaltung in Linux /\\ http://freshmeat.net/projects/fontlinge/ _\_V http://www.gesindel.de https://sourceforge.net/projects/fontlinge/
participants (7)
-
Andreas Feile -
Daniel Lord -
David Haller -
Helga Fischer -
Joerg Rossdeutscher -
Manuel Jenne -
Rafael Kolless