logs lesen oder besser filtern - tool gesucht
Hallo Liste, ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr. Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen alle zeilen die z.B. von heute sind behalten alles was mit Error ist hervorheben usw Ich behelfe mir derzeit mit Excel, da es wenigstens nach Spalten sortieren kann, aber es muss doch irgendein Programm, oder Editor oder was auch immer geben der sowas kann? Solltet ihr was im Einsatz haben, dann immer mal her damit. Ciao Dirk p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Dirk Götte wrote:
Hallo Liste, ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr.
Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen alle zeilen die z.B. von heute sind behalten alles was mit Error ist hervorheben usw…
Da gibt es viele kleine Tools, notfalls kannst du auch ein kleines bash/Perl-Script darauf loslassen. Daneben gibt es Programme wie logwatch, logdigest etc. Was genau möchtest du denn analysieren? Vielleicht wäre es sinnvoller, die Programme, die im Augenblick nach /var/log/messages loggen, in eine eigene Datei zu loggen.
Ich behelfe mir derzeit mit Excel, da es wenigstens nach Spalten sortieren kann, aber es muss doch irgendein Programm, oder Editor oder was auch immer geben der sowas kann?
Solltet ihr was im Einsatz haben, dann immer mal her damit.
Ciao Dirk
p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft.
Mit windows kann ich nicht helfen. Das einzige, was ich für Windows nativ kenne, ist www.swiftgear.com: Large Textfile Viewer. Wenn du jedoch etwas Perl kannst, wird das wohl die portabelste und eleganteste Lösung sein. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Besten Dank schonmal für die schnelle Antwort. Ich habe einen IO-Error gehabt, er hat plötzlich in einige Verzeichnisse nicht mehr geschrieben. Da suche ich also in den messages nach einer Meldung die mir dazu näheres erklären kann. Im betreffenden Zeitraum sind ca. 22000 Logeinträge in der Messages gewesen, die ich unmöglich alle Lesen kann und will. Einige davon sind von Kollegen geschriebene Programme, die Ihre Stati hier abgeben. Sind aber alle okay, und ich würde diese löschen um es übersichtlicher zu machen. Perl iss leider so überhaupt nicht meine Welt :( Aber diese beiden Tools logwatch und logdigest werde ich mir mal genauer ansehen :) thx nochmal -----Ursprüngliche Nachricht----- Von: Sandy Drobic [mailto:suse-linux@japantest.homelinux.com] Gesendet: Freitag, 2. Februar 2007 13:32 An: 'OpenSuse Mailliste' Betreff: Re: logs lesen oder besser filtern - tool gesucht Dirk Götte wrote:
Hallo Liste, ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr.
Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen alle zeilen die z.B. von heute sind behalten alles was mit Error ist hervorheben usw…
Da gibt es viele kleine Tools, notfalls kannst du auch ein kleines bash/Perl-Script darauf loslassen. Daneben gibt es Programme wie logwatch, logdigest etc. Was genau möchtest du denn analysieren? Vielleicht wäre es sinnvoller, die Programme, die im Augenblick nach /var/log/messages loggen, in eine eigene Datei zu loggen.
Ich behelfe mir derzeit mit Excel, da es wenigstens nach Spalten sortieren kann, aber es muss doch irgendein Programm, oder Editor oder was auch immer geben der sowas kann?
Solltet ihr was im Einsatz haben, dann immer mal her damit.
Ciao Dirk
p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft.
Mit windows kann ich nicht helfen. Das einzige, was ich für Windows nativ kenne, ist www.swiftgear.com: Large Textfile Viewer. Wenn du jedoch etwas Perl kannst, wird das wohl die portabelste und eleganteste Lösung sein. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Dirk Götte schrieb:
Hallo Liste, ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr.
hmm ..bei mit tut das Logdigest.. zwar erst am nächsten Tag und per Mail aber ich hab' frühmorgens immer die Übersicht über den vergangenen Tag das Zeitintervall kann man ändern, die Auswertung musst man selbst überlegen/ändern.. ist als Standardtool sowie mit bei...
Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen
per RegExp definieren
alle zeilen die z.B. von heute sind behalten
sihe eingestelltes Intervall
alles was mit Error ist hervorheben usw…
nöööö steht doch error drin ..
Ich behelfe mir derzeit mit Excel, da es wenigstens nach Spalten sortieren kann, aber es muss doch irgendein Programm, oder Editor oder was auch immer geben der sowas kann?
bleiben eh nur 20..100kB übrig (vorsortiert).. der reguläre Kram ist schon weg...
Solltet ihr was im Einsatz haben, dann immer mal her damit.
Ciao Dirk
p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft.
natürlich nicht auf/unter Windows... aber alles andere kann man auf einen Logserver schicken!
Gruss Fred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Danke für den Tip Also die Idee mit dem Logserver hatte ich auch schonmal, ist dann aber wegen zuviel Freizeit gestoppt worden. Logwatch kann ich nirgendwo downloaden, da bei uns auch der Port 81 zu ist, also wohl Heimarbeit angesagt. Bezüglich logdigest bin ich gerade dabei mich einzulesen und mal zu gucken was auf den Systemen möglich ist. Wir haben ja Linuxe von SLES 8 an, und die anderen OS. Aber diese Ideen helfen mir immer noch nicht, bezüglich der nun mal gerade vorliegenden Logdatei mit mehr als 300.000 Zeilen. Ich habe sie ja Reduziert auf die Zeit die in Frage kommt, und dann sinds nur noch 22.000 Zeilen :) Habe aber leider trotz mehrstündiger Lesungen nix über den Fehler gefunden, da frage ich mich wie machen dass denn andere, die sich durch solche Dateien wurschteln müssen? thx und hoffentlich ein schönes Wochenende an euch alle! Dirk -----Ursprüngliche Nachricht----- Von: Fred Ockert [mailto:m.ockert@bss-services.de] Gesendet: Freitag, 2. Februar 2007 14:26 An: opensuse-de@opensuse.org Betreff: Re: logs lesen oder besser filtern - tool gesucht Dirk Götte schrieb:
Hallo Liste, ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr.
hmm ..bei mit tut das Logdigest.. zwar erst am nächsten Tag und per Mail aber ich hab' frühmorgens immer die Übersicht über den vergangenen Tag das Zeitintervall kann man ändern, die Auswertung musst man selbst überlegen/ändern.. ist als Standardtool sowie mit bei...
Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen
per RegExp definieren
alle zeilen die z.B. von heute sind behalten
sihe eingestelltes Intervall
alles was mit Error ist hervorheben usw
nöööö steht doch error drin ..
Ich behelfe mir derzeit mit Excel, da es wenigstens nach Spalten sortieren kann, aber es muss doch irgendein Programm, oder Editor oder was auch immer geben der sowas kann?
bleiben eh nur 20..100kB übrig (vorsortiert).. der reguläre Kram ist schon weg...
Solltet ihr was im Einsatz haben, dann immer mal her damit.
Ciao Dirk
p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft.
natürlich nicht auf/unter Windows... aber alles andere kann man auf einen Logserver schicken!
Gruss Fred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am Fri, 2 Feb 2007 13:24:14 +0100
schrieb Dirk Götte
Hallo Liste, ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr.
Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen alle zeilen die z.B. von heute sind behalten alles was mit Error ist hervorheben usw
Ich behelfe mir derzeit mit Excel, da es wenigstens nach Spalten sortieren kann, aber es muss doch irgendein Programm, oder Editor oder was auch immer geben der sowas kann?
Solltet ihr was im Einsatz haben, dann immer mal her damit.
Ciao Dirk
p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft.
Seit Jahren verwende ich auf unterschiedlichen Suse-Releases xlogmaster; in der Opensuse 10.2 derzeit das Paket xlogmaster-1.6.1-34 auf der OSS-Quelle. Man kann dort durch log. Ausdrücke Zeilen unterdrücken, farblich hervorheben u.a. Rudolf Rudolf -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Ah besten Dank,
damit komme ich dann doch endlich etwas weiter :)
Finde ich schon klasse, dass es sowas gibt.
Ciao und thx @ all
-----Ursprüngliche Nachricht-----
Von: Rudolf Kompf [mailto:Rudolf.Kompf@gmx.de]
Gesendet: Freitag, 2. Februar 2007 17:26
An: opensuse-de@opensuse.org
Betreff: Re: logs lesen oder besser filtern - tool gesucht
Am Fri, 2 Feb 2007 13:24:14 +0100
schrieb Dirk Götte
Hallo Liste, ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr.
Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen alle zeilen die z.B. von heute sind behalten alles was mit Error ist hervorheben usw
Ich behelfe mir derzeit mit Excel, da es wenigstens nach Spalten sortieren kann, aber es muss doch irgendein Programm, oder Editor oder was auch immer geben der sowas kann?
Solltet ihr was im Einsatz haben, dann immer mal her damit.
Ciao Dirk
p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft.
Seit Jahren verwende ich auf unterschiedlichen Suse-Releases xlogmaster; in der Opensuse 10.2 derzeit das Paket xlogmaster-1.6.1-34 auf der OSS-Quelle. Man kann dort durch log. Ausdrücke Zeilen unterdrücken, farblich hervorheben u.a. Rudolf Rudolf -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
ich kämpfe hier teilweise mit riesigen log-dateien. /var/log/messages mit um die 250.000 Zeilen und mehr.
Gibt es ein Programm mit dem man einzelne Abschnitte filtern kann? Ich würde z.B. gerne alle zeilen die Sendmail enthalten rauswerfen
Mit syslog-ng (geht nicht mit syslog) die verschiedenen Programm in einzelne Dateien sortieren. Insbesondere Deine hauseigene Anwendung sollte ihr Zeugs nach localX loggen, das kannst Du dann auch mit syslog in eine eigene Datei packen.
alle zeilen die z.B. von heute sind behalten alles was mit Error ist hervorheben usw
Hochleistungs-Suchwerkzeuge verwenden, aka grep.
p.s. ein automatisches Tool scheidet solange aus, wie es nicht mindestens auf SuSE, Solaris, Reliant-Unix und Windows läuft.
Logserver. Oder den Offensichtlichen in diesem Punkt nicht-performanten Eintrag aus der Liste nehmen. Volker -- Volker Kuhlmann is list0570 with the domain in header http://volker.dnsalias.net/ Please do not CC list postings to me. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (5)
-
Dirk Götte -
Fred Ockert -
Rudolf Kompf -
Sandy Drobic -
Volker Kuhlmann