Hallo Liste! Habe heute vormittag ca. 170 Mails (suse-linux Liste) per fetchmail von meinem Account abgeholt, das ganze ging relativ schnell! Dann allerdings dauerte es ca 1 Stunde bis alle von amavisd-new (antivir, ...) auf Viren und Spam getestet und am cyrus-IMAP einsortiert wurden. Laut log von /var/log/mail dauerte der Vorgang pro Mail von Übernahme durch postfix - weitergabe an amavis - Rückgabe an postfix und Übergabe an Cyrus ca. 20 sec. Mein Rechner ist etwas älter (2xPentium III 500MHz, 512MB RAM, Suse 9.2) Was sind eure Erfahrungen, ist die Dauer von 1 Std. für 170 Mails normal oder hab ich in amavisd irgenwo eine Bremse drinnen? Gruß Johannes -- GMX DSL = Maximale Leistung zum minimalen Preis! 2000 MB nur 2,99, Flatrate ab 4,99 Euro/Monat: http://www.gmx.net/de/go/dsl
Johannes Kaindlstorfer wrote:
Hallo Liste!
Habe heute vormittag ca. 170 Mails (suse-linux Liste) per fetchmail von meinem Account abgeholt, das ganze ging relativ schnell! Dann allerdings dauerte es ca 1 Stunde bis alle von amavisd-new (antivir, ...) auf Viren und Spam getestet und am cyrus-IMAP einsortiert wurden. Laut log von /var/log/mail dauerte der Vorgang pro Mail von Übernahme durch postfix - weitergabe an amavis - Rückgabe an postfix und Übergabe an Cyrus ca. 20 sec. Mein Rechner ist etwas älter (2xPentium III 500MHz, 512MB RAM, Suse 9.2) Was sind eure Erfahrungen, ist die Dauer von 1 Std. für 170 Mails normal oder hab ich in amavisd irgenwo eine Bremse drinnen?
Du hast mit ziemlicher Sicherheit eine Bremse im System. Ich habe praktisch genau deine Hardware (FSC Primergy 470 mit 2*500 MHz), mit genau der von dir beschriebenen Software, und ich komme ohne Amavis auf etwa 1-2 Sekunden pro Mail, wenn sie einzeln kommen und etwa 5 Sekunden, wenn Amavis bei kleinen Listen-Mails dazugenommen wird. Schau doch mal, wenn Postfix startet, ob dort während der ersten Mails oder direkt am Start im Log /var/log/mail etwas kommt wie: "warning: process /usr/lib/postfix/smtpd pid 30695 exit status 1" "warning: /usr/lib/postfix/smtpd: bad command startup -- throttling" Dann könnte so etwas passieren. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
[...]
Mein Rechner ist etwas älter (2xPentium III 500MHz, 512MB RAM, Suse 9.2) Was sind eure Erfahrungen, ist die Dauer von 1 Std. für 170 Mails normal oder hab ich in amavisd irgenwo eine Bremse drinnen?
Du hast mit ziemlicher Sicherheit eine Bremse im System. Ich habe praktisch genau deine Hardware (FSC Primergy 470 mit 2*500 MHz), mit genau der von dir beschriebenen Software, und ich komme ohne Amavis auf etwa 1-2 Sekunden pro Mail, wenn sie einzeln kommen und etwa 5 Sekunden, wenn Amavis bei kleinen Listen-Mails dazugenommen wird.
Schau doch mal, wenn Postfix startet, ob dort während der ersten Mails oder direkt am Start im Log /var/log/mail etwas kommt wie:
"warning: process /usr/lib/postfix/smtpd pid 30695 exit status 1" "warning: /usr/lib/postfix/smtpd: bad command startup -- throttling"
Also beim rcpostfix stop bzw. start kommen solche oder ähnliche Meldungen
nicht:
postfix/postfix-script: starting the Postfix mail system
postfix/master[5450]: daemon started -- version 2.1.5
das sind die einzigen beiden Meldungen beim postfix stop / start
Beim Versenden eines Mails kommen folgende Meldungen in /var/log/mail:
(Bei diesem Beispiel waren es 12 Sekunden!)
antivir = primary scanner
clamav = secondary scanner (bei deaktivierung ist es auch nicht schneller)
spamd läuft ebenfalls
Aug 10 20:45:30 hse01 postfix/smtpd[5719]: connect from
unknown[169.254.87.206]
Aug 10 20:45:30 hse01 postfix/smtpd[5719]: 72E2538461:
client=unknown[169.254.87.206]
Aug 10 20:45:30 hse01 postfix/cleanup[5650]: 72E2538461:
message-id=<42FA676F.6530.61B63F@localhost>
Aug 10 20:45:30 hse01 postfix/qmgr[5609]: 72E2538461:
from=
Dann könnte so etwas passieren.
Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
-- GMX DSL = Maximale Leistung zum minimalen Preis! 2000 MB nur 2,99, Flatrate ab 4,99 Euro/Monat: http://www.gmx.net/de/go/dsl
Johannes Kaindlstorfer wrote:
Beim Versenden eines Mails kommen folgende Meldungen in /var/log/mail: (Bei diesem Beispiel waren es 12 Sekunden!)
[...]
Aug 10 20:45:30 hse01 amavis[5806]: (05806-01) ESMTP::10024 /var/spool/amavis/tmp/amavis-20050810T204530-05806:
-> Received: SIZE=547 from hse01.h94.net ([127.0.0.1]) by localhost (hse01.h94.net [127.0.0.1]) (amavisd-new, port 10024) with ESMTP id 05806-01for ; Wed, 10 Aug 2005 20:45:30 +0200 (CEST) Aug 10 20:45:30 hse01 amavis[5806]: (05806-01) Checking: [169.254.87.206] -> Aug 10 20:45:42 hse01 amavis[5806]: (05806-01) SPAM-TAG, -> , No, hits=0.178 tagged_above=-999 required=4.5 tests=NO_REAL_NAME Aug 10 20:45:42 hse01 amavis[5806]: (05806-01) FWD via SMTP: [127.0.0.1]:10025 ->
Es ist jedenfalls ziemlich klar, dass Amavis die Spaßbremse ist. Du kannst in /etc/amavisd.conf testweise jeweils die Spamassassin oder Virenscanner ausschalten. Mache das mal, um festzustellen, ob es am Virenscanner oder Spamassassin liegt. Du kannst dir die Anzeige von Amavis auch mit rcamavis stop amavisd debug anzeigen lassen. Möglich ist es, dass SA eine sehr große Datenbank angelegt hat, die mal wieder von alten Einträgen befreit werden muss. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
[...]
Es ist jedenfalls ziemlich klar, dass Amavis die Spaßbremse ist. Du kannst in /etc/amavisd.conf testweise jeweils die Spamassassin oder Virenscanner ausschalten. Mache das mal, um festzustellen, ob es am Virenscanner oder Spamassassin liegt. Du kannst dir die Anzeige von Amavis auch mit rcamavis stop amavisd debug anzeigen lassen. Möglich ist es, dass SA eine sehr große Datenbank angelegt hat, die mal wieder von alten Einträgen befreit werden muss.
Ok, hab mir das mal angesehen: (Zeitangabe von connect bis remove) ausgeschalteter SPAM-Prüfung, eingeschaltete Virus-Prüfung: Mail ohne Testvirus: 1 Sekunde Mail mit Testvirus (inkl. Warnmails): 3 Sekunden eingeschaltete SPAM-Prüfung, ausgeschaltete Virus-Prüfung: Mail ohne Test-Spam: 11 Sekunden Mail mit Test-Spam (inkl. Warnmails): 12 Sekunden Wie kann man die Datenbank von SA von den alten Einträgen befreien? Vielleicht ist das die Lösung?
Sandy
Gruß Johannes
-- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
-- GMX DSL = Maximale Leistung zum minimalen Preis! 2000 MB nur 2,99, Flatrate ab 4,99 Euro/Monat: http://www.gmx.net/de/go/dsl
[...]
Es ist jedenfalls ziemlich klar, dass Amavis die Spaßbremse ist. Du
kannst
in /etc/amavisd.conf testweise jeweils die Spamassassin oder Virenscanner ausschalten. Mache das mal, um festzustellen, ob es am Virenscanner oder Spamassassin liegt. Du kannst dir die Anzeige von Amavis auch mit rcamavis stop amavisd debug anzeigen lassen. Möglich ist es, dass SA eine sehr große Datenbank angelegt hat, die mal wieder von alten Einträgen befreit werden muss.
Ok, hab mir das mal angesehen: (Zeitangabe von connect bis remove) ausgeschalteter SPAM-Prüfung, eingeschaltete Virus-Prüfung: Mail ohne Testvirus: 1 Sekunde Mail mit Testvirus (inkl. Warnmails): 3 Sekunden
eingeschaltete SPAM-Prüfung, ausgeschaltete Virus-Prüfung: Mail ohne Test-Spam: 11 Sekunden Mail mit Test-Spam (inkl. Warnmails): 12 Sekunden
Wie kann man die Datenbank von SA von den alten Einträgen befreien? Vielleicht ist das die Lösung?
Hat noch jemand eine Idee wie ich Spamassassin dazu bringe das ganze etwas schneller zu machen? Habe das tmp Verzeichniss von SA geleert, das Virenmailverzeichniss geleert,... Gruß Johannes
Sandy
Gruß Johannes
-- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
-- 5 GB Mailbox, 50 FreeSMS http://www.gmx.net/de/go/promail +++ GMX - die erste Adresse für Mail, Message, More +++
Johannes Kaindlstorfer wrote:
eingeschaltete SPAM-Prüfung, ausgeschaltete Virus-Prüfung: Mail ohne Test-Spam: 11 Sekunden Mail mit Test-Spam (inkl. Warnmails): 12 Sekunden
Wie kann man die Datenbank von SA von den alten Einträgen befreien? Vielleicht ist das die Lösung?
Hat noch jemand eine Idee wie ich Spamassassin dazu bringe das ganze etwas schneller zu machen? Habe das tmp Verzeichniss von SA geleert, das Virenmailverzeichniss geleert,...
Stelle erst einmal fest, ob es wirklich an den Datenbank-Abfragen liegt oder ob es vielleicht an einer langsamen DNS-Auflösung liegt, wenn die DNS-RBLs abgefragt werden. In der Hilfe zu sa-learn kannst du dir die Optionen ansehen, die sich mit der Bayes-Datenbank beschäftigen, insbesondere: --force-expire Force a database sync and expiry run --dump [all|data|magic] Display the contents of the Bayes database --clear Wipe out existing database --backup Backup, to STDOUT, existing database --restore <filename> Restore a database from filename Sichere mal die Datenbank, dann lösche sie, mache einen Test, und wenn es wirklich an der Bayes-Datenbank liegt, solltest du nur die neueren Spams zum Lernen exportieren und regelmäßig die älteren aus der Datenbank löschen. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
[...]
Hat noch jemand eine Idee wie ich Spamassassin dazu bringe das ganze etwas schneller zu machen? Habe das tmp Verzeichniss von SA geleert, das Virenmailverzeichniss geleert,...
Stelle erst einmal fest, ob es wirklich an den Datenbank-Abfragen liegt oder ob es vielleicht an einer langsamen DNS-Auflösung liegt, wenn die DNS-RBLs abgefragt werden.
In der Hilfe zu sa-learn kannst du dir die Optionen ansehen, die sich mit der Bayes-Datenbank beschäftigen, insbesondere:
--force-expire Force a database sync and expiry run --dump [all|data|magic] Display the contents of the Bayes database --clear Wipe out existing database --backup Backup, to STDOUT, existing database --restore <filename> Restore a database from filename
Sichere mal die Datenbank, dann lösche sie, mache einen Test, und wenn es wirklich an der Bayes-Datenbank liegt, solltest du nur die neueren Spams zum Lernen exportieren und regelmäßig die älteren aus der Datenbank löschen.
Werd ich mir mal näher anschauen danke, habe jetzt mit amvisd debug nochmal
mitgeschrieben:
Aug 11 08:47:33 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
query_keys: kaindjoh@h94.net, kaindjoh@, h94.net, .h94.net, .net,
.
Aug 11 08:47:33 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
lookup_hash(kaindjoh@h94.net), no matches
Aug 11 08:47:33 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
lookup (bypass_spam_checks) => undef, "kaindjoh@h94.net" does not
match
Aug 11 08:47:33 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
spam_scan: DSPAM not available, skipping it
Aug 11 08:47:33 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
calling SA parse, SA version 3.0.0
Aug 11 08:47:33 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
CALLING SA check
Aug 11 08:47:46 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
RETURNED FROM SA check, time left: 0 s
Aug 11 08:47:46 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
prolong_timer after spam_scan_SA: remaining time = 480 s
Aug 11 08:47:46 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
spam_scan: hits=0 tests=
Aug 11 08:47:46 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
prolong_timer after spam_scan: remaining time = 480 s
Aug 11 08:47:46 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
lookup: (scalar) matches, result="6.31"
Aug 11 08:47:46 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
lookup (spam_kill_level) => true, "kaindjoh@h94.net" matches,
result="6.31", matching_key="(constant:6.31)"
Aug 11 08:47:46 hse01.h94.net /usr/sbin/amavisd[6706]: (06706-03)
header: Received: from hse01.h94.net ([127.0.0.1])\n by localhost
(hse01.h94.net [127.0.0.1]) (amavisd-new, port 10024) with
ESMTP\n id 06706-03 for
Sandy
-- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
Hi, Johannes Kaindlstorfer scribbled on 10.08.2005 19:57:
Hallo Liste!
Habe heute vormittag ca. 170 Mails (suse-linux Liste) per fetchmail von meinem Account abgeholt, das ganze ging relativ schnell! Dann allerdings dauerte es ca 1 Stunde bis alle von amavisd-new (antivir, ...) auf Viren und Spam getestet und am cyrus-IMAP einsortiert wurden. Laut log von /var/log/mail dauerte der Vorgang pro Mail von Übernahme durch postfix - weitergabe an amavis - Rückgabe an postfix und Übergabe an Cyrus ca. 20 sec. Mein Rechner ist etwas älter (2xPentium III 500MHz, 512MB RAM, Suse 9.2) Was sind eure Erfahrungen, ist die Dauer von 1 Std. für 170 Mails normal oder hab ich in amavisd irgenwo eine Bremse drinnen?
Kann ich so nicht bestätigen:
suse92:/home/torsten # grep 38623100D8B9 /var/log/mail
Aug 10 02:29:56 suse92 postfix/smtpd[25286]: 38623100D8B9:
client=localhost[127.0.0.1]
Aug 10 02:29:56 suse92 postfix/cleanup[25314]: 38623100D8B9:
message-id=<200508092359.08019.debtorrent@yahoo.de>
Aug 10 02:29:56 suse92 postfix/qmgr[10413]: 38623100D8B9:
from=
Gruß Johannes
Gruß Torsten
[...]
Laut log von /var/log/mail dauerte der Vorgang pro Mail von Übernahme durch postfix - weitergabe an amavis - Rückgabe an postfix und Übergabe an Cyrus ca. 20 sec. Mein Rechner ist etwas älter (2xPentium III 500MHz, 512MB RAM, Suse 9.2) Was sind eure Erfahrungen, ist die Dauer von 1 Std. für 170 Mails normal oder hab ich in amavisd irgenwo eine Bremse drinnen?
Kann ich so nicht bestätigen: suse92:/home/torsten # grep 38623100D8B9 /var/log/mail Aug 10 02:29:56 suse92 postfix/smtpd[25286]: 38623100D8B9: client=localhost[127.0.0.1] Aug 10 02:29:56 suse92 postfix/cleanup[25314]: 38623100D8B9: message-id=<200508092359.08019.debtorrent@yahoo.de> Aug 10 02:29:56 suse92 postfix/qmgr[10413]: 38623100D8B9: from=
, size=5307, nrcpt=1 (queue active) Aug 10 02:29:56 suse92 postfix/smtp[24202]: 2271210025DC: to= , relay=127.0.0.1[127.0.0.1], delay=351, status=sent (250 2.6.0 Ok, id=25225-10, from MTA([127.0.0.1]:10025): 250 Ok: queued as 38623100D8B9) Aug 10 02:29:56 suse92 postfix/pipe[25288]: 38623100D8B9: to= , relay=cyrus, delay=0, status=sent (mail.xxx.dyndns.org) Aug 10 02:29:56 suse92 postfix/qmgr[10413]: 38623100D8B9: removed suse92:/home/torsten # (Wenn Du denn diese Angaben meinst ... bei gesamt ~300 abgerufenen Emails .. laut fetchmail.log)
Ich seh aber keine Prüfung durch amavis? Ohne amavis läufts bei mir auch ruckzuck! [...]
Gruß Torsten
Gruß Johannes -- 5 GB Mailbox, 50 FreeSMS http://www.gmx.net/de/go/promail +++ GMX - die erste Adresse für Mail, Message, More +++
Johannes Kaindlstorfer scribbled on 10.08.2005 20:55: [...]
Ich seh aber keine Prüfung durch amavis? Ohne amavis läufts bei mir auch ruckzuck!
Ups ... die ging unter (SORRY!):
Aug 10 02:29:56 suse92 amavis[25225]: (25225-10) Passed CLEAN,
[213.165.64.20]
Torsten Ermlich wrote:
Ich seh aber keine Prüfung durch amavis? Ohne amavis läufts bei mir auch ruckzuck!
Ups ... die ging unter (SORRY!): Aug 10 02:29:56 suse92 amavis[25225]: (25225-10) Passed CLEAN, [213.165.64.20]
, Message-ID: <200508092359.08019.debtorrent@yahoo.de>, mail_id: 7SORxelgKhtu, Hits: -2.562, 21149 ms
Trügen mich meine kleinen Schweinsäuglein, oder steht der letzte Eintrag DOCH für 21 Sekunden?!?
Als Scanner laufen AntiVir, ClamAv & f-prot
System: Athlon XP2200+ mit 512 MB RAM
Für so ein System sollte das nicht länger als 3-4 Sekunden dauern. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
Sandy Drobic scribbled on 10.08.2005 21:05:
Torsten Ermlich wrote:
[...]
Trügen mich meine kleinen Schweinsäuglein, oder steht der letzte Eintrag DOCH für 21 Sekunden?!?
Ich kenne Deine Augen nicht ... ;) Bin allerdings von dem Zeitstempel der Logdatei ausgegangen, nicht von der ms-Angabe (die habe ich, um ehrlich zu sein, gar nicht beachtet). Da fetchmail die Emails abruft, an amavisd-new weitergibt, wiederum entgegen nimmt und dann an cyrus zur finalen Zustellung abgibt, habe ich mich nur an dem Zeitstempel dieser Aktionen orientiert ...
Als Scanner laufen AntiVir, ClamAv & f-prot
System: Athlon XP2200+ mit 512 MB RAM
Für so ein System sollte das nicht länger als 3-4 Sekunden dauern.
Sandy
Gruß Torsten
Torsten Ermlich wrote:
Trügen mich meine kleinen Schweinsäuglein, oder steht der letzte Eintrag DOCH für 21 Sekunden?!?
Ich kenne Deine Augen nicht ... ;) Bin allerdings von dem Zeitstempel der Logdatei ausgegangen, nicht von der ms-Angabe (die habe ich, um ehrlich zu sein, gar nicht beachtet). Da fetchmail die Emails abruft, an amavisd-new weitergibt, wiederum entgegen nimmt und dann an cyrus zur finalen Zustellung abgibt, habe ich mich nur an dem Zeitstempel dieser Aktionen orientiert ...
Na ja, da du den Logeintrag ohne jeden anderen Zusammenhang in der Mail zitiert hast, hätte ich entweder mir dir Mühe machen müssen, den Thread aufzurippeln, bis ich die restlichen Angaben finde und dann prüfen, ob es überhaupt zusammenpasst, oder eben mich auf meine Schweinsäuglein verlassen und nachfragen. (^-^) Weiss bis jetzt noch nicht, wie lange es denn nun gedauert hat... Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply (@) japantest (.) homelinux (.) com
participants (3)
-
Johannes Kaindlstorfer
-
Sandy Drobic
-
Torsten Ermlich