Hallo, wie baut man unter Linux einen Mailserver(pop3/smtp) mit >100K Postfächer/eMail-Adressen ? Als SMTP-Server würde ich gerne postfix einsetzen, und als pop3-Server UW-Imap/pop3. Für die Benutzerverwaltung könnte man ldap einsetzen. Was macht man aber mit den User-IDs ? Wer hat Vorschläge ? Hubert
Wen ich mich richtig erinnere kannst Du die Postfachgrösse bei Postfix einstellen und zwar am leichtesten über das Webmin Interface. Gruss, Igor
Am Montag, 8. Dezember 2003 21:49 schrieb Hubert Thyen:
wie baut man unter Linux einen Mailserver(pop3/smtp) mit >100K Postfächer/eMail-Adressen ? Als SMTP-Server würde ich gerne postfix einsetzen, und als pop3-Server UW-Imap/pop3. Für die Benutzerverwaltung könnte man ldap einsetzen. Was macht man aber mit den User-IDs ?
smtp = Postfix imap/pop3 = Cyrus-Imap Bei Cyrus brauchst Du keine lokalen User, also gibt es keine Probleme mit UserIds. -- Andreas
Geht das auch mit dem uw-imap ? Der ist ja wesentlich einfacher zu installieren. Hubert Am Montag, 8. Dezember 2003 22:01 schrieb Andreas Winkelmann:
Am Montag, 8. Dezember 2003 21:49 schrieb Hubert Thyen:
wie baut man unter Linux einen Mailserver(pop3/smtp) mit >100K Postfächer/eMail-Adressen ? Als SMTP-Server würde ich gerne postfix einsetzen, und als pop3-Server UW-Imap/pop3. Für die Benutzerverwaltung könnte man ldap einsetzen. Was macht man aber mit den User-IDs ?
smtp = Postfix imap/pop3 = Cyrus-Imap
Bei Cyrus brauchst Du keine lokalen User, also gibt es keine Probleme mit UserIds.
-- Andreas
Am Montag, 8. Dezember 2003 22:13 schrieb Hubert Thyen:
Geht das auch mit dem uw-imap ?
Würde ich nicht nehmen.
Der ist ja wesentlich einfacher zu installieren.
Ja, und das ist auch seine Daseinsberechtigung ;-) UW-IMAP ist so für die kleinen Installationen, Courier für die mitte und Cyrus-IMAP für die grossen. -- Andreas
On Monday 08 December 2003 21:49, Hubert Thyen wrote:
wie baut man unter Linux einen Mailserver(pop3/smtp) mit >100K Postfächer/eMail-Adressen ?
Die meisten Leute würden als Mailer dafür sendmail oder postfix einsetzen, und als POP/IMAP-Server den Cyrus Server. Ich weiß allerdings von einer Installation mit ca. 17 Millionen Postfächern, die als Mailer einen modifizierten exim einsetzt und die Headerzeilen der Mail in Oracle-Datenbanken speichert, während die Bodies und Attachments dann als Dateien in einem Dateisystem abgelegt werden. Die Details zu den POP/ IMAP-Servern sind noch ein wenig komplizierter... :-) Bentzerdaten liegen ebenfalls in LDAP-Datenbanken.
Was macht man aber mit den User-IDs ?
Man zählt sie durch. Oder was meinst Du? Kristian
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1 On Dienstag, 9. Dezember 2003 08:49, Kristian Köhntopp wrote:
On Monday 08 December 2003 21:49, Hubert Thyen wrote:
wie baut man unter Linux einen Mailserver(pop3/smtp) mit >100K Postfächer/eMail-Adressen ?
Die meisten Leute würden als Mailer dafür sendmail oder postfix einsetzen, und als POP/IMAP-Server den Cyrus Server.
Ich weiß allerdings von einer Installation mit ca. 17 Millionen Postfächern, die als Mailer einen modifizierten exim einsetzt und die Headerzeilen der Mail in Oracle-Datenbanken speichert, während die Bodies und Attachments dann als Dateien in einem Dateisystem abgelegt werden. Die Details zu den POP/ IMAP-Servern sind noch ein wenig komplizierter... :-)
Bentzerdaten liegen ebenfalls in LDAP-Datenbanken.
Was macht man aber mit den User-IDs ?
Man zählt sie durch. Oder was meinst Du?
Kristian
Ich habe hier einen Mailserver mit WebCyradm http://www.web-cyradm.org Basierend auf Debian-Woody Benutzt Cyrus,Postfix,Fetchmail,Mysql Mfg Matthias -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.2.2 (GNU/Linux) iD8DBQE/1YQS0im5L6LUG6IRAseLAKDAhqedW0ETSIMk26OuwsU/3OFkvACfdhIX qCJ14ISipJ/Qg8d8FaEHjPU= =xx7f -----END PGP SIGNATURE-----
Am Montag, 8. Dezember 2003 20:49 schrieb Hubert Thyen:
wie baut man unter Linux einen Mailserver(pop3/smtp) mit >100K Postfächer/eMail-Adressen ? Als SMTP-Server würde ich gerne postfix einsetzen, und als pop3-Server UW-Imap/pop3. Für die Benutzerverwaltung könnte man ldap einsetzen. Was macht man aber mit den User-IDs ?
sonst ggf. Qmail ? Unterstuetzt Pop3, Imap, ldap, mysql, oracle, weissweissich, bei Bedarf professioneller Support vorhanden. http://www.qmail.org/ http://www.inter7.com/ cu stonki -- www.stonki.de: the more I see, the more I know....... www.proftpd.de: Deutsche ProFTPD Dokumentation www.krename.net: Der Batch Renamer für KDE www.kbarcode.net: Die Barcode Solution für KDE
Hi, für qmail und vpopmail gibts ne Anleitung auf meiner HP [1]. Gruß, Sebastian [1] www.wolfgarten.com
Hallo, * Hubert Thyen textete am 08.12.03:
wie baut man unter Linux einen Mailserver(pop3/smtp) mit >100K Postfächer/eMail-Adressen ? Als SMTP-Server würde ich gerne postfix einsetzen, und als pop3-Server UW-Imap/pop3. Für die Benutzerverwaltung könnte man ldap einsetzen. Was macht man aber mit den User-IDs ?
Ich hoffe, daß du das nur im privaten Bereich machen willst und nicht Dienstleistungen anbieten willst oder das Dingens in der Firma draufbügeln willst. Falls es nicht privat sein sollte, sei nicht sauer, aber ich wage zu behaupten, daß dir Ganze schnell über den Kopf wächst, da dir dafür wohl die notwendigen Kenntnisse fehlen. Mit sowas kann man sich gut in die Nesseln setzen. cu flo -- wer Signaturen siggt oder nachmacht oder nachgemachte oder gesiggte Sigs siggt, wird mit WoKo nicht unter 5 Sigs belohnt. [Hajo Pflueger in dag°]
Florian Gross, Dienstag, 9. Dezember 2003 16:01:
Ich hoffe, daß du das nur im privaten Bereich machen willst und nicht Dienstleistungen anbieten willst oder das Dingens in der Firma draufbügeln willst. Falls es nicht privat sein sollte, sei nicht sauer, aber ich wage zu behaupten, daß dir Ganze schnell über den Kopf wächst, da dir dafür wohl die notwendigen Kenntnisse fehlen. Mit sowas kann man sich gut in die Nesseln setzen.
Das hilft in der Sache, sagen wir, überhaupt nicht weiter. Aber offenbar verfügst Du über die notwendigen Kenntnisse. Daher eine Frage: auf wieviele Maschinen würde man denn eine solche Größenordnung verteilen müssen, um das System performant zu bekommen? Eine einzige auch noch so hochgezüchtete Maschine wird dafür kaum reichen, oder? -- Andreas Feile www.feile.net
On Tuesday 09 December 2003 16:40, Andreas Feile wrote:
Das hilft in der Sache, sagen wir, überhaupt nicht weiter. Aber offenbar verfügst Du über die notwendigen Kenntnisse. Daher eine Frage: auf wieviele Maschinen würde man denn eine solche Größenordnung verteilen müssen, um das System performant zu bekommen? Eine einzige auch noch so hochgezüchtete Maschine wird dafür kaum reichen, oder?
Wie Du im Rahmen Deiner Recherchen und Kapazitätsplanung durch Nachmessen bestimmt auch schon selber festgestellt hast braucht eine Instanz eines popd oder imapd in Cyrus in etwa 1 MB RAM und 2 MB Swap, und falls kein SSL verwendet wird, etwa 1-2 MHz CPU Leistung. Ein Intel PC mit 2 GB RAM und 4 GB Swap kann also in etwa 2000 konkurrente Zugriffe abfackeln, sicherheitshalber sollte man jedoch eine Dual-Prozessormaschine ansetzen, die brennte das dann aber bequem weg, wenn man keine Wachtumsreserve braucht. Bei der weiteren Kapazitätsplanung mußt Du nun annehmen, wie groß der Prozentsatz der POP-User im Vergleich zu den IMAP-Usern ist und wie lange im Schnitt Deine IMAP-Sessions dauern (POP-Sessions sind immer gleich wieder vorbei). Nimmst Du eine Rate von 5% an, reicht die Kiste für ca. 40-50 Kilopostfächer, nimmst Du eine Rate von 1% an, kommst Du auf ca. 200 Kilopostfächer. Für die Plattenplanung mußt Du wieder annehmen, wie viele User wieviel Mail rumliegen haben. Eine Staffel mit Verhältnissen von 1:10:100 hat sich bewährt, also 90% aller User verbrauchen 5 MB Platz, vom verbleibenden Rest brauchen 90% wiederum 50 MB Platz, und der Rest wird mit 500 MB Platz angesetzt. Das Plattensubsystem muß so angesetzt sein, daß es nicht nur groß genug ist, sondern auch von der I/O-Rate her diese Last verdauen kann. Tip: IDE Platten reichen nicht. Zum Thema Backup ist zu sagen, daß man einen Cyrus konsistent nicht live auf das Band kriegt. Du mußt also einen LVM und ein Dateisystem einplanen, das Snapshots kann und ausreichend Platz als Backing Store für das Snapshot bereitstellen, vorzugsweise auf anderen Spindeln an einem anderen Bus als den Main Store. Linux LVM mit XFS oder Linux LVM mit reiserfs wären eine gute Wahl - beide haben außerdem Verzeichnisalgorithmen, die der Datenhaltung in maildir-Ähnlichen Formaten sehr entgegen kommen. reiserfs wäre mehr platzeffizient, XFS kann konkurrente Zugriffe weitaus besser handhaben. Die Kapazitätsplanung für Spamkontrolle und Virencheck ist eine andere Sache, und sehr viel schwieriger. Das Resultat ist auch sehr viel teurer. Andererseits ist es nicht möglich, einen 100.000 Leute Server ohne Spam- und Virenfilter zu fahren. Zum Vergleich: Ich sehe hier eine zweistellige Millionenzahl an Mails pro Tag und davon sind etwa 60-80% Dreck in Form von Spam und Viren, hier arbeitet jedoch auch eine weit dreistellige Anzahl von Kisten an dem "Problem" Mail. Du solltest den Warnhinweis von Florian ernst nehmen: Was immer Du da vorhast, es ist ein sehr kompliziertes Projekt und erfordert sorgfältige Planung, insbesondere auch bei den Desaster- und Recovery-Szenarien - wie lange dauern Backups, wie lange dauern recoveries? Wie bekomme ich die Index-Dateien vom Cyrus wieder konsistent? Bin ich in dieser Zeit verfügbar oder müssen _alle_ Kunden warten? Weiter: Partitioniere ich meine Kunden auf mehr als eine Kiste, obwohl ich alle mit einer Kiste abfeiern kann? Wenn ja, wie (perdition? Die Texte von Horms zu dem Thema zu lesen wäre sowieso eine gute Idee!)? Setze ich einen Verzeichnisdienst ein? Wenn ja, wie warte, wie skaliere ich den? Oder nehme ich stattdessen eine Datenbank als Userdatenbasis? Welchen Mailer nehme ich? Wenn ich das weiß, warum gerade diesen? Skaliert sich der? Paßt der in meinen Verzeichnisdienst bzw. redet der mit meiner Datenbank? Wie skaliere ich meinen Viruscheck? Meinen Spamprüfer? Will ich wirklich alles in einen SpamAssasin kippen oder ist das nicht zu langsam? Kann ich weitere Spamprüfungen nehmen, die mir helfen, weil ich so viele Postfächer sehe und daher mehr Informationen habe als ein lokale SpamAssassin? Verwerte ich Informationen aus Honeypots/Spamtraps und schalte die davor? Wenn es eine öffentliche Installation ist: Wie plane ich meine Bandbreite? Wie schütze ich mich gegen DDoS (Riverhead kaufen?)? Und das ist noch alles, ohne ans Geschäftsmodell zu denken... Irgendjemand soll das ja auch zahlen. Kristian
Servus Kristian. Kristian Köhntopp, Mittwoch, 10. Dezember 2003 09:25:
Wie Du im Rahmen Deiner Recherchen und Kapazitätsplanung durch Nachmessen bestimmt auch schon selber festgestellt hast [...]
Danke für Deine Ausführungen, auch wenn Du mich vermutlich für den OP gehalten hast. Ich möchte gern in dieser Richtung experimentieren, und da werd ich Deine Erläuterungen gut brauchen können. -- Andreas Feile www.feile.net
Hallo, am Mittwoch, 10. Dezember 2003 um 08:25 schrieb Kristian Köhntopp [...]
Und das ist noch alles, ohne ans Geschäftsmodell zu denken... Irgendjemand soll das ja auch zahlen.
so langsam wird es mir ja peinlich, aber wenn Du nichts dagegen hast, wuerde ich diesen Text gerne weiterverwenden :) ala: http://www.stonki.de/64.0.html cu stonki -- Deutsche ProFTP Docs: http://www.proftpd.de, EFNET: #proftpd KDE3 Renamer: http://www.krename.net KDE3 Barcode und Label Solution: http://www.kbarcode.net Just me: http://www.stonki.de
On Wednesday 10 December 2003 17:50, Stefan Onken wrote:
so langsam wird es mir ja peinlich, aber wenn Du nichts dagegen hast, wuerde ich diesen Text gerne weiterverwenden :)
Nur zu... Kristian -- http://www.amazon.de/exec/obidos/wishlist/18E5SVQ5HJZXG
Hallo, Am Mittwoch, 10. Dezember 2003 09:25 schrieb Kristian Köhntopp:
On Tuesday 09 December 2003 16:40, Andreas Feile wrote:
Das hilft in der Sache, sagen wir, überhaupt nicht weiter. Aber offenbar verfügst Du über die notwendigen Kenntnisse. Daher eine Frage: auf wieviele Maschinen würde man denn eine solche Größenordnung verteilen müssen, um das System performant zu bekommen? Eine einzige auch noch so hochgezüchtete Maschine wird dafür kaum reichen, oder?
Wie Du im Rahmen Deiner Recherchen und Kapazitätsplanung durch Nachmessen bestimmt auch schon selber festgestellt hast braucht eine Instanz eines ...schnipp...
Und das ist noch alles, ohne ans Geschäftsmodell zu denken... Irgendjemand soll das ja auch zahlen.
Jemand mit Erfahrung, der darüberhinaus an so unwichtige Dinge wie Geld denkt... Die Kombination ist schon fast selten :-)
Kristian
-- MfG Rolf Masfelder EMail: rolf.masfelder@nector.de
participants (11)
-
Andreas Feile
-
Andreas Winkelmann
-
Florian Gross
-
Hubert Thyen
-
Igor Warneck
-
Kristian Köhntopp
-
Matthias Rockstuhl
-
Rolf Masfelder
-
Sebastian Wolfgarten
-
Stefan Onken
-
Stefan Onken