On Wednesday 26 July 2006 09:28, Ralf Prengel wrote:

Raffael Schmid schrieb:

...

Hallo Liste,

Ich muss ein Backup implementieren für unseren Mailserver. Aber wie macht man das? Bringt Cyrus mitlerweile eine Art Dumptool mit?

Ich habe 2 Lösungen gefunden, aber beide befriedigen mich nicht. Der Dienst muss immer abgeschaltet werden: - Dienst abschalten, Snapshot erstellen, Dienst starten, Backup vom Snapshot machen - Verzeichnisse kopieren, Dienst abschalten, rsync, Dienst starten - Die eine Snapshot-Lösung kommt schon gar nicht in Frage, da ich den Server nicht nochmals installieren möchte... Von daher ist es für mich bereits ziemlich klar, dass ich etwa so vorgehen werde: http://wiki.hetzner.de/index.php/Backup2l#Cyrus_Sicherung

Jetzt würde ich aber doch gerne wissen ob jemand von euch eine andere Lösung hat? Oder News bezüglich eines solchen Dump-Tools hat?

Ich meine gelesen zu haben das die nächste Cyrus-Version backup-Mechanismen mitbringen wird.

Die Frage ist ob man die will. Bei mir hat die nie das Ergebniss gebracht das sie erbringen sollte. ich schalt mein cyrus ab und sichere die verzeichnisse weg. Wobei so ganz theorethisch koenntest man ja einen client wie imapfilter benutzen um die emails ueber cyrus selbst auf einen anderen mail server zu kopieren. Dazu benoetigte man afaik aber die richtigen Rechte der Benutzer bzw. die Passwoerter und natuerlich einen zweiten Server. Naja MFG Michael -- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com

Sandy Drobic, Mittwoch, 26. Juli 2006 11:43:

Bisher war ich auch zu faul, um eine echte konsistente Sicherung anzulegen und synche auch nur die Dateien. Ich sehe dabei nur eine Gefahr, und zwar dass man sich auf die Suse/Cyrus/BDB-Version festnagelt.

Cyrus hat ja eine proprietäre DB-Strukur - Dovecot nimmt demgegenüber ein Standard-Format, auf das wohl auch andere imap/pop-Server zugreifen können. Ich habs allerdings noch nicht eingesetzt - hat hier jemand Erfahrung, wie sich Dovecot so im täglichen Betrieb verhält? Vor-/Nachteile gegenüber Cyrus? Gruß. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com

Michael Skibbe wrote:

On Wednesday 26 July 2006 11:43, Sandy Drobic wrote:

...

Bisher war ich auch zu faul, um eine echte konsistente Sicherung anzulegen und synche auch nur die Dateien. Ich sehe dabei nur eine Gefahr, und zwar dass man sich auf die Suse/Cyrus/BDB-Version festnagelt.

man kann ja auch irgendwie mysql benutzen und das dann mit einem script komplett ohne zeitlichen ausfall des servers sichern...

Irgendwie? Vermutlich nicht, ohne eine gepatchte Version von cyrus zu nehmen. Zumindest in Cyrus 2.2.8 auf meiner Suse 9.2 gibt es nicht die Möglichkeit, eine SQL-Datenbank zu verwenden dafür, auch LDAP scheint nicht möglich zu sein. Ich bin mir auch nicht sicher, wie performant und skalierbar das sein würde. Wenn es klappt, bräuchte man nur mysqldump zu verwenden. Das Herunterfahren ist aus einem ganz anderen Grunde auch wichtig: damit man einen konsistenten Stand hat. Sonst hat man die Datenbanken gesichert, aber inzwischen haben sich die Verzeichnisse schon wieder verändert, weil Mails hinzugekommen sind, gelöscht wurden etc. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com

Michael Skibbe wrote:

On Wednesday 26 July 2006 15:10, Sandy Drobic wrote:

...

Irgendwie? Vermutlich nicht, ohne eine gepatchte Version von cyrus zu nehmen. Zumindest in Cyrus 2.2.8 auf meiner Suse 9.2 gibt es nicht die Möglichkeit, eine SQL-Datenbank zu verwenden dafür, auch LDAP scheint nicht möglich zu sein.

Also ich weis ganz zufaellig das des mit den source rpms geht. man muss _blos_ beim compieler aufruf --enable-mysql angeben... aber genau weis ich das nichtmehr. fuer solche spielereien habe ich leider keine zeit.

Du verwechselst vermutlich die Unterstützung von MySQL oder LDAP bei der Authentifizierung der Benutzeraccounts mit den internen Datenbanken-Formaten von Cyrus für deliver.db, seen.db, mailbox.db? Wie gesagt, die internen Datenbanken scheinen nicht SQL zu unterstützen. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com

Quoting Sandy Drobic :

Bisher war ich auch zu faul, um eine echte konsistente Sicherung anzulegen und synche auch nur die Dateien. Ich sehe dabei nur eine Gefahr, und zwar dass man sich auf die Suse/Cyrus/BDB-Version festnagelt.

Naja, das ganze Thema Cyrus-Backup ist leider schon noch ziemlich unausgegoren. Typische Anforderungen für so eine Sicherung, die derzeit leider wenn überhaupt nur mit Hängen und Würgen realisierbar sind: - konsistenter Stand in der Sicherung - keine Betriebsunterbrechung - Restore einzelner Mailboxen und einzelner Mails - Durchsuchen der Sicherung nach einzelnen Mails oder Ordnern vor dem Restore - Restore von ACLs ohne Restore von Inhalten Problematisch wird auch das Verschieben größerer Ordnerhierarchien, wenn z.B. ein Mitarbeiter ausscheidet. Alles in allem hat Cyrus da noch viele Hausaufgaben zu machen.

Sowohl die mailboxes.db als auch die seen.db in den Userverzeichnissen sind von der verwendeten Berkerey-DB abhängig, (auch die deliver.db, aber auf die kann man noch eher verzichten). Daher kann es sehr schnell passieren, dass man bei einem Update oder einem Programm, welches eine andere BDB-Version verlangt, sich die Cyrus-Installation zerstört.

Und da lauert auch schon das erste Problem mit partiellen Restores. Wenn die mailboxes.db nicht mehr zum Verzeichnisbaum paßt, wirds nämlich leider sehr lustig. Nein, reconstruct -rf hilft da scheinbar auch nicht immer, der übersieht hier bei mir regelmäßig komplette Ordner.

Deshalb würde ich auch dazu raten, einen Dump von diesen Datenbanken anzulegen beim Backup. Dann kann man auch auf einer anderen Version/Installation von Cyrus zurückschreiben und die Datenbanken importieren.

Suse legt IMHO schon jeden Taq ein Backup der mailboxes.db an, aber die seen.db werden nicht gedumpt.

Ein weiteres Problem ist, daß Mailboxen eigentlich ständig in Bewegung sind - da einen Tag zurückgehen zu müssen ist für Anwender oft schon ein Riesenproblem. Deshalb würde ich bei ernsthaftem Betrieb raten, zusätzlich zum Backup(!) die Platten zu spiegeln, wenigstens mit Soft-RAID. -- Erhard Schwenk Akkordeonjugend Baden-Württemberg - http://www.akkordeonjugend.de APAYA running System - http://www.apaya.net -- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com

Quoting Sandy Drobic :

Erhard Schwenk wrote:

...

Quoting Sandy Drobic :

...

Naja, das ganze Thema Cyrus-Backup ist leider schon noch ziemlich unausgegoren. Typische Anforderungen für so eine Sicherung, die derzeit leider wenn überhaupt nur mit Hängen und Würgen realisierbar sind:

- konsistenter Stand in der Sicherung

Das ist mit Downtime erreichbar (Pest gegen Cholera getauscht)

...

- keine Betriebsunterbrechung

Das nur, wenn 1) keine Bedingung ist. :-/

Es ist natürlich beides Bedingung. Vorhin auch noch draufgestoßen: cyradm sollte endlich eine Funktion kriegen, mit der man als Administrator die abonnierten Folder für die verschiedenen User managen kann. Und es sollte konsequent Wildcards verstehen, also auch bei Kommandos wie sam und lam. -- Erhard Schwenk Akkordeonjugend Baden-Württemberg - http://www.akkordeonjugend.de APAYA running System - http://www.apaya.net -- Um die Liste abzubestellen, schicken Sie eine Mail an: suse-linux-unsubscribe@suse.com Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: suse-linux-help@suse.com

Michael Grundmann wrote:

...

Wie schon berichtet, mir ist vor kurzem auch eine Platte aus meinem Mailserver abgeraucht. Allein der Ärger wegen der verlorenen Mails, eventuell die Neuinstallation der Kiste, Konfigurationsprobleme und Tests, die Ausfalldauer des Servers und der damit verbundene Produktivitätsausfall kosten ein Vielfaches von dem, was die anfängliche Ersparnis bringen würde.

Halbwegs vernünftige Server kosten heute wirklich nicht mehr die Welt.

Deshalb habe ich mir gleich zwei davon zugelegt und mit heartbeat und drbd zu einem schönen 'Netzwerk-Raid' umgebaut. Funktioniert super und ich prügel mich nicht mehr mit den Versionen von Berkeley, den Ausfallzeiten usw. usw. usw. rum. Desweiteren scheint mir cyrus für einen Betrieb mittlerer Größe nicht mehr als geeignet. Ha? Was hat das eine mit dem anderen zu tun? Mich interessiert aber deine Erfahrung mit drbd. Du hast also einen Cluster mit 2 Nodes aufgesetzt und überwachst ihn mit heartbeat? Wie lange brauchtest du, den Cluster aufzusetzen, und wie liefen die Tests ab?

Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com

Michael Grundmann wrote:

Am 08.08.2006 um 21:49 schrieb Sandy Drobic:

...

Ha? Was hat das eine mit dem anderen zu tun? Mich interessiert aber deine Erfahrung mit drbd. Du hast also einen Cluster mit 2 Nodes aufgesetzt und überwachst ihn mit heartbeat? Wie lange brauchtest du, den Cluster aufzusetzen, und wie liefen die Tests ab?

Ja - heartbeat und drbd

Das Aufsetzen des Clusters hängt vom drbd-Modul im Kernel ab - ist es drin, geht das Ausetzen des Clusters ratzfatz - ansonsten halt neuen Kernel bauen. Es sind im Prinzip nur drei Dateien zu editieren - wichtig ist die Kenntnis der Metadisk (wird von drbd genutzt) - diese braucht pro Resource 128 mb. Da ich vier Resourcen auf dem MailServer habe, habe ich für die Metadisks eine extra Partition anlegt (ohne Dateisystem). drbd braucht nur die drbd.conf. Damit ist der schon fertig - danach zum heartbeat - ich habe die Version 1.x genommen - hier nur zwei Dateien zu konfen. Die 2.x-Version soll angeblich auch die Dienste managen - sprich fällt Postfix auf node1 aus nimm Postfix von node2 (bin mir da aber noch nicht sicher). Den 2er werde ich mal testen - irgendwann :)

Klar - wichtig ist: Software auf beiden System nachinstallieren - /etc so sichern, dass _nicht_ alles kopiert wird (/etc/network/interfaces macht z.b. keinen Sinn - ok Debian ;) )

Tja und das war es bisher - der Cluster läuft super. Ich bin absolut zufrieden. Habe sogar schon während der Produktion den Stecker an Node1 gezogen (no risk no fun :) ) Selbst Netatalk ( das Samba für Macintosh - Startvorgang dauert seine Zeit) wurde ohne abmelden der Volumes am Client weitergeführt.

Ich bin absolut froh, dass ich mich für das Cluster entschieden haben - denn mein Sicherungskonzept (auf Cyrus bezogen) war fürn A.... :)

Das hört sich ja wirklicht nicht schlecht an. Eigentlich hört es sich nach "Muss ich unbedingt auch mal machen" an. (^-^) Das einzige, was mich etwas abschreckt, ist die Kompilation des Kernel für das drbd-Modul. Ich bin bereits in der Situation, dass ich für jedes Kernel-Update den Treiber meines Areca-Controllers neu kompilieren muss, und ich finde das wenig lustig. Wenn ich mich recht erinnere, kommt im Durchschnitt so grob jeden Monat ein Update für den Kernel heraus, der den Aufwand dann erfordert. Aber allein das Vergnügen, den Stecker ziehen zu können, ist den Aufwand wohl wert. Heissen Dank für den Bericht, der macht Laune, auch mal einen Cluster einzusetzen. Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com

Michael Grundmann wrote:

Am 10.08.2006 um 07:19 schrieb Sandy Drobic:

...

Das hört sich ja wirklicht nicht schlecht an. Eigentlich hört es sich nach "Muss ich unbedingt auch mal machen" an. (^-^)

jupp :)

...

Das einzige, was mich etwas abschreckt, ist die Kompilation des Kernel für das drbd-Modul. Ich bin bereits in der Situation, dass ich für jedes Kernel-Update den Treiber meines Areca-Controllers neu kompilieren muss, und ich finde das wenig lustig. Wenn ich mich recht erinnere, kommt im Durchschnitt so grob jeden Monat ein Update für den Kernel heraus, der den Aufwand dann erfordert.

wie gesagt - bei mir läuft es unter Debian - ich würde fast wetten, daß SuSE für drbd alles mitbringt.

Ich werde das mal für die nähere Zukunft auf die Projektliste setzen und dann berichten, wie es unter Suse damit aussieht. (^-^) Sandy -- Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com

Michael Grundmann, Dienstag, 8. August 2006 21:30:

Desweiteren scheint mir cyrus für einen Betrieb mittlerer Größe nicht mehr als geeignet.

Was nimmste denn stattdessen? -- Andre Tann