Hallo zusammen, ich betriebe auf einer SL 10.0 einen cyrus-imap. Jetzt möchte ich alle Mails, die im Thunderbird stecken (ca. 10 GB) auf den cyrus schieben, um sie später dann von dort mit Outlook abholen zu können. Das funktioniert auch - allerdings ist es ziemlich langsam. Es gehen vielleicht so zwei, drei Mails die Sekunde an den Server. Dabei ist weder das Netzwerk voll ausgelastet, noch die Maschine, auf der der cyrus läuft, noch der Client. Weiß jemand auf die Schnelle, wo da ein Flaschenhals liegen könnte? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann wrote:
Hallo zusammen,
ich betriebe auf einer SL 10.0 einen cyrus-imap. Jetzt möchte ich alle Mails, die im Thunderbird stecken (ca. 10 GB) auf den cyrus schieben, um sie später dann von dort mit Outlook abholen zu können.
Das funktioniert auch - allerdings ist es ziemlich langsam. Es gehen vielleicht so zwei, drei Mails die Sekunde an den Server. Dabei ist weder das Netzwerk voll ausgelastet, noch die Maschine, auf der der cyrus läuft, noch der Client.
Weiß jemand auf die Schnelle, wo da ein Flaschenhals liegen könnte?
Es gibt einige Möglichkeiten, die ich aufgrund fehlender Info aber nicht einordnen kann: - Virenscanner auf dem Windows-Client, der sich eingeklinkt hat? - keine Optimierung des Dateisystems für Cyrus - fehlende I/O-Leistung auf dem Cyrus-System. Bei der Menge an Mails würde ich mir ohnehin überlegen, ob ich die MBOX-Dateien von Thunderbird nicht einfach so auf den Server schiebe, die MBOX per Script zerlege, in Cyrus den Ordner anlege und dann die einzelnen MBOX-Mails in den Ordner schiebe und in cyradm ein "reconstruct mailbox" ausführen würde. Das geht um Längen schneller als die Übertragung einzelner Mails. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Sandy, Sandy Drobic, Donnerstag, 10. April 2008 13:26:
Es gibt einige Möglichkeiten, die ich aufgrund fehlender Info aber nicht einordnen kann:
- Virenscanner auf dem Windows-Client, der sich eingeklinkt hat?
Hab ich abgeschaltet, hat die Sache geschätzt um 50% beschleunigt.
- keine Optimierung des Dateisystems für Cyrus
Tja, ist ein xfs. Optimiert habe ich daran nichts.
- fehlende I/O-Leistung auf dem Cyrus-System.
vmstat 2 meint dazu: bi bo 0 1 122 1926 0 2942 4 356 0 1497 2 448 0 410 10 641 0 387 82 2025 0 25 Ich finde, das sieht nicht nach Flaschenhals aus.
Bei der Menge an Mails würde ich mir ohnehin überlegen, ob ich die MBOX-Dateien von Thunderbird nicht einfach so auf den Server schiebe, die MBOX per Script zerlege, in Cyrus den Ordner anlege und dann die einzelnen MBOX-Mails in den Ordner schiebe und in cyradm ein "reconstruct mailbox" ausführen würde.
Das hört sich sehr gut an. Gibt es schon ein fertiges Skript, um die MBox zu zerlegen? Es ist auch so, daß es sich um einen recht umfangreichen Baum aus Ordnern und Unterordnern handelt. Die würde ich ungern händisch neu anlegen. Die Übertragung per imap hat den Vorteil, daß die Struktur erhalten bleibt. Geht das auch bei Deinem Weg irgendwie automatisch? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann wrote:
Hallo Sandy,
Sandy Drobic, Donnerstag, 10. April 2008 13:26:
Es gibt einige Möglichkeiten, die ich aufgrund fehlender Info aber nicht einordnen kann:
- Virenscanner auf dem Windows-Client, der sich eingeklinkt hat?
Hab ich abgeschaltet, hat die Sache geschätzt um 50% beschleunigt.
Grins!
- keine Optimierung des Dateisystems für Cyrus
Tja, ist ein xfs. Optimiert habe ich daran nichts.
Dort würde ich auch zuletzt dran arbeiten.
- fehlende I/O-Leistung auf dem Cyrus-System.
vmstat 2 meint dazu:
bi bo 0 1 122 1926 0 2942 4 356 0 1497 2 448 0 410 10 641 0 387 82 2025 0 25
Ich finde, das sieht nicht nach Flaschenhals aus.
Kommt drauf an. Ich würde eher beobachten, wie häufig die CPU auf IO warten musste: iostat Linux 2.6.22.17-0.1-default (katgar) 04/10/08 avg-cpu: %user %nice %system %iowait %steal %idle 2.59 1.73 0.83 3.08 0.00 91.77 Je höher %iowait ist, desto eher ist die Platte der Flaschenhals.
Bei der Menge an Mails würde ich mir ohnehin überlegen, ob ich die MBOX-Dateien von Thunderbird nicht einfach so auf den Server schiebe, die MBOX per Script zerlege, in Cyrus den Ordner anlege und dann die einzelnen MBOX-Mails in den Ordner schiebe und in cyradm ein "reconstruct mailbox" ausführen würde.
Das hört sich sehr gut an. Gibt es schon ein fertiges Skript, um die MBox zu zerlegen?
Einige, google einfach nach mbox2maildir oder "mbox convert maildir".
Es ist auch so, daß es sich um einen recht umfangreichen Baum aus Ordnern und Unterordnern handelt. Die würde ich ungern händisch neu anlegen. Die Übertragung per imap hat den Vorteil, daß die Struktur erhalten bleibt. Geht das auch bei Deinem Weg irgendwie automatisch?
Das glaube ich nicht, es sei denn, du kannst einfach die Ordnerstruktur mitsamt den mbox-Dateien auf den Cyrus rüberschieben und konvertierst die mbox in diesen Verzeichnissen. Die Namen der aufgesplitteten Mail-Dateien müssen dabei der Konvention folgen, dass sie fortlaufende Zahlen mit einem Punkt am Ende sind: 1. 2. .... 12354. 12355. usw. Mit etwas Glück klappt dann ein rekursives "reconstruct mailbox". Wenn das zu viel Arbeit und Scripten ist, dann lasse die Kiste einfach über Nacht die Dateien rüberschieben. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Sandy Drobic, Donnerstag, 10. April 2008 20:14:
Kommt drauf an. Ich würde eher beobachten, wie häufig die CPU auf IO warten musste:
iostat Linux 2.6.22.17-0.1-default (katgar) 04/10/08
avg-cpu: %user %nice %system %iowait %steal %idle 2.59 1.73 0.83 3.08 0.00 91.77
Je höher %iowait ist, desto eher ist die Platte der Flaschenhals.
OK, verstehe. Muß ich beim nächsten Durchlauf beobachten. Diese Umstellung hab ich jetzt komplett, aber mir stehen noch ca. 20 Kisten ins Haus.
Mit etwas Glück klappt dann ein rekursives "reconstruct mailbox". Wenn das zu viel Arbeit und Scripten ist, dann lasse die Kiste einfach über Nacht die Dateien rüberschieben.
Wenn das so ginge, dann wärs überhaupt kein Problem. Aber der Thunderbird läßt mich nicht alles auf einmal markieren und rüberziehen. Ich muß jeden Ordner der 1. Ebene einzeln anfassen. Selbst wenn er es mich ließe: kaum nimmt der Cyrus eine Mail nicht an (wegen malformed header oder sowas), schon bricht der Thunderbird das Verschieben ab, anstatt bei der nächsten Mail weiterzumachen. Echt saublöd, das, vor allem, weil man dann nicht weiß, bei _welcher_ Mail das Problem aufgetaucht ist. Outlook ist auch nicht besser: beim Importieren großer Bäume kommt immer wieder mal die Meldung: "Der Imap-Server hat die Verbindung getrennt. Möglicherweise war sie zu lange inaktiv. Fortfahren?" Herrgott, natürlich fortfahren, was für eine bescheuerte Frage... -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann wrote:
Sandy Drobic, Donnerstag, 10. April 2008 20:14:
Mit etwas Glück klappt dann ein rekursives "reconstruct mailbox". Wenn das zu viel Arbeit und Scripten ist, dann lasse die Kiste einfach über Nacht die Dateien rüberschieben.
Wenn das so ginge, dann wärs überhaupt kein Problem. Aber der Thunderbird läßt mich nicht alles auf einmal markieren und rüberziehen. Ich muß jeden Ordner der 1. Ebene einzeln anfassen. Selbst wenn er es mich ließe: kaum nimmt der Cyrus eine Mail nicht an (wegen malformed header oder sowas), schon bricht der Thunderbird das Verschieben ab, anstatt bei der nächsten Mail weiterzumachen. Echt saublöd, das, vor allem, weil man dann nicht weiß, bei _welcher_ Mail das Problem aufgetaucht ist.
/etc/imapd.conf: reject8bit: no Cyrus weist die Mail sonst ab, wenn in einem Headerfeld ein nicht-kodiertes Zeichen ist. Dafür sieht man dann schöne "x", wo der Umlaut stehen sollte.
Outlook ist auch nicht besser: beim Importieren großer Bäume kommt immer wieder mal die Meldung: "Der Imap-Server hat die Verbindung getrennt. Möglicherweise war sie zu lange inaktiv. Fortfahren?" Herrgott, natürlich fortfahren, was für eine bescheuerte Frage...
Kein Kommentar... -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Sandy Drobic, Donnerstag, 10. April 2008 20:47:
/etc/imapd.conf: reject8bit: no
Wieder was gelernt... -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann schrieb:
Sandy Drobic, Donnerstag, 10. April 2008 20:47:
/etc/imapd.conf: reject8bit: no
Wieder was gelernt...
Ich auch, aber das scheint default zu sein. Steht bei mir genauso drinnen Manfred OSL 10.3 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Manfred Kreisl wrote:
Andre Tann schrieb:
Sandy Drobic, Donnerstag, 10. April 2008 20:47:
/etc/imapd.conf: reject8bit: no
Wieder was gelernt...
Ich auch, aber das scheint default zu sein. Steht bei mir genauso drinnen
Manfred
OSL 10.3
Ich nehme an, es ist einer dieser Änderungen, da sich der Default als realitätsfern erwiesen hatte. Ähnlich wie die Einstellung, dass vim jetzt auch Zeichen/Zeilenenden mit der Backspace-Taste löschen kann, ohne dass man bs=2 in .vimrc eintippert. Früher war das IMHO nicht der Fall. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hi Sandy! On Fri, 11 Apr 2008, Sandy Drobic wrote:
realitätsfern erwiesen hatte. Ähnlich wie die Einstellung, dass vim jetzt auch Zeichen/Zeilenenden mit der Backspace-Taste löschen kann, ohne dass man bs=2 in .vimrc eintippert.
Eigentlich nicht. Was sagt denn :verbose set bs?
Früher war das IMHO nicht der Fall.
und ist es eigentlich auch immer noch nicht. Mit freundlichen Grüßen Christian -- hundred-and-one symptoms of being an internet addict: 118. You are on a first-name basis with your ISP's staff. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann, Donnerstag, 10. April 2008 21:10:
/etc/imapd.conf: reject8bit: no
Wieder was gelernt...
Hm, doch nichts gelernt - dieser Eintrag war bereits vorhanden, und trotzdem hat der cyrus einige Mails abgelehnt. Blöd - gibts nochwas, was man dem cyrus sagen kann, daß er nichts ablehnt? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann wrote:
Andre Tann, Donnerstag, 10. April 2008 21:10:
/etc/imapd.conf: reject8bit: no Wieder was gelernt...
Hm, doch nichts gelernt - dieser Eintrag war bereits vorhanden, und trotzdem hat der cyrus einige Mails abgelehnt. Blöd - gibts nochwas, was man dem cyrus sagen kann, daß er nichts ablehnt?
Wie lautet denn die Fehlermeldung im Log? -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hi Andre! On Mon, 14 Apr 2008, Andre Tann wrote:
Andre Tann, Donnerstag, 10. April 2008 21:10:
/etc/imapd.conf: reject8bit: no
Wieder was gelernt...
Hm, doch nichts gelernt - dieser Eintrag war bereits vorhanden, und trotzdem hat der cyrus einige Mails abgelehnt. Blöd - gibts nochwas, was man dem cyrus sagen kann, daß er nichts ablehnt?
Vielleicht duplicatesuppression: no Mit freundlichen Grüßen Christian -- hundred-and-one symptoms of being an internet addict: 119. You are reading a book and look for the scroll bar to get to the next page. -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Sandy, ich muß da nochmal nachhaken: Sandy Drobic, Donnerstag, 10. April 2008 13:26:
Bei der Menge an Mails würde ich mir ohnehin überlegen, ob ich die MBOX-Dateien von Thunderbird nicht einfach so auf den Server schiebe, die MBOX per Script zerlege, in Cyrus den Ordner anlege und dann die einzelnen MBOX-Mails in den Ordner schiebe und in cyradm ein "reconstruct mailbox" ausführen würde.
Ich versuche nun diesen Weg zu gehen, denn die direkte Übertragung Thunderbird => Cyrus ist mir zu anfällig. Jetzt habe ich mittels Skript zuerst alle meine mboxen in das cyrus-kompatible Format umgewandelt. D.h.: mbox1 mbox2 wurde zu mbox1/1. mbox1/2. mbox1/3. mbox2/1. usw. Nunmehr habe ich ein $CYRUSHOME/bin/reconstruct -r -f user drüberlaufen lassen, und habe dabei gesehen, daß das Tool rekursiv durch alle Mailboxen gelaufen ist, d.h. durch die, die schon vorher da waren, aber auch durch diejenigen, die ich neu in den Baum hineinkopiert habe. Es existieren jetzt in jedem neu hinzugekommenen Verzeichnis die Dateien cyrus.header, cyrus.cache und cyrus.index. Diese Dateien waren vor dem reconstruct-Lauf nicht da. Allein - greife ich per IMAP auf die Mailbox zu, dann sehe ich den neu hinzugekommenen Baum nicht. Sichtbar sind nur die Mailboxen, die schon vorher da waren. Kurioserweise kann ich keine Mailbox neu anlegen, die so heißt wie eine, die ich nicht sehen kann. Cyrus meint: Mailbox already exists. Aber er zeigt sie mir nicht. Woran fehlt es jetzt? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann schrieb:
Sandy,
ich muß da nochmal nachhaken:
Sandy Drobic, Donnerstag, 10. April 2008 13:26:
Bei der Menge an Mails würde ich mir ohnehin überlegen, ob ich die MBOX-Dateien von Thunderbird nicht einfach so auf den Server schiebe, die MBOX per Script zerlege, in Cyrus den Ordner anlege und dann die einzelnen MBOX-Mails in den Ordner schiebe und in cyradm ein "reconstruct mailbox" ausführen würde.
Ich versuche nun diesen Weg zu gehen, denn die direkte Übertragung Thunderbird => Cyrus ist mir zu anfällig.
Jetzt habe ich mittels Skript zuerst alle meine mboxen in das cyrus-kompatible Format umgewandelt. D.h.:
mbox1 mbox2
wurde zu
mbox1/1. mbox1/2. mbox1/3. mbox2/1.
usw.
Nunmehr habe ich ein $CYRUSHOME/bin/reconstruct -r -f user drüberlaufen lassen, und habe dabei gesehen, daß das Tool rekursiv durch alle Mailboxen gelaufen ist, d.h. durch die, die schon vorher da waren, aber auch durch diejenigen, die ich neu in den Baum hineinkopiert habe. Es existieren jetzt in jedem neu hinzugekommenen Verzeichnis die Dateien cyrus.header, cyrus.cache und cyrus.index. Diese Dateien waren vor dem reconstruct-Lauf nicht da. dann war vorher noch nie ein Zugriff ?
reconstruct macht nur Sinn für existierende Benutzer
Allein - greife ich per IMAP auf die Mailbox zu, dann sehe ich den neu hinzugekommenen Baum nicht. Sichtbar sind nur die Mailboxen, die schon vorher da waren.
welcher Baum ???
Kurioserweise kann ich keine Mailbox neu anlegen, die so heißt wie eine, die ich nicht sehen kann. Cyrus meint: Mailbox already exists. Aber er zeigt sie mir nicht.
huch.... Cyrus führt seine Mailboxen in einer Datenbank .. deswegen müssen alle Boxen per Cyradm (z.B.) angelegt werden. Beim Anlegen wird auf vorhandene Verzeichnisse geprüft... gibt aber auch andere Tools.... also leg alle User an ... kopier die Mailinhalte in die Vereichnisse und mach als letztes ein Reconstruct Reconstruct legt alle (Inhalts)Datenbankfiles neu an. Cyrus greift NUR über seine (internen)Datenbanken auf die Mails zu... das gilt auch für "seen"-Informationen
Woran fehlt es jetzt?
ach ja ... Rechte sollten auch passen... ggfs. User-Rechte setzen (auf sein Postfach) cyradm -> set acl ... und den Mails die richtigen Zugriffsrechte zuordnen ( hier: cyrus:mail 700 ) Fred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Fred Ockert, Dienstag, 15. April 2008 09:28:
dann war vorher noch nie ein Zugriff ?
Nein. Ausgangspunkt war der, alle Mail aus Thunderbird nach Cyrus zu kopieren. Da der direkte Weg extrem langsam geht und unterwegs immer wieder abbricht, weswegen ich es nicht einfach über Nacht laufen lassen kann, hatte Sandy folgendes vorgeschlagen: Alle TB-Mailboxen mittels mbox2cyrus.pl ins Cyrus-Format bringen. Das hab ich gemacht. reconstruct drüberlaufen lassen, damit Cyrus die Mailboxen auch sieht. Hab ich gemacht, aber ich sehe immer noch nichts.
reconstruct macht nur Sinn für existierende Benutzer
Ich habe die mit mbox2cyrus neu erstellten Dateien/Verzeichnisse als Unterverzeichnis der Inbox eines existierenden (Test-)Benutzers kopiert. Dabei habe ich mich daran orientiert, wie Cyrus selbst Unterordnet anlegt, wenn man diesen per TB erstellt. Ich habe die Rechte, Eigentümer usw. entsprechend gesetzt: cyrus:mail, bei Verzeichnissen 700, bei Dateien 600.
Allein - greife ich per IMAP auf die Mailbox zu, dann sehe ich den neu hinzugekommenen Baum nicht. Sichtbar sind nur die Mailboxen, die schon vorher da waren.
welcher Baum ???
Wie in der vorigen Mail beschrieben: Es handelt sich um ca. 200 mboxen, die ich mittels mbox2cyrus umgewandelt habe. Jetzt sind es 200 Verzeichnisse mit den jeweiligen Mail-Dateien drin.
huch.... Cyrus führt seine Mailboxen in einer Datenbank .. deswegen müssen alle Boxen per Cyradm (z.B.) angelegt werden. Beim Anlegen wird auf vorhandene Verzeichnisse geprüft...
Ich kann unmöglich alle Verzeichnisse zuvor per Hand anlegen, das sind viel zu viele. Die 200 mboxen, die ich im Moment konvertieren will, sind nur ein Test. "In echt" sind es ca. 400 mboxen von etwa 30 Nutzern, also insgesamt vielleicht 12.000 mboxen. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am Dienstag, 15. April 2008 09:42:43 schrieb Andre Tann:
Fred Ockert, Dienstag, 15. April 2008 09:28:
dann war vorher noch nie ein Zugriff ?
Nein. Ausgangspunkt war der, alle Mail aus Thunderbird nach Cyrus zu kopieren. Da der direkte Weg extrem langsam geht und unterwegs immer wieder abbricht, weswegen ich es nicht einfach über Nacht laufen lassen kann, hatte Sandy folgendes vorgeschlagen:
Alle TB-Mailboxen mittels mbox2cyrus.pl ins Cyrus-Format bringen. Das hab ich gemacht.
reconstruct drüberlaufen lassen, damit Cyrus die Mailboxen auch sieht. Hab ich gemacht, aber ich sehe immer noch nichts.
hast Du auch den Parameter für die Unterordner angegeben ich glaube es ist -r zu lange her wo ich ähnliche Probleme hatte,). -- mit freundlichen Grüßen / best Regards Günther J. Niederwimmer -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann schrieb:
Fred Ockert, Dienstag, 15. April 2008 09:28:
dann war vorher noch nie ein Zugriff ?
Nein. Ausgangspunkt war der, alle Mail aus Thunderbird nach Cyrus zu kopieren. Da der direkte Weg extrem langsam geht und unterwegs immer wieder abbricht, weswegen ich es nicht einfach über Nacht laufen lassen kann, hatte Sandy folgendes vorgeschlagen:
Alle TB-Mailboxen mittels mbox2cyrus.pl ins Cyrus-Format bringen. Das hab ich gemacht.
reconstruct drüberlaufen lassen, damit Cyrus die Mailboxen auch sieht. Hab ich gemacht, aber ich sehe immer noch nichts.
Ich habe die mit mbox2cyrus neu erstellten Dateien/Verzeichnisse als Unterverzeichnis der Inbox eines existierenden (Test-)Benutzers kopiert. Dabei habe ich mich daran orientiert, wie Cyrus selbst Unterordnet anlegt, wenn man diesen per TB erstellt. Ich habe die Rechte, Eigentümer usw. entsprechend gesetzt: cyrus:mail, bei Verzeichnissen 700, bei Dateien 600.
selbst DER ist in seiner Struktur in einer Datenbank hinterlegt!!
Allein - greife ich per IMAP auf die Mailbox zu, dann sehe ich den neu hinzugekommenen Baum nicht. Sichtbar sind nur die Mailboxen, die schon vorher da waren. welcher Baum ??? Wie in der vorigen Mail beschrieben: Es handelt sich um ca. 200 mboxen, die ich mittels mbox2cyrus umgewandelt habe. Jetzt sind es 200 Verzeichnisse mit den jeweiligen Mail-Dateien drin.
also ein Cyrus unbekannte Struktur....
huch.... Cyrus führt seine Mailboxen in einer Datenbank .. deswegen müssen alle Boxen per Cyradm (z.B.) angelegt werden. Beim Anlegen wird auf vorhandene Verzeichnisse geprüft...
Ich kann unmöglich alle Verzeichnisse zuvor per Hand anlegen, das sind viel zu viele. Die 200 mboxen, die ich im Moment konvertieren will, sind nur ein Test. "In echt" sind es ca. 400 mboxen von etwa 30 Nutzern, also insgesamt vielleicht 12.000 mboxen.
doch kannst du...wirst du müssen tun :-) aber : es gibt ein Tool für das Backup der Cyrusstruktur ( ctl_mboxlist) ... das erzeugt und sichert Cyrusdatenbankstrukturen.... im einfachsten Fall ... vorhandene sichern; alle neuen dazuschreiben.... zurückspielen... dann Mails reinkopieren -> dann reconstruct... schau dir mal die manpages an ... ich hab vor 2..3 Jahren mal Cyrus übernommen auf die Art mit ctl_mboxlist strukturen erstellen -> mit rsync Daten rein und mit reconstruct Daten "aktivieren". Die andere Hälfte der Scripte hat du ja schon gefunden... also: mach ne Sicherung ... schreibe ( per vi ?) deine Ergänzungen (neue) dazu und mach eine restore ( -u Option)... alles was unter cyrus/imap steht muss auch passen (cyrus/user reicht nicht) hat damals jedenfalls relativ schnell funktioniert.... bissel Hilfe - Buch: IMAP-Mailserver von Peer Heinlein ... Gruss Fred -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hi, 15.04.2008 07:44, Andre Tann wrote:
Sandy,
ich muß da nochmal nachhaken:
Sandy Drobic, Donnerstag, 10. April 2008 13:26:
Bei der Menge an Mails würde ich mir ohnehin überlegen, ob ich die MBOX-Dateien von Thunderbird nicht einfach so auf den Server schiebe, die MBOX per Script zerlege, in Cyrus den Ordner anlege und dann die einzelnen MBOX-Mails in den Ordner schiebe und in cyradm ein "reconstruct mailbox" ausführen würde.
Ich versuche nun diesen Weg zu gehen, denn die direkte Übertragung Thunderbird => Cyrus ist mir zu anfällig.
Jetzt habe ich mittels Skript zuerst alle meine mboxen in das cyrus-kompatible Format umgewandelt. D.h.:
mbox1 mbox2
wurde zu
mbox1/1. mbox1/2. mbox1/3. mbox2/1.
usw.
Nunmehr habe ich ein $CYRUSHOME/bin/reconstruct -r -f user drüberlaufen lassen, und habe dabei gesehen, daß das Tool rekursiv durch alle Mailboxen gelaufen ist, d.h. durch die, die schon vorher da waren, aber auch durch diejenigen, die ich neu in den Baum hineinkopiert habe. Es existieren jetzt in jedem neu hinzugekommenen Verzeichnis die Dateien cyrus.header, cyrus.cache und cyrus.index. Diese Dateien waren vor dem reconstruct-Lauf nicht da.
Allein - greife ich per IMAP auf die Mailbox zu, dann sehe ich den neu hinzugekommenen Baum nicht. Sichtbar sind nur die Mailboxen, die schon vorher da waren. Kurioserweise kann ich keine Mailbox neu anlegen, die so heißt wie eine, die ich nicht sehen kann. Cyrus meint: Mailbox already exists. Aber er zeigt sie mir nicht.
Woran fehlt es jetzt?
Mal versucht die subscriptions zu aktualisieren? In Thunderbird "IMAP-Ordner abonnieren" auswählen wenn du das Objekt für den Account in der Ordnerliste auswählst... Arno -- Arno Lehmann IT-Service Lehmann www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Arno Lehmann, Dienstag, 15. April 2008 09:31:
Mal versucht die subscriptions zu aktualisieren? In Thunderbird "IMAP-Ordner abonnieren" auswählen wenn du das Objekt für den Account in der Ordnerliste auswählst...
Daran hab ich auch schon gedacht. Aber daran liegt es nicht. Ich habe extra auf einem anderen System einen TB konfiguriert, und dort den IMAP-Server als Konto angelegt. Da seh ich auch nix. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Arno Lehmann, Dienstag, 15. April 2008 09:31:
Mal versucht die subscriptions zu aktualisieren? In Thunderbird "IMAP-Ordner abonnieren" auswählen wenn du das Objekt für den Account in der Ordnerliste auswählst...
Hey, Du hattest recht. TB scheint recht umfangreich zu cachen. Selbst das Löschen + Neuanlegen eines IMAP-Kontos scheint die Cache-Informationen nicht zu löschen. Über das Abonnieren funktionierts. Danke+Gruß! Andy -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hi, 15.04.2008 09:53, Andre Tann wrote:
Arno Lehmann, Dienstag, 15. April 2008 09:31:
Mal versucht die subscriptions zu aktualisieren? In Thunderbird "IMAP-Ordner abonnieren" auswählen wenn du das Objekt für den Account in der Ordnerliste auswählst...
Hey, Du hattest recht. TB scheint recht umfangreich zu cachen. Selbst das Löschen + Neuanlegen eines IMAP-Kontos scheint die Cache-Informationen nicht zu löschen. Über das Abonnieren funktionierts.
Na also... been there, done that, and I even recalled the solution ;-)
Danke+Gruß!
Bitte, gerne, und danke! Arno
Andy
-- Arno Lehmann IT-Service Lehmann www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Arno Lehmann, Dienstag, 15. April 2008 09:31:
Mal versucht die subscriptions zu aktualisieren? In Thunderbird "IMAP-Ordner abonnieren" auswählen wenn du das Objekt für den Account in der Ordnerliste auswählst...
Hm, eine Sache habe ich jetzt doch noch festgestellt, die etwas blöd ist: die Mails sind zwar alle da, aber sie wurden einfach als Quelltext übernommen, d.h. man sieht jetzt keine Absender/Empfänger und auch kein Datum mehr, und Attachments sind keine Attachments mehr, sondern der Zeichenstrom hängt codiert am Text der Mail dran. Weiß jemand, woran das liegt? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann schrieb:
Arno Lehmann, Dienstag, 15. April 2008 09:31:
Mal versucht die subscriptions zu aktualisieren? In Thunderbird "IMAP-Ordner abonnieren" auswählen wenn du das Objekt für den Account in der Ordnerliste auswählst...
Hm, eine Sache habe ich jetzt doch noch festgestellt, die etwas blöd ist: die Mails sind zwar alle da, aber sie wurden einfach als Quelltext übernommen, d.h. man sieht jetzt keine Absender/Empfänger und auch kein Datum mehr, und Attachments sind keine Attachments mehr, sondern der Zeichenstrom hängt codiert am Text der Mail dran.
Mailheader schlecht konvertiert ? reconstruct falsch gelaufen ? (ggfs. die cyrus-Inidizi löschen -> Neu machen)
Weiß jemand, woran das liegt?
Es gibt keine Anhänge als solche.... das ist alles Zeichenstrom! ######################## hier ein kleines Stück der Mail vor replay... Return-Path: opensuse-de+bounces-28163-m.ockert=bss-services.de@opensuse.org> Received: from linuxs.zentrum.lan ([unix socket]) by linuxs (Cyrus v2.2.13) with LMTPA; Tue, 15 Apr 2008 15:24:20 +0200 X-Sieve: CMU Sieve 2.2 ....................................... List-Unsubscribe: <mailto:opensuse-de+unsubscribe@opensuse.org> List-Owner: <mailto:opensuse-de+owner@opensuse.org> X-MIME-Notice: attachments may have been removed from this message MIME-Version: 1.0 Content-Type: text/plain; charset="utf-8" Content-Transfer-Encoding: quoted-printable Content-Disposition: inline Message-Id: <200804151459.07977@inter.netz> X-Y-GMX-Trusted: 0 X-Envelope-To: m.ockert@bss-services.de X-Envelope-From: opensuse-de+bounces-28163-m.ockert=bss-services.de@opensuse.org X-IMS-IP: 195.135.221.135 Arno Lehmann, Dienstag, 15. April 2008 09:31:=20 ############################# und du siehst die Schlüsselworte, die die Mail "ankündigen" ... mehr muss der MUA nicht kennen (können) irgendwo steht dann noch, wo es mit "Attachment" weitergeht... bringst du durch irgenwas die korrekte Abfolge "durcheinander" dann ist einiges "weg" ( lässt sich nicht weiterleiten, zeigt Attachments nicht an...irgendsowas) insofern - schauen - gucken ( die X- Einträge kannst du auch rauslassen.. sollten üblicherweise ignoriert bzw. nur local angezeigt werden oder so was..... Gruss Fred ps: und den Return-Path-TZeilenumbruch "wegdenken" !! (erste Beispielzeile -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann wrote:
Arno Lehmann, Dienstag, 15. April 2008 09:31:
Mal versucht die subscriptions zu aktualisieren? In Thunderbird "IMAP-Ordner abonnieren" auswählen wenn du das Objekt für den Account in der Ordnerliste auswählst...
Hm, eine Sache habe ich jetzt doch noch festgestellt, die etwas blöd ist: die Mails sind zwar alle da, aber sie wurden einfach als Quelltext übernommen, d.h. man sieht jetzt keine Absender/Empfänger und auch kein Datum mehr, und Attachments sind keine Attachments mehr, sondern der Zeichenstrom hängt codiert am Text der Mail dran.
Weiß jemand, woran das liegt?
Ich vermute, dass die Mails an der falschen Stelle getrennt wurden, dass also das Script, welches die Mails von der MBOX aufgedröselt hat, Mist gebaut hat. Es sieht fast so aus, als ob der gesamte Header der Mails kaputt gegangen ist, und damit vermutlich auch Informationen zu MIME, Absender, Empfänger, Datum etc. Schaue dir mal die MBOX im Editor an und vergleiche sie mit den Einzeldateien, welche das Script erzeugt hat. Ein paar Beispielmails sollten genügen. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (7)
-
Andre Tann -
Arno Lehmann -
Christian Brabandt -
Fred Ockert -
Günther J. Niederwimmer -
Manfred Kreisl -
Sandy Drobic