abonierte Mailinglisten unter MySQL archivieren

Andreas Rau

27 Feb 2004 27 Feb '04

13:13

Hallo Miteinander, seit nahezu einem Jahr liegen mir nun die Postings verschidener Mailinglisten auf meinem Cyrus-IMAP-Server vor. (Typus: Sammler und Jäger). Nun möchte ich mir aus diesen Daten ein kleine Wissensdatenbank zusammenbasteln. Beim googeln sind mir bereits Applikationen wie "hypermail" oder "Mhonarc" untergekommen. Wenn ich es richtig verstanden habe, dann wandeln diese wunderschön die Mails in HTML-Files um und bieten auch entsprechende Anpassungen für einen (selbst) zu erstellenden Webfrontend an. Von der Richtung her, ist das schon die Richtung, in die ich gehen möchte. Für meine Bedürfnisse, scheint mir jedoch eine Archivierung unter MySQL besser geeignet. Ziel sollten folgende Punkte sein: - Verwaltung mehrerer Mailinglisten, die derzeit in separaten IMAP-Postfächern archiviert werden. - automatische Übertragung an MySQL-DB - Webfront-End einschließlich Verwaltung (kann ggfs. selbst gebaut werden) - Suchfunktion über DB Hab´ ich beim googeln was übersehen oder gibt es vielleicht doch bereits sowas? Für jeden Hinweis bin ich dankbar. MfG Andreas Rau

Show replies by date

Marco Schuler

27 Feb 27 Feb

12:26

Hallo Andreas, Am Fr, 2004-02-27 um 14.13 schrieb Andreas Rau: [...]

...

Ziel sollten folgende Punkte sein:

- Verwaltung mehrerer Mailinglisten, die derzeit in separaten IMAP-Postfächern archiviert werden. - automatische Übertragung an MySQL-DB - Webfront-End einschließlich Verwaltung (kann ggfs. selbst gebaut werden) - Suchfunktion über DB

Hab´ ich beim googeln was übersehen oder gibt es vielleicht doch bereits sowas?

Vielleicht weiss Marc wie man das macht: http://marc.theaimsgroup.com/ Nehme mal an, der hatte sich ähnliche Fragen gestellt. -- Grüsse Marco

Christian Boltz

20:45

Hallo Andreas, hallo Leute, Am Freitag, 27. Februar 2004 14:13 schrieb Andreas Rau:

...

seit nahezu einem Jahr liegen mir nun die Postings verschidener Mailinglisten auf meinem Cyrus-IMAP-Server vor. (Typus: Sammler und Jäger).

Nun möchte ich mir aus diesen Daten ein kleine Wissensdatenbank zusammenbasteln.

Die hast Du anscheinend auch nötig, die Frage ging nämlich in letzter Zeit mehrfach über die Liste *SCNR*

...

Für meine Bedürfnisse, scheint mir jedoch eine Archivierung unter MySQL besser geeignet.

Ziel sollten folgende Punkte sein:

- Verwaltung mehrerer Mailinglisten, die derzeit in separaten IMAP-Postfächern archiviert werden.

Mehrere Tabellen in einer Datenbank

...

- automatische Übertragung an MySQL-DB

geht z. B. per Procmail (jede Mail einzeln verfüttern!)

...

- Webfront-End einschließlich Verwaltung (kann ggfs. selbst gebaut werden) - Suchfunktion über DB

Hab´ ich beim googeln was übersehen oder gibt es vielleicht doch bereits sowas?

Es gibt sowas - Vorführmodell unter http://suse-linux-faq.koehntopp.de Die Scripte zum Füttern der Datenbank findet sich hier: From: Kristian Koehntopp Cc: suse-linux@lists.suse.com Subject: Re: suse ml-archiv durchsuchen Date: Fri, 27 Jun 2003 17:27:30 +0200 Message-ID: <20030627152730.GA1686@p15104972.pureserver.info> und ein passendes Webfrontend kannst Du von mir per PM haben ;-) Gruß Christian Boltz --

...

ich mochte gerne fur eine unbestimte Zeit Linux von meiner Festplatte werfen wie mache ich das genau? [Glenn Charpantier] Nimm die Platte aus dem Rechner, und pack sie ganz fest mit der Hand. Dann machst Du eine heftige Wurfbewegung, als wolltest Du die Platte ganz weit weg werfen. [...] Wenn die Bewgeung heftig genug war, ist Linux nun von der Platte gefallen. [Adalbert Michelic in suse-linux]

Andreas Rau

28 Feb 28 Feb

14:28

Hallo Chris, hallo zusammen

...

...
Nun möchte ich mir aus diesen Daten ein kleine Wissensdatenbank zusammenbasteln.

Die hast Du anscheinend auch nötig, die Frage ging nämlich in letzter Zeit mehrfach über die Liste *SCNR*

Ja, is richtig. Ich war es, der schon mal diesbezüglich gepostet habe. Habe zwar ansatzweise mein Vorhaben per Shell-Skript realisiert, bin nun aber an (meine) Grenzen gekommen. So wird das Analysieren und Korrigieren bestimmter Einträge (z.B. Date, From, Subject) immer zeitintensiver. So müssen hier die Zeitzone des abgesendeten Timestamps berücksichtigt werden, bzw. ist im Header die Syntax der Zeit unterschiedlich. Im Subject und im Body müssen zwecks der dt. Umlaute die Zeichensätze umgewandelt werden. ...

...

...
- Verwaltung mehrerer Mailinglisten, die derzeit in separaten IMAP-Postfächern archiviert werden.

Mehrere Tabellen in einer Datenbank

Wenn ich es richtig verstehe: je Mailingliste eine Tabelle?

...

...
- automatische Übertragung an MySQL-DB geht z. B. per Procmail (jede Mail einzeln verfüttern!) [vorgezogen] Die Scripte zum Füttern der Datenbank findet sich hier: From: Kristian Koehntopp Cc: suse-linux@lists.suse.com Subject: Re: suse ml-archiv durchsuchen Date: Fri, 27 Jun 2003 17:27:30 +0200

HabŽs grad mal gesichtet. Nur hierzu eine Frage: Berücksichtigt Dein PHP-Script bzw. kann PHP oben erwähnte Abweichungen korrigieren?

...

und ein passendes Webfrontend kannst Du von mir per PM haben ;-)

Ich bitte darum. MfG Andreas

Christian Boltz

29 Feb 29 Feb

18:17

Hallo Andreas, hallo Leute, Am Samstag, 28. Februar 2004 15:28 schrieb Andreas Rau: [Vorredner?]

...

...
...
Nun möchte ich mir aus diesen Daten ein kleine Wissensdatenbank zusammenbasteln.

Die hast Du anscheinend auch nötig, die Frage ging nämlich in letzter Zeit mehrfach über die Liste *SCNR*

Ja, is richtig. Ich war es, der schon mal diesbezüglich gepostet habe.

Habe zwar ansatzweise mein Vorhaben per Shell-Skript realisiert, bin nun aber an (meine) Grenzen gekommen. So wird das Analysieren und Korrigieren bestimmter Einträge (z.B. Date, From, Subject) immer zeitintensiver. So müssen hier die Zeitzone des abgesendeten Timestamps berücksichtigt werden, bzw. ist im Header die Syntax der Zeit unterschiedlich. Im Subject und im Body müssen zwecks der dt. Umlaute die Zeichensätze umgewandelt werden. ...

Uff - die ganzen Mailcodierungen sind nicht ohne. Das dürfte Dir einigen "Spaß" bereiten und ist mit einem Shellscript wohl kaum in den Griff zu bekommen.

...

...
...
- Verwaltung mehrerer Mailinglisten, die derzeit in separaten IMAP-Postfächern archiviert werden.

Mehrere Tabellen in einer Datenbank

Wenn ich es richtig verstehe: je Mailingliste eine Tabelle?

Jepp.

...

...
...
- automatische Übertragung an MySQL-DB

geht z. B. per Procmail (jede Mail einzeln verfüttern!)

[vorgezogen]

...
Die Scripte zum Füttern der Datenbank findet sich hier: From: Kristian Koehntopp Cc: suse-linux@lists.suse.com Subject: Re: suse ml-archiv durchsuchen Date: Fri, 27 Jun 2003 17:27:30 +0200

HabŽs grad mal gesichtet. Nur hierzu eine Frage: Berücksichtigt Dein

Danke für die Blumen, aber ich "verkaufe" das Script von Kristian Köhntopp nur ;-)

...

PHP-Script bzw. kann PHP oben erwähnte Abweichungen korrigieren?

Bisher nicht, aber das ist wohl nur eine Frage des Aufwands. Falls Du sowas einbaust (bevorzugt in der Darstellung beim Webinterface, damit in der DB die Originalmails liegen), wäre ich über eine Rückmeldung und den geänderten Code froh.

...

...
und ein passendes Webfrontend kannst Du von mir per PM haben ;-)

Ich bitte darum.

Kommt postwendend. Gruß Christian Boltz --

...

bei Bernd ist alles Zufall. Glaubst Du nicht, dass da Kristallkugel.pl zugeschlagen hat? Ich bin mir sicher, dass Bernd sowas auf seinem Rechner hat ;-) [> Michael Schulz u. Manfred Tremmel über Bernd Brodesser in suse-linux]

Martin Spuetz

27 Feb 27 Feb

23:54

Hallo Andreas, Andreas Rau wrote:

...

Nun möchte ich mir aus diesen Daten ein kleine Wissensdatenbank zusammenbasteln. Beim googeln sind mir bereits Applikationen wie "hypermail" oder "Mhonarc" untergekommen. Wenn ich es richtig verstanden habe, dann wandeln diese wunderschön die Mails in HTML-Files um und bieten auch entsprechende Anpassungen für einen (selbst) zu erstellenden Webfrontend an.

Von der Richtung her, ist das schon die Richtung, in die ich gehen möchte. Für meine Bedürfnisse, scheint mir jedoch eine Archivierung unter MySQL besser geeignet.

Genauso sieht es bei mir aus, ich habe etliche Mailinglisten und diese archivieren waere gar nicht schlecht und dann am liebsten in eine MySQL Datenbank. Hast du schon ein entsprechendes Tool gefunden?

...

MfG Andreas Rau

Gruss Martin

Joerg Rossdeutscher

29 Feb 29 Feb

08:01

Moin, Am Fr, den 27.02.2004 schrieb Andreas Rau um 14:13:

...

seit nahezu einem Jahr liegen mir nun die Postings verschidener Mailinglisten auf meinem Cyrus-IMAP-Server vor. (Typus: Sammler und Jäger).

Ich habe mit sowas auch rumgespielt und würde dir von der Lösung abraten. Nichts ist so schnell wie ein spezielles Programm, welches genau auf dieses Problem hin programmiert wurde. Nimm evolution. Du brauchst es ja nich zum Mailen verwenden, sondern nur als reines Archivierungsprogramm. Dieses Teil ist so dermaßen rasend schnell, hat indizierte Suchfunktionen und virtuelle Ordner, da kommt nix anderes mit. Ich habe derzeit 2,7 Gigabyte Mail, und evolution braucht beim Programmstart etwa 10 Sekunden zur re-Indizierung. Alle Suchfunktionen laufen dann ohne Verzögerung, das Resultat ist "einfach da". Gruß, Ratti -- -o) fontlinge | Font management for Linux | Schriftenverwaltung in Linux /\\ http://freshmeat.net/projects/fontlinge/ _\_V http://www.gesindel.de https://sourceforge.net/projects/fontlinge/

Philipp Flesch

09:31

Hi!

...

Am Fr, den 27.02.2004 schrieb Andreas Rau um 14:13:

...
seit nahezu einem Jahr liegen mir nun die Postings verschidener Mailinglisten auf meinem Cyrus-IMAP-Server vor. (Typus: Sammler und Jäger).

Ich habe mit sowas auch rumgespielt und würde dir von der Lösung abraten. Nichts ist so schnell wie ein spezielles Programm, welches genau auf dieses Problem hin programmiert wurde. Ich habe hier mal von einem suse-erianer ein kleines aber feines php-script bekommen, dass emails direkt in ne mysql-db schiebt ...

Das geht eigentlich sehr schoen! Bei interesse pm an mich! Philipp

Thomas Weber

11:06

Hallo Philipp, Am Sonntag, 29. Februar 2004 10:31 schrieb Philipp Flesch:

...

Hi!

...
Am Fr, den 27.02.2004 schrieb Andreas Rau um 14:13:

...
seit nahezu einem Jahr liegen mir nun die Postings verschidener Mailinglisten auf meinem Cyrus-IMAP-Server vor. (Typus: Sammler und Jäger).

Ich habe mit sowas auch rumgespielt und würde dir von der Lösung abraten. Nichts ist so schnell wie ein spezielles Programm, welches genau auf dieses Problem hin programmiert wurde.

Ich habe hier mal von einem suse-erianer ein kleines aber feines php-script bekommen, dass emails direkt in ne mysql-db schiebt ...

Das geht eigentlich sehr schoen! Bei interesse pm an mich!

Philipp

an dem Script wäre ich auch interessiert und dankbar, wenn du es mir schicken könntest. Grüße Thomas

Philipp Flesch

14:29

Hi!

...

...
Ich habe hier mal von einem suse-erianer ein kleines aber feines php-script bekommen, dass emails direkt in ne mysql-db schiebt ... Das geht eigentlich sehr schoen! Bei interesse pm an mich! an dem Script wäre ich auch interessiert und dankbar, wenn du es mir schicken

ich werde den verfasser noch einmal fragen und dann das ganze ins web stellen und url posten ;-) Ist eigentlich recht simpel und auch noch ausbaubar ... wenn man mal die Idee hat ;-) Philipp

Joerg Rossdeutscher

19:20

Am So, den 29.02.2004 schrieb Philipp Flesch um 10:31: (Hier fehlt, daß ich das folgende geschrieben habe)

...

...
Ich habe mit sowas auch rumgespielt und würde dir von der Lösung abraten. Nichts ist so schnell wie ein spezielles Programm, welches genau auf dieses Problem hin programmiert wurde. Ich habe hier mal von einem suse-erianer ein kleines aber feines php-script bekommen, dass emails direkt in ne mysql-db schiebt ...

Das geht eigentlich sehr schoen! Bei interesse pm an mich!

Probier's aus. Wie gesagt, genau das habe ich auch gemacht, und das ging eben auch sehr schön, bis ich tatsächlich 2 Gigs Mail nach MySQL geschoben hatte - dann "ging" es tatsächlich nur noch, statt zu "laufen" oder zu "rennen". :-) Kann mein Fehler gewesen sein - ich habe den Eindruck, daß MySQL solche Datenmengen nicht mehr /wirklich/ gewuppt kriegt. Gruß, Ratti -- -o) fontlinge | Font management for Linux | Schriftenverwaltung in Linux /\\ http://freshmeat.net/projects/fontlinge/ _\_V http://www.gesindel.de https://sourceforge.net/projects/fontlinge/

7371

Age (days ago)

7373

Last active (days ago)

List overview

Download

10 comments

7 participants

participants (7)

Andreas Rau
Christian Boltz
Joerg Rossdeutscher
Marco Schuler
Martin Spuetz
Philipp Flesch
Thomas Weber