Bilderserver soll mit der Anzahl Bilder mitwachsen
Hallo, Ich muss eine Ablage für sehr viele Bilder machen. Dazu möchte ich eure Meinung hören. Die Bilder sind je ca. 3.5MB gross (10megapixel), Täglich kommen einige hinzu, so dass bis ende Jahr um die 400'000 Bilder oder um die 1'500GB Daten zusammenkommen. Diese Bilder werden in einer Fotogallerie gezeigt und zum Download in hoher Auflösung angeboten. Punkt 1: Die Datenbank, als Datenbank stelle ich mir das Filesystem mit einer Ordnerstruktur ala 'Datum / Aktivität / Gruppe / Teilnehmer' vor, ich denke es spricht nichts für MySQL oder so? Punkt 2: Welches Filsystem? Es handelt sich um grosse Dateien die einmal gespeichert nicht mehr geändert werden. Ist für diese Art von Daten ReiserFS geeignet? oder eigentlich besser Ext2? Punkt 3: Da mir momentan die Mittel fehlen, und ich die Kapazität momentan nicht brauche, schwebt mir ein LVM System vor. Somit könnte, wenn der Speicher knapp wird, eine weitere (USB?) Harddisk zugefügt werden. Mit welchen Festplatten und mit welchem Filesystem wäre so eine erweiterung im Betrieb möglich? Die Daten sind nicht Lebenswichtig darum braucht es auch nicht unbedingt eine Datensicherung. Auch die Verfügbarkeit muss nicht rund um die Uhr gewährleistet sein, so könnte ich problemlos einen Neustart in kauf nehmen. Wenn's aber nicht sein muss..... Aus Preisgründen möchte ich auf SCSI verzichten, ich denke eher an USB Platten. Oder soll ich von anfang an auf NAS setzen? -- Thomas -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Thomas Fankhauser, Dienstag, 20. März 2007 18:43:
Punkt 2: Welches Filsystem? Es handelt sich um grosse Dateien die einmal gespeichert nicht mehr geändert werden. Ist für diese Art von Daten ReiserFS geeignet? oder eigentlich besser Ext2?
Ich würde hier eher an xfs denken. Läßt sich im gemounteten Zustand vergrößern, und wurde für sehr große Dateisystemgrößen entworfen.
Punkt 3: Da mir momentan die Mittel fehlen, und ich die Kapazität momentan nicht brauche, schwebt mir ein LVM System vor. Somit könnte, wenn der Speicher knapp wird, eine weitere (USB?) Harddisk zugefügt werden.
LVM ist eine sehr gute Idee, USB weniger. Nimm SATA-Platten. Darf ich fragen, wo Du 400k Bilder hernimmst? Mit dieser Menge schrottest Du die Verschlüsse von zwei Canon 1D-Kameras = ca. 7000 EUR alleine für die Bodys. Ein solcher Aufwand, obwohl Du andererseits sagst, daß Du nichtmal ne Datensicherung brauchst? -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Andre, Andre Tann wrote:
Thomas Fankhauser, Dienstag, 20. März 2007 18:43:
Punkt 2: Welches Filsystem? Es handelt sich um grosse Dateien die einmal gespeichert nicht mehr geändert werden. Ist für diese Art von Daten ReiserFS geeignet? oder eigentlich besser Ext2?
Ich würde hier eher an xfs denken. Läßt sich im gemounteten Zustand vergrößern, und wurde für sehr große Dateisystemgrößen entworfen.
Hab mir schnell par infos über xfs besorgt, auf den ersten Blick macht es einen recht guten Eindruck.
Punkt 3: Da mir momentan die Mittel fehlen, und ich die Kapazität momentan nicht brauche, schwebt mir ein LVM System vor. Somit könnte, wenn der Speicher knapp wird, eine weitere (USB?) Harddisk zugefügt werden.
LVM ist eine sehr gute Idee, USB weniger. Nimm SATA-Platten.
Ja. Ich stelle mir aber einige platten vor, so muss ich einen Kontroller einbauen der auch mehrere SATA Anschlüsse hat. USB haben die Rechner schon. Wie verhält sich ein LVM bestehend aus USB Platten?
Darf ich fragen, wo Du 400k Bilder hernimmst? Mit dieser Menge schrottest Du die Verschlüsse von zwei Canon 1D-Kameras = ca. 7000 EUR alleine für die Bodys. Ein solcher Aufwand, obwohl Du andererseits sagst, daß Du nichtmal ne Datensicherung brauchst?
Das sind Bilder die bisher (über die letzten 3 Jahre) nur auf Vorbestellung gemacht wurden, da nur ca. 25% der Teilnehmer die Bilder vorbestellten, und der Aufwand mit der Digitalen Technik mittlerweile drastisch gesunken ist, kam die Idee von jedem Teilnehmer die Fotos zu machen. Ziel ist, den spätentschlossenen auch noch Gelegenheit zum Kauf der Fotos zu geben. Da jedoch keine Verpflichtung besteht, diese Fotos auch wircklich liefern zu können, spielt ein Datenverlust eine untergeordnete Rolle. Die Menge der Bilder ist nüchternen Schätzung beruhend auf Erfahrungswerten -- Thomas
-- Andre Tann
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Thomas Fankhauser, Dienstag, 20. März 2007 21:16:
Wie verhält sich ein LVM bestehend aus USB Platten?
Keine Ahnung, ob der LVM das mag, wenn sich die Orte der einzelnen PVs ändern. Denn es kommt bei USB auf die Reihenfolge an, in der Du die Dinger ansteckst, und selbst wenn sie beim Booten schon angesteckt sind, dann ist es nicht sicher, daß sie immer in derselben Reihenfolge erkannt werden. Davon abgesehen habe ich in der Vergangenheit immer wieder Instabilitäten im Zusammenhang mit USB-Datenträgern beobachtet. Zehnmal wird meine Platte als sda... erkannt, beim elften Mal wird sie überhaupt nicht erkannt, und ein Reboot ist nötig. Dann ist sie wieder plötzlich sde... Ich würde davon wirklich zwingend Abstand nehmen, und lieber für ein paar Ocken einen SATA-Controller kaufen.
Das sind Bilder die bisher (über die letzten 3 Jahre) nur auf Vorbestellung gemacht wurden, da nur ca. 25% der Teilnehmer die Bilder vorbestellten, und der Aufwand mit der Digitalen Technik mittlerweile drastisch gesunken ist, kam die Idee von jedem Teilnehmer die Fotos zu machen.
Wow, 400k Teilnehmer. Das ist wirklich ein großes Rad, an dem Du drehst. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Andre Tann wrote:
Thomas Fankhauser, Dienstag, 20. März 2007 21:16:
Wie verhält sich ein LVM bestehend aus USB Platten?
Keine Ahnung, ob der LVM das mag, wenn sich die Orte der einzelnen PVs ändern. Denn es kommt bei USB auf die Reihenfolge an, in der Du die Dinger ansteckst, und selbst wenn sie beim Booten schon angesteckt sind, dann ist es nicht sicher, daß sie immer in derselben Reihenfolge erkannt werden.
Stimmt.
Davon abgesehen habe ich in der Vergangenheit immer wieder Instabilitäten im Zusammenhang mit USB-Datenträgern beobachtet. Zehnmal wird meine Platte als sda... erkannt, beim elften Mal wird sie überhaupt nicht erkannt, und ein Reboot ist nötig. Dann ist sie wieder plötzlich sde...
Wie ist denn da die Reihenfolge geregelt? Wenn eine Platte dazwischen plötzlich fehlt, rutschen denn die anderen nicht nach?
Ich würde davon wirklich zwingend Abstand nehmen, und lieber für ein paar Ocken einen SATA-Controller kaufen.
Ja, ein mächtiges Gehäuse und die Platten finden auch Platz.
Das sind Bilder die bisher (über die letzten 3 Jahre) nur auf Vorbestellung gemacht wurden, da nur ca. 25% der Teilnehmer die Bilder vorbestellten, und der Aufwand mit der Digitalen Technik mittlerweile drastisch gesunken ist, kam die Idee von jedem Teilnehmer die Fotos zu machen.
Wow, 400k Teilnehmer. Das ist wirklich ein großes Rad, an dem Du drehst.
:-) nicht 400k Telnehmer! Da hätte ich schon jetzt Magenprobleme;-) Die Teilnehmerzahl wird auf 15-20k geschätzt, von jedem um die 20 Bilder, dann noch einige Gruppenbilder, ergibt um die 400k Bilder. -- Thomas
-- Andre Tann
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Thomas Fankhauser, Dienstag, 20. März 2007 21:50:
Wie ist denn da die Reihenfolge geregelt? Wenn eine Platte dazwischen plötzlich fehlt, rutschen denn die anderen nicht nach?
Bei IDE ist das auf keine Fall so, daß da irgendwas automatisch nachrutscht, und bei SATA bin ich mir ziemlich sicher. Aber wie auch immer, der entscheidende Punkt ist hier der, daß Du ja weißt, wenn Du eine Platte ausbaust. Dann kannst Du Dich auch händisch um den LVM kümmern. Aber wenn jeder Reboot ein Zufallsspiel ist, dann wird es recht mühsam. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Am Dienstag, 20. März 2007 21:38 schrieb Andre Tann:
Thomas Fankhauser, Dienstag, 20. März 2007 21:16:
Wie verhält sich ein LVM bestehend aus USB Platten?
Keine Ahnung, ob der LVM das mag, wenn sich die Orte der einzelnen PVs ändern.
Das sollte dem LVM eigentlich egal sein. Wenn eine VG erstmal eingerichtet ist, werden die PVs anhand der UUID erkannt. Sie müssen halt zum Scanzeitpunkt als Blockdevices sichtbar sein. Allerdings würde ich eine VG mit USB-Platten als 'extrem experimentell' behandeln, nach diversen, aber nicht repräsentativen Erfahrungen mit USB-Platten und USB-Kontrollern... -- Viele Grüße ------------------------------------------------------------------------ Michael ________________________________________________________________________ PROSTEP AG, Dolivostraße 11, D-64293 Darmstadt HR: Amtsgericht Darmstadt, HRB 8383 Vorstand: Dr. Bernd Pätzold (Vorsitz), Reinhard Betz Aufsichtsrat: Dr. Heinz-Gerd Lehnhoff (Vorsitz) ________________________________________________________________________ -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Thomas Fankhauser schrieb:
Hallo Andre,
Andre Tann wrote:
Thomas Fankhauser, Dienstag, 20. März 2007 18:43:
Punkt 2: Welches Filsystem? Es handelt sich um grosse Dateien die einmal gespeichert nicht mehr geändert werden. Ist für diese Art von Daten ReiserFS geeignet? oder eigentlich besser Ext2?
Ich würde hier eher an xfs denken. Läßt sich im gemounteten Zustand vergrößern, und wurde für sehr große Dateisystemgrößen entworfen.
Hab mir schnell par infos über xfs besorgt, auf den ersten Blick macht es einen recht guten Eindruck.
Habe mich vor ca. einem halben Jahr für XFS entschieden um die von unserem Faxserver erzeugten TIFF (ca. 60.000 Stk. per anno) darauf abzulegen - leider finde ich den Vergleichstest der mich dazu bewegt hat im Moment nicht - kurz zusammengefasst war es das journaling filesystem das mit vielen Dateien am schnellsten umgehen konnte. Einziger - meiner Meinung nach zu vernachlässigender - Nachteil, kein undelete möglich. Bisher keine Probleme. [...] Grüße Eric -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Eric Scheen, Mittwoch, 21. März 2007 08:49:
Einziger - meiner Meinung nach zu vernachlässigender - Nachteil, kein undelete möglich.
Nun, _das_ aber ist kein Alleinstellungsmerkmal von xfs. Mir wäre kein gebräuchliches unixoides Dateisystem bekannt, welches ein undelete unterstützte. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Moin moin, Andre Tann schrieb:
Eric Scheen, Mittwoch, 21. März 2007 08:49:
Einziger - meiner Meinung nach zu vernachlässigender - Nachteil, kein undelete möglich.
Nun, _das_ aber ist kein Alleinstellungsmerkmal von xfs. Mir wäre kein gebräuchliches unixoides Dateisystem bekannt, welches ein undelete unterstützte.
hat ja auch keiner behauptet - nur bei anderen FS ist es trotzdem möglich - siehe auch die FAQ http://suse-linux-faq.koehntopp.de/q/q-filesystems-undelete.html das meinte ich. Grüße Eric -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On Dienstag, 20. März 2007, Thomas Fankhauser wrote:
Hallo,
Ich muss eine Ablage für sehr viele Bilder machen. Dazu möchte ich eure Meinung hören.
Die Bilder sind je ca. 3.5MB gross (10megapixel), Täglich kommen einige hinzu, so dass bis ende Jahr um die 400'000 Bilder oder um die 1'500GB Daten zusammenkommen.
Diese Bilder werden in einer Fotogallerie gezeigt und zum Download in hoher Auflösung angeboten.
Punkt 1: Die Datenbank, als Datenbank stelle ich mir das Filesystem mit einer Ordnerstruktur ala 'Datum / Aktivität / Gruppe / Teilnehmer' vor, ich denke es spricht nichts für MySQL oder so?
[...]
-- Thomas
Ich kann nur zu Punkt 1 meinen Senf dazu geben... M.E. spricht alles *für* eine (MySQL)-Datenbank und alles dagegen, sowas (nur) per Verzeichnis-Struktur zu organisieren. Nur die Daten (Bildbeschreibung, Stichworte, Speicherort/Dateiname usw.) gehören in die DB, die Bilder selber nicht. Stell dir nur vor, mit der Zeit merkst du, dass manche Bilder zu einer anderen Aktivität gehören (weil du sie feiner aufteilst, z.B.), oder zu mehreren Gruppen... Dann hast du eine Riesen-Schieberei und u.U. manche Bilder doppelt und dreifach. Das Organisationchaos ist programmiert. Ausserdem, was willst du denn den Bild-Dateien für Namen geben, die dann wirklich aufschlussreich sind... In einer DB änderst du nur die Einträge, die Bilddateien bleiben unverändert wo und wie sie sind. Gruss Daniel -- Daniel Bauer photographer Basel Switzerland professional photography: http://www.daniel-bauer.com Madagascar special: http://www.sanic.ch -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Daniel, Daniel Bauer wrote:
On Dienstag, 20. März 2007, Thomas Fankhauser wrote:
Hallo,
Ich muss eine Ablage für sehr viele Bilder machen. Dazu möchte ich eure Meinung hören.
Die Bilder sind je ca. 3.5MB gross (10megapixel), Täglich kommen einige hinzu, so dass bis ende Jahr um die 400'000 Bilder oder um die 1'500GB Daten zusammenkommen.
Diese Bilder werden in einer Fotogallerie gezeigt und zum Download in hoher Auflösung angeboten.
Punkt 1: Die Datenbank, als Datenbank stelle ich mir das Filesystem mit einer Ordnerstruktur ala 'Datum / Aktivität / Gruppe / Teilnehmer' vor, ich denke es spricht nichts für MySQL oder so?
[...]
-- Thomas
Ich kann nur zu Punkt 1 meinen Senf dazu geben... M.E. spricht alles *für* eine (MySQL)-Datenbank und alles dagegen, sowas (nur) per Verzeichnis-Struktur zu organisieren.
Du meinst aber nicht dass die Bilder in der (MySQL) Datenbank gespeichert werden sollen?
Nur die Daten (Bildbeschreibung, Stichworte, Speicherort/Dateiname usw.) gehören in die DB, die Bilder selber nicht.
Es handelt sich eigentlich um Fotos mit denen nur der Fotografierte selbst etwas anfangen kann. Eine Bildbeschreibung in diesem Sinne gibt es nicht.
Stell dir nur vor, mit der Zeit merkst du, dass manche Bilder zu einer anderen Aktivität gehören (weil du sie feiner aufteilst, z.B.), oder zu mehreren Gruppen... Dann hast du eine Riesen-Schieberei und u.U. manche Bilder doppelt und dreifach. Das Organisationchaos ist programmiert. Ausserdem, was willst du denn den Bild-Dateien für Namen geben, die dann wirklich aufschlussreich sind...
In einer DB änderst du nur die Einträge, die Bilddateien bleiben unverändert wo und wie sie sind.
Aha, Bild und Beschreibung getrennt. Bilder im FS und Beschreibung in einer DB. Wobei ja ein FS auch eine Art DB darstellt. Die Frage nach dem geeigneten FS bleibt aber dennoch bestehen, da ja auch eine (MySQL) Datenbank ein FS braucht. -- Thomas
Gruss
Daniel -- Daniel Bauer photographer Basel Switzerland professional photography: http://www.daniel-bauer.com Madagascar special: http://www.sanic.ch
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On Dienstag, 20. März 2007, Thomas Fankhauser wrote:
Hallo Daniel,
Daniel Bauer wrote: [...]
Punkt 1: Die Datenbank, als Datenbank stelle ich mir das Filesystem mit einer Ordnerstruktur ala 'Datum / Aktivität / Gruppe / Teilnehmer' vor, ich denke es spricht nichts für MySQL oder so?
[...]
Nur die Daten (Bildbeschreibung, Stichworte, Speicherort/Dateiname usw.) gehören in die DB, die Bilder selber nicht.
Es handelt sich eigentlich um Fotos mit denen nur der Fotografierte selbst etwas anfangen kann. Eine Bildbeschreibung in diesem Sinne gibt es nicht.
Ich meine damit beispielsweise auch die Namen der Teilnehmer(innen?), die sich z.B. durch Heirat hin und wieder ändern können. Verzeichnisse und Dateinamen ändern wär ja nur einfach mühsam und fehleranfällig (änderte ausserdem das Datum), aber katastrophal wär das Nachführen der Backups. Aber ok, Backup willst du keines und deine Teilnehmer sind vielleicht wirklich alles Leute, die nie und nimmer heiraten würden. Das kann ich verstehen :-) Es kann aber auch dann sein, dass sich der Verwendungszweck der Dateien später mal ändert und die vorhandene Struktur sich dann als ungeeignet erweist. Das Ändern/Umkopieren einer DB ist dann einfacher, schneller und sicherer als das Herumwursteln mit einem riesigen Datenbestand.
Stell dir nur vor, mit der Zeit merkst du, dass manche Bilder zu einer anderen Aktivität gehören (weil du sie feiner aufteilst, z.B.), oder zu mehreren Gruppen... Dann hast du eine Riesen-Schieberei und u.U. manche Bilder doppelt und dreifach. Das Organisationchaos ist programmiert. Ausserdem, was willst du denn den Bild-Dateien für Namen geben, die dann wirklich aufschlussreich sind...
In einer DB änderst du nur die Einträge, die Bilddateien bleiben unverändert wo und wie sie sind.
Aha, Bild und Beschreibung getrennt. Bilder im FS und Beschreibung in einer DB.
Klar.
Wobei ja ein FS auch eine Art DB darstellt. Die Frage nach dem geeigneten FS bleibt aber dennoch bestehen,
Dazu können die anderen Antworten besser Auskunft geben.
da ja auch eine (MySQL) Datenbank ein FS braucht.
Ja, nur kannst du die DB jederzeit irgendwohin zügeln, völlig unabhängig von den eigentlichen Bilddateien und mit einem kurzen SQL-Befehl sind die Speicherorte wieder à jour. Zumindest bei mir hat sich auch die Verzeichnis-Struktur immer wieder mal geändert: z.B. von MB Disks auf kleinere GB Disks mit verschiedenen Partitionen usw., vom Wechsel von Windoof zu Linux gar nicht zu reden. Hätte ich keine Datenbank (früher FileMaker, jetzt MySQL) wäre ich wohl jetzt noch am Austüfteln, welche Bilder wo sind - oder zu den handbeschrifteten Karteikarten zurück... Dennoch spricht natürlich nichts dagegen, Verzeichnisse und Dateinamen zusätzlich ebenfalls sinnvoll zu strukturieren und benennen. Ich will dich aber eigentlich von gar nichts überzeugen, wollte nur meinen Senf zum Organisatorischen geben, weil das Ablegen von Bildern bei mir seit jeher berufsbedingt dazu gehört und ichs gern so einfach, schnell und sicher wie halt möglich hab :-) Viel Spass! Daniel -- Daniel Bauer photographer Basel Switzerland professional photography: http://www.daniel-bauer.com Madagascar special: http://www.sanic.ch -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Thomas Fankhauser wrote:
Hallo,
Ich muss eine Ablage für sehr viele Bilder machen. Dazu möchte ich eure Meinung hören.
Die Bilder sind je ca. 3.5MB gross (10megapixel), Täglich kommen einige hinzu, so dass bis ende Jahr um die 400'000 Bilder oder um die 1'500GB Daten zusammenkommen.
Und was kommt nach diesem Jahr? Muss das dann noch weiter skalieren oder ist dann Projektende?
Diese Bilder werden in einer Fotogallerie gezeigt und zum Download in hoher Auflösung angeboten.
Punkt 1: Die Datenbank, als Datenbank stelle ich mir das Filesystem mit einer Ordnerstruktur ala 'Datum / Aktivität / Gruppe / Teilnehmer' vor, ich denke es spricht nichts für MySQL oder so?
Doch, die Verwaltungsdaten sollten auf jeden Fall in einer Datenbank gehalten werden. Vermutlich wird für dich auch interessant sein, welche Bilder gefragt sind und welche nicht. Dies kann dann besser mit der Datenbank im Hintergrund geschehen.
Punkt 2: Welches Filsystem? Es handelt sich um grosse Dateien die einmal gespeichert nicht mehr geändert werden. Ist für diese Art von Daten ReiserFS geeignet? oder eigentlich besser Ext2?
Da würde ich einfach ext3 nehmen.
Punkt 3: Da mir momentan die Mittel fehlen, und ich die Kapazität momentan nicht brauche, schwebt mir ein LVM System vor. Somit könnte, wenn der Speicher knapp wird, eine weitere (USB?) Harddisk zugefügt werden. Mit welchen Festplatten und mit welchem Filesystem wäre so eine erweiterung im Betrieb möglich?
Erweiterung ist mit ext3 möglich, AFAIK sogar online. Ich würde SATA-Platten nehmen, die haben das beste Preis/Leistungsverhältnis.
Die Daten sind nicht Lebenswichtig darum braucht es auch nicht unbedingt eine Datensicherung.
Sehr seltsame Auffassung von Daten. Dann würde ich wenigstens ein Software RAID5 verwenden für die Daten, das bietet wenigstens Sicherheit gegen Hardware-Schäden. Bei 500GB-Platten ist die Investition überschaubar. Seit Kernel 2.6.19 lässt sich IMHO auch ein SW Raid online erweitern.
Auch die Verfügbarkeit muss nicht rund um die Uhr gewährleistet sein, so könnte ich problemlos einen Neustart in kauf nehmen. Wenn's aber nicht sein muss.....
Unter Linux kommst du vermutlich mit einem umount/resize/mount aus, aber trotzdem ist in dieser Zeit natürlich kein Zugriff möglich. Kündige Wartungszeiten an und setze diese pessimistisch an, dann sollte es ohne Hektik gehen. Trotzdem, generell gilt, dass die Nutzung von Daten auf einem gewerblich genutzten System ohne Backup als fahrlässig gilt.
Aus Preisgründen möchte ich auf SCSI verzichten, ich denke eher an USB Platten.
Oder soll ich von anfang an auf NAS setzen?
Das kann durchaus eine gute Alternative sein, wenn der Server nicht die Plattenkapazität hat. und du einen neuen Server anschaffen musst. -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Sandy, Wünsche dir einen erlebnisreichen Tag morgen an der CeBit. Sandy Drobic wrote:
Thomas Fankhauser wrote:
Hallo,
Ich muss eine Ablage für sehr viele Bilder machen. Dazu möchte ich eure Meinung hören.
Die Bilder sind je ca. 3.5MB gross (10megapixel), Täglich kommen einige hinzu, so dass bis ende Jahr um die 400'000 Bilder oder um die 1'500GB Daten zusammenkommen.
Und was kommt nach diesem Jahr? Muss das dann noch weiter skalieren oder ist dann Projektende?
Hmm, ich denke dass wir die Bilder nicht länger aufbewahren und einfach überschreiben werden.
Diese Bilder werden in einer Fotogallerie gezeigt und zum Download in hoher Auflösung angeboten.
Punkt 1: Die Datenbank, als Datenbank stelle ich mir das Filesystem mit einer Ordnerstruktur ala 'Datum / Aktivität / Gruppe / Teilnehmer' vor, ich denke es spricht nichts für MySQL oder so?
Doch, die Verwaltungsdaten sollten auf jeden Fall in einer Datenbank gehalten werden. Vermutlich wird für dich auch interessant sein, welche Bilder gefragt sind und welche nicht. Dies kann dann besser mit der Datenbank im Hintergrund geschehen.
Das Handling muss auch stimmen. Die Fotografen können die Arbeit des Tages sortiert ins FS schieben. Mittels php sollte es kein Problem mehr sein, die Fotogallerie mit verkleinerten, qualitativ schlechten Bildern zu zeigen, so dass sich die Kunden für einen Kauf entscheiden können. Ohne dass der Fotograf oder sonstwehr noch paralell dazu daten in einer Datenbank erfassen muss. Falls sich der Kunde dann zu einem Kauf enschliessen sollte, würde dann via Passwortabfrage das selbe Verzeichniss ohne verunstaltung der Qualität angezeigt. Für die Benutzername- Passwort- Verzeichnis- zuordnung würde ich schon MySQL nehmen.
Punkt 2: Welches Filsystem? Es handelt sich um grosse Dateien die einmal gespeichert nicht mehr geändert werden. Ist für diese Art von Daten ReiserFS geeignet? oder eigentlich besser Ext2?
Da würde ich einfach ext3 nehmen.
Punkt 3: Da mir momentan die Mittel fehlen, und ich die Kapazität momentan nicht brauche, schwebt mir ein LVM System vor. Somit könnte, wenn der Speicher knapp wird, eine weitere (USB?) Harddisk zugefügt werden. Mit welchen Festplatten und mit welchem Filesystem wäre so eine erweiterung im Betrieb möglich?
Erweiterung ist mit ext3 möglich, AFAIK sogar online. Ich würde SATA-Platten nehmen, die haben das beste Preis/Leistungsverhältnis.
Kennst du einen guten Kontroller für mehrere Platten?
Die Daten sind nicht Lebenswichtig darum braucht es auch nicht unbedingt eine Datensicherung.
Sehr seltsame Auffassung von Daten. Dann würde ich wenigstens ein Software RAID5 verwenden für die Daten, das bietet wenigstens Sicherheit gegen Hardware-Schäden. Bei 500GB-Platten ist die Investition überschaubar. Seit Kernel 2.6.19 lässt sich IMHO auch ein SW Raid online erweitern.
Auch die Verfügbarkeit muss nicht rund um die Uhr gewährleistet sein, so könnte ich problemlos einen Neustart in kauf nehmen. Wenn's aber nicht sein muss.....
Unter Linux kommst du vermutlich mit einem umount/resize/mount aus, aber trotzdem ist in dieser Zeit natürlich kein Zugriff möglich.
Geht denn ein anstöpseln einer SATA Platte auch Online? Bei IDE (PATA) jedenfalls nicht.
Kündige Wartungszeiten an und setze diese pessimistisch an, dann sollte es ohne Hektik gehen. Trotzdem, generell gilt, dass die Nutzung von Daten auf einem gewerblich genutzten System ohne Backup als fahrlässig gilt.
Bei einer solch grossen Datenmenge ist "Backup" auch schneller gesagt als getan.
Aus Preisgründen möchte ich auf SCSI verzichten, ich denke eher an USB Platten.
Oder soll ich von anfang an auf NAS setzen?
Das kann durchaus eine gute Alternative sein, wenn der Server nicht die Plattenkapazität hat. und du einen neuen Server anschaffen musst.
Einen Server brauche ich so oder so. Für die oben beschriebene Lösung mit PHP und der Fotogallerie. Festplatten sind aber momentan nicht vorhanden, also könnten die auch in Form von NAS besorgt werden, wenn dies einen Vorteil sein sollte. (Denk ich mir aber nicht wirklich) -- Thomas -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Thomas Fankhauser wrote:
Täglich kommen einige hinzu, so dass bis ende Jahr um die 400'000 Bilder oder um die 1'500GB Daten zusammenkommen.
Und was kommt nach diesem Jahr? Muss das dann noch weiter skalieren oder ist dann Projektende?
Hmm, ich denke dass wir die Bilder nicht länger aufbewahren und einfach überschreiben werden.
In Ordnung, dann dürftest du also mit 2 TB (etwas Reserve muss sein) auskommen. Das wären 5 Platten à 500 GB im RAID5.
Das Handling muss auch stimmen. Die Fotografen können die Arbeit des Tages sortiert ins FS schieben. Mittels php sollte es kein Problem mehr sein, die Fotogallerie mit verkleinerten, qualitativ schlechten Bildern zu zeigen, so dass sich die Kunden für einen Kauf entscheiden können. Ohne dass der Fotograf oder sonstwehr noch paralell dazu daten in einer Datenbank erfassen muss.
Das würde ich persönlich lieber abfangen und dem Fotografen nur die Möglichkeit geben, auf der Upload-Seite Kategorien, Stichwörter unt Titel zu vergeben. Auf der Datei-Ebene hat er besser nichts verloren.
Falls sich der Kunde dann zu einem Kauf enschliessen sollte, würde dann via Passwortabfrage das selbe Verzeichniss ohne verunstaltung der Qualität angezeigt. Für die Benutzername- Passwort- Verzeichnis- zuordnung würde ich schon MySQL nehmen.
Was passiert, wenn der Kunde dann das gesamte Verzeichnis runterlädt anstelle einer Datei? Mit einem Webinterface, welches nur die bestimmte Datei über einen Download-Link freigibt, ist so etwas einfacher abzufangen.
Erweiterung ist mit ext3 möglich, AFAIK sogar online. Ich würde SATA-Platten nehmen, die haben das beste Preis/Leistungsverhältnis.
Kennst du einen guten Kontroller für mehrere Platten?
3Ware hat schon recht ordentliche Controller im Einsatz, die direkt vom Kernel unterstützt werden, also keine Probleme bei einem Update machen. Mein Areca hat eine hervorragende Leistung, ist aber erst ab Kernel 2.6.19 unterstützt. Ab Suse 10.3 ist er endlich nativ unterstützt. Wenn dir ein Software-Raid reicht, dann genügt meistens ein aktuelles Mainboard, das bietet meistens schon 6 Sata-Anschlüsse. Bei Software-RAID würde ich auf jeden Fall das System auf einer normalen Sata-Platte installieren und nur die Daten des Webservers auf dem SW RAID5 ablegen. Wenn eine Platte aus dem RAID abraucht, dann hast du alle Befehle zur Verfügung und kannst in Ruhe das RAID reparieren. Wenn du Wert auf Hot-Plug für fließenden Austausch während des Betriebes legst, dann wirst du früher oder später bei einem 2000 Euro Server landen mit Raid-Controller für 8 Ports und 8 Hot-Plug-HDD-Slots.
Unter Linux kommst du vermutlich mit einem umount/resize/mount aus, aber trotzdem ist in dieser Zeit natürlich kein Zugriff möglich.
Geht denn ein anstöpseln einer SATA Platte auch Online? Bei IDE (PATA) jedenfalls nicht.
Sata hat da kein Problem mit, solange die Treiber mitspielen. Inzwischen sollte das kein Problem mehr sein. Von der Hardware her war Hot-Plug direkt Teil der Spezifikation von Sata.
Kündige Wartungszeiten an und setze diese pessimistisch an, dann sollte es ohne Hektik gehen. Trotzdem, generell gilt, dass die Nutzung von Daten auf einem gewerblich genutzten System ohne Backup als fahrlässig gilt.
Bei einer solch grossen Datenmenge ist "Backup" auch schneller gesagt als getan.
Das kannst du ja mit rsync machen. Wenn du die Ablage im Dateisytem datumsmäßig ordnest, sollte auch die Automatisierung kein Problem sein. Dann kann man immer ein relativ kleinen Teil der Daten im Backup haben, so sollte dann auch eine USB-Platte reichen. Am Ende des Jahres hast du dann mehrere USB-Platten, welche insgesamt eine Gesamtsicherung darstellen sollten.
Oder soll ich von anfang an auf NAS setzen?
Das kann durchaus eine gute Alternative sein, wenn der Server nicht die Plattenkapazität hat. und du einen neuen Server anschaffen musst.
Einen Server brauche ich so oder so. Für die oben beschriebene Lösung mit PHP und der Fotogallerie. Festplatten sind aber momentan nicht vorhanden, also könnten die auch in Form von NAS besorgt werden, wenn dies einen Vorteil sein sollte. (Denk ich mir aber nicht wirklich)
Wenn du ohnehin einen neuen Server anschaffen willst, dann ist es vermutlich besser, einen mit entsprechender Plattenkapazität anzuschaffen. He he, vielleicht sehe ich morgen auf der CeBit ja etwas passendes. (^-^) -- Sandy Antworten bitte nur in die Mailingliste! PMs bitte an: news-reply2 (@) japantest (.) homelinux (.) com -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (6)
-
Andre Tann -
Daniel Bauer -
Eric Scheen -
Michael Behrens -
Sandy Drobic -
Thomas Fankhauser