Hallo, in der letzten Zeit wurde mehrfach erwähnt, dass es Probleme mit dem Filesystem bzw. mit einem fsck geben könnte, wenn die Anzahl der Hardlinks, wie sie bei rsnapshot angelegt werden, zu groß wird. Kann man hier etwas genauer sagen wann es kritisch wird? Ich fahre meine Backups u.a. mit rsnapshot auf ext3, rein privates Datenaufkommen. Besteht die Gefahr, dass ich jemals in den kritischen Bereich komme oder kommt das nur im Server-Bereich mit zig TiB und Millionen von Dateien vor? Gruß Joachim -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo, 06.06.2010 15:03, Joachim H. wrote:
Hallo,
in der letzten Zeit wurde mehrfach erwähnt, dass es Probleme mit dem Filesystem bzw. mit einem fsck geben könnte, wenn die Anzahl der Hardlinks, wie sie bei rsnapshot angelegt werden, zu groß wird.
Unter Umständen beziehst du dich auch auf eine Mail von mir...
Kann man hier etwas genauer sagen wann es kritisch wird?
Lies http://thunk.org/tytso/blog/2009/01/12/wanted-incremental-backup-solutions-t... Darin findest du den Hinweis dass im günstigsten Fall pro Verzeichnis 4k Daten im Speicher gehalten werden müssen um den Link-Count zu verfolgen. Schlussfolgerung von mir: Spätestens bei einer Million Verzeichnissen werden bereits 4 GB nur zu diesem Zweck gebraucht. Eine Million Verzeichnisse kling viel wenn ich einen Rechner per BackupPC sichere und Sicherungen von einem Monat aufhebe. Wenn ich einem Mailserver mit Cyrus betreibe sind ein paar Zehntausend Verzeichnisse mit deutlich mehr als 100 Blöcken Größe schnell erreicht - das dann täglich mit BackupPC gesichert und Backups mehrere Monate aufgehoben, und ich bin schnell an der Grenze des Erträglichen wenn ein fsck-Lauf fällig wird. Kurzfassung: Kommt immer drauf an. In erster Näherung: Backup-Generationen * Blöcke pro Verzeichnis * Verzeichnisse * 4k Blockgröße ist die Menge Speicher die ich mindestens brauche. Ich gebe zu dass ich auch falsch liegen kann - so gut kenne ich die Interna der Dateisysteme und von fsck auch nicht :-)
Ich fahre meine Backups u.a. mit rsnapshot auf ext3, rein privates Datenaufkommen.
Privat ist dehnbar... wenn ich im Monat 500 Fotos von der Digitalkamera und 10.000 Mailinglisten-Mails in Dateien speichere ist das mehr als was die Buchhaltung eines mittleren Unternehmens an Datenmengen produziert...
Besteht die Gefahr, dass ich jemals in den kritischen Bereich komme oder kommt das nur im Server-Bereich mit zig TiB und Millionen von Dateien vor?
Da musst du schon die tatsächliche Anzahl der Dateien als Basis nehmen. Viele betrieblich genutzte Server kommen mit erstaunlich wenigen Dateien aus, verglichen mit dem was Privatanwender an Daten sammeln. Beste Grüße, Arno
Gruß
Joachim
-- Arno Lehmann IT-Service Lehmann Sandstr. 6, 49080 Osnabrück www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo, On 06.06.2010, Arno Lehmann wrote:
Schlussfolgerung von mir: Spätestens bei einer Million Verzeichnissen werden bereits 4 GB nur zu diesem Zweck gebraucht.
Schau dir mal die specs von XFS an, die liegen irgendwo auf den Seiten von SGI. Ich benutze das seit langer Zeit. http://oss.sgi.com/projects/xfs/ http://xfs.org/index.php/Main_Page -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo, 06.06.2010 21:21, Heinz Diehl wrote:
Hallo,
On 06.06.2010, Arno Lehmann wrote:
Schlussfolgerung von mir: Spätestens bei einer Million Verzeichnissen werden bereits 4 GB nur zu diesem Zweck gebraucht.
Schau dir mal die specs von XFS an, die liegen irgendwo auf den Seiten von SGI. Ich benutze das seit langer Zeit.
Ich auch... aber auch ein XFS-Dateisystem wird beim Check Inode-Counts durchführen und kann damit vergleichbare Probleme haben (Das hat übrigens nichts mit Journaling zu tun, wenn man davon absieht dass Journaling die Notwendigkeit eines kompletten fsck in vielen Fällen entfernt).
http://oss.sgi.com/projects/xfs/ http://xfs.org/index.php/Main_Page
Schau' z.B. http://mirror.linux.org.au/pub/linux.conf.au/2008/slides/135-fixing_xfs_fast... Seite 33 an - ein recht grosses Dateisystem. Je nach Version von XFS/fxs_repair kann Phase 6 - der Inode-count-check - nur einige Minuten bis hin zu über 11 Stunden dauern. Auf einem System mit 48 GB RAM. Also - XFS hat das gleiche Problem, skaliert allerdings wohl etwas besser als die ext-Dateisysteme. Aber: "If the filesystem is very large (has many files) then xfs_check might run out of memory. In this case the message out of memory is printed." (aus xfs_check(8)). Also - das grundlegende Problem gibt's bei allen Unix-Dateisystemen, denn alle diese müssen die Inode-counts aller Verzeichnisse kontrollieren (steht so auch in einem der von mir genannten Blog-Posts von Ted Ts'o). Mance Dateisysteme machen das effizienter als andere, aber in jedem Fall ist dieser Schritt beim fsck anfällig für immensen Speicher- und Zeitbedarf. Arno -- Arno Lehmann IT-Service Lehmann Sandstr. 6, 49080 Osnabrück www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On 07.06.2010, Arno Lehmann wrote:
Schau' z.B. http://mirror.linux.org.au/pub/linux.conf.au/2008/slides/135-fixing_xfs_fast... Seite 33 an - ein recht grosses Dateisystem. Je nach Version von XFS/fxs_repair kann Phase 6 - der Inode-count-check - nur einige Minuten bis hin zu über 11 Stunden dauern.
Stimmt, 40000 sek. ist extrem lange. Es scheint aber nur die eine genannte Version zu betreffen, ansonsten sehen die Zahlen doch recht passabel aus? -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo, 07.06.2010 17:55, Heinz Diehl wrote:
On 07.06.2010, Arno Lehmann wrote:
Schau' z.B. http://mirror.linux.org.au/pub/linux.conf.au/2008/slides/135-fixing_xfs_fast... Seite 33 an - ein recht grosses Dateisystem. Je nach Version von XFS/fxs_repair kann Phase 6 - der Inode-count-check - nur einige Minuten bis hin zu über 11 Stunden dauern.
Stimmt, 40000 sek. ist extrem lange. Es scheint aber nur die eine genannte Version zu betreffen, ansonsten sehen die Zahlen doch recht passabel aus?
Allerdings... nur - was mich hier vorsichtig werden lässt ist eben die extreme Versionsabhängigkeit. Sprich, definitive Aussagen kann man nur treffen nach Tests mit definierten Workloads in der eigenen Umgebung. Grüssle, Arno -- Arno Lehmann IT-Service Lehmann Sandstr. 6, 49080 Osnabrück www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo nochmal, 07.06.2010 23:18, Arno Lehmann wrote:
Hallo,
07.06.2010 17:55, Heinz Diehl wrote:
On 07.06.2010, Arno Lehmann wrote:
Schau' z.B. http://mirror.linux.org.au/pub/linux.conf.au/2008/slides/135-fixing_xfs_fast...
Seite 33 an - ein recht grosses Dateisystem. Je nach Version von XFS/fxs_repair kann Phase 6 - der Inode-count-check - nur einige Minuten bis hin zu über 11 Stunden dauern.
Stimmt, 40000 sek. ist extrem lange. Es scheint aber nur die eine genannte Version zu betreffen, ansonsten sehen die Zahlen doch recht passabel aus?
Allerdings... nur - was mich hier vorsichtig werden lässt ist eben die extreme Versionsabhängigkeit. Sprich, definitive Aussagen kann man nur treffen nach Tests mit definierten Workloads in der eigenen Umgebung.
Habe ich grade mal auf einem Dateisystem probiert das nicht dauernd rw verfügbar sein muss: 242 GB groß, 379000 inodes, 33200 Verzeichnisse, das Dateisystem hat zu viele Allocation Groups. Phasen drei und vier dauern einige Sekunden, sechs und sieben dauern subjectiv weniger als eine Sekunde. Das ganze genau ein einziges Mal probiert, also in keiner Weise signifikant. Ach so: xfs_repair version 2.9.4 Zum Vergleich habe ich ein fsck.ext3 auf einem wesentlich kleineren Dateisystem laufen lassen, das dauert etwa gleich lange: 13 GB, 2500 inodes, 350 Verzeichnisse. Gute Nacht, Arno
Grüssle,
Arno
-- Arno Lehmann IT-Service Lehmann Sandstr. 6, 49080 Osnabrück www.its-lehmann.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On 08.06.2010, Arno Lehmann wrote:
242 GB groß, 379000 inodes, 33200 Verzeichnisse, das Dateisystem hat zu viele Allocation Groups. Phasen drei und vier dauern einige Sekunden, sechs und sieben dauern subjectiv weniger als eine Sekunde.
Ach so: xfs_repair version 2.9.4
Danke fuer's Testen, muss ich spaeter auch mal machen. liesel:/home/htd # xfs_repair -V xfs_repair version 2.10.1 -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (3)
-
Arno Lehmann
-
Heinz Diehl
-
Joachim H.