Rsync Speicherverbrauch
Hi, zu Backupzwecken habe ich eine Maschine die Nachts per rsync die Daten einsammelt um sie dann in Ruhe auf Band wegzuschreiben. Da aber wie überall das Backupfenster nicht größer wird und mein Netzwerk noch etwas Reserve hat habe ich mir gedacht könnte ich ein wenig parallelisieren beim rsync. Dummerweise verbraucht rsync aber erheblich Speicher zb. nach dem 'receiving file list ... done' ist es ein knappes halbes GB um die Tabelle der zu übertragenden Daten aufzubauen. Wenn ich nun zuviele dieser Jobs starte bekomme ich ein Problem. Je nach Anzahl der (geänderten) Files kann das /zuviel/ schon beim 2. rsync Prozess eintreten. Der rsync Aufruf erfolgt derzeit mit rsync -avz --numeric-ids -e ssh -p $RSHPORT" --delete --delete-excluded \ --exclude-from="$EXCLUDES" \ $SERVER:/ $DATA_PATH/daily.0 Die Kiste hat ein GB Ram und ist nur schwierig aufrüstbar. Hat irgendwer ne Idee ob und wie man den Speicherverbrauch von rsync über die Aufrufoptionen reduzieren kann?
rsync --version rsync version 2.5.6 protocol version 26 cat /etc/SuSE-release SuSE Linux 9.0 (i586) VERSION = 9.0
ich weis ... nimmer ganz frisch, tut aber eigentlich, ein upgrade der Kiste würde ich derzeit aber nur unter Schmerzen ins Auge fassen. Gruss Falk -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Falk Sauer, Mittwoch, 20. Dezember 2006 09:00:
Dummerweise verbraucht rsync aber erheblich Speicher zb. nach dem 'receiving file list ... done' ist es ein knappes halbes GB um die Tabelle der zu übertragenden Daten aufzubauen.
Wieviele Dateien bewegst Du denn da so? Also ich hab hier 1,3 Mio. Dateien, und da braucht rsync keineswegs dermaßen viel Speicher. -- Andre Tann -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hi Andre, Am Mittwoch, 20. Dezember 2006 09:31 schrieb Andre Tann:
Falk Sauer, Mittwoch, 20. Dezember 2006 09:00:
Dummerweise verbraucht rsync aber erheblich Speicher zb. nach dem 'receiving file list ... done' ist es ein knappes halbes GB um die Tabelle der zu übertragenden Daten aufzubauen.
Wieviele Dateien bewegst Du denn da so? Also ich hab hier 1,3 Mio. Dateien, und da braucht rsync keineswegs dermaßen viel Speicher.
das find würde zu lange laufen wenn ich das jetzt zählen lasse außerdem kann ich die Last grad nicht brauchen, aber es sind schon viele. Das Volumen ist ~350GB. Gruss Falk -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Update Am Mittwoch, 20. Dezember 2006 11:03 schrieb Falk Sauer:
Am Mittwoch, 20. Dezember 2006 09:31 schrieb Andre Tann:
Falk Sauer, Mittwoch, 20. Dezember 2006 09:00:
Wieviele Dateien bewegst Du denn da so? Also ich hab hier 1,3 Mio. Dateien, und da braucht rsync keineswegs dermaßen viel Speicher.
ich habs über Mittag mal durchzählen lassen, es sind ~1,8 Mio files. Gruss Falk -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (2)
-
Andre Tann
-
Falk Sauer