Am Freitag, 20. Oktober 2023, 16:21:03 CEST schrieb Dr. Juergen Vollmer:
Hallo allerseits,
ich habe mir ein trueNAS -Server als Backupdevice aufgesetzt. Leider dauert das Backup via rsnapshot nun 4-5 mal solange (d.h. ca. 16 Stunden!) wie mit der vorigen Lösung (einem in die Jahre gekommenen qnap-NAS). Dazu mounte ich das ZFS-Backup-Verzeichnis via NFS in den zu sichernden Server. rsnapshot schreibt dann auf das NFS-Filesystem. [...]
Und das hast du abgesehen von ZFS auf dem NAS vorher ganz genauso gemacht? Ich kenne mich konkret mit trueNAS zwar nicht aus aber das was du da machst klingt nach einer eher schlechten Idee. Warum? Manfred schrieb ja schon, dass bei NFS Öffnen und Schließen "teure" Operationen sind. Und rsnapshot benutzt im Hintergrund rsync um die geänderten Dateien zu kopieren und die restlichen zu verlinken. Wie stellt rsync denn eigentlich fest, welche Dateien sich geändert haben? rsync macht sich das Leben zwar einfach und vergleicht per Default nur Zeitstempel und Größe aber mit Manfreds Erklärung im Hinterkopf ist das aber immer noch mühsam: Es werden alle, also sehr viele, Dateien übers Netzwerk gescannt und sehr viele Hardlinks angelegt aber kaum Daten übertragen, was dem von dir beobachteten Verhalten entspricht. Deswegen möchte ich rsync so nicht benutzen. Viel geschickter finde ich es, auf dem NAS beispielsweise per SSH ein zweites rsync zu starten (-e "ssh") was dort dieses Scannen übernehmen kann. So laufen beide rsync lokal und können mit der maximalen Geschwindigkeit arbeiten. Tatsächlich übertragen werden dann nur die Dateilisten und die geänderten oder neuen Daten. Hier ein Beispiel von einem rsync Lauf auf's NAS bei dem keine Änderungen anstehen: jan@karl:~> rsync_jan_wichtige_dokumente.sh sending incremental file list sent 240,606 bytes received 772 bytes 11,774.54 bytes/sec total size is 2,355,483,377 speedup is 9,758.48 (DRY RUN) Und rsnapshot benutze ich schon lange nicht mehr sondern bin auf storeBackup umgestiegen das hier auf einem ext4 arbeitet, das in einem LUKS- verschlüsselten liegt. In einem iSCSI-LUN auf dem NAS. Über WLAN. Das ist trotzdem ziemlich schnell. Mit einem echten Netzwerkprotokoll wie NFS sollte es nicht langsamer sein. Die deutsche storeBackup Dokumentation hat einen Abschnitt über Performance bei NFS, eben wegen der oben beschriebenen prinzipiellen Problem. Vielleicht ist da was für dich dabei. Sonst bleibt wirklich nur noch ZFS als Ursache übrig... Viele Grüße Jan -- Problems are only Opportunities in Disguise.