[suse-linux-s] Problemas con rsync y disco USB
Suse 10.1 en los dos lados Utilizo rsync para hacer las copias de seguridad del servidor a otro ordenador que tiene conectado el disco USB de 500Gb. El caso es que casi siempre se queda colgado sin decir ni pio, simplemente se para a esperar y listo. En la parte del servidor solo sale error de conexion y nada mas, en los log del de copias no sale nada, se queda colgado hasta que lo mato. El script principal es esto rsync $OPTIONS1 192.168.65.254::sistema /media/$DIA/sistema>/media/$disco1.log rsync $OPTIONS2 192.168.65.254::discoG /media/$DIA/discoG rsync $OPTIONS3 192.168.65.254::discoH /media/$DIA/discoH rsync $OPTIONS4 192.168.65.254::discoJ /media/$DIA/discoJ rsync $OPTIONS5 192.168.65.254::discoL /media/$DIA/discoL rsync $OPTIONS6 192.168.65.254::home-P /media/$DIA/home /media/$disco6.log El caso es que se queda colgado en la que le parece, a parte si pongo una sola linea tambien se queda colgado, no es por concurrencia. Pense en la red porque tambien se queda si parto desde un directorio NFS Asi que lo unico que se me ocurre es que pueda ser de la conexion por USB, que tambien me parece raro por que si abro otra ventana se puede acceder perfectamente al disco. Los unicos errores que he encontrado son advertencia sobre el puerto usb Vendor: LaCie Model: BigDisk Rev: Type: Direct-Access ANSI SCSI revision: 00 kernel: usb-storage: device scan complete kernel: Driver 'sd' needs updating - please use bus_type methods kernel: SCSI device sda: 980469504 512-byte hdwr sectors (502000 MB) kernel: sda: Write Protect is off kernel: sda: Mode Sense: 10 00 00 00 kernel: sda: assuming drive cache: write through kernel: SCSI device sda: 980469504 512-byte hdwr sectors (502000 MB) kernel: sda: Write Protect is off kernel: sda: Mode Sense: 10 00 00 00 kernel: sda: assuming drive cache: write through kernel: sda: sda1 kernel: sd 1:0:0:0: Attached scsi disk sda kernel: sd 1:0:0:0: Attached scsi generic sg0 type 0 Alguna sugerencia, ya mire lo del sd needs update y ponia que esperes al proximo kernel o asi, y mandes un reporte de tu maquina a no se quien, pero ni idea de eso. saludos -- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
El Lunes, 17 de Julio de 2006 10:03, francisco F. escribió:
Suse 10.1 en los dos lados Utilizo rsync para hacer las copias de seguridad del servidor a otro ordenador que tiene conectado el disco USB de 500Gb.
El caso es que casi siempre se queda colgado sin decir ni pio, simplemente se para a esperar y listo. En la parte del servidor solo sale error de conexion y nada mas, en los log del de copias no sale nada, se queda colgado hasta que lo mato. El script principal es esto rsync $OPTIONS1 192.168.65.254::sistema /media/$DIA/sistema>/media/$disco1.log rsync $OPTIONS2 192.168.65.254::discoG /media/$DIA/discoG rsync $OPTIONS3 192.168.65.254::discoH /media/$DIA/discoH rsync $OPTIONS4 192.168.65.254::discoJ /media/$DIA/discoJ rsync $OPTIONS5 192.168.65.254::discoL /media/$DIA/discoL rsync $OPTIONS6 192.168.65.254::home-P /media/$DIA/home /media/$disco6.log
El caso es que se queda colgado en la que le parece, a parte si pongo una sola linea tambien se queda colgado, no es por concurrencia. Pense en la red porque tambien se queda si parto desde un directorio NFS Asi que lo unico que se me ocurre es que pueda ser de la conexion por USB, que tambien me parece raro por que si abro otra ventana se puede acceder perfectamente al disco. Los unicos errores que he encontrado son advertencia sobre el puerto usb Vendor: LaCie Model: BigDisk Rev: Type: Direct-Access ANSI SCSI revision: 00 kernel: usb-storage: device scan complete kernel: Driver 'sd' needs updating - please use bus_type methods kernel: SCSI device sda: 980469504 512-byte hdwr sectors (502000 MB) kernel: sda: Write Protect is off kernel: sda: Mode Sense: 10 00 00 00 kernel: sda: assuming drive cache: write through kernel: SCSI device sda: 980469504 512-byte hdwr sectors (502000 MB) kernel: sda: Write Protect is off kernel: sda: Mode Sense: 10 00 00 00 kernel: sda: assuming drive cache: write through kernel: sda: sda1 kernel: sd 1:0:0:0: Attached scsi disk sda kernel: sd 1:0:0:0: Attached scsi generic sg0 type 0
Despues de unas semanitas con esto el cron se digno mandar un correo resumen rsync: writefd_unbuffered failed to write 4092 bytes: phase "unknown" [generator]: Connection reset by peer (104) rsync error: error in rsync protocol data stream (code 12) at io.c(1099) rsync error: received SIGUSR1 or SIGINT (code 20) at main.c(997) rsync error: received SIGUSR1 or SIGINT (code 20) at rsync.c(171) rsync: connection unexpectedly closed (1564057 bytes received so far) [generator] rsync error: error in rsync protocol data stream (code 12) at io.c(434 por si sirve de algo -- Para dar de baja la suscripción, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
rsync: writefd_unbuffered failed to write 4092 bytes: phase "unknown" [generator]: Connection reset by peer (104) rsync error: error in rsync protocol data stream (code 12) at io.c(1099) rsync error: received SIGUSR1 or SIGINT (code 20) at main.c(997) rsync error: received SIGUSR1 or SIGINT (code 20) at rsync.c(171) rsync: connection unexpectedly closed (1564057 bytes received so far) [generator] rsync error: error in rsync protocol data stream (code 12) at io.c(434
por si sirve de algo
Pues quizá si: https://bugzilla.samba.org/show_bug.cgi?id=1959 Míratelo con detalle, no sea que estés sufriendo el bug de turno ese. Por otra parte podrías probar otras herramientas tal y como te dice Rafa y así tendrías la certeza de si es rsync o otro tipo de fallo (red, hd...) Ya nos cuentas. -- Jordi Espasa Clofent PGP id 0xC5ABA76A #http://pgp.mit.edu/ FSF Associate Member id 4281 #http://www.fsf.org/
Jordi Espasa Clofent escribió:
rsync: writefd_unbuffered failed to write 4092 bytes: phase "unknown" [generator]: Connection reset by peer (104) rsync error: error in rsync protocol data stream (code 12) at io.c(1099) rsync error: received SIGUSR1 or SIGINT (code 20) at main.c(997) rsync error: received SIGUSR1 or SIGINT (code 20) at rsync.c(171) rsync: connection unexpectedly closed (1564057 bytes received so far) [generator] rsync error: error in rsync protocol data stream (code 12) at io.c(434
por si sirve de algo
Pues quizá si: https://bugzilla.samba.org/show_bug.cgi?id=1959
Míratelo con detalle, no sea que estés sufriendo el bug de turno ese. Por otra parte podrías probar otras herramientas tal y como te dice Rafa y así tendrías la certeza de si es rsync o otro tipo de fallo (red, hd...)
Ya nos cuentas.
No es eso, debe ser cosa del ordenador o alguna configuracion rara. La solucion montar otro ordendor en 20 minutos con todo lo necesario para hacer las copias, con que tubiese rsync mas que suficiente. Me inclino mas por la tarjea de red, es un Athlon XP 1500+ en una placa Gigabyte GA-7DXR F7, la tarjeta de red la pilla como RTL8139. Si me da la cambio a ver si es eso. Saludos y gracias a todos. Cuando acabe el sistema ya contare como tengo hechas mis chapu copias de seguridad -- Para dar de baja la suscripción, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
Hola :) El Miércoles, 19 de Julio de 2006 12:11, admin-listas escribió:
Jordi Espasa Clofent escribi�:
rsync: writefd_unbuffered failed to write 4092 bytes: phase "unknown" [generator]: Connection reset by peer (104) rsync error: error in rsync protocol data stream (code 12) at io.c(1099) rsync error: received SIGUSR1 or SIGINT (code 20) at main.c(997) rsync error: received SIGUSR1 or SIGINT (code 20) at rsync.c(171) rsync: connection unexpectedly closed (1564057 bytes received so far) [generator] rsync error: error in rsync protocol data stream (code 12) at io.c(434
por si sirve de algo
Pues quiz� si: https://bugzilla.samba.org/show_bug.cgi?id=1959
M�ratelo con detalle, no sea que est�s sufriendo el bug de turno ese. Por otra parte podr�as probar otras herramientas tal y como te dice Rafa y as� tendr�as la certeza de si es rsync o otro tipo de fallo (red, hd...)
Ya nos cuentas.
No es eso, debe ser cosa del ordenador o alguna configuracion rara. La solucion montar otro ordendor en 20 minutos con todo lo necesario para hacer las copias, con que tubiese rsync mas que suficiente. Me inclino mas por la tarjea de red, es un Athlon XP 1500+ en una placa Gigabyte GA-7DXR F7, la tarjeta de red la pilla como RTL8139.
Personalmente ... no me gustan las RTL. Pero sobre gustos no hay nada escrito.
Si me da la cambio a ver si es eso.
Saludos y gracias a todos. Cuando acabe el sistema ya contare como tengo hechas mis chapu copias de seguridad
HTH Rafa -- 50% of all statistics are inaccurate. OpenWengo: rgriman -- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
El Miércoles, 19 de Julio de 2006 14:02, Rafa Grimán escribió:
Hola :)
No es eso, debe ser cosa del ordenador o alguna configuracion rara. La solucion montar otro ordendor en 20 minutos con todo lo necesario para hacer las copias, con que tubiese rsync mas que suficiente. Me inclino mas por la tarjea de red, es un Athlon XP 1500+ en una placa Gigabyte GA-7DXR F7, la tarjeta de red la pilla como RTL8139.
Personalmente ... no me gustan las RTL. Pero sobre gustos no hay nada escrito.
Pues tenia unas Genius que aun eran peor. De todas maneras era la tarjeta de red, que le pasaba no lo se porque no tengo ganas de meterme en muchos jaleos. Le puse una usb y funciona sin problemas tanto con rsync como copias por nfs. tambien puede ser que cambie el svichi y a esta tarjeta no le gusto mucho. Respecto a lo de Jose Maria sobre las copias, tiene razon, pero ahora que las copias son incrementales no son muchos datos y es sostenible ya que solo se ejecuta un proceso de rsync a la vez, a parte de hacerse cuando no hay nadie conectado. Igual cambio a storeBackup que te hace copias completas por dia pero los ficheros que no cambian les mete un hardlink de esos y suele utilizar cp o rsync si le pones alguna caracteristica especial. A parte te monta las unidades por nfs si no las tienes montadas en ese momento, ademas tiene un restore que te muestra todas las versiones del fichero almacenado, a parte de poder verlo como un directorio normal, en fin ya me lo pensare y abrire otro correo. Saludos -- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
El Miércoles, 19 de Julio de 2006 12:11, admin-listas escribió:
Si me da la cambio a ver si es eso.
Saludos y gracias a todos. Cuando acabe el sistema ya contare como tengo hechas mis chapu copias de seguridad
* Rsync es una segadora con un I/O brutal, eso pueden soportarlo discos duros (no mas de una o dos ejecuciones de rsync) a no ser que se tengan unas controladoras muy serias. * Por tanto mandar por rsync datos a un usb (interfaz bastante penosa) no es nada conveniente, ademas de que la ventana de backup sera gigantesca, mandalo al disco duro de la maquina de backup (la ventana de backup sera mucho mas pequeña) y un script que detecte los cambios en el directorio y lo copie al usb, o una tarea cron, o a mano (mas recomendable), cp no ahogara el usb.
El Lunes, 17 de Julio de 2006 10:03, francisco F. escribió:
Suse 10.1 en los dos lados Utilizo rsync para hacer las copias de seguridad del servidor a otro ordenador que tiene conectado el disco USB de 500Gb.
El caso es que casi siempre se queda colgado sin decir ni pio, simplemente se para a esperar y listo. En la parte del servidor solo sale error de conexion y nada mas, en los log del de copias no sale nada, se queda colgado hasta que lo mato. El script principal es esto
saludos
No creo que sea de programas, probe el storeBackup y pasa lo mismo. Asi que es de comunicaciones o algo, pero como se saca eso? -- Para dar de baja la suscripción, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
Buenas, Yo uso rsync ampliamente (mirrors, backups... etc) y siempre me ha ido de gala. Lo que deberías hacer es utilizar el flag -v para que te de más info (toda la que puedas) y ejecutar ese script línia por línia con opción --progress activa para ver cómo anda el tema. Algo te dirá. A partir de ahí a ver si lo sacamos.
El Martes, 18 de Julio de 2006 10:10, Jordi Espasa Clofent escribió:
Buenas,
Yo uso rsync ampliamente (mirrors, backups... etc) y siempre me ha ido de gala. Lo que deberías hacer es utilizar el flag -v para que te de más info (toda la que puedas) y ejecutar ese script línia por línia con opción --progress activa para ver cómo anda el tema.
Algo te dirá. A partir de ahí a ver si lo sacamos.
pues no dice nada, se sigue quedando frito cuando quiere. las variables que paso al rsync son estas OPTIONS1="--stats --force --ignore-errors --delete --delete-excluded \ --exclude-from=$EXCLUDES --backup --backup-dir=$ARCHIVEROOT/$INCREMENTDIR1 -av" le quite el ignore-errors pero tampoco dice nada Yo tambien hace como 5 años que uso el rsync para las copias, pero desde que cambie de version y tipo de discos me tie frito. gracias por la ayuda -- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
Hola :) El Lunes, 17 de Julio de 2006 10:26, francisco F. escribió:
El Martes, 18 de Julio de 2006 10:10, Jordi Espasa Clofent escribió:
Buenas,
Yo uso rsync ampliamente (mirrors, backups... etc) y siempre me ha ido de gala. Lo que deberías hacer es utilizar el flag -v para que te de más info (toda la que puedas) y ejecutar ese script línia por línia con opción --progress activa para ver cómo anda el tema.
Algo te dirá. A partir de ahí a ver si lo sacamos.
pues no dice nada, se sigue quedando frito cuando quiere. las variables que paso al rsync son estas OPTIONS1="--stats --force --ignore-errors --delete --delete-excluded \ --exclude-from=$EXCLUDES --backup --backup-dir=$ARCHIVEROOT/$INCREMENTDIR1 -av"
le quite el ignore-errors pero tampoco dice nada
Yo tambien hace como 5 años que uso el rsync para las copias, pero desde que cambie de version y tipo de discos me tie frito. gracias por la ayuda
Ideas que se me ocurren: - ¿Estás usando ssh para cifrar las comunicaciones? Lo digo por si no tienes ssh al otro lado. - Comprueba la configuración del servidor "al otro lado". - Cortafuegos - Arranca el rsync con opciones básicas para empezar y luego vas añadiendo opciones - prueba a sincronizar contra un disco "normal" y luego pruebas con los discos NFS y/o NFS HTH Rafa -- 50% of all statistics are inaccurate. OpenWengo: rgriman -- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
El Martes, 18 de Julio de 2006 11:03, Rafa Grimán escribió:
Hola :)
Ideas que se me ocurren:
- ¿Estás usando ssh para cifrar las comunicaciones? Lo digo por si no tienes ssh al otro lado.
No, si el caso es que a ratos va bien
- Comprueba la configuración del servidor "al otro lado".
en teoria esta todo bien
- Cortafuegos
No tengo
- Arranca el rsync con opciones básicas para empezar y luego vas añadiendo opciones
Se cuelga igual
- prueba a sincronizar contra un disco "normal" y luego pruebas 1Gb bien
con los discos NFS y/o NFS
esto se me olvido que ya lo hice y se cuelga Asi que el problema parece mas de ...... menos de rsync probe a pasar 1Gb desde un directorio del servidor montado por NFS de lectura y se cuelga, lo malo es que cuelga ese punto de montaje y cuesta matarlo, por lo general reinicio para no perder tiempo. No sale ningun mensaje de error en ningun sitio. me va a salir mas descansado cambiar de ordenador saludos
HTH
Rafa
-- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
Hola :) El Lunes, 17 de Julio de 2006 11:57, francisco F. escribió:
El Martes, 18 de Julio de 2006 11:03, Rafa Grimán escribió:
Hola :)
Ideas que se me ocurren:
- ¿Estás usando ssh para cifrar las comunicaciones? Lo digo por si no tienes ssh al otro lado.
No, si el caso es que a ratos va bien
- Comprueba la configuración del servidor "al otro lado".
en teoria esta todo bien
- Cortafuegos
No tengo
- Arranca el rsync con opciones básicas para empezar y luego vas añadiendo opciones
Se cuelga igual
- prueba a sincronizar contra un disco "normal" y luego pruebas
1Gb bien
con los discos NFS y/o NFS
esto se me olvido que ya lo hice y se cuelga Asi que el problema parece mas de ...... menos de rsync probe a pasar 1Gb desde un directorio del servidor montado por NFS de lectura y se cuelga, lo malo es que cuelga ese punto de montaje y cuesta matarlo, por lo general reinicio para no perder tiempo. No sale ningun mensaje de error en ningun sitio. me va a salir mas descansado cambiar de ordenador
Vamos que parece que el problema no es rsync sino el NFS o el disco USB o de la red. - ¿Qué HW estás usando? - ¿Puedes copiar mediante sftp, scp, ftp, samba, http a/desde "la otra máquina"? - prueba a usar iperf para ver anchos de banda de red. Siempre que lo lances, el ancho de banda debe ser el mismo a la vez anterior (estadísticamente ;). Si no te da valores muy similares, puede que tengas problemas de red. - prueba a usar dd para leer/escribir en el disco exportado por NFS. dd "castiga" mucho al sistem aI/O y a la CPU por lo que puedes ver si el problema es el disco y/o la CPU. Prueba diferentes herramientas antes de pensar que es cosa de rsync ;) HTH Rafa -- 50% of all statistics are inaccurate. OpenWengo: rgriman -- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
Perdon por inmiscuirme...
- prueba a usar iperf para ver anchos de banda de red. Siempre que lo lances, el ancho de banda debe ser el mismo a la vez anterior (estadísticamente ;). Si no te da valores muy similares, puede que tengas problemas de red.
pero tenía curiosidad por paquete iperf... donde está? No lo encuentro ni con pin, ni con yast (marcando también descripción y provee)? -- Saludos, miguel -- Para dar de baja la suscripción, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
Hola :) El Martes, 18 de Julio de 2006 20:03, miguel gmail escribió:
Perdon por inmiscuirme...
- prueba a usar iperf para ver anchos de banda de red. Siempre que lo lances, el ancho de banda debe ser el mismo a la vez anterior (estad�sticamente ;). Si no te da valores muy similares, puede que tengas problemas de red.
pero ten�a curiosidad por paquete iperf... donde est�? No lo encuentro ni con pin, ni con yast (marcando tambi�n descripci�n y provee)?
No tengo el link, pero si cualquier buscador te envía a la página oficial. HTH Rafa -- "Even paranoids have enemies." Rafa Grimán Systems Engineer Silicon Graphics Spain Santa Engracia, 120 - Planta Baja 28003 Madrid Spain Tel: +34 91 3984200 Tel: +34 91 3984201 Móvil: +34 628 117 940 http://www.sgi.com OpenWengo: rgriman Skype: rgriman -- 50% of all statistics are inaccurate. OpenWengo: rgriman -- Para dar de baja la suscripci�n, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
pero ten�a curiosidad por paquete iperf... donde est�? No lo encuentro ni con pin, ni con yast (marcando tambi�n descripci�n y provee)?
No tengo el link, pero si cualquier buscador te envía a la página oficial.
HTH
Ops, que torpe. Si no existe en el dvd, es que no existe :D. Ya lo tengo, muchas gracias. -- Saludos, miguel
participants (6)
-
admin-listas -
francisco F.
-
Jordi Espasa Clofent -
jose maria -
miguel gmail -
Rafa Grimán