[opensuse-es] Tiempo de reconstruccion de un RAID 5
Aqui pongo la salida de un detalle de un array de 4 discos en RAID 5 ------------------------------------------------------------------------ /dev/md0: Version : 00.90.03 Creation Time : Fri Dec 31 10:14:54 2010 Raid Level : raid5 Array Size : 2930159232 (2794.42 GiB 3000.48 GB) Device Size : 976719744 (931.47 GiB 1000.16 GB) Raid Devices : 4 Total Devices : 4 Preferred Minor : 0 Persistence : Superblock is persistent Update Time : Sat Jan 1 20:14:00 2011 State : clean, degraded, recovering Active Devices : 3 Working Devices : 4 Failed Devices : 0 Spare Devices : 1 Layout : left-symmetric Chunk Size : 128K Rebuild Status : 20% complete UUID : 485f23dd:51a3fd0f:be83908f:5d8cabf0 Events : 0.27639 Number Major Minor RaidDevice State 0 105 33 0 active sync /dev/cciss/c1d2p1 1 105 49 1 active sync /dev/cciss/c1d3p1 2 105 65 2 active sync /dev/cciss/c1d4p1 4 105 81 3 spare rebuilding /dev/cciss/c1d5p1 s-linux:~ # cat /proc/mdstat Personalities : [raid5] [raid4] md0 : active raid5 cciss/c1d5p1[4] cciss/c1d4p1[2] cciss/c1d3p1[1] cciss/c1d2p1[0] 2930159232 blocks level 5, 128k chunk, algorithm 2 [4/3] [UUU_] [====>................] recovery = 20.2% (198212096/976719744) finish=5977.6min speed=2168K/sec --------------------------------------------------------------------------- El caso es que la reconstruccion esta costando un monton de tiempo y lo que le queda. ¿Alguna opcion para que sea mas rapida? Y prospero 2011 -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1 El 2011-01-01 a las 20:43 +0100, admin-listas escribió:
md0 : active raid5 cciss/c1d5p1[4] cciss/c1d4p1[2] cciss/c1d3p1[1] cciss/c1d2p1[0] 2930159232 blocks level 5, 128k chunk, algorithm 2 [4/3] [UUU_] [====>................] recovery = 20.2% (198212096/976719744) finish=5977.6min speed=2168K/sec --------------------------------------------------------------------------- El caso es que la reconstruccion esta costando un monton de tiempo y lo que le queda. ¿Alguna opcion para que sea mas rapida?
Creo recordar un valor que se configura el ancho de banda máximo reservado a la reconstrucción, pero no lo veo. - -- Saludos Carlos E. R. (desde 11.2 x86_64 "Emerald" en Telcontar) -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.12 (GNU/Linux) iEYEARECAAYFAk0f4sQACgkQtTMYHG2NR9WS5wCcCD6kcto5ddO8jFlwUoeCEHXq I0sAn1fUIFEd+8wzM2RiEN3QvtmgMCv1 =Cn/I -----END PGP SIGNATURE-----
El 02/01/2011 3:28, Carlos E. R. escribió:
El 2011-01-01 a las 20:43 +0100, admin-listas escribió:
md0 : active raid5 cciss/c1d5p1[4] cciss/c1d4p1[2] cciss/c1d3p1[1] cciss/c1d2p1[0] 2930159232 blocks level 5, 128k chunk, algorithm 2 [4/3] [UUU_] [====>................] recovery = 20.2% (198212096/976719744) finish=5977.6min speed=2168K/sec ---------------------------------------------------------------------------
El caso es que la reconstruccion esta costando un monton de tiempo y lo que le queda. ¿Alguna opcion para que sea mas rapida?
Creo recordar un valor que se configura el ancho de banda máximo reservado a la reconstrucción, pero no lo veo.
Solo encontre el bitmap=internal para que solo vuelva a sincronizar los cambios, pero no me deja activarlo. El sistema es XFS https://raid.wiki.kernel.org/index.php/Bitmap En fin, ya va por el 32% -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Hola :) On Saturday 01 January 2011 20:43 admin-listas wrote
Aqui pongo la salida de un detalle de un array de 4 discos en RAID 5
[...]
Device Size : 976719744 (931.47 GiB 1000.16 GB)
[...]
El caso es que la reconstruccion esta costando un monton de tiempo y lo que le queda.
Al usar discos tan grandes hoy en día, los RAID se eternizan, especialmente si es reconstrucción tras un disco fallido (hay que calcular el dato desde los bits de paridad, ...). Una reconstrucción con discos de 2 TB te puede llevar unas 27 horas. Échale un vistazo también a cómo funciona RAID 5 y verás, además, que es más lento debido a su ciclo de lectura-modificación-escritura ... No sólo eso sino que los discos que usas son de 1 TB, lo que me lleva a pensar que son SATA y, posiblemente de 5.2 krpm. Luego no esperes grandes rendimientos. Estás montando RAID 5 por software, esto añade más carga a la CPU de tu equipo. Es decir, si tu equipo es un servidor de correo y está calculando probabilidades de SPAM (spam filter de algún tipo con sus reglas), el antivirus, ... Pues además, tiene que gestionar el RAID. Otra razón por la que me gusta el RAID por HW (tiene su propia CPU dedicada y memoria caché con batería de respaldo). Esto mismo se puede hacer con el RAID por SW y asignar una o más CPU/core y zona de memoria al proceso. BTW: con discos de 2 TB no recomiendo usar RAID 5 ni borracho, mejor RAID 6.
¿Alguna opcion para que sea mas rapida?
Usa discos más pequeños y más rápidos (SAS) y RAID por HW. HTH Rafa -- "We cannot treat computers as Humans. Computers need love." Happily using KDE 4.5.4 :) -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
El 02/01/2011 13:29, Rafa Grimán escribió:
Hola :)
On Saturday 01 January 2011 20:43 admin-listas wrote
Aqui pongo la salida de un detalle de un array de 4 discos en RAID 5
[...]
Device Size : 976719744 (931.47 GiB 1000.16 GB)
[...]
El caso es que la reconstruccion esta costando un monton de tiempo y lo que le queda.
Al usar discos tan grandes hoy en día, los RAID se eternizan, especialmente si es reconstrucción tras un disco fallido (hay que calcular el dato desde los bits de paridad, ...). Una reconstrucción con discos de 2 TB te puede llevar unas 27 horas.
Eso me cuadra, pero no 5 dias como me esta costando.
Échale un vistazo también a cómo funciona RAID 5 y verás, además, que es más lento debido a su ciclo de lectura-modificación-escritura ...
Eso lo acepto
No sólo eso sino que los discos que usas son de 1 TB, lo que me lleva a pensar que son SATA y, posiblemente de 5.2 krpm. Luego no esperes grandes rendimientos.
No, son de 7200 certificados por HP. Aunque al final son Seagate empresariales.
Estás montando RAID 5 por software, esto añade más carga a la CPU de tu equipo. Es decir, si tu equipo es un servidor de correo y está calculando probabilidades de SPAM (spam filter de algún tipo con sus reglas), el antivirus, ... Pues además, tiene que gestionar el RAID.
La carga no es problema, no me llega ni al 1%
Otra razón por la que me gusta el RAID por HW (tiene su propia CPU dedicada y memoria caché con batería de respaldo). Esto mismo se puede hacer con el RAID por SW y asignar una o más CPU/core y zona de memoria al proceso.
Eso era lo que queria, pero la puñetera 6400 no admite un raid de mas de 2TB. Asi que a la fuerza ahorcan.
BTW: con discos de 2 TB no recomiendo usar RAID 5 ni borracho, mejor RAID 6.
De acuerdo, se podia poner en raid 6 pero perdia la mitad de la capacidad y son discos para almacen de años anteriores. La perdida del raid no supone perdida economica, solo se me subiria la bilirrubina por tener que reconstruir y cargar la informacion.
¿Alguna opcion para que sea mas rapida?
Usa discos más pequeños y más rápidos (SAS) y RAID por HW.
Tarde la opcion, el problema es que necesito espacio y ya no quedan mas huecos para discos. Lo proximo u otra cabina o cambiar la tarjeta raid y los discos pequeños. Bueno la otra opcion es por cada cd o dvd que copien los usuarios cortarles un dedo (claro que los perderian todos muy pronto).
HTH
Rafa
Gracias por el aporte, siempre es un placer contar con tus aportaciones. Saludos -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
El dom, 02-01-2011 a las 13:29 +0100, Rafa Grimán escribió:
Otra razón por la que me gusta el RAID por HW (tiene su propia CPU dedicada y memoria caché con batería de respaldo). Esto mismo se puede hacer con el RAID por SW y asignar una o más CPU/core y zona de memoria al proceso.
BTW: con discos de 2 TB no recomiendo usar RAID 5 ni borracho, mejor RAID 6.
¿Alguna opcion para que sea mas rapida?
Usa discos más pequeños y más rápidos (SAS) y RAID por HW.
* Nada, no le deis vueltas yo tengo arrays gigantescos y todo por software, en el caso que nos ocupa el raid 6 no aporta nada, si se jode un disco no se puede reconstruir, y eso que son hot-swap, hay que empezar de cero, dentro de la msa hay un HP (hijo puta) a sueldo de HP, que para ver los discos "sueltos" hay que ponerlos en raid 0 esta hecho a proposito para evitar lo que se esta haciendo es decir meter discos mas grandes y que tengas que comprar otro hierro, asi que ante fallo hay que volcar los datos y volver a hacerlo de 0, el problema es del driver mirad por internet que tiene que haber referencias ya que es un hierro bastante comun. -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Wenas :)
2011/1/2 jose maria
El dom, 02-01-2011 a las 13:29 +0100, Rafa Grimán escribió:
Otra razón por la que me gusta el RAID por HW (tiene su propia CPU dedicada y memoria caché con batería de respaldo). Esto mismo se puede hacer con el RAID por SW y asignar una o más CPU/core y zona de memoria al proceso.
BTW: con discos de 2 TB no recomiendo usar RAID 5 ni borracho, mejor RAID 6.
¿Alguna opcion para que sea mas rapida?
Usa discos más pequeños y más rápidos (SAS) y RAID por HW.
* Nada, no le deis vueltas yo tengo arrays gigantescos y todo por software, en el caso que nos ocupa el raid 6 no aporta nada
Lo del RAID 6 lo decía en general porque al tirarse 27 horas o más la reconstrucción de un RAID, te puede fallar otro disco (durante la reconstrucción). Con RAID 6 tendría sprotección frente a dos fallos de disco.
si se jode un disco no se puede reconstruir, y eso que son hot-swap, hay que empezar de cero, dentro de la msa hay un HP (hijo puta) a sueldo de HP,
El caso concreto de los MSA no lo conozco porque no lo he trabajado directamente. Es bueno saber estas cosas ;)
que para ver los discos "sueltos" hay que ponerlos en raid 0
Esto lo he visto en controladoras RAID PCI para servidor. Lo que no me acuerdo es la marca ni modelo. Si tenías 2 ó más discos internos y querías usar los discos por separado (JBOD) o hacer RAID por software, tenías que poner los discos en RAID 0 cada uno. Es decir, el disco 0 es un RAID 0 en sí, el disco 1 es otro RAID 0 en sí, ... No había opción de configurarlos como JBOD, cosa que sí que he visto en otras controladoras y/o cabinas. Como digo, no recuerdo bien marca ni modelo.
esta hecho a proposito para evitar lo que se esta haciendo es decir meter discos mas grandes y que tengas que comprar otro hierro, asi que ante fallo hay que volcar los datos y volver a hacerlo de 0, el problema es del driver mirad por internet que tiene que haber referencias ya que es un hierro bastante comun.
Qué simpáticos ;) Gracias por la info, siempre es bueno saber estas cosas :) Rafa -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
2011/1/3 Rafa Griman
Esto lo he visto en controladoras RAID PCI para servidor. Lo que no me acuerdo es la marca ni modelo. Si tenías 2 ó más discos internos y querías usar los discos por separado (JBOD) o hacer RAID por software, tenías que poner los discos en RAID 0 cada uno. Es decir, el disco 0 es un RAID 0 en sí, el disco 1 es otro RAID 0 en sí, ... No había opción de configurarlos como JBOD, cosa que sí que he visto en otras controladoras y/o cabinas. Como digo, no recuerdo bien marca ni modelo.
son las controladoras PERC (PowerEdge RAID Controller) de DELL. salu2 a todos y estamos de regreso !! :D -- -- Victor Hugo dos Santos Linux Counter #224399 -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
El Sat, 01 Jan 2011 20:43:17 +0100, admin-listas escribió:
Aqui pongo la salida de un detalle de un array de 4 discos en RAID 5
(...)
s-linux:~ # cat /proc/mdstat Personalities : [raid5] [raid4] md0 : active raid5 cciss/c1d5p1[4] cciss/c1d4p1[2] cciss/c1d3p1[1] cciss/c1d2p1[0] 2930159232 blocks level 5, 128k chunk, algorithm 2 [4/3] [UUU_] [====>................] recovery = 20.2% (198212096/976719744) finish=5977.6min speed=2168K/sec ^^^^^^^^^^^^^^^
¿Eso son ~2 MiB por segundo? Un poco lentorro, ¿no? >:-?
El caso es que la reconstruccion esta costando un monton de tiempo y lo que le queda. ¿Alguna opcion para que sea mas rapida?
Ay, raids, raids... a mí se me ha caído un raid5 hace dos días (media jornada para reconstruirlo) y encima, como siempre, era un falso positivo :-/ Mira ver si esto te dice algo: HowTo: Speed Up Linux Software Raid Building And Re-syncing http://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html Saludos, -- Camaleón -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
El 02/01/2011 13:46, Camaleón escribió:
El Sat, 01 Jan 2011 20:43:17 +0100, admin-listas escribió:
Aqui pongo la salida de un detalle de un array de 4 discos en RAID 5
(...)
s-linux:~ # cat /proc/mdstat Personalities : [raid5] [raid4] md0 : active raid5 cciss/c1d5p1[4] cciss/c1d4p1[2] cciss/c1d3p1[1] cciss/c1d2p1[0] 2930159232 blocks level 5, 128k chunk, algorithm 2 [4/3] [UUU_] [====>................] recovery = 20.2% (198212096/976719744) finish=5977.6min speed=2168K/sec ^^^^^^^^^^^^^^^
¿Eso son ~2 MiB por segundo? Un poco lentorro, ¿no? >:-?
El caso es que la reconstruccion esta costando un monton de tiempo y lo que le queda. ¿Alguna opcion para que sea mas rapida?
Ay, raids, raids... a mí se me ha caído un raid5 hace dos días (media jornada para reconstruirlo) y encima, como siempre, era un falso positivo :-/
Mira ver si esto te dice algo:
HowTo: Speed Up Linux Software Raid Building And Re-syncing http://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html
Saludos,
Aaaaa porque eso no me salia en el googleeeeee Muchas graciassssssssssssssssss, tas ganao un t.... (¿no seras vegetariana?) Ahora que lo mencionaste creo que esto me paso en tiempos remotos tambien. Agradecidoooo que pases un buen año -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
El Sun, 02 Jan 2011 14:03:49 +0100, admin-listas escribió:
El 02/01/2011 13:46, Camaleón escribió:
(...)
Mira ver si esto te dice algo:
HowTo: Speed Up Linux Software Raid Building And Re-syncing http://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html
Aaaaa porque eso no me salia en el googleeeeee
X-)
Muchas graciassssssssssssssssss, tas ganao un t.... (¿no seras vegetariana?)
¿Había premio? No, no soy vegetariana pero la comida con ojos no me va nada y con tanta gamba y gambón sobre la mesa en estas fiestas lo he pasado fatal... Saludos, -- Camaleón -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
El 02/01/2011 15:57, Camaleón escribió:
El Sun, 02 Jan 2011 14:03:49 +0100, admin-listas escribió:
El 02/01/2011 13:46, Camaleón escribió:
(...)
Mira ver si esto te dice algo:
HowTo: Speed Up Linux Software Raid Building And Re-syncing http://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html
Aaaaa porque eso no me salia en el googleeeeee
X-)
Muchas graciassssssssssssssssss, tas ganao un t.... (¿no seras vegetariana?)
¿Había premio?
No, no soy vegetariana pero la comida con ojos no me va nada y con tanta gamba y gambón sobre la mesa en estas fiestas lo he pasado fatal...
era un ternasquico al horno si gustas ya sabes, avisa -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
participants (7)
-
admin-listas -
Camaleón -
Carlos E. R. -
jose maria -
Rafa Griman -
Rafa Grimán
-
Victor Hugo dos Santos