Hola :) 2013/10/23 admin-listas <admin-listas@satel-sa.com>:
El 25/10/2013 22:22, Rafa Griman escribió:
Hola :)
2013/10/25 Francisco F. <admin-listas@satel-sa.com>
Ver 3.6.19
4 discos en RAID 5
¿Tipos de disco?
¿RAID por SW o por HW?
Si es por HW, ¿qué controladora HW?
4 directorios y en samba 4 comparticiones para montar 4 unidades de red todas tiene la misma configuracion de samba
¿Tamaño de los ficheros?
Jajajaj, Tan quisquilloso como siempre con los detalles :)
cualquier tamaño
No me lo creo ;) ¿Tienes ficheros de 1 byte _y_ ficheros de hasta 2 PB? ;) Vamos a ser algo más específicos, si consideras ficheros grandes a los de 5 MBytes o mayor ...
¿Número de ficheros?
de 1 a 1000, los que quieras
No da o mismo. Si tienes un share con 1 fichero y otro share con 1000 ficheros ... el segundo va a sufrir mucho aún con un simple ls. Deberías intentar equilibrar shares.
¿Sistema de ficheros?
XFS
Si usas XFS y tienes problemas de metadatos (que es lo que parece), puedes solucionarlo poniendo un disco adicional (bueno, 2 discos en RAID 1) y poner el journal en ese nuevo RAID 1. Esto no es la solución perfecta ya que tendrías que hacer más cosas, pero algo aliviaría. Otra cosa, por norma general, XFS te detecta el RAID (stripe unit y stripe width), aunque hay veces que no. Lo ideal es que sea igual en ambos casos (RAID y XFS). Otra cosa a tener en cuenta es si las particiones están "aligned", esto puede dar problemas de rendimiento también.
¿Tipo de datos (BBDD o no)?
Normales, dic, xls, jpg, dwg, vamos cualquier fichero
Define "normales" ;) Volvemos a lo de antes: ¿tamaño de los ficheros y acceso/comportamiento?
¿Número de usuarios por share?
ilimitado
no somos muchos
Si no sois muchos ... no es ilimitado ;) Define muchos ... el hardware puede tener otra definición de "no muchos".
¿Configuración de Samba?
¿Usas jumbo frames?
No, lo tengo desactivado en todos lados Si no lo tienes bien pulido da mas problemas que resuelve
Por eso lo preguntaba.
¿Cuántas tarjetas de red?
1
¿Comparten las t. de red bus PCI con otro dispositivo (tarjeta RAID)?
No
¿CPU y RAM?
2 xeon dual core
4gb sobran casi todos
Si sobran casi todos, el Linux no cachea ... luego estás haciendo acceso aleatorio a disco, esto castiga mucho los discos: tenías que haber elegido otro tipo de RAID (por ejemplo, RAID 10 ... ojo, no digo RAID 0+1, digo RAID 10). ¿Qué frecuencia? Dices que no tienes Jumbo frames luego se está produciendo muchos context switching: esto castiga mucho a la CPU y reduce el rendimiento. Aunque en tu caso sigo pensando que es un problema de acceso aleatorio e IOPS ... que también puede castigar mucho a la CPU si los ficheors son muy pequeños.
¿El sistema operativo está en ese mismo RAID 5?
No
Menos mal ;)
¿Qué otras aplicaciones/servicios tienes corriendo (Web, BBDD, correo, ...?
Da igual, si las apago sigue haciendo lo mismo
Eso que nos quitamos de encima :)
Ahora lo curioso : 3 comparticiones la velocidad con windows es normal
la 4 se esta muriendo, te puedes morir antes de que acabe de borrar o grabar algo. La lectura funciona bien.
Borrar es un proceso lento de metadatos, implica bastante IOPs. Si encima tienes muchos ficheros ... peor.
Si, pero porque solo con una comparticion de las 4 que tiene y que usan el mismo disco
Pero ese share puede que tenga más metadatos que la otra (más ficheros). Según dices antes, de los 4 GB te sobran casi todos: no cachea, haces mucho IO y muy aleatorio. No hay "read ahead", no hay cacheo, no hay buffering. Otra cosa, XFS se desarrolló para máquinas con mucha RAM, y muy buen sistema de IO y CPU. Si esl sistema está limitado (sobre todo en RAM), te va dar problemas de rendimiento. XFS trabaja todo lo que puede en RAM, IOW, si le dices que borre 1000 ficheros, no empieza a borrar en el momento que encuentra el primer fichero, analiza todo (en RAM) y luego borra. Si en los otros shares esto no ocurre ... es porque tienen menos ficheros. No es lo mismo para XFS borrar un directorio con 1 fichero que uno con 1000 ficheros.
A la hora de guardar un dato, el RAID 5 tiene que hacer un R/M/W (read/modify/write). Es decir, leer el bloque, modificar la paridad y escribirlo. 3 operaciones de I/O ... muy costoso.
En un RAID (3, 4, 5 ó 6), la lectura es generalmente el doble que la escritura.
El raid va bien con las otras comparticiones y en nfs
¿Mezclas NFS y SMB? ¿Con los mismos datos? Me refiero a que si un mismo fichero (directorio o no) los compartes tanto con NFS como con SMB. NO lo hagas. Otra cosa, ¿cuándo NFS tienes corriendo? Teóricamente cuantos más tengas corriendo, mejor funciona ... pero más recursos consume por lo que llega un momento que se estanca. No me vale comparar NFS con CIFS sin conocer las configuraciones. No me vale comparar 2 shares si no sé el tipo y número de ficheros que contienen. Es como decir coche A es mejor que el B ... y resulta que no sabes ni cuál es el A ni cuál es el B ni en qué condiciones se han comparado. Te recomiendo que monitorices CPU, RAM y IO al igual que el número de ficheros de cada share.
Si alguno tiene alguna idea la pase antes de que le pegue fuego :)
Primero deberías probar cada disco (hdparm), luego pruebas el RAID con el sistema de ficheros (bonnie, ...) y luego pruebas la red (iperf).
Necesitaríamos más datos. Pero MHO es que tienes 3 opciones: - tienes diferentes tipos de acceso y hace que "compitan" por los recursos. - el RAID 5 no es la configuración ideal para el tipo de acceso de la aplicación o usuario que accede al share problemático
Esta reprobado que va bien todo eso.
¿El qué va bien? Y ¿cómo lo has comprobado y demostrado? Lo pregunto porque no he visto datos/resultados de monitorización. Si lo que dices de la RAM es cierto, demuestra lo contrario: el RAID utilizado es el incorrecto. A menos que tengas otros problemas que impidan que el Linux llene la RAM (caching). ¿Has monitorizado el sistema (RAM, IOPS, CPU)? Te podría ayudar a encontrar el problema ;)
- las dos opciones anteriores son ciertas ;)
HTH
Rafa
En fin que me suena a algun dato de "cache" del samba pero no consigo encontrar solucion.
No nos has mostrado la configuración de Samba. Si es algo "compleja", mi consejo es quitar todo lo que "mejora el rendimiento" porque muchas veces depende de parámetros del kernel, el driver de red, ... HTH Rafa -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org