Wenas :) 2012/5/9 Carlos E. R. <robin.listas@telefonica.net>:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 15:17, Rafa Griman wrote:
Una curiosidad, ¿para qué usáis ese volumen de datos? Yo los he montado para entornos científicos y de broadcast.
Para estos usos sería mejor un sistema de archivos distribuido, de forma que los archivos se distribuyan entre varias particiones o discos, y que si se pierde uno no se pierde el completo como ocurre con LVM o RAID0, sino que solo se pierdan los ficheros de ese disco, que obviamente debe ser reemplazable y su contenido reconstruido desde backup.
En SGI usan XVM como gestor de volúmenes (~LVM). Lo cual no significa que XFS no funciones con LVM: XFS funciona con LVM sin problemas así como con SW RAID ;) En cuanto a sistemas de ficheros distribuidos, XFS tiene una versión en cluster llamada CXFS (Cell XFS) que es de código cerrado ... bueno, realmente lo que es cerrado es el códio de los servidores de metadatos (MDS), lo que es el código de XFS del kernel y las herramientas asociadas es el mismo XFS libre que hay en el kernel de Linux. OJO !!! Es un sistema de ficheros en cluster, NO es un sistema de ficheros paralelo. Es decir, sería equivalente a un GFS de Red Hat o un Veritas, NO es equiparable a Lustre o Panasas o pNFS. CXFS tiene dos tipos de servidores o nodos: MDS (Metadata Server) y MDC (Metadata Client). El MDS hace de árbitro a la hora de permitir que un MDC u otro acceda a un fichero para lectura y/o escritura y gestiona los tokens para ello. CXFS se diseñó (igual que XFS) para sistemas NUMA por lo que (como he dicho antes) no está orientado al mundo de clusters como por ejemplo Lustre. Eso no significa que no se pueda usar ;) Aunque tiene algunas limitaciones por lo que puede quedarse corto en algunos entornos.
Creo que esos tamaños no existen en un disco único, ¿no?
Nop, por ahora el disco más grande es de 4 TB (IIRC) ... bueno, no sé si los han sacado aún. Para conseguir esos volúmenes hay que recurrir a RAID + gestor de volúmenes.
En cualquier caso, el peligro de perder un sector, o un disco de un array, es bastante grande.
Sip, de ahí el uso de RAID.
¿Existe un sistema de archivos distribuidos como el que digo?
Sip. Existen varios. Un ejemplo es Panasas con una especie de RAID por software que hace por fichero y no lo hace por disco. Es decir, el fichero 1 puede estar en RAID 1 y el fichero 2 puede estar en RAID 5, por ejemplo, en el mismo sistema de ficheros. Lustre utiliza checksums para comprobar la integridad de los datos y un RAID por HW o SW por debajo. Ahora está empezando a coger fuerza Ceph en entornos de HPC, que es otro sistema de ficheros paralelo. También está de moda HDFS (el sistema de ficheros utilizado en Hadoop) porque está de moda el "Big Data". Pero HDFS y Lustre (u otros sistemas de ficheros de entornos HPC) no es que no estén en la "misma liga", es que no "juegan al mismo deporte". HDFS es un sistema de ficheros distribuido de acceso local, es decir, el nodo 1 accede a su porción de HDFS local de sus discos duros NO accede al disco del nodo 2 ni a todo el HDFS. Sin embargo, en entornos de HPC, el nodo 1 necesita a cceder a un fichero de por ejemplo 600 TB (como puede ser el caso de las alineaciones de pares de bases en genómica) que no puede almacenar en local y que además puede ser utilizado por otros nodos por lo que se encuentra en un sistema de ficheros distribuido y paralelo. HDFS hace 3 copias de los datos para hacer frente a pérdida de nodos: local, cercana y remota. Isilon es otro que está cogiendo fuerza, pero no es un sistema de ficheros paralelo sino que es un NAS (NFS y CIFS de toda la vida) escalable con un sistema de ficheros "en cluster" llamado OneFS por detrás. Algo similar se puede montar con CXFS y Samba/NFS a lo que SGI llama "Edge Servers": los MDCs exportan CXFS mediante NFS y/o Samba. HTH Rafa -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org