Buenas tardes amigos camaleones, bueno les cuento el problema que me aqueja, hace poco compre un disco de 2 TB y lo particione de la siguiente forma /dev/sda1 como particion primaria y en ntfs para la instalacion del windows 7 con un tamaño de 200 gb /dev/sda2 como particion primaria y en ntfs para datos con 1.4 TB
y la particion extendida /dev/sda3 con dos particiones logicas /dev/sda5 con swap 800 MB y /dev/sda6 con ext4 para instalar linux y con un tamaño de 80 gb mas o menos
bueno aca va el problema, cuando quiero instalar cualquier distro (probe con ubuntu, mint, debian, fedora) lo hago sin problemas y queda perfecto en cambio cuando quiero instalar opensuse 12.1 o el 11.4 inclusive el 12.2 milestone siempre a la hora de instalar el grub (al final de la instalacion) me aparece el error 25 en el grub, y me da la opcion de cambiar la configuracion del grub, he probado todas las convinaciones posibles (arrancar del mbr, arrancar desde /, arrancar desde la particion extendida, y arrancar desde una particon personalizada) y ninguno funciono he intentado seguir algunos consejos del forosuse, pero mi bios no me da ninguna opcion para el disco rigido aparte me parece un bug de opensuse ya que todas las distros se instalan sin problemas bueno si alguien puede darme una mano o enviar el error a los del proyecto le estaria infinitamente agradecido
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-04-26 15:52, Ariel wrote:
bueno si alguien puede darme una mano o enviar el error a los del proyecto le estaria infinitamente agradecido
Imprime el fdisk -l aquí.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El 26/04/12 14:44, Carlos E. R. escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-04-26 15:52, Ariel wrote:
bueno si alguien puede darme una mano o enviar el error a los del proyecto le estaria infinitamente agradecido
Imprime el fdisk -l aquí.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)-----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with SUSE - http://enigmail.mozdev.org/
iEYEARECAAYFAk+ZiXQACgkQIvFNjefEBxqWyQCfcLFmiQgpmSYfesG1/NqmAcSV PgkAoNySK2qIb3GwFpo/PVEgEsw1HoO+ =Uogw -----END PGP SIGNATURE-----
debian ariel # fdisk -l
Disk /dev/sda: 2000.4 GB, 2000398934016 bytes 255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0xf9773bfc
Device Boot Start End Blocks Id System /dev/sda1 63 366153479 183076708+ 7 HPFS/NTFS/exFAT /dev/sda2 366153480 3753362339 1693604430 7 HPFS/NTFS/exFAT /dev/sda3 3753363456 3907028991 76832768 5 Extended /dev/sda5 3753365504 3754901503 768000 82 Linux swap / Solaris /dev/sda6 3754903552 3907028991 76062720 83 Linux
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-04-30 12:47, Ariel wrote:
debian ariel # fdisk -l
Disk /dev/sda: 2000.4 GB, 2000398934016 bytes 255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0xf9773bfc
Device Boot Start End Blocks Id System /dev/sda1 63 366153479 183076708+ 7 HPFS/NTFS/exFAT /dev/sda2 366153480 3753362339 1693604430 7 HPFS/NTFS/exFAT /dev/sda3 3753363456 3907028991 76832768 5 Extended /dev/sda5 3753365504 3754901503 768000 82 Linux swap / Solaris /dev/sda6 3754903552 3907028991 76062720 83 Linux
Tenía miedo que estuvieras usando una partición GPT, porque dos gigas está en el límite. Si fueran 2 GiB no podrías, da gracias que son 2 GB.
Bueno, otras distros como Ubuntu están usando grub 2. El soporte de grub 2 es experimental en la 12.2, podrías probar. Mira en Debian qué grub está usando: si es el 2, pues ya sabes lo que pasa.
Si es eso, la solución clásica era tener una partición /boot pequeñita cerca del inicio del disco, pero tampoco te puedo asegurar que funcione.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
Saludos a todos los de la lista. Desearía que me aclararan 2 dudas : I- Con el openSUSE de 32 bits cuanto puedo direccionar de disco duro y con el de 64 bits ? II- Como puedo activar las cuotas a los usuarios?
Gracias Jesús
--
Este mensaje le ha llegado mediante el servicio de correo electronico que ofrece Infomed para respaldar el cumplimiento de las misiones del Sistema Nacional de Salud. La persona que envia este correo asume el compromiso de usar el servicio a tales fines y cumplir con las regulaciones establecidas
Infomed: http://www.sld.cu/
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 15:53, Jesús Reyes Piedra wrote:
Saludos a todos los de la lista. Desearía que me aclararan 2 dudas : I- Con el openSUSE de 32 bits cuanto puedo direccionar de disco duro y con el de 64 bits ?
Creo que lo mismo.
II- Como puedo activar las cuotas a los usuarios?
Es una opción posible al montar una partición, pero no la he usado. Me parece que venía explicado en el libro que viene en el DVD.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El 08/05/12 10:10, Carlos E. R. escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 15:53, Jesús Reyes Piedra wrote:
Saludos a todos los de la lista. Desearía que me aclararan 2 dudas : I- Con el openSUSE de 32 bits cuanto puedo direccionar de disco duro y con el de 64 bits ?
Creo que lo mismo.
Cuanto ??
II- Como puedo activar las cuotas a los usuarios?
Es una opción posible al montar una partición, pero no la he usado. Me parece que venía explicado en el libro que viene en el DVD.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)-----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+pKT8ACgkQIvFNjefEBxrkNACfQcnbtZRdgoHQGb1RvyjaPsGr ZHEAnjxM9OIv90EEuEgZloq2bfpPyjXo =TwC8 -----END PGP SIGNATURE-----
--
Este mensaje le ha llegado mediante el servicio de correo electronico que ofrece Infomed para respaldar el cumplimiento de las misiones del Sistema Nacional de Salud. La persona que envia este correo asume el compromiso de usar el servicio a tales fines y cumplir con las regulaciones establecidas
Infomed: http://www.sld.cu/
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 16:14, Jesús Reyes Piedra wrote:
El 08/05/12 10:10, Carlos E. R. escribió:
Cuanto ??
¿Que sistema de ficheros? Cada cual tiene su limite. En la wikipedia hay una tabla con todos.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El 8 de mayo de 2012 11:20, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 16:14, Jesús Reyes Piedra wrote:
El 08/05/12 10:10, Carlos E. R. escribió:
Cuanto ??
¿Que sistema de ficheros? Cada cual tiene su limite. En la wikipedia hay una tabla con todos.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar) -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+pK5wACgkQIvFNjefEBxpNqwCgj0hdSuOAYa8QztbGdg2PTraE 5goAn1T6XV+G7dCTyGy6EVjO7MGU60Zr =J6km
-----END PGP SIGNATURE-----
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Tenes que instalar el paquete quotas, y configurarlo aca te paso un link util http://linuxpoison.blogspot.com.ar/2009/04/how-to-enable-quota-on-opensuse.h...
-- El que pregunta aprende, y el que contesta aprende a responder.
No a la obsolecencia programada: http://dimensionargentina.blogspot.com/2011/01/todo-esta-disenado-para-rompe...
Linux User #495070 http://miexperiencialinux.blogspot.com/
El 08/05/12 10:22, Maxi escribió:
El 8 de mayo de 2012 11:20, Carlos E. R.robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 16:14, Jesús Reyes Piedra wrote:
El 08/05/12 10:10, Carlos E. R. escribió:
Cuanto ??
¿Que sistema de ficheros? Cada cual tiene su limite. En la wikipedia hay una tabla con todos.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)-----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+pK5wACgkQIvFNjefEBxpNqwCgj0hdSuOAYa8QztbGdg2PTraE 5goAn1T6XV+G7dCTyGy6EVjO7MGU60Zr =J6km
-----END PGP SIGNATURE-----
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Tenes que instalar el paquete quotas, y configurarlo aca te paso un link util http://linuxpoison.blogspot.com.ar/2009/04/how-to-enable-quota-on-opensuse.h...
-- El que pregunta aprende, y el que contesta aprende a responder.
No a la obsolecencia programada: http://dimensionargentina.blogspot.com/2011/01/todo-esta-disenado-para-rompe...
Linux User #495070 http://miexperiencialinux.blogspot.com/
Muchas gracias a todos
Jesús
--
Este mensaje le ha llegado mediante el servicio de correo electronico que ofrece Infomed para respaldar el cumplimiento de las misiones del Sistema Nacional de Salud. La persona que envia este correo asume el compromiso de usar el servicio a tales fines y cumplir con las regulaciones establecidas
Infomed: http://www.sld.cu/
Hola,
no se si la respuesta es tan sencilla... hace un tiempo me estuve peleando con ello y me fueron surgiendo imprevistos, por ejemplo con 64 bits y ext4 se supone que puedes tener discos gigantescos, el problema es que alguna de las herramientas necesarias para ello (creo que era mkfs.ext4) no lo admite o admitía todavía. Si te sirve como ejemplo, finalmente usando xfs no tuve problema para crear una partición de 55GB sobre openSUSE 11.4 (x86_64).
Saludos,
Enrique
2012/5/8 Jesús Reyes Piedra infneurodcr.mtz@infomed.sld.cu:
El 08/05/12 10:22, Maxi escribió:
El 8 de mayo de 2012 11:20, Carlos E. R.robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 16:14, Jesús Reyes Piedra wrote:
El 08/05/12 10:10, Carlos E. R. escribió:
Cuanto ??
¿Que sistema de ficheros? Cada cual tiene su limite. En la wikipedia hay una tabla con todos.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar) -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+pK5wACgkQIvFNjefEBxpNqwCgj0hdSuOAYa8QztbGdg2PTraE 5goAn1T6XV+G7dCTyGy6EVjO7MGU60Zr =J6km
-----END PGP SIGNATURE-----
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Tenes que instalar el paquete quotas, y configurarlo aca te paso un link util
http://linuxpoison.blogspot.com.ar/2009/04/how-to-enable-quota-on-opensuse.h...
-- El que pregunta aprende, y el que contesta aprende a responder.
No a la obsolecencia programada:
http://dimensionargentina.blogspot.com/2011/01/todo-esta-disenado-para-rompe...
Linux User #495070 http://miexperiencialinux.blogspot.com/
Muchas gracias a todos
Jesús
--
Este mensaje le ha llegado mediante el servicio de correo electronico que ofrece Infomed para respaldar el cumplimiento de las misiones del Sistema Nacional de Salud. La persona que envia este correo asume el compromiso de usar el servicio a tales fines y cumplir con las regulaciones establecidas
Infomed: http://www.sld.cu/
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 09:35, Enrique wrote:
Hola,
no se si la respuesta es tan sencilla... hace un tiempo me estuve peleando con ello y me fueron surgiendo imprevistos, por ejemplo con 64 bits y ext4 se supone que puedes tener discos gigantescos, el problema es que alguna de las herramientas necesarias para ello (creo que era mkfs.ext4) no lo admite o admitía todavía. Si te sirve como ejemplo, finalmente usando xfs no tuve problema para crear una partición de 55GB sobre openSUSE 11.4 (x86_64).
¿Sólo 55 gigas? Yo tengo particiones de 500. Ese tamaño tan pequeño lo puedes tener con cualquier tipo de sistema de ficheros. Si estuvieras hablando de 55 teras ya podríamos hablar de problemas.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
Cierto, me corrijo, lógicamente son 55TB. Si es que estoy recién llegado de vacaciones...
2012/5/9 Carlos E. R. robin.listas@telefonica.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 09:35, Enrique wrote:
Hola,
no se si la respuesta es tan sencilla... hace un tiempo me estuve peleando con ello y me fueron surgiendo imprevistos, por ejemplo con 64 bits y ext4 se supone que puedes tener discos gigantescos, el problema es que alguna de las herramientas necesarias para ello (creo que era mkfs.ext4) no lo admite o admitía todavía. Si te sirve como ejemplo, finalmente usando xfs no tuve problema para crear una partición de 55GB sobre openSUSE 11.4 (x86_64).
¿Sólo 55 gigas? Yo tengo particiones de 500. Ese tamaño tan pequeño lo puedes tener con cualquier tipo de sistema de ficheros. Si estuvieras hablando de 55 teras ya podríamos hablar de problemas.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar) -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+qVvYACgkQIvFNjefEBxqbjgCfbEb1YanhFngYFsjsCVbkAR9h Q14An3cpnBHJ3/367s/tu+g0T6UUqC+/ =m45V
-----END PGP SIGNATURE-----
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
2012/5/9 Enrique ejuafer@gmail.com:
Cierto, me corrijo, lógicamente son 55TB. Si es que estoy recién llegado de vacaciones...
¿Vacaciones? ... <buscando_en_diccionario> ... :O OMG !!! :D ;)
Una curiosidad, ¿para qué usáis ese volumen de datos? Yo los he montado para entornos científicos y de broadcast.
Rafa
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 15:17, Rafa Griman wrote:
Una curiosidad, ¿para qué usáis ese volumen de datos? Yo los he montado para entornos científicos y de broadcast.
Para estos usos sería mejor un sistema de archivos distribuido, de forma que los archivos se distribuyan entre varias particiones o discos, y que si se pierde uno no se pierde el completo como ocurre con LVM o RAID0, sino que solo se pierdan los ficheros de ese disco, que obviamente debe ser reemplazable y su contenido reconstruido desde backup.
Creo que esos tamaños no existen en un disco único, ¿no? En cualquier caso, el peligro de perder un sector, o un disco de un array, es bastante grande.
¿Existe un sistema de archivos distribuidos como el que digo?
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
Wenas :)
2012/5/9 Carlos E. R. robin.listas@telefonica.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 15:17, Rafa Griman wrote:
Una curiosidad, ¿para qué usáis ese volumen de datos? Yo los he montado para entornos científicos y de broadcast.
Para estos usos sería mejor un sistema de archivos distribuido, de forma que los archivos se distribuyan entre varias particiones o discos, y que si se pierde uno no se pierde el completo como ocurre con LVM o RAID0, sino que solo se pierdan los ficheros de ese disco, que obviamente debe ser reemplazable y su contenido reconstruido desde backup.
En SGI usan XVM como gestor de volúmenes (~LVM). Lo cual no significa que XFS no funciones con LVM: XFS funciona con LVM sin problemas así como con SW RAID ;)
En cuanto a sistemas de ficheros distribuidos, XFS tiene una versión en cluster llamada CXFS (Cell XFS) que es de código cerrado ... bueno, realmente lo que es cerrado es el códio de los servidores de metadatos (MDS), lo que es el código de XFS del kernel y las herramientas asociadas es el mismo XFS libre que hay en el kernel de Linux.
OJO !!! Es un sistema de ficheros en cluster, NO es un sistema de ficheros paralelo. Es decir, sería equivalente a un GFS de Red Hat o un Veritas, NO es equiparable a Lustre o Panasas o pNFS.
CXFS tiene dos tipos de servidores o nodos: MDS (Metadata Server) y MDC (Metadata Client). El MDS hace de árbitro a la hora de permitir que un MDC u otro acceda a un fichero para lectura y/o escritura y gestiona los tokens para ello.
CXFS se diseñó (igual que XFS) para sistemas NUMA por lo que (como he dicho antes) no está orientado al mundo de clusters como por ejemplo Lustre. Eso no significa que no se pueda usar ;) Aunque tiene algunas limitaciones por lo que puede quedarse corto en algunos entornos.
Creo que esos tamaños no existen en un disco único, ¿no?
Nop, por ahora el disco más grande es de 4 TB (IIRC) ... bueno, no sé si los han sacado aún. Para conseguir esos volúmenes hay que recurrir a RAID + gestor de volúmenes.
En cualquier caso, el peligro de perder un sector, o un disco de un array, es bastante grande.
Sip, de ahí el uso de RAID.
¿Existe un sistema de archivos distribuidos como el que digo?
Sip. Existen varios. Un ejemplo es Panasas con una especie de RAID por software que hace por fichero y no lo hace por disco. Es decir, el fichero 1 puede estar en RAID 1 y el fichero 2 puede estar en RAID 5, por ejemplo, en el mismo sistema de ficheros. Lustre utiliza checksums para comprobar la integridad de los datos y un RAID por HW o SW por debajo.
Ahora está empezando a coger fuerza Ceph en entornos de HPC, que es otro sistema de ficheros paralelo.
También está de moda HDFS (el sistema de ficheros utilizado en Hadoop) porque está de moda el "Big Data". Pero HDFS y Lustre (u otros sistemas de ficheros de entornos HPC) no es que no estén en la "misma liga", es que no "juegan al mismo deporte". HDFS es un sistema de ficheros distribuido de acceso local, es decir, el nodo 1 accede a su porción de HDFS local de sus discos duros NO accede al disco del nodo 2 ni a todo el HDFS. Sin embargo, en entornos de HPC, el nodo 1 necesita a cceder a un fichero de por ejemplo 600 TB (como puede ser el caso de las alineaciones de pares de bases en genómica) que no puede almacenar en local y que además puede ser utilizado por otros nodos por lo que se encuentra en un sistema de ficheros distribuido y paralelo. HDFS hace 3 copias de los datos para hacer frente a pérdida de nodos: local, cercana y remota.
Isilon es otro que está cogiendo fuerza, pero no es un sistema de ficheros paralelo sino que es un NAS (NFS y CIFS de toda la vida) escalable con un sistema de ficheros "en cluster" llamado OneFS por detrás. Algo similar se puede montar con CXFS y Samba/NFS a lo que SGI llama "Edge Servers": los MDCs exportan CXFS mediante NFS y/o Samba.
HTH
Rafa
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 16:20, Rafa Griman wrote:
Wenas :)
Jo, vaya respuesta, gracias... me la tendré que leer despacio para entenderla :-)
Solo comentaré algo:
En cualquier caso, el peligro de perder un sector, o un disco de un array, es bastante grande.
Sip, de ahí el uso de RAID.
Leí un estudio no hace mucho que con esos tamaños de ahora el riesgo de perder un disco durante la reconstrucción era muy grande, y lo demostraban numéricamente con la tasa de fallos por mega multiplicado por los megas del disco, y el tiempo necesario para la reconstrucción. Por eso pensaba en sistemas de ficheros distribuidos.
Parecen soluciones propietarias, ¿no?
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
Hey !!!
2012/5/9 Carlos E. R. robin.listas@telefonica.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 16:20, Rafa Griman wrote:
Wenas :)
Jo, vaya respuesta, gracias... me la tendré que leer despacio para entenderla :-)
Solo comentaré algo:
En cualquier caso, el peligro de perder un sector, o un disco de un array, es bastante grande.
Sip, de ahí el uso de RAID.
Leí un estudio no hace mucho que con esos tamaños de ahora el riesgo de perder un disco durante la reconstrucción era muy grande, y lo demostraban numéricamente con la tasa de fallos por mega multiplicado por los megas del disco, y el tiempo necesario para la reconstrucción. Por eso pensaba en sistemas de ficheros distribuidos.
El problema no es sólo que si pierdes un disco (de 3 TB) pierdes mucha info ... hmmmm, mejor dicho: la probabilidad de perder [...] ;)
Hay otros problemas asociados como por ejemplo: - tiempo de reconstrucción: hablamos de algo más de un día para discos > 2 TB - pérdida de rendimiento durante la reconstrucción de un RAID - probabilidad de perder otro disco durante la reconstrucción de un RAID. Si tenemos RAID 6, podemos perder hasta 2 discos ... pero si perdemos un tercero ... good bye ...
Por eso, muchos fabricantes recomiendan: - RAIDs pequeños de unos 8+2 discos - RAID 10 - backups - backups - backups - backups - backups - backups - DR y BC - deduplicación - compresión - backups - backups - backups
Personalmente añado a esta lista: borrar toda la basura que NO usas ;) No ... no lo necesitamos todo, podemos vivir sin tener una copia de Internet en nuestro disco duro: nuestros antepasados sobrevivieron y nosotros hasta hace poco también :D ;)
De todas maneras, en el mundo HPC, no siempre se tienen ficheros muy grandes, lo que pasa es que durante el procesado de los datos puede ocurrir: - que se generan muchos ficheros temporales - que hace falta un elevado ancho de banda a disco para evitar lo que se llama CPU starvation (que los procesadores "pasen hambre" y se encuentren tocándose las narices y consumiendo electricidad y produciendo calor).
Parecen soluciones propietarias, ¿no?
Hay de todo: Lustre, Cephs, OrangeFS, PVFS, ... son libres.
Panasas está basado en FreeBSD, pero no liberan el código AFAIK. Aunque no te cobran por el software, es decir, no te cobran por el cliente/agente software que tienes que instalar. Te cobran por el hardware que compras.
Isilon está basado en Linux, pero te cobran por hardware y licencias software. Tranquilos, no te cobran el Linux, te cobran las licencias de las aplicaciones suyas: balanceo de carga, monitorización avanzada, ... que es SW cerrado.
CXFS tiene el código de los MDS cerrado porque: - hay código que no es de SGI - no consiguen localizar al desarrollador de cierto código y, por tanto, no pueden liberar ese código sin su permiso
Os aseguro que internamente en SGI hay muchas peticiones de los propios desarrolladores y técnicos, pero los abogados no se atreven por lo mencionado anteriormente. Lo malo es que es mucho código y reescribirlo sería muy costoso (en tiempo) y complejo.
GPFS es cerrado y bien cerrado (y caro).
Hay de todo un poco ;)
De todas maneras, en el mundo HPC, el "ganador" es Lustre. Lustre se está llevando el gato al agua en casi todos los proyectos.
HTH
Rafa
El 09/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hey !!!
.
El problema no es sólo que si pierdes un disco (de 3 TB) pierdes mucha info ... hmmmm, mejor dicho: la probabilidad de perder [...] ;)
(...)
Rafa, sencillamente y hablando de Lustre, disfruto enormemente mientas me ilustras ;)
Tengo una duda sobre algo que habéis comentado acerca de la reconstrucción de un raid. Hace tiempo atrás Rafa, Carlos, Camaleon y otros compañeros de la lista me dieron una clase magistral sobre lo que era un Raid, 0, 1, 5 bueno veo que la cosa ha crecido un poco desde entonces. Mi duda es la siguiente:
Supongamos que tengo 4 discos duros, con ellos puedo montar un Raid 0+1 o Raid 5. Bien supongamos que tienen 1TB cada disco, lo que dejaría la capacidad del Raid una vez montado en 2 TB (corregidme si me equivoco, a ver si resulta que no aprendí bien la lección).
Bien, si me fallase uno de los discos, debería sustituirlo y reconstruir el Raid, ¿Para ello pueden usarse los tres discos "sanos" o debo usar un quinto disco que teóricamente contendría los 2TB a modo de copia de seguridad?. ¿Se puede acceder a la info contenida en el Raid mientras se regenera? Y si no he entendido mal, como se estropee otro disco en el intervalo que entre que cambias el disco dañado y recuperes el Raid..... entonces mas te vale tener una copia de seguridad porque no puedes recurar la info del Raid.
Gracias a todos por estimular mi imaginación con de cabinas de discos, VLM, XFS, Lustre y demás siglas complejas que tanto tiempo me paso después googleando.
TB´s de :) para todos
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 17:30, Ala de Dragón wrote:
Supongamos que tengo 4 discos duros, con ellos puedo montar un Raid 0+1 o Raid 5. Bien supongamos que tienen 1TB cada disco, lo que dejaría la capacidad del Raid una vez montado en 2 TB (corregidme si me equivoco, a ver si resulta que no aprendí bien la lección).
Bien, si me fallase uno de los discos, debería sustituirlo y reconstruir el Raid, ¿Para ello pueden usarse los tres discos "sanos" o debo usar un quinto disco que teóricamente contendría los 2TB a modo de copia de seguridad?.
Con cuatro discos en raid 5 se supone que uno es el sobrante en espera, por lo que la reconstrucción debería ser automática sin esperas. Después tendrías que cambiar el disco averiado (si realmente está averiado) y añadirlo al array.
¿Se puede acceder a la info contenida en el Raid mientras se regenera?
Sí, pero el rendimiento es peor.
Y si no he entendido mal, como se estropee otro disco en el intervalo que entre que cambias el disco dañado y recuperes el Raid..... entonces mas te vale tener una copia de seguridad porque no puedes recurar la info del Raid.
Más vale que siempre tengas copia de seguridad >:-)
El raid no te protege de todo. Si el ordenador se cuelga de mala manera y corrompe el sistema de ficheros, pierdes todo el raid, por ejemplo. Si borras sin querer un fichero, queda borrado en todas sus copias.
Muchos que están usando raid, en realidad deberían estar usando sólo backups, con el mismo hardware.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
Hola :)
2012/5/9 Ala de Dragón aladedragon@gmail.com:
El 09/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hey !!!
El problema no es sólo que si pierdes un disco (de 3 TB) pierdes mucha info ... hmmmm, mejor dicho: la probabilidad de perder [...] ;)
(...)
Rafa, sencillamente y hablando de Lustre, disfruto enormemente mientas me ilustras ;)
:)
Tengo una duda sobre algo que habéis comentado acerca de la reconstrucción de un raid. Hace tiempo atrás Rafa, Carlos, Camaleon y otros compañeros de la lista me dieron una clase magistral sobre lo que era un Raid, 0, 1, 5 bueno veo que la cosa ha crecido un poco desde entonces. Mi duda es la siguiente:
Supongamos que tengo 4 discos duros, con ellos puedo montar un Raid 0+1 o Raid 5. Bien supongamos que tienen 1TB cada disco, lo que dejaría la capacidad del Raid una vez montado en 2 TB (corregidme si me equivoco, a ver si resulta que no aprendí bien la lección).
En un RAID 10 ó 0+1 te quedarían 2 TB.
En un RAID 5 te quedarían 3 TB.
En un RAID 6 te quedarían 2 TB.
Si buscas "RAID 1" o el nivel de RAID que quieras en un buscador, verás imágenes que lo explican mejor que yo dibujando O:)
Bien, si me fallase uno de los discos, debería sustituirlo y reconstruir el Raid, ¿Para ello pueden usarse los tres discos "sanos" o debo usar un quinto disco que teóricamente contendría los 2TB a modo de copia de seguridad?.
En el RAID 5 y 6, la paridad (la "protección") se distribuyen entre los discos por lo que si falla un disco, se puede reconstruir la información perdida. En un RAID en el que haya un "1", como es el RAID 10, el RAID 0+1 y el RAID 1, cada 2 discos se "espejan" (son copias idénticas) por lo que si falla uno, se copian los datos del que queda al nuevo que hayas insertado.
Lo que pasa es que hay gente que introduce lo que se llama un disco "spare", es decir, tienes un RAID 5 con 4 discos y añades un 5º disco que está "esperando". En el momento que falle uno de los 4 discos ... el spare entra automáticamente y se reconstruye el RAID. Esto te evita tener que estar pendiente de si falla o no. Esto tiene sus ventajas e inconvenientes: - se reconstruye automáticamente y no tienes que andar "estresado" y corriendo a cambiar el disco. - según cómo configures el spare, cuando sustituyas el disco fallado, se puede volcar de nuevo todo el disco spare al nuevo disco, es decir: es como reconstruir dos veces el RAID. La ventaja de esto es que el RAID se queda físicamente tal y como lo habías definido por lo que no pierdes rendimiento ni acabas con los RAIDs "al azar" por toda la cabina de discos. - si no se vuelve a hacer un segundo volcado ... puedes perder rendimiento porque te pueden quedar dos discos de un RAID en una misma bandeja de la cabina de discos, pero no haces dos reconstrucciones. - los discos spare son discos que no hacen nada por lo que pierdes cierto espacio. En tu ejemplo, si tienes 4 discos y haces un RAID 5 con 1 spare ... tienes 2 discos de datos, uno de paridad y 1 de spare por lo que tienes 2 TB útiles de 4 TB. Si haces un RAID 5 con 8 discos de datos, 1 disco de paridad y 1 de spare tienes 8 TB útiles de 11 TB.
¿Se puede acceder a la info contenida en el Raid mientras se regenera?
Sí.
Y si no he entendido mal, como se estropee otro disco en el intervalo que entre que cambias el disco dañado y recuperes el Raid..... entonces mas te vale tener una copia de seguridad porque no puedes recurar la info del Raid.
Si es RAID 5 es como dices porque sólo tienes un disco de paridad. Si tienes RAID 6, tienes dos discos de paridad por lo que puedes perder hasta 2 discos. Si es un RAID 1 (o similar: 10, 0+1), puedes perder la mitad (teóricamente) porque están en espejo. Digo teóricamente porque si tienes la mala suerte de perder los 2 discos que componen el espejo ... bye bye datos.
Siempre ten un backup ;)
Yo conocí una vez una empresa que les cayó un rayo y se quemó todo lo que había en un rack: servidores, almacenamiento, switches, ... Menos mal que no tenían el backup en el mismo rack. Lo mismo le pasó a otra empresa que tenía los sistemas en un sótano y se reventó una tubería ... todo inundado.
Gracias a todos por estimular mi imaginación con de cabinas de discos, VLM, XFS, Lustre y demás siglas complejas que tanto tiempo me paso después googleando.
:D
TB´s de :) para todos
:D
Rafa
Muchas gracias Rafa y Carlos por vuestras respuestas y disculpad la demora, pero en casa no tengo linea y tardo algo de tiempo en conectarme.
El 09/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hola :)
En un RAID 10 ó 0+1 te quedarían 2 TB.
En un RAID 5 te quedarían 3 TB.
En un RAID 6 te quedarían 2 TB.
Si buscas "RAID 1" o el nivel de RAID que quieras en un buscador, verás imágenes que lo explican mejor que yo dibujando O:)
Me he empapado de info en http://es.wikipedia.org/wiki/RAID, desde la primera que conversamos acerca de los RAID ha evolucionado bastante. Pero aunque dibujes peor me gustan tus explicaciones y tu conversación es mas amena que el monologo de google. La pregunta la lance porque monte un raid en casa para experimentar con 4 discos idénticos de 80GB (pequeñines pero matones jijiji) y al final se fue al traste, utilice el modulo RAID de la placa base y resulto ser Fake-Raid (como un día me comento Camaleon) Se corrompió el sistema de ficheros y no fui capaz de recuperarlo.
[...] - los discos spare son discos que no hacen nada por lo que pierdes cierto espacio. En tu ejemplo, si tienes 4 discos y haces un RAID 5 con 1 spare ... tienes 2 discos de datos, uno de paridad y 1 de spare por lo que tienes 2 TB útiles de 4 TB. Si haces un RAID 5 con 8 discos de datos, 1 disco de paridad y 1 de spare tienes 8 TB útiles de 11 TB.
Me de cante por un 0+1, dos a dos. quería buscar el máximo rendimiento del pc, monte un servidor opensuse, dos particiones; XFS y ReiserFs, Vsftpd y le pinche todas las tarjetas de red que tengo en casa y invite a unos amigos con sus portátiles ( la cervecita y las papas estaban incluidas jijiji) y se dispusieron a subir y bajar ficheros grandes (XFS) y pequeños (Reiserfs) hasta sacarle chispas al pc. Probamos ha hacer lo mismo con el "maligno" y se corrompio el sistema de ficheros y como he comentado antes no fui capaz de recuperar nada. Menos mal que una buena cena nos quito el mal sabor de boca.
[...] Siempre ten un backup ;)
Yo conocí una vez una empresa que les cayó un rayo y se quemó todo lo que había en un rack: servidores, almacenamiento, switches, ... Menos mal que no tenían el backup en el mismo rack. Lo mismo le pasó a otra empresa que tenía los sistemas en un sótano y se reventó una tubería ... todo inundado.
El 09/05/12, Carlos E. R. robin.listas@telefonica.net escribió:
[...] Más vale que siempre tengas copia de seguridad >:-)
El raid no te protege de todo. Si el ordenador se cuelga de mala manera y corrompe el sistema de ficheros, pierdes todo el raid, por ejemplo. Si borras sin querer un fichero, queda borrado en todas sus copias.
Muchos que están usando raid, en realidad deberían estar usando sólo backups, con el mismo hardware.
Cheers / Saludos,
Esa lección me la enseñasteis hace tiempo y la aprendi bien, gracias por el refresco de memoria, y las copias las guardo en casa de un amigo y el guarda las suyas en la mia... para evitar catástrofes.
Saludos y feliz fin de semana
El 18 de mayo de 2012 08:03, Ala de Dragón aladedragon@gmail.com escribió:
Muchas gracias Rafa y Carlos por vuestras respuestas y disculpad la demora, pero en casa no tengo linea y tardo algo de tiempo en conectarme.
El 09/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hola :)
En un RAID 10 ó 0+1 te quedarían 2 TB.
En un RAID 5 te quedarían 3 TB.
En un RAID 6 te quedarían 2 TB.
Si buscas "RAID 1" o el nivel de RAID que quieras en un buscador, verás imágenes que lo explican mejor que yo dibujando O:)
Me he empapado de info en http://es.wikipedia.org/wiki/RAID, desde la primera que conversamos acerca de los RAID ha evolucionado bastante. Pero aunque dibujes peor me gustan tus explicaciones y tu conversación es mas amena que el monologo de google. La pregunta la lance porque monte un raid en casa para experimentar con 4 discos idénticos de 80GB (pequeñines pero matones jijiji) y al final se fue al traste, utilice el modulo RAID de la placa base y resulto ser Fake-Raid (como un día me comento Camaleon) Se corrompió el sistema de ficheros y no fui capaz de recuperarlo.
Esos "pequeñines pero matones", eran de 10000 rpm?
SATA3 O SCSI?
[...] - los discos spare son discos que no hacen nada por lo que pierdes cierto espacio. En tu ejemplo, si tienes 4 discos y haces un RAID 5 con 1 spare ... tienes 2 discos de datos, uno de paridad y 1 de spare por lo que tienes 2 TB útiles de 4 TB. Si haces un RAID 5 con 8 discos de datos, 1 disco de paridad y 1 de spare tienes 8 TB útiles de 11 TB.
Me de cante por un 0+1, dos a dos. quería buscar el máximo rendimiento del pc, monte un servidor opensuse, dos particiones; XFS y ReiserFs, Vsftpd y le pinche todas las tarjetas de red que tengo en casa y invite a unos amigos con sus portátiles ( la cervecita y las papas estaban incluidas jijiji) y se dispusieron a subir y bajar ficheros grandes (XFS) y pequeños (Reiserfs) hasta sacarle chispas al pc. Probamos ha hacer lo mismo con el "maligno" y se corrompio el sistema de ficheros y como he comentado antes no fui capaz de recuperar nada. Menos mal que una buena cena nos quito el mal sabor de boca.
No me vas a decir que no sabías de antemano que podía pasar eso!
Salu2
El 18/05/12, Juan Erbes jerbes@gmail.com escribió:
El 18 de mayo de 2012 08:03, Ala de Dragón aladedragon@gmail.com escribió:
Esos "pequeñines pero matones", eran de 10000 rpm?
SATA3 O SCSI?
Hola Juan, :D Lo de matones es para subirme la moral, con tanto PB y rpm... son SATA1 de 5500 rpm y 80 Gb. Nada especial pero realizan su función a las mil maravillas, los compré de RMA hace algunos años.
No me vas a decir que no sabías de antemano que podía pasar eso!
Salu2
Hombre, por eso primero probamos opensuse, cuando el maligno nos hizo de las suyas ya teniamos la mesa puesta y un poco de hambre, tampoco se perdió información importante.
Saludos
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-18 16:10, Ala de Dragón wrote:
Hombre, por eso primero probamos opensuse, cuando el maligno nos hizo de las suyas ya teniamos la mesa puesta y un poco de hambre, tampoco se perdió información importante.
Y sin embargo, también debiera haber funcionado. Al fin y al cabo, los fake raid son invento suyo.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El 18/05/12, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-18 16:10, Ala de Dragón wrote:
Hombre, por eso primero probamos opensuse, cuando el maligno nos hizo de las suyas ya teniamos la mesa puesta y un poco de hambre, tampoco se perdió información importante.
Y sin embargo, también debiera haber funcionado. Al fin y al cabo, los fake raid son invento suyo.
Soportó una hora de ejercicio a tope y despues pantallazo azul... la version utilizada Xp con todas las actualizaciones. Utilizamos una copia original, Ntfs como sistema de ficheros y el servidor nativo de ftp.
Saludos :)
El día 18 de mayo de 2012 11:10, Ala de Dragón aladedragon@gmail.com escribió:
El 18/05/12, Juan Erbes jerbes@gmail.com escribió:
El 18 de mayo de 2012 08:03, Ala de Dragón aladedragon@gmail.com escribió:
Esos "pequeñines pero matones", eran de 10000 rpm?
SATA3 O SCSI?
Hola Juan, :D Lo de matones es para subirme la moral, con tanto PB y rpm... son SATA1 de 5500 rpm y 80 Gb. Nada especial pero realizan su función a las mil maravillas, los compré de RMA hace algunos años.
Yo hace algunos años arme un equipo con mobo para servidor, con zócalos para 2 micros, y doble controladora SCSI Ultra 320, y le había coocado 1 disco ide de 160 GB, 1 SCSI de 36 GB y 10000 rpm y otros 2 de 75 GB tambien de 10000 rpm, por eso preguntaba.
No me vas a decir que no sabías de antemano que podía pasar eso!
Salu2
Hombre, por eso primero probamos opensuse, cuando el maligno nos hizo de las suyas ya teniamos la mesa puesta y un poco de hambre, tampoco se perdió información importante.
En mi pc tengo 2 discos SATA 2, y el que uso con Linux de 1 TB WD serie Green, creo que es de 5700 (en realidad es variable), y la verdad que transcodificando video, los 4 cores trabajan al 50%, debido a la lentitud del disco.
Hace un par de semanas compré otro mobo con chipset AMD 880, memoria y disco WD de 500 GB SATA 3, para armar con un micro que se quedó huerfano (Athlon 2 X2 240, se murió el mobo que tenía chipset Nvidia), pero me llevé el fiasco de que el mobo nuevo tenia SATA 2. Estube a punto de comprar otro mobo que traía SATA 3, pero no me servía para el micro que tengo para armar, ya que el mobo es para la nueva serie de micros Fussion de AMD.
Salu2
El 18/05/12, Juan Erbes jerbes@gmail.com escribió:
Yo hace algunos años arme un equipo con mobo para servidor, con zócalos para 2 micros, y doble controladora SCSI Ultra 320, y le había coocado 1 disco ide de 160 GB, 1 SCSI de 36 GB y 10000 rpm y otros 2 de 75 GB tambien de 10000 rpm, por eso preguntaba.
[..]
En mi pc tengo 2 discos SATA 2, y el que uso con Linux de 1 TB WD serie Green, creo que es de 5700 (en realidad es variable), y la verdad que transcodificando video, los 4 cores trabajan al 50%, debido a la lentitud del disco.
¿Y si la aplicación no aprovecha al completo los multihilos? es decir, puede que solo busque dos nucleos (hyper threading) y el núcleo reparte el trabajo entre sus 4 hilos. No se como explicarlo pero lo he visto en videojuegos, En micros de dos núcleos a plena carga y en micros de 4 al 50% en cada uno... de cualquier modo si los indices de transferencia de los discos hacen tope, el cuello de botella estará en los discos.
Hace un par de semanas compré otro mobo con chipset AMD 880, memoria y disco WD de 500 GB SATA 3, para armar con un micro que se quedó huerfano (Athlon 2 X2 240, se murió el mobo que tenía chipset Nvidia), pero me llevé el fiasco de que el mobo nuevo tenia SATA 2. Estube a punto de comprar otro mobo que traía SATA 3, pero no me servía para el micro que tengo para armar, ya que el mobo es para la nueva serie de micros Fussion de AMD.
Salu2
Antes de compra material me lo pienso cien veces y recorro las tiendas de oportunidades, busco material de oferta que viene de RMA's de empresas, la fiabilidad no es completa pero el precio se ajusta a mi bolsillo. La verdad, no se como andarán los discos de precio por donde tu vives pero por aquí solo con pensar en pagar un porcentaje a la SGAE pone los pelos de punta.
Saludos
"El cielo es para los dragones lo que el agua es para las ninfas"
El 21 de mayo de 2012 13:59, Ala de Dragón aladedragon@gmail.com escribió:
El 18/05/12, Juan Erbes jerbes@gmail.com escribió:
Yo hace algunos años arme un equipo con mobo para servidor, con zócalos para 2 micros, y doble controladora SCSI Ultra 320, y le había coocado 1 disco ide de 160 GB, 1 SCSI de 36 GB y 10000 rpm y otros 2 de 75 GB tambien de 10000 rpm, por eso preguntaba.
[..]
En mi pc tengo 2 discos SATA 2, y el que uso con Linux de 1 TB WD serie Green, creo que es de 5700 (en realidad es variable), y la verdad que transcodificando video, los 4 cores trabajan al 50%, debido a la lentitud del disco.
¿Y si la aplicación no aprovecha al completo los multihilos? es decir, puede que solo busque dos nucleos (hyper threading) y el núcleo reparte el trabajo entre sus 4 hilos. No se como explicarlo pero lo he visto en videojuegos, En micros de dos núcleos a plena carga y en micros de 4 al 50% en cada uno... de cualquier modo si los indices de transferencia de los discos hacen tope, el cuello de botella estará en los discos.
Hace un par de semanas compré otro mobo con chipset AMD 880, memoria y disco WD de 500 GB SATA 3, para armar con un micro que se quedó huerfano (Athlon 2 X2 240, se murió el mobo que tenía chipset Nvidia), pero me llevé el fiasco de que el mobo nuevo tenia SATA 2. Estube a punto de comprar otro mobo que traía SATA 3, pero no me servía para el micro que tengo para armar, ya que el mobo es para la nueva serie de micros Fussion de AMD.
Salu2
Antes de compra material me lo pienso cien veces y recorro las tiendas de oportunidades, busco material de oferta que viene de RMA's de empresas, la fiabilidad no es completa pero el precio se ajusta a mi bolsillo. La verdad, no se como andarán los discos de precio por donde tu vives pero por aquí solo con pensar en pagar un porcentaje a la SGAE pone los pelos de punta.
AHORA, DEBIDO AL CONTROL DE LA BALANZA COMERCIAL POR PARTE DEL GOBIERNO, las importaciones estan restringidas. Pero de todas maneras, trato de comprar algo que en un par de años no esté fuera de tono. Por ejemplo, el ultimo disco duro que compré es SATA3, aunque por problemas de compatibilidad con el micro que ya tenía, tube que comprar un mobo que trae SATA2, pero de todas formas, no es de los mobos mas caros, digamos que entre los buenos, el mas barato.
Salu2
El 21/05/12, Juan Erbes jerbes@gmail.com escribió:
AHORA, DEBIDO AL CONTROL DE LA BALANZA COMERCIAL POR PARTE DEL GOBIERNO, las importaciones estan restringidas. Pero de todas maneras, trato de comprar algo que en un par de años no esté fuera de tono. Por ejemplo, el ultimo disco duro que compré es SATA3, aunque por problemas de compatibilidad con el micro que ya tenía, tube que comprar un mobo que trae SATA2, pero de todas formas, no es de los mobos mas caros, digamos que entre los buenos, el mas barato.
Salu2
Ten paciencia, seguro que antes o después accedes a lo que buscas. Los escaparates de las tiendas están llenas cajas de componentes modernos que están por uno u otro motivo fuera de nuestro alcance. Antes o después acaban descatalogados y vendiendose a precio de ganga o atravesando los filtros de los gobiernos más exigentes. Es cuestión de esperar. :D Saludos
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-21 18:59, Ala de Dragón wrote:
¿Y si la aplicación no aprovecha al completo los multihilos? es decir, puede que solo busque dos nucleos (hyper threading) y el núcleo reparte el trabajo entre sus 4 hilos. No se como explicarlo pero lo he visto en videojuegos, En micros de dos núcleos a plena carga y en micros de 4 al 50% en cada uno... de cualquier modo si los indices de transferencia de los discos hacen tope, el cuello de botella estará en los discos.
De hecho hay aplicaciones que funcionan peor en modo threaded que simple. El ffmpeg cuando el codec es xvid: me funciona incluso más lento. Es más eficaz si puedo lanzar cuatro procesos completos simultáneos.
Antes de compra material me lo pienso cien veces y recorro las tiendas de oportunidades, busco material de oferta que viene de RMA's de empresas, la fiabilidad no es completa pero el precio se ajusta a mi bolsillo. La verdad, no se como andarán los discos de precio por donde tu vives pero por aquí solo con pensar en pagar un porcentaje a la SGAE pone los pelos de punta.
Pues no es mala técnica, con los tiempos que corren. Ahora encima los discos están más caros, porque todas las fábricas están en el mismo país, y todas se inundaron. Los precios subieron al doble o así. Lo que no sé es si conseguiré enterarme de si han reconstruido las fábricas para estimar si los precios deben bajar, o aprovechan para hincharlos.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El día 21 de mayo de 2012 20:19, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-21 18:59, Ala de Dragón wrote:
¿Y si la aplicación no aprovecha al completo los multihilos? es decir, puede que solo busque dos nucleos (hyper threading) y el núcleo reparte el trabajo entre sus 4 hilos. No se como explicarlo pero lo he visto en videojuegos, En micros de dos núcleos a plena carga y en micros de 4 al 50% en cada uno... de cualquier modo si los indices de transferencia de los discos hacen tope, el cuello de botella estará en los discos.
De hecho hay aplicaciones que funcionan peor en modo threaded que simple. El ffmpeg cuando el codec es xvid: me funciona incluso más lento. Es más eficaz si puedo lanzar cuatro procesos completos simultáneos.
Antes de compra material me lo pienso cien veces y recorro las tiendas de oportunidades, busco material de oferta que viene de RMA's de empresas, la fiabilidad no es completa pero el precio se ajusta a mi bolsillo. La verdad, no se como andarán los discos de precio por donde tu vives pero por aquí solo con pensar en pagar un porcentaje a la SGAE pone los pelos de punta.
Pues no es mala técnica, con los tiempos que corren. Ahora encima los discos están más caros, porque todas las fábricas están en el mismo país, y todas se inundaron. Los precios subieron al doble o así. Lo que no sé es si conseguiré enterarme de si han reconstruido las fábricas para estimar si los precios deben bajar, o aprovechan para hincharlos.
Ups!
Yo pensé que era un problema local, lo de la subida de precio.
Si mi memoria no me falla el disco anterior de 1 TB WD serie Green SATA2, lo había pagado 70 dolares, y hace un par de semanas, uno de 500 GB WD SATA3, lo pagué 150 dolares. Si hacemos la proporción precio/capacidad, hace de cuentas que se cuadruplicó el precio, al menos acá, debido a problemas locales y foraneos
Salu2
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-22 01:34, Juan Erbes wrote:
Yo pensé que era un problema local, lo de la subida de precio.
No, es mundial. Vosotros a lo mejor no os habéis dado cuenta por los problemas locales.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El 22/05/12, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-21 18:59, Ala de Dragón wrote:
De hecho hay aplicaciones que funcionan peor en modo threaded que simple. El ffmpeg cuando el codec es xvid: me funciona incluso más lento. Es más eficaz si puedo lanzar cuatro procesos completos simultáneos.
Tomo buena nota, es muy interesante el comentario :D
Pues no es mala técnica, con los tiempos que corren. Ahora encima los discos están más caros, porque todas las fábricas están en el mismo país, y todas se inundaron. Los precios subieron al doble o así. Lo que no sé es si conseguiré enterarme de si han reconstruido las fábricas para estimar si los precios deben bajar, o aprovechan para hincharlos.
He buceado en la red y he encontrado alguna noticia al respecto, parece ser que la mas afectada es WD. En varias noticias de diferentes blog marcan lineas de tiempo que indican el tercer trimestre e 2012 como el plazo definido para la reanudación de la producción
http://www.teamhardwarevzla.com/2012/01/western-digital-recuperara-su-capaci...
http://www.muycomputer.com/2012/01/23/western-digital-fabricacion-discos-dur...
http://www.electro-imagen.com/noticias/comunicados/10874-comunicado-wd-sobre...
En teoría deberían haber bajado o estar apunto de hacerlo....
Saludos
Wenas :)
2012/5/22 Carlos E. R. robin.listas@telefonica.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-21 18:59, Ala de Dragón wrote:
¿Y si la aplicación no aprovecha al completo los multihilos? es decir, puede que solo busque dos nucleos (hyper threading) y el núcleo reparte el trabajo entre sus 4 hilos. No se como explicarlo pero lo he visto en videojuegos, En micros de dos núcleos a plena carga y en micros de 4 al 50% en cada uno... de cualquier modo si los indices de transferencia de los discos hacen tope, el cuello de botella estará en los discos.
De hecho hay aplicaciones que funcionan peor en modo threaded que simple. El ffmpeg cuando el codec es xvid: me funciona incluso más lento. Es más eficaz si puedo lanzar cuatro procesos completos simultáneos.
HT + FPU (coma flotante) = lento
HT + enteros = rápido
En HPC lo del HT está muy mal visto porque se usa mucha coma flotante (FPU). La cosa es que si son enteros con lo que se trabaja, no hay cuello de botella en la FPU (obviamente porque no se usa ;) por lo que el HT mejora el rendimiento. En el caso de operaciones en coma fotante (aplicaciones científicas y media), se produce un cuello de botella al acceder a la FPU y, por tanto, va más lento.
Rafa
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-24 14:58, Rafa Griman wrote:
Wenas :)
2012/5/22 Carlos E. R. <>:
De hecho hay aplicaciones que funcionan peor en modo threaded que simple. El ffmpeg cuando el codec es xvid: me funciona incluso más lento. Es más eficaz si puedo lanzar cuatro procesos completos simultáneos.
HT + FPU (coma flotante) = lento
HT + enteros = rápido
En HPC lo del HT está muy mal visto porque se usa mucha coma flotante (FPU). La cosa es que si son enteros con lo que se trabaja, no hay cuello de botella en la FPU (obviamente porque no se usa ;) por lo que el HT mejora el rendimiento. En el caso de operaciones en coma fotante (aplicaciones científicas y media), se produce un cuello de botella al acceder a la FPU y, por tanto, va más lento.
Bueno, en el caso que dije del ffmpeg la prueba la hice con una cpu de cuatro nucleos (Q9550), sin HT. Con el codec xvid el proceso es más lento en modo "threaded" de la aplicación, pero con otros codecs en cambio es más rápido. Es decir, son ciertos códecs los que tienen mal hecho lo de procesar en simultaneo varios hilos.
Así resulta curioso que salga más rápido hacer cuatro peliculas al mismo tiempo, que cuatro peliculas una detrás de otra con "-threads 4", si el codec de video es xvid.
Al menos cuando hice la prueba, que puede ser hace dos años.
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El 24 de mayo de 2012 09:58, Rafa Griman rafagriman@gmail.com escribió:
Wenas :)
2012/5/22 Carlos E. R. robin.listas@telefonica.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-21 18:59, Ala de Dragón wrote:
¿Y si la aplicación no aprovecha al completo los multihilos? es decir, puede que solo busque dos nucleos (hyper threading) y el núcleo reparte el trabajo entre sus 4 hilos. No se como explicarlo pero lo he visto en videojuegos, En micros de dos núcleos a plena carga y en micros de 4 al 50% en cada uno... de cualquier modo si los indices de transferencia de los discos hacen tope, el cuello de botella estará en los discos.
De hecho hay aplicaciones que funcionan peor en modo threaded que simple. El ffmpeg cuando el codec es xvid: me funciona incluso más lento. Es más eficaz si puedo lanzar cuatro procesos completos simultáneos.
HT + FPU (coma flotante) = lento
HT + enteros = rápido
En HPC lo del HT está muy mal visto porque se usa mucha coma flotante (FPU). La cosa es que si son enteros con lo que se trabaja, no hay cuello de botella en la FPU (obviamente porque no se usa ;) por lo que el HT mejora el rendimiento. En el caso de operaciones en coma fotante (aplicaciones científicas y media), se produce un cuello de botella al acceder a la FPU y, por tanto, va más lento.
Perdón por mi ignorancia!
Que significa HT?
Salu2
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-25 15:30, Juan Erbes wrote:
Que significa HT?
http://www.intel.com/products/ht/hyperthreading_more.htm
Pero en realidad la wikipedia pone más:
http://en.wikipedia.org/wiki/Hyper-Threading
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El día 25 de mayo de 2012 10:50, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-25 15:30, Juan Erbes wrote:
Que significa HT?
http://www.intel.com/products/ht/hyperthreading_more.htm
Pero en realidad la wikipedia pone más:
Lo de los micros intel, lo sabía, pero pensé que se refería a otra cosa, porque si fuera así, ese concepto, solamente sería aplicable a los micros intel solamente, y esa tecnología era para micros de un solo nucleo, que con el Hyper-Threading, simulaba tener mas de un solo nucleo.
Pero no creo que AMD, con microprocesadores de 16 núcleos, tenga necesidad de simular algun nucleo más: http://www.amd.com/us/products/server/processors/6000-series-platform/6200/P...
http://www.amd.com/us/products/server/processors/6000-series-platform/6200/P...
O en el caso de los micros para computadoras de escritorio de 8 nucleos, creo que tampoco hace falta simular ninguno: http://en.wikipedia.org/wiki/Bulldozer_%28microarchitecture%29
http://www.taringa.net/posts/noticias/6730783/Informaciones-oficiales-sobre-...
La versión para sobremesa se llamará Zambezi y dispondrá de 4 módulos de dos núcleos, así que será un procesador de casi 8 núcleos, puesto que dentro de cada módulo no hay dos núcleos realmente completos ya que comparten recursos y dependiendo de la situación podrán aprovecharse mejor o peor, en una situación ideal actuarían como 8 núcleos nativos, pero como todos sabemos no siempre nos encontramos con situaciones ideales. El hecho de incluir 2 núcleos en un mismo módulo permite que el tamaño y el consumo del procesador no se incremente demasiado, AMD explica que añadir un segundo núcleo en el módulo apenas hace incrementar el tamaño del mismo en un mísero 12%.
El uso de 4 módulos de 2 núcleos separados permitirá mucha más flexibilidad en la gestión de energía de los mismos, permitiendo tanto un overclock o modo turbo eficiente para aquellos módulos que tengan carga y pudiendo apagar los módulos que no tengan trabajo para un ahorro energético mayor. Los Bulldozer incorporan tanto la controladora de memoria DDR3 como las funciones de Northbridge, así que los futuros chipsets que soporten estos procesadores no serán más que un Southbridge, quizá bautizados como SB900 y esperamos que ya integren de forma nativa USB 3.0 aparte del SATA 6 Gbps que ya integran los actuales SB850. La interconexión entre el procesador y el Southbridge se hará mediante un bus llamado A-Link Express, aunque principalmente se trata de una conexión PCI Express.
AMD califica a su arquitectura Bulldozer como "A new approach to multithreaded compute performance" y el principal objetivo de AMD es conseguir una nueva familia de procesadores con un IPC mucho mayor que el de los anteriores procesadores, así la velocidad en MHz podrá ser inferior a la de los actuales Phenom II y aún así superarlos en rendimiento. Entendemos que a medida que pulan el proceso de fabricación veremos versiones trabajando a más MHz.
Salu2
Hola :)
2012/5/25 Juan Erbes jerbes@gmail.com:
El día 25 de mayo de 2012 10:50, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-25 15:30, Juan Erbes wrote:
Que significa HT?
http://www.intel.com/products/ht/hyperthreading_more.htm
Pero en realidad la wikipedia pone más:
Lo de los micros intel, lo sabía, pero pensé que se refería a otra cosa, porque si fuera así, ese concepto, solamente sería aplicable a los micros intel solamente
No señor, el HT (HyperThreading) no es exclusivo de los micros de Intel. Los Power de IBM también lo tienen y se llama SMT.
y esa tecnología era para micros de un solo nucleo, que con el Hyper-Threading, simulaba tener mas de un solo nucleo.
Error de nuevo: sirve para que un núcleo que está esperando un dato/respuesta pueda hacer algo mientras espera, sea o no multinúcleo. Lo que pasa es que sólo es efectivo si no se usa la FPU por lo que las aplicaciones científicas y las de media no mjoran en rendimiento.
Pero no creo que AMD, con microprocesadores de 16 núcleos, tenga necesidad de simular algun nucleo más:
[...]
No es cuestión de cuántos cores tiene un procesador sino de permitir que haga otras cosas mientras espera.
BTW, cuantos más cores ... menor ancho de banda a memoria por lo que le tocará esperar más tiempo a los datos que le vienen de memoria.
O en el caso de los micros para computadoras de escritorio de 8 nucleos, creo que tampoco hace falta simular ninguno: http://en.wikipedia.org/wiki/Bulldozer_%28microarchitecture%29
http://www.taringa.net/posts/noticias/6730783/Informaciones-oficiales-sobre-...
La versión para sobremesa se llamará Zambezi y dispondrá de 4 módulos de dos núcleos, así que será un procesador de casi 8 núcleos, puesto que dentro de cada módulo no hay dos núcleos realmente completos ya que comparten recursos y dependiendo de la situación podrán aprovecharse mejor o peor, en una situación ideal actuarían como 8 núcleos nativos, pero como todos sabemos no siempre nos encontramos con situaciones ideales. El hecho de incluir 2 núcleos en un mismo módulo permite que el tamaño y el consumo del procesador no se incremente demasiado, AMD explica que añadir un segundo núcleo en el módulo apenas hace incrementar el tamaño del mismo en un mísero 12%.
El uso de 4 módulos de 2 núcleos separados permitirá mucha más flexibilidad en la gestión de energía de los mismos, permitiendo tanto un overclock o modo turbo eficiente para aquellos módulos que tengan carga y pudiendo apagar los módulos que no tengan trabajo para un ahorro energético mayor. Los Bulldozer incorporan tanto la controladora de memoria DDR3 como las funciones de Northbridge, así que los futuros chipsets que soporten estos procesadores no serán más que un Southbridge, quizá bautizados como SB900 y esperamos que ya integren de forma nativa USB 3.0 aparte del SATA 6 Gbps que ya integran los actuales SB850. La interconexión entre el procesador y el Southbridge se hará mediante un bus llamado A-Link Express, aunque principalmente se trata de una conexión PCI Express.
Pues a ver si soportan PCIe gen 3 pronto porque se están quedando atrás en I/O que ya ha salido IB FDR ... ;)
AMD califica a su arquitectura Bulldozer como "A new approach to multithreaded compute performance" y el principal objetivo de AMD es conseguir una nueva familia de procesadores con un IPC mucho mayor que el de los anteriores procesadores, así la velocidad en MHz podrá ser inferior a la de los actuales Phenom II y aún así superarlos en rendimiento. Entendemos que a medida que pulan el proceso de fabricación veremos versiones trabajando a más MHz.
Vaya ... eso mismo ha hecho NVIDIA con su arquitectura Kepler ... e Intel con MIC: más cores a menor frecuencia. Habrán plagiado vilmente las ideas de AMD ...
Rafa
El día 25 de mayo de 2012 19:10, Rafa Griman rafagriman@gmail.com escribió:
Hola :)
2012/5/25 Juan Erbes jerbes@gmail.com:
El día 25 de mayo de 2012 10:50, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-25 15:30, Juan Erbes wrote:
Que significa HT?
http://www.intel.com/products/ht/hyperthreading_more.htm
Pero en realidad la wikipedia pone más:
Lo de los micros intel, lo sabía, pero pensé que se refería a otra cosa, porque si fuera así, ese concepto, solamente sería aplicable a los micros intel solamente
No señor, el HT (HyperThreading) no es exclusivo de los micros de Intel. Los Power de IBM también lo tienen y se llama SMT.
y esa tecnología era para micros de un solo nucleo, que con el Hyper-Threading, simulaba tener mas de un solo nucleo.
Error de nuevo: sirve para que un núcleo que está esperando un dato/respuesta pueda hacer algo mientras espera, sea o no multinúcleo. Lo que pasa es que sólo es efectivo si no se usa la FPU por lo que las aplicaciones científicas y las de media no mjoran en rendimiento.
Pero no creo que AMD, con microprocesadores de 16 núcleos, tenga necesidad de simular algun nucleo más:
[...]
No es cuestión de cuántos cores tiene un procesador sino de permitir que haga otras cosas mientras espera.
BTW, cuantos más cores ... menor ancho de banda a memoria por lo que le tocará esperar más tiempo a los datos que le vienen de memoria.
O en el caso de los micros para computadoras de escritorio de 8 nucleos, creo que tampoco hace falta simular ninguno: http://en.wikipedia.org/wiki/Bulldozer_%28microarchitecture%29
http://www.taringa.net/posts/noticias/6730783/Informaciones-oficiales-sobre-...
La versión para sobremesa se llamará Zambezi y dispondrá de 4 módulos de dos núcleos, así que será un procesador de casi 8 núcleos, puesto que dentro de cada módulo no hay dos núcleos realmente completos ya que comparten recursos y dependiendo de la situación podrán aprovecharse mejor o peor, en una situación ideal actuarían como 8 núcleos nativos, pero como todos sabemos no siempre nos encontramos con situaciones ideales. El hecho de incluir 2 núcleos en un mismo módulo permite que el tamaño y el consumo del procesador no se incremente demasiado, AMD explica que añadir un segundo núcleo en el módulo apenas hace incrementar el tamaño del mismo en un mísero 12%.
El uso de 4 módulos de 2 núcleos separados permitirá mucha más flexibilidad en la gestión de energía de los mismos, permitiendo tanto un overclock o modo turbo eficiente para aquellos módulos que tengan carga y pudiendo apagar los módulos que no tengan trabajo para un ahorro energético mayor. Los Bulldozer incorporan tanto la controladora de memoria DDR3 como las funciones de Northbridge, así que los futuros chipsets que soporten estos procesadores no serán más que un Southbridge, quizá bautizados como SB900 y esperamos que ya integren de forma nativa USB 3.0 aparte del SATA 6 Gbps que ya integran los actuales SB850. La interconexión entre el procesador y el Southbridge se hará mediante un bus llamado A-Link Express, aunque principalmente se trata de una conexión PCI Express.
Pues a ver si soportan PCIe gen 3 pronto porque se están quedando atrás en I/O que ya ha salido IB FDR ... ;)
AMD califica a su arquitectura Bulldozer como "A new approach to multithreaded compute performance" y el principal objetivo de AMD es conseguir una nueva familia de procesadores con un IPC mucho mayor que el de los anteriores procesadores, así la velocidad en MHz podrá ser inferior a la de los actuales Phenom II y aún así superarlos en rendimiento. Entendemos que a medida que pulan el proceso de fabricación veremos versiones trabajando a más MHz.
Vaya ... eso mismo ha hecho NVIDIA con su arquitectura Kepler ... e Intel con MIC: más cores a menor frecuencia. Habrán plagiado vilmente las ideas de AMD ...
No habrán plagiado a AMD, pero han adoptado el set de instrucciones X86-64 desarrollado por AMD, el Hypertransport, al que renombraron como Direct Connect, el controlador de memoria dentro del encapsulado del micro, etc, etc.
Despues de todo, no nos olvidemos de los "acuerdos de licencias cruzadas".....
Volviendo el comienzo, porque usas la sigla "HT"?, cuando es algo especifico de una marca, y tu mismo mencionas el SMT en PowerPC de IBM, que le dan otro nombre.
Ahora viene a mi mente el caso del HyperThreading de intel, que si estaba activado en los servidores que corrian Oracle, y que además de dar error, el equipo rendía menos.
Se me dió por tirar una busqueda en Google con "AMD HyperThreading", y esto es lo que ha aparecido:
http://computadoras.about.com/od/preguntas-frecuentes/a/Que-Es-Hyperthreadin...
http://blog.speedgocomputing.com/2010/08/amds-bulldozer-vs-intels-hyper.html
http://www.amd.com/us/Documents/Cores_vs_Threads_Whitepaper.pdf
http://blogs.amd.com/work/2010/03/30/intel-hyper-threading-vs-amd-true-core-...
http://www.ilsistemista.net/index.php/hardware-analysis/19-amd-bulldozer-and...
http://boards.straightdope.com/sdmb/showthread.php?t=618003
2012/5/26 Juan Erbes jerbes@gmail.com:
El día 25 de mayo de 2012 19:10, Rafa Griman rafagriman@gmail.com escribió:
Hola :)
2012/5/25 Juan Erbes jerbes@gmail.com:
El día 25 de mayo de 2012 10:50, Carlos E. R. robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-25 15:30, Juan Erbes wrote:
Que significa HT?
http://www.intel.com/products/ht/hyperthreading_more.htm
Pero en realidad la wikipedia pone más:
Lo de los micros intel, lo sabía, pero pensé que se refería a otra cosa, porque si fuera así, ese concepto, solamente sería aplicable a los micros intel solamente
No señor, el HT (HyperThreading) no es exclusivo de los micros de Intel. Los Power de IBM también lo tienen y se llama SMT.
y esa tecnología era para micros de un solo nucleo, que con el Hyper-Threading, simulaba tener mas de un solo nucleo.
Error de nuevo: sirve para que un núcleo que está esperando un dato/respuesta pueda hacer algo mientras espera, sea o no multinúcleo. Lo que pasa es que sólo es efectivo si no se usa la FPU por lo que las aplicaciones científicas y las de media no mjoran en rendimiento.
Pero no creo que AMD, con microprocesadores de 16 núcleos, tenga necesidad de simular algun nucleo más:
[...]
No es cuestión de cuántos cores tiene un procesador sino de permitir que haga otras cosas mientras espera.
BTW, cuantos más cores ... menor ancho de banda a memoria por lo que le tocará esperar más tiempo a los datos que le vienen de memoria.
O en el caso de los micros para computadoras de escritorio de 8 nucleos, creo que tampoco hace falta simular ninguno: http://en.wikipedia.org/wiki/Bulldozer_%28microarchitecture%29
http://www.taringa.net/posts/noticias/6730783/Informaciones-oficiales-sobre-...
La versión para sobremesa se llamará Zambezi y dispondrá de 4 módulos de dos núcleos, así que será un procesador de casi 8 núcleos, puesto que dentro de cada módulo no hay dos núcleos realmente completos ya que comparten recursos y dependiendo de la situación podrán aprovecharse mejor o peor, en una situación ideal actuarían como 8 núcleos nativos, pero como todos sabemos no siempre nos encontramos con situaciones ideales. El hecho de incluir 2 núcleos en un mismo módulo permite que el tamaño y el consumo del procesador no se incremente demasiado, AMD explica que añadir un segundo núcleo en el módulo apenas hace incrementar el tamaño del mismo en un mísero 12%.
El uso de 4 módulos de 2 núcleos separados permitirá mucha más flexibilidad en la gestión de energía de los mismos, permitiendo tanto un overclock o modo turbo eficiente para aquellos módulos que tengan carga y pudiendo apagar los módulos que no tengan trabajo para un ahorro energético mayor. Los Bulldozer incorporan tanto la controladora de memoria DDR3 como las funciones de Northbridge, así que los futuros chipsets que soporten estos procesadores no serán más que un Southbridge, quizá bautizados como SB900 y esperamos que ya integren de forma nativa USB 3.0 aparte del SATA 6 Gbps que ya integran los actuales SB850. La interconexión entre el procesador y el Southbridge se hará mediante un bus llamado A-Link Express, aunque principalmente se trata de una conexión PCI Express.
Pues a ver si soportan PCIe gen 3 pronto porque se están quedando atrás en I/O que ya ha salido IB FDR ... ;)
AMD califica a su arquitectura Bulldozer como "A new approach to multithreaded compute performance" y el principal objetivo de AMD es conseguir una nueva familia de procesadores con un IPC mucho mayor que el de los anteriores procesadores, así la velocidad en MHz podrá ser inferior a la de los actuales Phenom II y aún así superarlos en rendimiento. Entendemos que a medida que pulan el proceso de fabricación veremos versiones trabajando a más MHz.
Vaya ... eso mismo ha hecho NVIDIA con su arquitectura Kepler ... e Intel con MIC: más cores a menor frecuencia. Habrán plagiado vilmente las ideas de AMD ...
No habrán plagiado a AMD, pero han adoptado el set de instrucciones X86-64 desarrollado por AMD, el Hypertransport, al que renombraron como Direct Connect, el controlador de memoria dentro del encapsulado del micro, etc, etc.
Despues de todo, no nos olvidemos de los "acuerdos de licencias cruzadas".....
Intel está pagando a AMD por usar esas tecnologías ... AMD parece no verle problema, de lo contrario no le habría licenciado a Intel el uso de esas tecnologías.
Volviendo el comienzo, porque usas la sigla "HT"?, cuando es algo especifico de una marca, y tu mismo mencionas el SMT en PowerPC de IBM, que le dan otro nombre.
No lo sé, no soy de Intel ;)
Ahora viene a mi mente el caso del HyperThreading de intel, que si estaba activado en los servidores que corrian Oracle, y que además de dar error, el equipo rendía menos.
Vaya ... creo que Carlos y yo hemos comentado que HT puede dar peor rendimiento en algunas ocasiones ... A lo mejor por eso se puede desactivar desde la BIOS.
Se me dió por tirar una busqueda en Google con "AMD HyperThreading", y esto es lo que ha aparecido:
http://computadoras.about.com/od/preguntas-frecuentes/a/Que-Es-Hyperthreadin...
http://blog.speedgocomputing.com/2010/08/amds-bulldozer-vs-intels-hyper.html
http://www.amd.com/us/Documents/Cores_vs_Threads_Whitepaper.pdf
http://blogs.amd.com/work/2010/03/30/intel-hyper-threading-vs-amd-true-core-...
http://www.ilsistemista.net/index.php/hardware-analysis/19-amd-bulldozer-and...
Un consejo: por mucho que ames a unos y odies a otros, hay que ser objetivo. AMD tiene sus cosas buenas e Intel las suyas (por mucho que te moleste aceptarlo). AMD tiene más cores (lo cual es bueno si tu aplicación está bien paralelizada y no necesita gran ancho de banda a memoria), pero Intel da mejores resultados en FPU.
IOW: no hay solución perfecta que englobe todo. Como dicen los gringos: get over it. En algunas ocasiones AMD irá mejor y en otras Intel ... o a lo mejor SPARC o Power o ARM.
Rafa
2012/5/18 Ala de Dragón aladedragon@gmail.com:
Muchas gracias Rafa y Carlos por vuestras respuestas y disculpad la demora, pero en casa no tengo linea y tardo algo de tiempo en conectarme.
El 09/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hola :)
En un RAID 10 ó 0+1 te quedarían 2 TB.
En un RAID 5 te quedarían 3 TB.
En un RAID 6 te quedarían 2 TB.
Si buscas "RAID 1" o el nivel de RAID que quieras en un buscador, verás imágenes que lo explican mejor que yo dibujando O:)
Me he empapado de info en http://es.wikipedia.org/wiki/RAID, desde la primera que conversamos acerca de los RAID ha evolucionado bastante. Pero aunque dibujes peor me gustan tus explicaciones y tu conversación es mas amena que el monologo de google. La pregunta la lance porque monte un raid en casa para experimentar con 4 discos idénticos de 80GB (pequeñines pero matones jijiji) y al final se fue al traste, utilice el modulo RAID de la placa base y resulto ser Fake-Raid (como un día me comento Camaleon) Se corrompió el sistema de ficheros y no fui capaz de recuperarlo.
Vaya :( Siento oir que se fese al traste ... Lo importante es que: - aprendiste :) - no perdieses datos ;)
- los discos spare son discos que no hacen nada por lo que pierdes cierto espacio. En tu ejemplo, si tienes 4 discos y haces un RAID 5 con 1 spare ... tienes 2 discos de datos, uno de paridad y 1 de spare por lo que tienes 2 TB útiles de 4 TB. Si haces un RAID 5 con 8 discos de datos, 1 disco de paridad y 1 de spare tienes 8 TB útiles de 11 TB.
Me de cante por un 0+1, dos a dos. quería buscar el máximo rendimiento del pc, monte un servidor opensuse, dos particiones; XFS y ReiserFs, Vsftpd y le pinche todas las tarjetas de red que tengo en casa
Ten cuidado con esto, no porque sea peligroso sino porque te puedes crear cuellos de botella sin querer. Es decir: - al pinchar dispositivos PCI, ten en cuenta si son PCI, PCI-X o PCIe (gen 1, gen 2 o gen3). Te digo esto porque, por ejemplo, un PCI 33 MHz llega a 133 MBytes/s (si mal no recuerdo) por lo que si pinchas 1 NIC 1 Gigabit Ethernet, podrías llegar a sacar el máximo ancho de banda que son 125 MBytes/s. Pero si pinchas 2 GigE en el mismo bus PCI (cada bus suele servir a 2 slots PCI) ... tienes un cuello de botella ya que las tarjetas suman 250 MBytes/s y el bus 133 MBytes/s.
y invite a unos amigos con sus portátiles ( la cervecita y las papas estaban incluidas jijiji) y se dispusieron a subir y bajar ficheros grandes (XFS) y pequeños (Reiserfs) hasta sacarle chispas al pc. Probamos ha hacer lo mismo con el "maligno" y se corrompio el sistema de ficheros y como he comentado antes no fui capaz de recuperar nada. Menos mal que una buena cena nos quito el mal sabor de boca.
[...] Siempre ten un backup ;)
Yo conocí una vez una empresa que les cayó un rayo y se quemó todo lo que había en un rack: servidores, almacenamiento, switches, ... Menos mal que no tenían el backup en el mismo rack. Lo mismo le pasó a otra empresa que tenía los sistemas en un sótano y se reventó una tubería ... todo inundado.
El 09/05/12, Carlos E. R. robin.listas@telefonica.net escribió:
[...] Más vale que siempre tengas copia de seguridad >:-)
El raid no te protege de todo. Si el ordenador se cuelga de mala manera y corrompe el sistema de ficheros, pierdes todo el raid, por ejemplo. Si borras sin querer un fichero, queda borrado en todas sus copias.
Muchos que están usando raid, en realidad deberían estar usando sólo backups, con el mismo hardware.
Cheers / Saludos,
Esa lección me la enseñasteis hace tiempo y la aprendi bien, gracias por el refresco de memoria, y las copias las guardo en casa de un amigo y el guarda las suyas en la mia... para evitar catástrofes.
Saludos y feliz fin de semana
-- "El cielo es para los dragones lo que el agua es para las ninfas" -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Joer ... le he dado sin querer a enviar :(
2012/5/18 Ala de Dragón aladedragon@gmail.com:
Muchas gracias Rafa y Carlos por vuestras respuestas y disculpad la demora, pero en casa no tengo linea y tardo algo de tiempo en conectarme.
El 09/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hola :)
En un RAID 10 ó 0+1 te quedarían 2 TB.
En un RAID 5 te quedarían 3 TB.
En un RAID 6 te quedarían 2 TB.
Si buscas "RAID 1" o el nivel de RAID que quieras en un buscador, verás imágenes que lo explican mejor que yo dibujando O:)
Me he empapado de info en http://es.wikipedia.org/wiki/RAID, desde la primera que conversamos acerca de los RAID ha evolucionado bastante. Pero aunque dibujes peor me gustan tus explicaciones y tu conversación es mas amena que el monologo de google. La pregunta la lance porque monte un raid en casa para experimentar con 4 discos idénticos de 80GB (pequeñines pero matones jijiji) y al final se fue al traste, utilice el modulo RAID de la placa base y resulto ser Fake-Raid (como un día me comento Camaleon) Se corrompió el sistema de ficheros y no fui capaz de recuperarlo.
[...] - los discos spare son discos que no hacen nada por lo que pierdes cierto espacio. En tu ejemplo, si tienes 4 discos y haces un RAID 5 con 1 spare ... tienes 2 discos de datos, uno de paridad y 1 de spare por lo que tienes 2 TB útiles de 4 TB. Si haces un RAID 5 con 8 discos de datos, 1 disco de paridad y 1 de spare tienes 8 TB útiles de 11 TB.
Me de cante por un 0+1, dos a dos. quería buscar el máximo rendimiento del pc, monte un servidor opensuse, dos particiones; XFS y ReiserFs, Vsftpd y le pinche todas las tarjetas de red que tengo en casa
Como iba diciendo ...
Ten cuidado con esto, no porque sea peligroso sino porque te puedes crear cuellos de botella sin querer. Es decir:
- al pinchar dispositivos PCI, ten en cuenta si son PCI, PCI-X o PCIe (gen 1, gen 2 o gen3). Te digo esto porque, por ejemplo, un PCI 33 MHz llega a 133 MBytes/s (si mal no recuerdo) por lo que si pinchas 1 NIC 1 Gigabit Ethernet, podrías llegar a sacar el máximo ancho de banda que son 125 MBytes/s. Pero si pinchas 2 GigE en el mismo bus PCI (cada bus suele servir a 2 slots PCI) ... tienes un cuello de botella ya que las tarjetas suman 250 MBytes/s y el bus 133 MBytes/s.
- verifica qué dispositivos están en qué bus PCI con el comando olspci, por ejemplo.
- otro problema con los dispositivos PCI (X, e también) es que juntes en un bus dos dispositivos que trabajen con diferentes tamaños de paquetes. Por ejemplo: una GigE crea muchas interrupciones (si no tiene Jumbo Frames activados, el MTU) por lo que afecta a la transferencia de datos de una HBA así que siempre que haya que compartir bus PCI, que sea con dispositivos iguales. Es decir, que sean 2 tarjetas de red o 2 controladoras RAID o 2 HBAs, ... Nunca mezcles.
- con los diferentes dispositivos PCI (X y e también): ten en cuenta su configuración y parámetros del kernel. Por ejemplo, si trabajas con tarjetas de red Gigabit Ethernet, intenta que todos los equipos tengan tarjetas Gigabit Ethernet y estén configurados para usar Jumbo Frames. Si una de las tarjetas es 100 Mbit/s ... olvídate porque los Jumbo Frames no funcionarán y la Gigabit lo único que hará es crearle problemas a la CPU :(
- con los discos duros ten en cuenta que un disco IDE/SATA te dará unos 50 MBytes/s sostenidos en el mejor de los casos, depués de conefsarte, cuesta abajo y con el viento a favor. Eo de que dan 80 ó 100 MBytes/s son picos ... y es más fácil conocer al Rey que conseguir esos anchos de banda :( Si encima los configuras en RAID ... perderás más rendimiento debido al cálculo de paridad, puede llegar a caer a 20 MBytes/s por disco. Esos valores de los que te hablo son valores REALES a disco ... NO a la caché del disco. Esto significa que puede haber pérdida de datos si hay microcortes de luz. Los discos SAS/SCSI pueden garantizar anchos de banda sostenidos mayores, pero si trabajas con SCIS tienes que tener en cuenta cuántos dispositivos puedes conectar al cable SCSI sin perder ancho de banda.
- si quieres sacarle el máximo rendimiento a los discos, tienes que particionar alineando las particiones, de lo contrario, la escritura a disco se fastidia toda :( Una vez más, te aconsejo buscar en Internet por no alargar (más) el correo. Una vez que has alineado bien las particiones, que el tamaño ode bloque del sistema de fichero sea igual al tamaño de bloque del disco duro y en el caso de RAIDs, ten en cuenta el stripe width y stripe unit (en XFS no es necesario definir el sunit y swidth ya que XFS se lo pregunta a los discos).
Resumiendo, intenta que el número de discos den el mismo ancho de banda que dé la controladora y que este valor sea igual al del bus PCI, que a su vez debería ser igual al de la tarjeta de red. El switch debería soportar ese ancho de banda, al igual que los clientes.
Obviamente, en casa esto da igual porque no es un entorno "crítico", pero si alguna vez montas un servidor de ficheros para un cliente o tu empresa, es interesante tenerlo en cuenta.
Hoy me ha comentado un comercial que un cliente tiene 15mil puestos accediendo a 8 NAS que manejan unos 400 x 67 mil ficheros que ocupan unos 850 GBytes. El cliente tiene problemas porque hay timeouts, se quedan sin i-nodos, ... Los que montaron este sistema no tuvieron en cuenta muchas de estas cosas y claro ... pasa lo que pasa: ahora viene el llanto y rechinar de dientes. El cliente tiene 8 NAS para servir esto: han intentado solucionar el problema "por fuerza bruta" sin tener en cuenta sistemas de ficheros, fabricantes, redes, ... <sigh> 8 NAS para servir 850 GBytes de información ... <sigh> Bueno, voy a pensar en otra cosa ... ;)
y invite a unos amigos con sus portátiles ( la cervecita y las papas estaban incluidas jijiji) y se dispusieron a subir y bajar ficheros grandes (XFS) y pequeños (Reiserfs) hasta sacarle chispas al pc. Probamos ha hacer lo mismo con el "maligno" y se corrompio el sistema de ficheros y como he comentado antes no fui capaz de recuperar nada. Menos mal que una buena cena nos quito el mal sabor de boca.
Como bien dice el refrán: "Las penas con pan son menos" ;) Para la próxima puedes organizar lo que llamamos "La Fiesta del Traje" que no es más que Yo traje ... empanadilla, yo traje tortilla de patatas, ... ;) Cada uno trae algo y por eso se llama del "traje" :)
Me alegro que loo pasáseis bien: es lo importante en esta vida ;)
Rafa
El 18/05/12, Rafa Griman rafagriman@gmail.com escribió:
Joer ... le he dado sin querer a enviar :(
Pues si el anterior correo me ha gustado este me ha dejado atonito ^_^
Como iba diciendo ...
Soi todo oidos... digo ojos ;)
Ten cuidado con esto, no porque sea peligroso sino porque te puedes crear cuellos de botella sin querer. Es decir:
- al pinchar dispositivos PCI, ten en cuenta si son PCI, PCI-X oPCIe (gen 1, gen 2 o gen3). Te digo esto porque, por ejemplo, un PCI 33 MHz llega a 133 MBytes/s (si mal no recuerdo) por lo que si pinchas 1 NIC 1 Gigabit Ethernet, podrías llegar a sacar el máximo ancho de banda que son 125 MBytes/s. Pero si pinchas 2 GigE en el mismo bus PCI (cada bus suele servir a 2 slots PCI) ... tienes un cuello de botella ya que las tarjetas suman 250 MBytes/s y el bus 133 MBytes/s.
- verifica qué dispositivos están en qué bus PCI con el comandoolspci, por ejemplo.
Me lo apunto en la chuleta de comandos....
- otro problema con los dispositivos PCI (X, e también) es quejuntes en un bus dos dispositivos que trabajen con diferentes tamaños de paquetes. Por ejemplo: una GigE crea muchas interrupciones (si no tiene Jumbo Frames activados, el MTU) por lo que afecta a la transferencia de datos de una HBA así que siempre que haya que compartir bus PCI, que sea con dispositivos iguales. Es decir, que sean 2 tarjetas de red o 2 controladoras RAID o 2 HBAs, ... Nunca mezcles.
Algún correo de Carlos y Camaleon he leído al respecto... estudiaré los Junbo Frames. Acabo de leer un poco y parece que es el tamaño del paquete que envías por red... muy interesante. Es como mandar un camión de 3,500 Kg y de 7,500 Kg. Si los mandas por autovía a igual velocidad se transporta mas mercancía, información, con el mas grande. Pero si los envías a los cerros de ubeda el mas grande puede atascar al pequeño.
- con los diferentes dispositivos PCI (X y e también): ten encuenta su configuración y parámetros del kernel. Por ejemplo, si trabajas con tarjetas de red Gigabit Ethernet, intenta que todos los equipos tengan tarjetas Gigabit Ethernet y estén configurados para usar Jumbo Frames. Si una de las tarjetas es 100 Mbit/s ... olvídate porque los Jumbo Frames no funcionarán y la Gigabit lo único que hará es crearle problemas a la CPU :(
- con los discos duros ten en cuenta que un disco IDE/SATA te daráunos 50 MBytes/s sostenidos en el mejor de los casos, depués de conefsarte, cuesta abajo y con el viento a favor. Eo de que dan 80 ó 100 MBytes/s son picos ... y es más fácil conocer al Rey que conseguir esos anchos de banda :( Si encima los configuras en RAID ... perderás más rendimiento debido al cálculo de paridad, puede llegar a caer a 20 MBytes/s por disco. Esos valores de los que te hablo son valores REALES a disco ... NO a la caché del disco. Esto significa que puede haber pérdida de datos si hay microcortes de luz. Los discos SAS/SCSI pueden garantizar anchos de banda sostenidos mayores, pero si trabajas con SCIS tienes que tener en cuenta cuántos dispositivos puedes conectar al cable SCSI sin perder ancho de banda.
Nada, cuando tengas que montar discos me avisas, unos buenos de bocatas de Jamón y te los pongo en forma en un plis plas. veras como suben de 100 MBytes/s ;) Gracias por los datos son muy interesantes, en especial la perdida de rendimiento por el RAID, fijate, no lo había pensado. Entonces el rendimiento en ruto de un RAID 0+1 se aleja poco, en cuanto a tasa de transferencia bruta, de un disco solitario.... lo te aporta es la redundancia ante fallos, mayor numero de inodos y la posibilidad de concatenar discos y ampliar la capacidad de almacenamiento.... Todo el mundo habla maravillas de SCSI pero nunca he tenido ningún dispositivo, no abundan en las tiendas de ocasión.
- si quieres sacarle el máximo rendimiento a los discos, tienes que
La idea era intentar averiguar hasta que punto le es rentable a un usuario domestico utilizar RAID. Se empiezan a ver dispositivos de almacenamiento externo con Raid.
¿Que comprar un disco grande para datos o un Raid de discos pequeños?
particionar alineando las particiones, de lo contrario, la escritura a disco se fastidia toda :( Una vez más, te aconsejo buscar en Internet por no alargar (más) el correo. Una vez que has alineado bien las particiones, que el tamaño ode bloque del sistema de fichero sea igual al tamaño de bloque del disco duro y en el caso de RAIDs, ten en cuenta el stripe width y stripe unit (en XFS no es necesario definir el sunit y swidth ya que XFS se lo pregunta a los discos).
Ves eso no lo hicimos, ni idea. Sabía que los discos se dividen en cluster, sectores cabezas... etc. ¡ A estudiar ! :D Si te hago un lio preguntaré.
Resumiendo, intenta que el número de discos den el mismo ancho de banda que dé la controladora y que este valor sea igual al del bus PCI, que a su vez debería ser igual al de la tarjeta de red. El switch debería soportar ese ancho de banda, al igual que los clientes.
Pus lo que hicimos fue conectar cada pc a una tarjeta de red, los mas antiguos, con discos lentos a las redes Wlan y los más modernos a las 100/1000.
Obviamente, en casa esto da igual porque no es un entorno "crítico", pero si alguna vez montas un servidor de ficheros para un cliente o tu empresa, es interesante tenerlo en cuenta.
Gracias por el consejo.
Hoy me ha comentado un comercial que un cliente tiene 15mil puestos accediendo a 8 NAS que manejan unos 400 x 67 mil ficheros que ocupan unos 850 GBytes. El cliente tiene problemas porque hay timeouts, se quedan sin i-nodos, ... Los que montaron este sistema no tuvieron en cuenta muchas de estas cosas y claro ... pasa lo que pasa: ahora viene el llanto y rechinar de dientes. El cliente tiene 8 NAS para servir esto: han intentado solucionar el problema "por fuerza bruta" sin tener en cuenta sistemas de ficheros, fabricantes, redes, ... <sigh> 8 NAS para servir 850 GBytes de información ... <sigh> Bueno, voy a pensar en otra cosa ... ;)
Debe ser un gozo ver un trasto así, aunque esté mal diseñado.
Como bien dice el refrán: "Las penas con pan son menos" ;) Para la próxima puedes organizar lo que llamamos "La Fiesta del Traje" que no es más que Yo traje ... empanadilla, yo traje tortilla de patatas, ... ;) Cada uno trae algo y por eso se llama del "traje" :)
Me alegro que loo pasáseis bien: es lo importante en esta vida ;)
Rafa
No sabre montar NAS pero cocino como nadie y claro que traen cosas, sobre todo de beber, en casa no suelo tener bebidas y las traen.... si te tienes que comer lo que cocine alguno de mis amigos di en el trabajo que vas a faltar un par de días, jajajaja El ardor de vientre está garantizado :D Si algún día te vienes a comer paella ya sabes, con un botella de vino esta solucionado ;D
Saludos
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-21 19:50, Ala de Dragón wrote:
El 18/05/12, Rafa Griman <> escribió:
- otro problema con los dispositivos PCI (X, e también) es que
juntes en un bus dos dispositivos que trabajen con diferentes tamaños de paquetes. Por ejemplo: una GigE crea muchas interrupciones (si no tiene Jumbo Frames activados, el MTU) por lo que afecta a la transferencia de datos de una HBA así que siempre que haya que compartir bus PCI, que sea con dispositivos iguales. Es decir, que sean 2 tarjetas de red o 2 controladoras RAID o 2 HBAs, ... Nunca mezcles.
Algún correo de Carlos y Camaleon he leído al respecto... estudiaré
No creo que fuera yo, en esto el experto es Rafa.
Fíjate, he hecho un curso largo de redes hace poco, y de redes gigabit vimos el nombre, y de IPv4 pues igual, o casi.
los Junbo Frames. Acabo de leer un poco y parece que es el tamaño del paquete que envías por red... muy interesante. Es como mandar un camión de 3,500 Kg y de 7,500 Kg. Si los mandas por autovía a igual velocidad se transporta mas mercancía, información, con el mas grande. Pero si los envías a los cerros de ubeda el mas grande puede atascar al pequeño.
Si, eso pasa incluso a otros niveles.
En un sitio que estuve teníamos unos terminales rs232 (impresoras de puerto serie) conectados a un router especial de cisco que los convertía en sesiones telnet a las que nos conectábamos a algunos cientos de kilómetros. Bueno, pues un día nos encontramos todas las impresoras remotas de toda España paradas, y el centro de control sin supervisión. Resulta que los de IT del cliente habían visto un tráfico enorme procedente de nuestras máquinas y les cerraron el cortafuegos, sin preguntar.
Nosotros alucinando que unas conexiones serie de 2400 baudios intermitentes pudieran tirar abajo una red tcp/ip de alto rendimiento. Pero resulta que el router Cisco mandaba un paquete ethernet por cada letra recibida de la impresora, por lo que el tráfico se multiplicaba por 20 o 30.
Menos mal que investigando descubrimos un parámetro de configuración en el router que hacía que mandara paquetes más largos, de una linea al menos. Claro que antes hubo que escalar el asunto para que IT abriera el acceso y pudiéramos reprogramarlos...
Hoy me ha comentado un comercial que un cliente tiene 15mil puestos accediendo a 8 NAS que manejan unos 400 x 67 mil ficheros que ocupan unos 850 GBytes. El cliente tiene problemas porque hay timeouts, se quedan sin i-nodos, ... Los que montaron este sistema no tuvieron en cuenta muchas de estas cosas y claro ... pasa lo que pasa: ahora viene el llanto y rechinar de dientes. El cliente tiene 8 NAS para servir esto: han intentado solucionar el problema "por fuerza bruta" sin tener en cuenta sistemas de ficheros, fabricantes, redes, ... <sigh> 8 NAS para servir 850 GBytes de información ... <sigh> Bueno, voy a pensar en otra cosa ... ;)
Lo de siempre, se encarga de hacer las cosas gente que no sabe lo suficiente. Yo a lo mejor peco de lo contrario, digo demasiado pronto que algo no lo se hacer. El resto se lanza como sea.
Y en informática pasa mucho, mucha gente se cree informáticos.
No sabre montar NAS pero cocino como nadie y claro que traen cosas, sobre todo de beber, en casa no suelo tener bebidas y las traen.... si te tienes que comer lo que cocine alguno de mis amigos di en el trabajo que vas a faltar un par de días, jajajaja
Me acabo de hacer para cenar un plato de albóndigas con patatas y verduritas. He hecho 6 o 7 raciones, y me las voy a comer yo solito. Cuando me pongo a guisar hago para guardar y rascarme la barriga el resto del tiempo. No es que sea el plato más apropiado para una cena, pero en fin... O:-)
Y me están esperando unas fresas con leche concentrada (de lata), para cuando baje una chispa las albódigas :-)
- -- Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)
El 22/05/12, Carlos E. R. robin.listas@telefonica.net escribió:
No creo que fuera yo, en esto el experto es Rafa.
Fíjate, he hecho un curso largo de redes hace poco, y de redes gigabit vimos el nombre, y de IPv4 pues igual, o casi.
Que razón tienes, mis disculpas... me fallo la memoria, era un correo del dos mil ocho...
Si, eso pasa incluso a otros niveles.
En un sitio que estuve teníamos unos terminales rs232 (impresoras de puerto serie) conectados a un router especial de cisco que los convertía en sesiones telnet a las que nos conectábamos a algunos cientos de kilómetros. Bueno, pues un día nos encontramos todas las impresoras remotas de toda España paradas, y el centro de control sin supervisión. Resulta que los de IT del cliente habían visto un tráfico enorme procedente de nuestras máquinas y les cerraron el cortafuegos, sin preguntar.
Nosotros alucinando que unas conexiones serie de 2400 baudios intermitentes pudieran tirar abajo una red tcp/ip de alto rendimiento. Pero resulta que el router Cisco mandaba un paquete ethernet por cada letra recibida de la impresora, por lo que el tráfico se multiplicaba por 20 o 30.
Menos mal que investigando descubrimos un parámetro de configuración en el router que hacía que mandara paquetes más largos, de una linea al menos. Claro que antes hubo que escalar el asunto para que IT abriera el acceso y pudiéramos reprogramarlos...
Interesante, la red puede saturarse no solo por el tamaño de los paquetes... también por la cantidad :D
Me acabo de hacer para cenar un plato de albóndigas con patatas y verduritas. He hecho 6 o 7 raciones, y me las voy a comer yo solito. Cuando me pongo a guisar hago para guardar y rascarme la barriga el resto del tiempo. No es que sea el plato más apropiado para una cena, pero en fin... O:-)
Y me están esperando unas fresas con leche concentrada (de lata), para cuando baje una chispa las albódigas :-)
Jopetas Carlos, pedazo de cena, se me cae la baba, jijijii yo si es preciso correría un par de kilometros para hacerle un hueco a las fresas ;)
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar)-----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+60o8ACgkQIvFNjefEBxocygCgvVgJmywSK78AFWFLv0HkfxsA NXEAn2JdgFRyIRo4tsQUf044tykKclVk =lSFm
-----END PGP SIGNATURE-----
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Hola
2012/5/21 Ala de Dragón aladedragon@gmail.com: [...]
- verifica qué dispositivos están en qué bus PCI con el comando olspci, por ejemplo.
Me lo apunto en la chuleta de comandos....
No lo apuntes aún, typo ... El comando es: lspci.
- otro problema con los dispositivos PCI (X, e también) es que juntes en un bus dos dispositivos que trabajen con diferentes tamaños de paquetes. Por ejemplo: una GigE crea muchas interrupciones (si no tiene Jumbo Frames activados, el MTU) por lo que afecta a la transferencia de datos de una HBA así que siempre que haya que compartir bus PCI, que sea con dispositivos iguales. Es decir, que sean 2 tarjetas de red o 2 controladoras RAID o 2 HBAs, ... Nunca mezcles.
Algún correo de Carlos y Camaleon he leído al respecto... estudiaré los Junbo Frames. Acabo de leer un poco y parece que es el tamaño del paquete que envías por red... muy interesante. Es como mandar un camión de 3,500 Kg y de 7,500 Kg. Si los mandas por autovía a igual velocidad se transporta mas mercancía, información, con el mas grande. Pero si los envías a los cerros de ubeda el mas grande puede atascar al pequeño.
Sip, además, si el paquete es pequeño, la CPU tiene que gestionar muchos paquetes pequeños que si el paquete es grande por lo que afecta al rendimiento. Sin embargo, si el paquete es grande ... tendrá que gestionar menor # de paquetes.
[...]
Nada, cuando tengas que montar discos me avisas, unos buenos de bocatas de Jamón y te los pongo en forma en un plis plas. veras como suben de 100 MBytes/s ;)
:D Apuntado queda !!! Pues anda que no me gusta a mi el jamón !!!! ... :)
Gracias por los datos son muy interesantes, en especial la perdida de rendimiento por el RAID, fijate, no lo había pensado. Entonces el rendimiento en ruto de un RAID 0+1 se aleja poco, en cuanto a tasa de transferencia bruta, de un disco solitario.... lo te aporta es la redundancia ante fallos, mayor numero de inodos y la posibilidad de concatenar discos y ampliar la capacidad de almacenamiento.... Todo el mundo habla maravillas de SCSI pero nunca he tenido ningún dispositivo, no abundan en las tiendas de ocasión.
SCSI ha evolucionado a SAS hoy en día (Serial Attached SCSI). Para entornos caseros es caro y en empresa, dependiendo del uso, también puede resultar caro :(
- si quieres sacarle el máximo rendimiento a los discos, tienes que
La idea era intentar averiguar hasta que punto le es rentable a un usuario domestico utilizar RAID. Se empiezan a ver dispositivos de almacenamiento externo con Raid.
IMHO, un usuario casero suele tener poca info (aka ... las pelis y series descargadas deberían ir a un CD/DVD y no ocupar espacio en disco ;). Al tener poca info, un RAID 1 podría ser suficiente para el uso que suele hacer un usuario casero.
Otra cosa es que una persona trabaje desde casa y tenga que hacer pruebas, ... y por ello tenga que probar RAID 5, por ejemplo.
¿Que comprar un disco grande para datos o un Raid de discos pequeños?
MHO: si te preocupa la integridad de datos ... 2 discos "grandes" y un RAID 1. Para casa no tiene mucho sentido un RAID 5, 6 ó 10. Además, en casa no se suelen usar aplicaciones que requieran grandes anchos de banda ni IOPS brutales (a menos que trabajes desde casa y uses BBDD y cosas de esas para pruebas de clientes).
Rara vez un usuario doméstico realmente va a necesitar los anchos de banda e IOPS de los discos caros. No, comprimir un DVD no *requiere* 10 discos SAS en RAID 10 igual que el hecho de ir en coche al trabajo no *requiere* que te compres un Rolls Royce (te hace la vida más agradable, pero no es un requisito ;) Editar el vídeo de la comunión de tu sobrino tampoco *requiere* discos SAS ni RAID 10. Otra cosa es que te dediques profesionalmente a edición de vídeo profesional para cine (editar profesionalmente la boda de un cliente tampoco requiere grandes especificaciones HW). Edición de vídeo profesional me refiero a muchos streams (capas).
[...]
Hoy me ha comentado un comercial que un cliente tiene 15mil puestos accediendo a 8 NAS que manejan unos 400 x 67 mil ficheros que ocupan unos 850 GBytes. El cliente tiene problemas porque hay timeouts, se quedan sin i-nodos, ... Los que montaron este sistema no tuvieron en cuenta muchas de estas cosas y claro ... pasa lo que pasa: ahora viene el llanto y rechinar de dientes. El cliente tiene 8 NAS para servir esto: han intentado solucionar el problema "por fuerza bruta" sin tener en cuenta sistemas de ficheros, fabricantes, redes, ... <sigh> 8 NAS para servir 850 GBytes de información ... <sigh> Bueno, voy a pensar en otra cosa ... ;)
Debe ser un gozo ver un trasto así, aunque esté mal diseñado.
Joer, pues el martes estuve en un cliente en Francia que tiene 5 PBytes on-line, 1 PByte near-line y 10 PBytes off-line en cinta. No veas el maquinón que tienen :O
Como bien dice el refrán: "Las penas con pan son menos" ;) Para la próxima puedes organizar lo que llamamos "La Fiesta del Traje" que no es más que Yo traje ... empanadilla, yo traje tortilla de patatas, ... ;) Cada uno trae algo y por eso se llama del "traje" :)
Me alegro que loo pasáseis bien: es lo importante en esta vida ;)
Rafa
No sabre montar NAS pero cocino como nadie y claro que traen cosas, sobre todo de beber, en casa no suelo tener bebidas y las traen.... si te tienes que comer lo que cocine alguno de mis amigos di en el trabajo que vas a faltar un par de días, jajajaja El ardor de vientre está garantizado :D
:D :D :D
Si algún día te vienes a comer paella ya sabes, con un botella de vino esta solucionado ;D
No problem, si es necesario llevo dos !!!! :D
Rafa
El 24/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hola
No lo apuntes aún, typo ... El comando es: lspci.
Gracias por la correccion, estaba apunto de preguntar :D
Sip, además, si el paquete es pequeño, la CPU tiene que gestionar muchos paquetes pequeños que si el paquete es grande por lo que afecta al rendimiento. Sin embargo, si el paquete es grande ... tendrá que gestionar menor # de paquetes.
Gracias, ahora he aprendido que el numero de paquetes si importa, no solo su tamaño. :)
:D Apuntado queda !!! Pues anda que no me gusta a mi el jamón !!!! ... :)
Rico, rico ;)
SCSI ha evolucionado a SAS hoy en día (Serial Attached SCSI). Para entornos caseros es caro y en empresa, dependiendo del uso, también puede resultar caro :(
Uf, se me ha ocurrido googlear un poco.... las fotos del SAS me asustan..... pero el precio da miedo, miedo de verdad :(
IMHO, un usuario casero suele tener poca info (aka ... las pelis y series descargadas deberían ir a un CD/DVD y no ocupar espacio en disco ;). Al tener poca info, un RAID 1 podría ser suficiente para el uso que suele hacer un usuario casero.
Otra cosa es que una persona trabaje desde casa y tenga que hacer pruebas, ... y por ello tenga que probar RAID 5, por ejemplo.
No le sacaría partido a un RAID 5, de eso estoy seguro. Estaría mas de la mitad del tiempo en reposo.
MHO: si te preocupa la integridad de datos ... 2 discos "grandes" y un RAID 1. Para casa no tiene mucho sentido un RAID 5, 6 ó 10. Además, en casa no se suelen usar aplicaciones que requieran grandes anchos de banda ni IOPS brutales (a menos que trabajes desde casa y uses BBDD y cosas de esas para pruebas de clientes).
Rara vez un usuario doméstico realmente va a necesitar los anchos de banda e IOPS de los discos caros. No, comprimir un DVD no *requiere* 10 discos SAS en RAID 10 igual que el hecho de ir en coche al trabajo no *requiere* que te compres un Rolls Royce (te hace la vida más agradable, pero no es un requisito ;) Editar el vídeo de la comunión de tu sobrino tampoco *requiere* discos SAS ni RAID 10. Otra cosa es que te dediques profesionalmente a edición de vídeo profesional para cine (editar profesionalmente la boda de un cliente tampoco requiere grandes especificaciones HW). Edición de vídeo profesional me refiero a muchos streams (capas).
Mas bien me inclino por la superproducción de la boda de mi prima con Gimp film ;) Gracias por tu opinión :D
[...]
Joer, pues el martes estuve en un cliente en Francia que tiene 5 PBytes on-line, 1 PByte near-line y 10 PBytes off-line en cinta. No veas el maquinón que tienen :O
Madre mía, que mi abuela no se entere de que hay cintas tan grandes o nos hace grabar todas las comidas familiares ;)
:D :D :D
Si algún día te vienes a comer paella ya sabes, con un botella de vino esta solucionado ;D
No problem, si es necesario llevo dos !!!! :D
Rafa
Con dos nos bajamos a bailar flamenco al bar de la esquina, jajajaja
:D
Bueno, bromas aparte, gracias por la explicación acerca de los sistemas de almacenamiento, como siempre digo cada vez que leo algo de esta lista aprendo algo nuevo.
Saludos
El día 18 de mayo de 2012 08:03, Ala de Dragón aladedragon@gmail.com escribió:
Muchas gracias Rafa y Carlos por vuestras respuestas y disculpad la demora, pero en casa no tengo linea y tardo algo de tiempo en conectarme.
El 09/05/12, Rafa Griman rafagriman@gmail.com escribió:
Hola :)
En un RAID 10 ó 0+1 te quedarían 2 TB.
En un RAID 5 te quedarían 3 TB.
En un RAID 6 te quedarían 2 TB.
Si buscas "RAID 1" o el nivel de RAID que quieras en un buscador, verás imágenes que lo explican mejor que yo dibujando O:)
Me he empapado de info en http://es.wikipedia.org/wiki/RAID, desde la primera que conversamos acerca de los RAID ha evolucionado bastante. Pero aunque dibujes peor me gustan tus explicaciones y tu conversación es mas amena que el monologo de google. La pregunta la lance porque monte un raid en casa para experimentar con 4 discos idénticos de 80GB (pequeñines pero matones jijiji) y al final se fue al traste, utilice el modulo RAID de la placa base y resulto ser Fake-Raid (como un día me comento Camaleon) Se corrompió el sistema de ficheros y no fui capaz de recuperarlo.
[...] - los discos spare son discos que no hacen nada por lo que pierdes cierto espacio. En tu ejemplo, si tienes 4 discos y haces un RAID 5 con 1 spare ... tienes 2 discos de datos, uno de paridad y 1 de spare por lo que tienes 2 TB útiles de 4 TB. Si haces un RAID 5 con 8 discos de datos, 1 disco de paridad y 1 de spare tienes 8 TB útiles de 11 TB.
Me de cante por un 0+1, dos a dos. quería buscar el máximo rendimiento del pc, monte un servidor opensuse, dos particiones; XFS y ReiserFs, Vsftpd y le pinche todas las tarjetas de red que tengo en casa y invite a unos amigos con sus portátiles ( la cervecita y las papas estaban incluidas jijiji) y se dispusieron a subir y bajar ficheros grandes (XFS) y pequeños (Reiserfs) hasta sacarle chispas al pc. Probamos ha hacer lo mismo con el "maligno" y se corrompio el sistema de ficheros y como he comentado antes no fui capaz de recuperar nada.
Perdón, se me pasó por alto!
El "maligno" soporta XFS y Reiserfs???
Salu2
El día 9 de mayo de 2012 12:01, Rafa Griman rafagriman@gmail.com escribió:
Hey !!!
2012/5/9 Carlos E. R. robin.listas@telefonica.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 16:20, Rafa Griman wrote:
Wenas :)
Jo, vaya respuesta, gracias... me la tendré que leer despacio para entenderla :-)
Solo comentaré algo:
En cualquier caso, el peligro de perder un sector, o un disco de un array, es bastante grande.
Sip, de ahí el uso de RAID.
Leí un estudio no hace mucho que con esos tamaños de ahora el riesgo de perder un disco durante la reconstrucción era muy grande, y lo demostraban numéricamente con la tasa de fallos por mega multiplicado por los megas del disco, y el tiempo necesario para la reconstrucción. Por eso pensaba en sistemas de ficheros distribuidos.
El problema no es sólo que si pierdes un disco (de 3 TB) pierdes mucha info ... hmmmm, mejor dicho: la probabilidad de perder [...] ;)
Hay otros problemas asociados como por ejemplo: - tiempo de reconstrucción: hablamos de algo más de un día para discos > 2 TB - pérdida de rendimiento durante la reconstrucción de un RAID - probabilidad de perder otro disco durante la reconstrucción de un RAID. Si tenemos RAID 6, podemos perder hasta 2 discos ... pero si perdemos un tercero ... good bye ...
Por eso, muchos fabricantes recomiendan: - RAIDs pequeños de unos 8+2 discos - RAID 10 - backups - backups - backups - backups - backups - backups - DR y BC - deduplicación - compresión - backups - backups - backups
Personalmente añado a esta lista: borrar toda la basura que NO usas ;) No ... no lo necesitamos todo, podemos vivir sin tener una copia de Internet en nuestro disco duro: nuestros antepasados sobrevivieron y nosotros hasta hace poco también :D ;)
De todas maneras, en el mundo HPC, no siempre se tienen ficheros muy grandes, lo que pasa es que durante el procesado de los datos puede ocurrir: - que se generan muchos ficheros temporales - que hace falta un elevado ancho de banda a disco para evitar lo que se llama CPU starvation (que los procesadores "pasen hambre" y se encuentren tocándose las narices y consumiendo electricidad y produciendo calor).
Parecen soluciones propietarias, ¿no?
Hay de todo: Lustre, Cephs, OrangeFS, PVFS, ... son libres.
Panasas está basado en FreeBSD, pero no liberan el código AFAIK. Aunque no te cobran por el software, es decir, no te cobran por el cliente/agente software que tienes que instalar. Te cobran por el hardware que compras.
Isilon está basado en Linux, pero te cobran por hardware y licencias software. Tranquilos, no te cobran el Linux, te cobran las licencias de las aplicaciones suyas: balanceo de carga, monitorización avanzada, ... que es SW cerrado.
CXFS tiene el código de los MDS cerrado porque: - hay código que no es de SGI - no consiguen localizar al desarrollador de cierto código y, por tanto, no pueden liberar ese código sin su permiso
Os aseguro que internamente en SGI hay muchas peticiones de los propios desarrolladores y técnicos, pero los abogados no se atreven por lo mencionado anteriormente. Lo malo es que es mucho código y reescribirlo sería muy costoso (en tiempo) y complejo.
GPFS es cerrado y bien cerrado (y caro).
Hay de todo un poco ;)
De todas maneras, en el mundo HPC, el "ganador" es Lustre. Lustre se está llevando el gato al agua en casi todos los proyectos.
Con respecto a Lustre, al menos las descargas y actializaciones, son gratuitas: http://downloads.lustre.org/public/lustre/v1.8/lustre_1.8.7/
Me llevé un fisco al tratar de ver:" More on Lustre performance, service, and support at the Lustre product page ", y el link es: http://www.oracle.com/us/products/servers-storage/storage/storage-software/0... We're sorry, the page you requested was not found.
Que clase de conección tienen con el mobo del servidor esos almacenamientos?
En los servidores que siguen teniendo los discos integrados, que clase de discos duros se están usando? (SATA, SCSI, cuantas rpm, etc).
Salu2
Wenas :)
2012/5/9 Juan Erbes jerbes@gmail.com:
[...]
Con respecto a Lustre, al menos las descargas y actializaciones, son gratuitas: http://downloads.lustre.org/public/lustre/v1.8/lustre_1.8.7/
Lustre es software libre, no te preocupes :)
Me llevé un fisco al tratar de ver:" More on Lustre performance, service, and support at the Lustre product page ", y el link es: http://www.oracle.com/us/products/servers-storage/storage/storage-software/0...
We're sorry, the page you requested was not found.
Lustre estaba en manos de una empresa llamada Clustre o algo así que compró Sun. Sun luego fue adquirida por Oracle y Oracle decidió ... "hacer lo que le dió la gana" con Lustre y tratarlo como un SW empresarial (al igual que sus usuarios). Los usuarios (y desarrolladores) se enfadaron y montaron unas asociaciones (en el caso de los usuarios) y una empresa (en el caso de los desarrolladores). La empresa se llama Whamcloud. Las asociaciones se llama OpenSFS, EOFS, ...
Oracle sigue siendo el dueño de Lustre, pero la verdad es que no hacen nada útil. Whamcloud digamos que es el que lidera el desarrollo y otras empresas como Xyratec, Bull, ... contribuyen código. Estas empresas que desarrollan, también ofrecen soporte de Lustre y hacen un mejor trabajo que Oracle en esto también ;)
Que clase de conección tienen con el mobo del servidor esos almacenamientos?
Lustre es muy flexible por lo que puedes usar como almacenamiento discos internos del servidor, cabinas de discos conectadas por SAS, SCSI, FC y/o IB. Depende de la arquitectura que quieras (fiabilidad), anchos de banda, ...
En los servidores que siguen teniendo los discos integrados, que clase de discos duros se están usando? (SATA, SCSI, cuantas rpm, etc).
Te vas a encontrar de todo, he visto clientes con discos SAS de muchas rpm y otros con discos SATA. Como te decía, depende del dinero del que dispongas y de la arquitectura y necesidades técnicas que tengas.
HTH
Rafa
El día 9 de mayo de 2012 15:40, Rafa Griman rafagriman@gmail.com escribió:
Wenas :)
2012/5/9 Juan Erbes jerbes@gmail.com:
[...]
Con respecto a Lustre, al menos las descargas y actializaciones, son gratuitas: http://downloads.lustre.org/public/lustre/v1.8/lustre_1.8.7/
Lustre es software libre, no te preocupes :)
Me llevé un fisco al tratar de ver:" More on Lustre performance, service, and support at the Lustre product page ", y el link es: http://www.oracle.com/us/products/servers-storage/storage/storage-software/0...
We're sorry, the page you requested was not found.
Lustre estaba en manos de una empresa llamada Clustre o algo así que compró Sun. Sun luego fue adquirida por Oracle y Oracle decidió ... "hacer lo que le dió la gana" con Lustre y tratarlo como un SW empresarial (al igual que sus usuarios). Los usuarios (y desarrolladores) se enfadaron y montaron unas asociaciones (en el caso de los usuarios) y una empresa (en el caso de los desarrolladores). La empresa se llama Whamcloud. Las asociaciones se llama OpenSFS, EOFS, ...
Oracle sigue siendo el dueño de Lustre, pero la verdad es que no hacen nada útil. Whamcloud digamos que es el que lidera el desarrollo y otras empresas como Xyratec, Bull, ... contribuyen código. Estas empresas que desarrollan, también ofrecen soporte de Lustre y hacen un mejor trabajo que Oracle en esto también ;)
Que clase de conección tienen con el mobo del servidor esos almacenamientos?
Lustre es muy flexible por lo que puedes usar como almacenamiento discos internos del servidor, cabinas de discos conectadas por SAS, SCSI, FC y/o IB. Depende de la arquitectura que quieras (fiabilidad), anchos de banda, ...
En los servidores que siguen teniendo los discos integrados, que clase de discos duros se están usando? (SATA, SCSI, cuantas rpm, etc).
Te vas a encontrar de todo, he visto clientes con discos SAS de muchas rpm y otros con discos SATA. Como te decía, depende del dinero del que dispongas y de la arquitectura y necesidades técnicas que tengas.
Los discos SCSI Ultra 320 de 10000 rpm que llegué a conocer, no pasaban de los 100 Gb, al igual que los WD Raptor de 10K rpm con conexión SATA.
Salu2
El día 9 de mayo de 2012 08:20, Rafa Griman rafagriman@gmail.com escribió:
Wenas :)
2012/5/9 Carlos E. R. robin.listas@telefonica.net:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-09 15:17, Rafa Griman wrote:
Una curiosidad, ¿para qué usáis ese volumen de datos? Yo los he montado para entornos científicos y de broadcast.
Para estos usos sería mejor un sistema de archivos distribuido, de forma que los archivos se distribuyan entre varias particiones o discos, y que si se pierde uno no se pierde el completo como ocurre con LVM o RAID0, sino que solo se pierdan los ficheros de ese disco, que obviamente debe ser reemplazable y su contenido reconstruido desde backup.
En SGI usan XVM como gestor de volúmenes (~LVM). Lo cual no significa que XFS no funciones con LVM: XFS funciona con LVM sin problemas así como con SW RAID ;)
En cuanto a sistemas de ficheros distribuidos, XFS tiene una versión en cluster llamada CXFS (Cell XFS) que es de código cerrado ... bueno, realmente lo que es cerrado es el códio de los servidores de metadatos (MDS), lo que es el código de XFS del kernel y las herramientas asociadas es el mismo XFS libre que hay en el kernel de Linux.
OJO !!! Es un sistema de ficheros en cluster, NO es un sistema de ficheros paralelo. Es decir, sería equivalente a un GFS de Red Hat o un Veritas, NO es equiparable a Lustre o Panasas o pNFS.
CXFS tiene dos tipos de servidores o nodos: MDS (Metadata Server) y MDC (Metadata Client). El MDS hace de árbitro a la hora de permitir que un MDC u otro acceda a un fichero para lectura y/o escritura y gestiona los tokens para ello.
CXFS se diseñó (igual que XFS) para sistemas NUMA por lo que (como he dicho antes) no está orientado al mundo de clusters como por ejemplo Lustre. Eso no significa que no se pueda usar ;) Aunque tiene algunas limitaciones por lo que puede quedarse corto en algunos entornos.
Creo que esos tamaños no existen en un disco único, ¿no?
Nop, por ahora el disco más grande es de 4 TB (IIRC) ... bueno, no sé si los han sacado aún. Para conseguir esos volúmenes hay que recurrir a RAID + gestor de volúmenes.
En cualquier caso, el peligro de perder un sector, o un disco de un array, es bastante grande.
Sip, de ahí el uso de RAID.
¿Existe un sistema de archivos distribuidos como el que digo?
Sip. Existen varios. Un ejemplo es Panasas con una especie de RAID por software que hace por fichero y no lo hace por disco. Es decir, el fichero 1 puede estar en RAID 1 y el fichero 2 puede estar en RAID 5, por ejemplo, en el mismo sistema de ficheros. Lustre utiliza checksums para comprobar la integridad de los datos y un RAID por HW o SW por debajo.
Ahora está empezando a coger fuerza Ceph en entornos de HPC, que es otro sistema de ficheros paralelo.
También está de moda HDFS (el sistema de ficheros utilizado en Hadoop) porque está de moda el "Big Data". Pero HDFS y Lustre (u otros sistemas de ficheros de entornos HPC) no es que no estén en la "misma liga", es que no "juegan al mismo deporte". HDFS es un sistema de ficheros distribuido de acceso local, es decir, el nodo 1 accede a su porción de HDFS local de sus discos duros NO accede al disco del nodo 2 ni a todo el HDFS. Sin embargo, en entornos de HPC, el nodo 1 necesita a cceder a un fichero de por ejemplo 600 TB (como puede ser el caso de las alineaciones de pares de bases en genómica) que no puede almacenar en local y que además puede ser utilizado por otros nodos por lo que se encuentra en un sistema de ficheros distribuido y paralelo. HDFS hace 3 copias de los datos para hacer frente a pérdida de nodos: local, cercana y remota.
Isilon es otro que está cogiendo fuerza, pero no es un sistema de ficheros paralelo sino que es un NAS (NFS y CIFS de toda la vida) escalable con un sistema de ficheros "en cluster" llamado OneFS por detrás. Algo similar se puede montar con CXFS y Samba/NFS a lo que SGI llama "Edge Servers": los MDCs exportan CXFS mediante NFS y/o Samba.
Y yo que pensaba que sabia algo sobre esto, cuando tenga que buscar algo relacionado, me vengo a este correo. :)
HTH
Rafa
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Saludos.
Saludos 55GB no es nada... 550GB tampoco... 5.5TB ya se pone divertido (solo he llegado hasta 2.2TB):
/dev/cciss/c0d1p2 2.2T 6.2G 2.1T 1% /var/lib /dev/cciss/c0d1p1 485G 72G 389G 16% /lih
/dev/cciss/c0d1p2 on /var/lib type ext3 (rw,nodev,data=journal) /dev/cciss/c0d1p1 on /lih type ext3 (rw,noexec,nosuid,nodev
Así que particiones de varios teras no tienen problemas en Linux. Ojo, que dependiendo de la versión gestor de arranque, las unidades de disco lógicas no pueden exceder cierto tamaño.
Hasta la próxima. Carlos Martínez.
2012/5/9 Enrique ejuafer@gmail.com
Hola,
no se si la respuesta es tan sencilla... hace un tiempo me estuve peleando con ello y me fueron surgiendo imprevistos, por ejemplo con 64 bits y ext4 se supone que puedes tener discos gigantescos, el problema es que alguna de las herramientas necesarias para ello (creo que era mkfs.ext4) no lo admite o admitía todavía. Si te sirve como ejemplo, finalmente usando xfs no tuve problema para crear una partición de 55GB sobre openSUSE 11.4 (x86_64).
Saludos,
Enrique
2012/5/8 Jesús Reyes Piedra infneurodcr.mtz@infomed.sld.cu:
El 08/05/12 10:22, Maxi escribió:
El 8 de mayo de 2012 11:20, Carlos E. R.robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 16:14, Jesús Reyes Piedra wrote:
El 08/05/12 10:10, Carlos E. R. escribió:
Cuanto ??
¿Que sistema de ficheros? Cada cual tiene su limite. En la wikipedia hay una tabla con todos.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar) -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+pK5wACgkQIvFNjefEBxpNqwCgj0hdSuOAYa8QztbGdg2PTraE 5goAn1T6XV+G7dCTyGy6EVjO7MGU60Zr =J6km
-----END PGP SIGNATURE-----
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Tenes que instalar el paquete quotas, y configurarlo aca te paso un link util
http://linuxpoison.blogspot.com.ar/2009/04/how-to-enable-quota-on-opensuse.h...
-- El que pregunta aprende, y el que contesta aprende a responder.
No a la obsolecencia programada:
http://dimensionargentina.blogspot.com/2011/01/todo-esta-disenado-para-rompe...
Linux User #495070 http://miexperiencialinux.blogspot.com/
Muchas gracias a todos
Jesús
--
Este mensaje le ha llegado mediante el servicio de correo electronico que ofrece Infomed para respaldar el cumplimiento de las misiones del Sistema Nacional de Salud. La persona que envia este correo asume el compromiso de usar el servicio a tales fines y cumplir con las regulaciones establecidas
Infomed: http://www.sld.cu/
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
-- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Hola,
como ya he matizado antes estaba hablando de 55TB, que en realidad es el espacio útil de un RAID5 (con alguna redundancia extra). Que, para los amantes de la seguridad, a la vez se replica remotamente.
Solo quería destacar que aunque esto (y mucho más) es perfectamente posible sin muchos problemas en linux, hay muchos factores que influyen, no solo el valor teórico del sistema de archivos. Este valor teórico puede verse recortado por ejemplo por el kernel, la vesión del sistema operativo, o por algo tan tonto como que la herramienta para crearlo (en mi caso lo intenté inicialmente con mkfs.ext4) no lo soporte.
Saludos.
PD: A la pregunta de Rafa... acertaste, entorno científico. Pero esto es una miseria comparado con proyectos que hablan de generar 1 PB por día... Como 𳀶¢đŋjøß se maneja eso?
2012/5/9 Carlos Martinez camarti@gmail.com:
Saludos.
Saludos 55GB no es nada... 550GB tampoco... 5.5TB ya se pone divertido (solo he llegado hasta 2.2TB):
/dev/cciss/c0d1p2 2.2T 6.2G 2.1T 1% /var/lib /dev/cciss/c0d1p1 485G 72G 389G 16% /lih
/dev/cciss/c0d1p2 on /var/lib type ext3 (rw,nodev,data=journal) /dev/cciss/c0d1p1 on /lih type ext3 (rw,noexec,nosuid,nodev
Así que particiones de varios teras no tienen problemas en Linux. Ojo, que dependiendo de la versión gestor de arranque, las unidades de disco lógicas no pueden exceder cierto tamaño.
Hasta la próxima. Carlos Martínez.
2012/5/9 Enrique ejuafer@gmail.com
Hola,
no se si la respuesta es tan sencilla... hace un tiempo me estuve peleando con ello y me fueron surgiendo imprevistos, por ejemplo con 64 bits y ext4 se supone que puedes tener discos gigantescos, el problema es que alguna de las herramientas necesarias para ello (creo que era mkfs.ext4) no lo admite o admitía todavía. Si te sirve como ejemplo, finalmente usando xfs no tuve problema para crear una partición de 55GB sobre openSUSE 11.4 (x86_64).
Saludos,
Enrique
2012/5/8 Jesús Reyes Piedra infneurodcr.mtz@infomed.sld.cu:
El 08/05/12 10:22, Maxi escribió:
El 8 de mayo de 2012 11:20, Carlos E. R.robin.listas@telefonica.net escribió:
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1
On 2012-05-08 16:14, Jesús Reyes Piedra wrote:
El 08/05/12 10:10, Carlos E. R. escribió: > > Cuanto ??
¿Que sistema de ficheros? Cada cual tiene su limite. En la wikipedia hay una tabla con todos.
Cheers / Saludos,
Carlos E. R. (from 11.4 x86_64 "Celadon" at Telcontar) -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.16 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
iEYEARECAAYFAk+pK5wACgkQIvFNjefEBxpNqwCgj0hdSuOAYa8QztbGdg2PTraE 5goAn1T6XV+G7dCTyGy6EVjO7MGU60Zr =J6km
-----END PGP SIGNATURE-----
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Tenes que instalar el paquete quotas, y configurarlo aca te paso un link util
http://linuxpoison.blogspot.com.ar/2009/04/how-to-enable-quota-on-opensuse.h...
-- El que pregunta aprende, y el que contesta aprende a responder.
No a la obsolecencia programada:
http://dimensionargentina.blogspot.com/2011/01/todo-esta-disenado-para-rompe...
Linux User #495070 http://miexperiencialinux.blogspot.com/
Muchas gracias a todos
Jesús
--
Este mensaje le ha llegado mediante el servicio de correo electronico que ofrece Infomed para respaldar el cumplimiento de las misiones del Sistema Nacional de Salud. La persona que envia este correo asume el compromiso de usar el servicio a tales fines y cumplir con las regulaciones establecidas
Infomed: http://www.sld.cu/
Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
-- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
-- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Wenas :)
2012/5/9 Enrique ejuafer@gmail.com:
[...]
PD: A la pregunta de Rafa... acertaste, entorno científico. Pero esto es una miseria comparado con proyectos que hablan de generar 1 PB por día... Como 𳀶¢đŋjøß se maneja eso?
Con mucho cuidado y dinero :D
Muchas veces los datos se borran o se llevan a cinta porque es muy caro mantenerlo, depende del cliente. Se usan sistemas de HSM y/o archivado a cinta para poder manejar tanto volumen de datos porque es lo más barato y denso. No sólo en lo que cuesta el soporte físico sino también en que las unidades de cinta consumen muy poca electricidad y producen muy poco calor. En cuanto a la fiabilidad de las cintas, antes eran menos fiables, pero ha mejorado mucho en los últimos años.
Rafa
PD: si no es mucho preguntar, ¿qué tipo de entorno científico: físicas, matemáticas, químicas, ...? ¿Cómo lo tienes montado: en plan servidor NFS/CIFS/... para los datos de los usuarios o conectado a algún nodo de cálculo/visualización para almacenamiento local del equipo?
El 8 de mayo de 2012 10:53, Jesús Reyes Piedra infneurodcr.mtz@infomed.sld.cu escribió:
Saludos a todos los de la lista. Desearía que me aclararan 2 dudas : I- Con el openSUSE de 32 bits cuanto puedo direccionar de disco duro y con el de 64 bits ? II- Como puedo activar las cuotas a los usuarios?
Primero que nada, debes verificar la capacidad de direccionamiento que tiene la bios y chipset del equipo, y despues recien la capacidad máxima que puede direccionar el SO, pero como normalmente, el disco está particionado, esa capacidad de direccionamiento está dada para cada partición.
Según el sistema de archivo que utilices, varía esa capacidad máxima de direccionamiento por partición: ext3 - 32 TB ReiserFS - 16 TB XFS - 1 PB JFS - 16 TBs FAT32 - 1 TB.
Las cuotas de usuario, las fijas en las propiedades de cada usuario en el Yast.
Saludos
Buenas :)
2012/5/8 Pinguino Patagonico pingpata@gmail.com:
[...]
XFS - 1 PB
Una pequeña corrección aquí. XFS escala hasta 18 ExaBytes en sistema de ficheros y 9 ExaBytes en tamaño de fichero en sistemas de 64 bits y usando inode64.
Dependiendo de la distribución que uses, te darán soporte o no a un volumen u otro. Por ejemplo, Red Hat garantiza una escalabilidad muy limitada de XFS (porque es lo que han probado), SUSE ofrece soporte para sistemas de ficheros muy superiores (al igual que SGI que basa sus sistemas en SLES).
En cuanto a las cuotas de usuario, XFS y los ext[234] tienen cada uno sus herramientas. Tienes un gran aliado en el comando "man" que te mostrará cómo activar/desactivar las cuotas.
-
Ala de Dragón -
Ariel -
Carlos E. R. -
Carlos Martinez -
cheperobert -
Enrique -
Jesús Reyes Piedra -
Juan Erbes -
Maxi -
Pinguino Patagonico -
Rafa Griman