Hola :) El Sábado, 1 de Abril de 2006 13:18, Carlos E. R. escribió:

El 2006-04-01 a las 12:38 +0200, rafagriman@gmail.com escribi�:

...

Hola :)

Vengo a contarons mis penas ... Estoy montando un cluster de HA y LB con la siguiente configuraci�n en cada m�quina:

Ya me tem�a yo que si tu contabas un problema iba a ser de �rdago :-P

Es que en esta lista hay mucho nivel y seguro que alguien me da buenas ideas :) A mi lo único que se me ocurre es ir a por un ron o un tinto de verano ;)

...

16 CPUs 32 GB de RAM 8 tarjetas de red GigE (1 para heartbeat y 6 para channel bonding) 3 cabinas de discos a 4 gbit switch con backplane de 40 GB clientes IBM (no s� el modelo) con MS-WinXP SP2 Samba

A ver si me entero... �20 m�quinas con "eso"? :-OO

No, sólo son dos. Si tuviera que montar 20 me daba algo ... aunque seguro que mi jefe está deseando que sean 20 ;)

...

Resulta que la red da como m�ximo 20 MB/s lo cual me parece absurdo puesto que todo te�ricamente es Gbit lo cual deber�a dar como m�ximo de 125 MB/s en cada tarjeta de red (sea servidor o cliente) aunque en un mondo real se suele conseguir unos 70 MB/s sin tunear nada. Lo curioso es que da 20 MB/s, independientemente del n�mero de clientes, lo que escribas o leas, ...

�Quieres decir 20 megas por tarjeta, o 20 entre las 7?

20 MB/s cada tarjeta del channel bonding, cada tarjeta que no forma parte del channel bonding y cada tarjeta de cada PC. Cada tarjeta de red da 20 MB/s, sea el dispositivo que sea. Es más, mi portátil da los 20 MB/s más sostenidos que los PCs que hay montados. Esto es llamativo puesto que mi portátil sólo tiene un disco duro así que el rendimiento es menor, los buses PCI se suelen compartir en los portátiles, ... En cambio, los PCs dan una media de 20 MB/s pero no lo dan sostenido, hay picos de entre 10 y 25 MB/s. No sé, a lo mejor arranco con un Knoppix o el rescue de SUSE y hago una prueba a ver si afecta tanto el sistema operativo ...

...

Pruebas que he hecho:

netbench xdd copiar entre servidores* copiar entre PCs* copiar PCs-Servidor y a la inversa* al copiar hemos usado scp y SMB

Hab�a una aplicaci�n que med�a el ancho de banda de la red a base de pings grandes. La que yo usaba no la he encontrado ultimamente, pero veamos...

nimrodel:~ # ping -f -l10 -s20000 router WARNING: probably, rcvbuf is not enough to hold preload. PING router (192.168.1.1) 20000(20028) bytes of data. ......................... --- router ping statistics --- 1025 packets transmitted, 1000 received, 2% packet loss, time 5717ms rtt min/avg/max/mdev = 7.488/55.074/62.857/5.755 ms, pipe 10, ipg/ewma 5.583/55.523 ms

--> la red marca 7..8 Mb/s, otras veces he conseguido m�s ajustando los par�metros.

Esto del ping me ha gustado, la verdad es que no se me había ocurrido hacer un PoD (Ping of Death) ni similares ... GRACIAS !!!

Seguramente hay alguna utilidad para hacer esto mejor y medir el ancho de banda en bruto de una red. Ser�a lo primero a determinar, antes que cpus, discos y dem�s, diagnosticar la red bruta. Si no da, pues a mirar los cables, para empezar.

Eso es cierto, por eso acudo a vosotros por si conocéis alguna herramienta buena (a poder ser de OSS ;) que me permita diagnosticar la red. No sé si habrá alguna herramienta que permita detectar info de un switch (a parte de la que dan con el switch). Gracias :) !!! Rafa -- "Even paranoids have enemies." Rafa Grimán Systems Engineer Silicon Graphics Spain Santa Engracia, 120 - Planta Baja 28003 Madrid Spain Tel: +34 91 3984200 Tel: +34 91 3984201 Móvil: +34 628 117 940 http://www.sgi.com OpenWengo: rgriman Skype: rgriman

-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1 El 2006-04-01 a las 21:45 +0200, rafagriman@gmail.com escribió:

OK :) Pediré a ver si alguien tiene un "FLUKE" y haremos pruebas. Prefiero el "FLUKE" a lo que comentaba Carlos porque soy un poco "ignorante" en esto de redes 0;)

Debía haberme imaginado que esa gente tendría inventado algún comprobador de cables de red, es obvio. Como también es obvio que costará una pasta, siendo Fluke. ¡Aún hay clases! :-) Hay comprobadores de cables en telefonía que van en un carrito y con un precio que debe rondar su peso... - -- Saludos Carlos Robinson -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.4.0 (GNU/Linux) Comment: Made with pgp4pine 1.76 iD8DBQFELvx+tTMYHG2NR9URAnP8AKCIuHiB+P9+m5Ow8S8cB00zFSQ6IACfWIrd AwyKPC3Q/kk9dJcx1FAoSKg= =ZmUK -----END PGP SIGNATURE-----

Hola :) El Sábado, 1 de Abril de 2006 22:06, Victor Hugo dos Santos escribió:

2006/4/1, rafagriman@gmail.com :

...

Hola :)

[...]

...

Por cierto, el sistema se usa para v�deo. Abriendo v�deos, cada PC consume unos 8 MB/s de red por lo que no se conseguir�a llegar al cuello de botella (140 MB/s) hasta los 17,5 PCs. Lo malo es que van a ser unos 30 PCs.

mmmm... no entiendo muy bien vuestros calculos, pero segun veo deberia de sobrar ancho de banda en la red !!!! vea mis calculos y diga donde me equivoco !!!

probando la actual configuracion se obtene que:

- por cada tarjeta de red por separado se obtene una TT (tasa de transferencia) de 20MiB cuando en realidad segun usted deberia de ser unos 70MiB

- probando las 6 tarjetas de red en conjunto (bounding) se obtene una TT de 140MiB (aca en teoria no deberia de ser unos 120MiB de TT ??? pues 6 tarjetas por 20MiB es igual a 120MiB !!! )

- cada PC abrindo un video consume unos 8MiB y son 30PCs en total o sea que se necesitaria un ancho de banda de 240MiB (8MiB*30PCs) para que no existira cuello de botella.

Pues bine, en el otro correo que enviaste recien, mencionaste que existe un otro servidor con las mismas caracteristicas y que trabajar en el balanceo de carga o sea que tienes con los 2 servidores juntos un enlace actual de 280MiB (140MiB*2Servidores) y te deberia de sobrar unos 40MiB de TT !!!

ahora, logico que la idea es obtener toda la performance de la red y no contar con el balanceo de carga de los 2 servidores !!! imaginate se uno de ellos se va de guata (= a tener problemas), entonces si, tendras problemas de cuello de botella !!!

mmmm.. me equivoco en algo ???

No te equivocas en nada, por lo menos eso son los cálculos que me han salido a mi. Es una situación rara. No hay quién lo entienda, ningún número concuerda. Por cierto, el link de antes es muy bueno !!!! Lástima que me tenga que ir, en cuanto vuelva sigo leyendo ;) Gracias por todo !! Rafa -- "Even paranoids have enemies." OpenWengo: rgriman Skype: rgriman

El Lunes, 3 de Abril de 2006 17:45, Toni Casueps escribió:

Creo que no es buena idea usar scp para comprobar velocidad (tiene que comprimir y encriptar los datos antes de enviarlos). A pesar de que puedas tener buenas CPUs para hacer esas operaciones. De hecho una vez que estuve haciendo pruebas de velocidad y lo �nico que hac�a era coger datos de /dev/urandom, y solo con eso me daba unas velocidades muy bajas cuando la red en realidad pod�a con m�s.

He probado: scp sftp smb mount -t cifs servidor /punto/montaje y luego un cp

Lo mejor es coger los datos a enviar de /dev/zero (nada que necesite usar CPU ni disco duro).

Mira las utilidades netio o iperf que lo hacen de esa forma y tienen ejecutables para Windows y Linux.

He usado iperf así como otras herramientas. iperf desde mi portátil Linux al servidor (con Linux) da 507 Mbits/s iperf desde un MS-Windows XP al servidor (con Linux) da 120 Mbits/s Luego el servidor no es ... La cabina de discos tampoco porque está dando unos 450 MBytes/s de media (hay picos de 563 MBytes/s). Gracias :) Rafa -- "Even paranoids have enemies." Rafa Grimán Systems Engineer Silicon Graphics Spain Santa Engracia, 120 - Planta Baja 28003 Madrid Spain Tel: +34 91 3984200 Tel: +34 91 3984201 Móvil: +34 628 117 940 http://www.sgi.com OpenWengo: rgriman Skype: rgriman

Hola :) El Lunes, 3 de Abril de 2006 20:18, Victor Hugo dos Santos escribió:

2006/4/1, rafagriman@gmail.com :

...

Hola :)

Hola

[...]

...

No te equivocas en nada, por lo menos eso son los c�lculos que me han salido a mi. Es una situaci�n rara. No hay qui�n lo entienda, ning�n n�mero concuerda.

Fin de semana estuve dando vueltas con vuestro tema y me ha venido una duda. que hardware exactamente estas usando ???

te pregunto, ya que me ha venido una idea absurda en la cabeza, pero enfim, en las ideas absurdas es que estan las soluciones !!! ;-)

Tu comentaste que las tarjetas no ultrapasan los 120MBs trabajando en conjunto, esto es case que la velocidad total del barramento PCI de 32 bits que es de 133MBs compartido entre todos los dispositivos PCI y muchos otros dispositivos.

Son tarjetas de 64, si mal no recuerdo ... no las tengo aquí delante 0;) Cada una va en un bus a parte por lo que no andan compartiendo buses. Las tarjetas de fibra van también en su propio bus y no comparten bus con ningún otro dispositivo.

Se vuestras tarjetas de red GigE son PCI 32 (cosa que no deberia serlo) , entonces alla esta vuestro problema.

Lo comprobaré por si acaso, gracias por el apunte :)

Ahora caso sean de 64 bits, ni idea.. ya que la tasa de velocidad total es de 533Mb/s, pero mismo asi, creo que con 8 tarjetas de redes GigE tambien podria haber diferencias de rendimentos !!!

Como he comentado antes, van en buses diferentes. De todas maneras me aseguraré con lo que comentas más arriba.

los testes individuales que realizaste (que daban un resultado de 20MBs por cada tarjeta) lo hiciste con todas las tarjetas enchufadas al server o las removiste y dejaste solamente una conectada ???

Están todas conectadas. Lo que hago es desactivarlas. No debería afectar el que estén porque van en buses diferentes, incluso van en "bricks"* diferentes. * Los "bricks" son nuestras unidades para "componer" computadoras, es como un Lego. De todas maneras, también le ocurre a las tarjetas de los PCs. Ocurre al copiar: PC <-> servidor PC <-> PC En este último caso, no pasa por el servidor dato alguno por lo que no puede ser cosa del servidor ...

...

Por cierto, el link de antes es muy bueno !!!! L�stima que me tenga que ir, en cuanto vuelva sigo leyendo ;)

siii.. lo vi durante el final de semana y realmente era bien interesante.

Me ha dado muchas y buenas ideas, algunas ya las he llevado a cabo, otras no he podido (retocar el Registro de los MS-Windows) ya que no son nuestros equipos ...

bien.. era esto, suerte.

Gracias por todo, ha sido de mucha ayuda :) Rafa -- "Even paranoids have enemies." OpenWengo: rgriman Skype: rgriman