El día 1 de octubre de 2010 14:43, Camaleón escribió:

El Fri, 01 Oct 2010 14:28:06 -0300, Juan Erbes escribió:

...

http://www.youtube.com/watch?v=1wK1Ixr-UmM&feature=player_embedded

http://www.news-world.us/pics/2010/03/02/making-of-avatar-using-advance- motion-capture-technology/

Aqui se puede ver la foto del Data Center con 4352 servidores HP Proliant BL2×220c G5 Blade, los cuales al sumarlos nos da la escalofríante cifra de que poseen 40.000 procesadores y 104 terabytes de RAM al mando de GNU/Linux.:

http://www.datacenterknowledge.com/archives/2009/12/22/the-data- crunching-powerhouse-behind-avatar/

http://sglnx.com/2010/01/avatar-the-movie-rendered-by-linux/

(...)

Curiosa configuración de los servidores:

*** Operating System        Linux Interconnect    Gigabit Ethernet Processor       Intel EM64T Xeon L54xx (Harpertown) 2500 MHz (10 GFlops) ***

No hubiera imaginado el uso de una red gigabit para este proyecto.

Por es es que solamente llega al lugar numero 193 del ranking de las 500 supercomputadoras más rápidas del mundo, según top500.org. Salu2 -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

El 2 de octubre de 2010 06:17, Camaleón escribió:

El Sat, 02 Oct 2010 00:36:03 -0300, Pinguino Patagonico escribió:

...

El día 1 de octubre de 2010 14:43, Camaleón escribió:

...

El Fri, 01 Oct 2010 14:28:06 -0300, Juan Erbes escribió:

...

...

...

http://sglnx.com/2010/01/avatar-the-movie-rendered-by-linux/

(...)

Curiosa configuración de los servidores:

*** Operating System        Linux Interconnect    Gigabit Ethernet Processor       Intel EM64T Xeon L54xx (Harpertown) 2500 MHz (10 GFlops) ***

No hubiera imaginado el uso de una red gigabit para este proyecto.

Por es es que solamente llega al lugar numero  193 del ranking de las 500 supercomputadoras más rápidas del mundo, según top500.org.

Con una interconexión gigabit, lo que no sé es cómo llega a aparecer en esa lista. El cuello de botella debe ser enorme.

http://www.hp.com/hpinfo/newsroom/press_kits/2008/cloud-infrastructure/proli... The HP ProLiant BL2x220c G5 server blade combines two servers in a single blade to achieve top application performance while cutting data center infrastructure costs and space requirements in half. As the world's first two-in-one blade, it is designed specifically for large, scale-out environments such as Web 2.0 and high-performance computing that use massive data centers with thousands of servers. http://www.hp.com/hpinfo/newsroom/press_kits/2008/cloud-infrastructure/ds_bl... Aimed at high performance computing (HPC), grid, and massive scale-out applications, the BL2x220c provides industry-leading compute density. It has up to 32 server nodes per enclosure, each capable of supporting 2 Quad-Core CPUs and up to 16GB of RAM. This means it can scale to provide up to 1,024 cores and 2 TB of RAM per 42U rack. Two Gigabit Ethernet ports (provided per node as standard) with options available to upgrade to 10 Gbit Ethernet or InfiniBand provide high performance and low latency interconnects. Remarco: with options available to upgrade to 10 Gbit Ethernet or InfiniBand provide high performance and low latency interconnects. -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

El día 2 de octubre de 2010 00:36, Pinguino Patagonico escribió:

El día 1 de octubre de 2010 14:43, Camaleón escribió:

...

El Fri, 01 Oct 2010 14:28:06 -0300, Juan Erbes escribió:

...

http://www.youtube.com/watch?v=1wK1Ixr-UmM&feature=player_embedded

http://www.news-world.us/pics/2010/03/02/making-of-avatar-using-advance- motion-capture-technology/

Aqui se puede ver la foto del Data Center con 4352 servidores HP Proliant BL2×220c G5 Blade, los cuales al sumarlos nos da la escalofríante cifra de que poseen 40.000 procesadores y 104 terabytes de RAM al mando de GNU/Linux.:

http://www.datacenterknowledge.com/archives/2009/12/22/the-data- crunching-powerhouse-behind-avatar/

http://sglnx.com/2010/01/avatar-the-movie-rendered-by-linux/

(...)

Curiosa configuración de los servidores:

*** Operating System        Linux Interconnect    Gigabit Ethernet Processor       Intel EM64T Xeon L54xx (Harpertown) 2500 MHz (10 GFlops) ***

No hubiera imaginado el uso de una red gigabit para este proyecto.

Por es es que solamente llega al lugar numero  193 del ranking de las 500 supercomputadoras más rápidas del mundo, según top500.org.

Otro de los debates, es que distro se utilizó. Los Ubunteros, dicen que se usó ubuntu server, mientras que las primeras noticias sobre el tema, hablan de RHEL. http://jlinux.homelinux.org/?q=content/avatar-linux-y-ubuntu Pero la realidad, es que para Avatar y la mayor parte de los grandes estudios de cine de Hollywood, están usando las suites de cine Autodesk: http://usa.autodesk.com/adsk/servlet/item?siteID=123112&id=14270942 http://images.autodesk.com/adsk/files/the_new_art_of_virtual_moviemaking_-_a... La mayor parte de los productos de esa firma, están orirntados a Red Hat. Concretamente, la Suite Autodesk cine 2009, es para RHEL4, con una versión especifica del kernel. Aunque en otros sitios, mencionan otros softs: http://www.pr.com/press-release/209976 -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

El día 2 de octubre de 2010 11:55, Camaleón escribió:

El Sat, 02 Oct 2010 11:46:01 -0300, Juan Erbes escribió:

...

El día 2 de octubre de 2010 00:36, Pinguino Patagonico escribió:

...

El día 1 de octubre de 2010 14:43, Camaleón escribió:

...

...

...

No hubiera imaginado el uso de una red gigabit para este proyecto.

Por es es que solamente llega al lugar numero  193 del ranking de las 500 supercomputadoras más rápidas del mundo, según top500.org.

Otro de los debates, es que distro se utilizó.

Los Ubunteros, dicen que se usó ubuntu server, mientras que las primeras noticias sobre el tema, hablan de RHEL.

(...)

En la Wikipedia también apuntan a Ubuntu:

*** http://en.wikipedia.org/wiki/Avatar_(2009_film)#Visual_effects

To render Avatar, Weta invented a new system called Mari,[102][103] and used a 10,000 sq ft (930 m2) server farm making use of 4,000 Hewlett- Packard servers with 35,000 processor cores running Ubuntu Linux and the Grid Engine cluster manager.[104][105][106] ***

En el mismo link dice: To help finish preparing the special effects sequences on time, a number of other companies were brought on board, including Industrial Light & Magic, which worked alongside Weta Digital to create the battle sequences. ILM was responsible for the visual effects for many of the film's specialized vehicles and devised a new way to make CGI explosions.[109] Joe Letteri was the film's visual effects general supervisor.[110] Working with ILM, ILM-spinoff KernerFX provided live action VFX elements which were captured with Kernercam 3D systems using RED cameras.[85] Por otro lado: http://usa.autodesk.com/adsk/servlet/item?siteID=123112&id=14270942 James Cameron and his production company, Lightstorm Entertainment, pioneered a new method for making visual effects movies with advanced virtual cinematography techniques. Using Autodesk Digital Entertainment Creation (DEC) tools, Autodesk® MotionBuilder® and Autodesk® Maya® software, the team created a virtual stage or “volume” in which they could capture actors’ performances and apply them directly to computer graphics (CG) characters, while viewing the results in real-time. This unique soundstage gave Cameron the ability to direct a high quality CG performance as if it were live action. En todo caso, puede ser que como su companía Lightstorm Entertainment, no tenía la infraestructura de renderizado necesaria, le dieron la etapa final a Weta Digital. En el caso de ILM de George Lucas, usaban el conjunto de las workstations durante la noche, para hacer el renderizado, mediante un software que vende Autodesk llamado Burn: http://usa.autodesk.com/adsk/servlet/pc/index?siteID=123112&id=5561929 http://www.tomsguide.com/us/lucasfilm-amd,review-713-4.html Pero ahora usan esto: http://www.slashfilm.com/2010/02/25/cool-stuff-a-look-at-pixar-and-lucasfilm... http://www.firstshowing.net/2010/02/25/check-this-out-video-tour-of-lucasfil... Segun ese video, la companía proveedora de los servidores es Angstrom http://www.angstrom.com/products/titan64_superblade.htm Salu2 -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

2010/10/2 Camaleón :

El Sat, 02 Oct 2010 13:41:36 -0300, Juan Erbes escribió:

...

El día 2 de octubre de 2010 11:55, Camaleón escribió:

...

...

...

Otro de los debates, es que distro se utilizó.

Los Ubunteros, dicen que se usó ubuntu server, mientras que las primeras noticias sobre el tema, hablan de RHEL.

(...)

En la Wikipedia también apuntan a Ubuntu:

*** http://en.wikipedia.org/wiki/Avatar_(2009_film)#Visual_effects

(...)

...

En el mismo link dice:

To help finish preparing the special effects sequences on time, a number of other companies were brought on board, including Industrial Light & Magic, which worked alongside Weta Digital to create the battle sequences. ILM was responsible for the visual effects for many of the film's specialized vehicles and devised a new way to make CGI explosions.[109] Joe Letteri was the film's visual effects general supervisor.[110]  Working with ILM, ILM-spinoff KernerFX provided live action VFX elements which were captured with Kernercam 3D systems using RED cameras.[85]

Sí, que también recurrieron a la empresa ILM. Pero en ese párrafo no dicen nada de los sistemas utilizados.

...

Por otro lado:

http://usa.autodesk.com/adsk/servlet/item?siteID=123112&id=14270942

(...)

Entonces tenemos un problema. MotionBuilder sólo funciona bajo sistemas Windows.

La mayor parte del software que vende Autodesk para cine y video, es de otras comapanías que ha ido comprando. Creo que el unico software realmente propio, es el Autocad. Evidentemente, la companía que lo desarrolló, lo hizo bajo windows. Pero es tan solo una herramienta, que sirve para transformar los movimientos de un ser humano sin ningun fondo o ambiente y no hace el renderizado. La lista de aplicaciones es larga: - Autodesk Maya - Pixar Renderman for Maya - Autodesk SoftImage XSI - Luxology Modo (model design, e.g. the Scorpion) - Lightwave (low-res realtime environments) - Houdini (unknown area) - ZBrush (creature design) - Auodesk 3ds max (space shots, control room screens and HUD renderings) - Autodesk MotionBuilder (for real-time 3d visualisations) - Eyeon Fusion (image compositing) - The Foundry Nuke Compositor (previz image compositing) - Autodesk Smoke (color correction) - Autodesk Combustion (compositing) - Massive (vegetation simulation) - Mudbox (floating mountains) - Avid(video editing) - Adobe After Effects (compositing, real-ime visualizations) - PF Track (motion tracking, background replacement) - Adobe Illustrator (HUD and screens layout) - Adobe Photoshop (concept art, textures) - Adobe Premiere (proofing, rough compositing with AE) Las companías que particiiparon: - Weta Digital, New Zealand (most of the work, character modeling, animation, rendering) - Industrial Light and Magic, USA (180 non-character shots, mostly the human aircraft in the final battle) - Stan Winston Studios (most of the props, including the Ampsuit and the Samson helicopter) - Framestore, UK (70 shots of the Hell’s Gate) - Hybride, Canada (graphics for the link room) - Prime Focus, USA (design and compositing of the control room screens, HUDs, etc) - Look Effects, USA (compositing) - Hydraulx, USA (digital extension shots of crematoria and cryovault) - Giant Studios, USA (motion capture) - Blur, USA (4 space shots of ISV Venture Star) - Pixel Liberation Front, USA (screens and HUD design) - BUF (the conscience-transfer tunnel) - Lola VFX, USA (digital cosmetic) http://www.pr.com/press-release/209976 -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

El día 2 de octubre de 2010 15:18, Camaleón escribió:

El Sat, 02 Oct 2010 14:52:00 -0300, Juan Erbes escribió:

...

2010/10/2 Camaleón:

...

...

...

Por otro lado:

http://usa.autodesk.com/adsk/servlet/item?siteID=123112&id=14270942

(...)

Entonces tenemos un problema. MotionBuilder sólo funciona bajo sistemas Windows.

La mayor parte del software que vende Autodesk para cine y video, es de otras comapanías que ha ido comprando. Creo que el unico software realmente propio, es el Autocad.

Que no es poca cosa.

...

Evidentemente, la companía que lo desarrolló, lo hizo bajo windows. Pero es tan solo una herramienta, que sirve para transformar los movimientos de un ser humano sin ningun fondo o ambiente y no hace el renderizado.

Es bien interesante esa técnica de captura de movimiento y de los gestos. Se ha avanzado mucho en ese campo de la animación por ordenador.

...

La lista de aplicaciones es larga: - Autodesk Maya Este tiene versión para linux.

...

- Pixar Renderman for Maya Este también tiene versión para linux, pero bajo pedido.

...

- Autodesk SoftImage XSI Este tiene versión para linux.

...

- Luxology Modo (model design, e.g. the Scorpion) Este funciona sobre MacOS o Windows.

- Lightwave (low-res realtime environments) Este sólo para MacOS y Windows

...

- Houdini (unknown area) Este funciona con Linux.

...

- ZBrush (creature design) Windows y MacOS.

...

- Auodesk 3ds max (space shots, control room screens and HUD renderings) Windows.

...

- Autodesk MotionBuilder (for real-time 3d visualisations) Windows.

- Eyeon Windows y Linux.

...

Fusion (image compositing)

Windows y Linux.

...

- The Foundry Nuke Compositor (previz image compositing) Windows, MacOS y Linux.

...

- Autodesk Smoke (color correction) Linux y MacOS.

...

- Autodesk Combustion (compositing) Windows y MacOS.

...

- Massive (vegetation simulation) Windows y Linux.

...

- Mudbox (floating mountains) Windows y MacOS.

...

- Avid(video editing) Windows y MacOS.

...

- Adobe After Effects (compositing, real-ime visualizations) Windows y MacOS.

...

- PF Track (motion tracking, background replacement) ¿?

...

- Adobe Illustrator (HUD and screens layout) Windows y MacOS.

...

- Adobe Photoshop (concept art, textures) Windows y MacOS.

...

- Adobe Premiere (proofing, rough compositing with AE) Windows y MacOS.

Parece que al fin y al cabo ha sido un proyecto heterogéneo :-)

El artículo original, dice que el renderizado fue hecho en Linux. Salu2 -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

Hola :) On Saturday 02 October 2010 11:17 Camaleón wrote

El Sat, 02 Oct 2010 00:36:03 -0300, Pinguino Patagonico escribió:

...

El día 1 de octubre de 2010 14:43, Camaleón escribió:

...

El Fri, 01 Oct 2010 14:28:06 -0300, Juan Erbes escribió:

...

http://sglnx.com/2010/01/avatar-the-movie-rendered-by-linux/

(...)

Curiosa configuración de los servidores:

*** Operating System Linux Interconnect Gigabit Ethernet Processor Intel EM64T Xeon L54xx (Harpertown) 2500 MHz (10 GFlops) ***

No hubiera imaginado el uso de una red gigabit para este proyecto.

Por es es que solamente llega al lugar numero 193 del ranking de las 500 supercomputadoras más rápidas del mundo, según top500.org.

Con una interconexión gigabit, lo que no sé es cómo llega a aparecer en esa lista. El cuello de botella debe ser enorme.

En un renderfarm no hay MPI, no hay comunicación entre los nodos de render (cómputo) por lo qu eno es necesaria una red IB y/ó 10 GigE. La red se usa casi exclusivamente para pillar las texturas (imágenes TIFF generalmente) por lo qu eno es necesario gran ancho de banda. HTH Rafa -- "We cannot treat computers as Humans. Computers need love." Happily using KDE 4.5.1 :) -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

On 04/10/2010 23:07, Camaleón wrote:

El Mon, 04 Oct 2010 21:50:46 +0200, Rafa Grimán escribió:

...

On Saturday 02 October 2010 11:17 Camaleón wrote (...)

...

...

...

...

No hubiera imaginado el uso de una red gigabit para este proyecto. Por es es que solamente llega al lugar numero 193 del ranking de las 500 supercomputadoras más rápidas del mundo, según top500.org. Con una interconexión gigabit, lo que no sé es cómo llega a aparecer en esa lista. El cuello de botella debe ser enorme.

En un renderfarm no hay MPI, no hay comunicación entre los nodos de render (cómputo) por lo qu eno es necesaria una red IB y/ó 10 GigE.

La red se usa casi exclusivamente para pillar las texturas (imágenes TIFF generalmente) por lo qu eno es necesario gran ancho de banda. Creo que la información de ese enlace era incorrecta:

*** http://www.information-management.com/newsletters/avatar_data_processing-100...

[...]

Realmente, los equipos contaban con un sistema de almacenamiento en red de fibra óptica e interconexiones 10 Gigabit. Eso sí tiene más sentido.

Para render no hace falta gran ancho de banda, hacen falta ciclos de reloj. Otra cosa es cuando se meten a edición de vídeo y postproducción. En el caso de Weta Digital (para El Sr. de los Anillos) por poner un ejemplo, SGI fue el que montó el almacenamiento y se hizo todo (juegos, vídeos musicales, render, ...) sobre el mismo almacenamiento y contenidos por lo que sí hizo falta gran ancho de banda. En los casos en los que se hace sólo render, el ancho de banda es ínfimo. No confundáis render con postproducción ni con edición de audio ni de vídeo. HTH Rafa -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org

On 05/10/2010 8:03, Camaleón wrote:

El Tue, 05 Oct 2010 07:50:47 +0200, Rafa Griman escribió:

...

On 04/10/2010 23:07, Camaleón wrote:

...

*** http://www.information-management.com/newsletters/avatar_data_processing-100... [...]

...

Realmente, los equipos contaban con un sistema de almacenamiento en red de fibra óptica e interconexiones 10 Gigabit. Eso sí tiene más sentido.

Para render no hace falta gran ancho de banda, hacen falta ciclos de reloj. Otra cosa es cuando se meten a edición de vídeo y postproducción. En el caso de Weta Digital (para El Sr. de los Anillos) por poner un ejemplo, SGI fue el que montó el almacenamiento y se hizo todo (juegos, vídeos musicales, render, ...) sobre el mismo almacenamiento y contenidos por lo que sí hizo falta gran ancho de banda.

En los casos en los que se hace sólo render, el ancho de banda es ínfimo.

No confundáis render con postproducción ni con edición de audio ni de vídeo. Había un error en la ficha del Top500. O quizá es que sencillamente la configuración de los equipos base venía con red gigabit y los de WD la ampliaron "ex-profeso" a 10-G para Avatar.

Me imagino (no conozco cómo lo tienen ahora) que habrán optado por un único almacenamiento y que todo el mundo tire de los mismos discos porque a la hora de administrar es mucho más sencillo administrar un único almacenamiento que no varias islas de almacenamiento. Posiblemente sea lo que dices, que los de Weta ampliaran para dar soporte a todos los usuarios y sus requerimientos. Si han usado un único almacenamiento, no me extrañaría que usasen IB o 10 GigE. En cuanto a lo de un único almacenamiento, no me refiero a un único servidor y una única cabina sino a algún tipo de almacenamiento paralelo o cluster. En mi época en SGI, se usó CXFS (sistema de ficheros XFS en cluster) con DMF (almacenamiento jerárquico) para El Señor de los Anillos. En cuanto al Top500 ... no es algo que te puedas creer al 100%. Es más una herramienta de marketing que una realidad, también hay que saber interpretar los resultados: muchas veces publican una configuración y la máquina en producción es diferente, ... Con esto no quiero decir que Top500 sea mentira. Por poner un ejemplo (puede ser el caso de los de Avatar), como el Top500 se publica cada 6 meses ... pues imagínate lo que ha podido cambiar su sistema desde que enviaron la info hasta que se ha publicado. En 6 meses pueden haber ampliado nodos, interconectividad, almacenamiento, ... incluso haber cambiado de proveedor. Por eso digo que no hay que tomárselo al pie de la letra ;) Por esta misma razón puedes encontrar un anuncio que dice que tal máquina es la más potente y vas al Top500 y no aparece: hasta la próxima publicación del Top500 no aparecerá y, para cuando se publique, puede que se haya montado otra aún más potente. En cuanto a los datos que se publican, se usa el Rpeak como medida de potencia. IMHO (y en la de otros muchos) se deberían basar en la relación Rpeak (pico teórico que debería dar la máquina suponiendo que vivimos en un mundo ideal y de color rosa) y Rmax (potencia real de cálculo que tiene en el Mundo en el que vivimos y corriendo Linpack). Es decir, se debería medir la eficiencia de la máquina y no el pico teórico. En cuanto a Linpack ... es útil como benchmark para clusters, pero no para NUMA ni vectoriales y en el Top500 comparan clusters, NUMA y vectoriales usando Linpack ... Eso no es comparar manzanas con manzanas sino manzanas con peras. El Green500 tiene algo similar, comparan consumo de procesadores y no del equipo completo (memorias, discos, comunicaciones, ...). Pero bueno, ya conocéis mi opinión sobre benchmarks y este tipo de competiciones de "a ver quién la tiene más grande" ;) Rafa -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org