Las instancias AWS EC2 Trn3 UltraServers usarán hasta 144 chips Trainium3 con 20,7 TB de HBM3E para IA y la nube

Sabiendo lo importante que es la IA, la mayoría de empresas están dedicándose a este sector. Hay compañías que buscan desarrollar nuevos modelos de IA con entrenamiento e inferencia, otras que se benefician vendiendo el hardware como NVIDIA y otras que lo hacen usando servicios y plataformas para los clientes. Amazon está incluida y como otras Big Tech, se enfoca en IA, solo que en este caso no solo incluye servicios, sino que también hace uso de su propio hardware. Aunque algunos no lo sepan, AMD también tiene chips para IA y en el anuncio en las nuevas instancias AWS EC2 Trn3 UltraServers harán uso de hasta 144 chips Trainium3 con un rendimiento muy superior a la generación pasada.

Amazon puede que sea conocida principalmente por su tienda de comercio online, pero la empresa es mucho más que eso. Ya hemos visto lo mucho que está invirtiendo en modernizarse utilizando incluso robots humanoides capaces de hacer tareas propias de los humanos en almacenes. Además de esto, AWS o Amazon Web Services es, sin lugar a dudas, la plataforma más importante del sector de computación en la nube con alrededor de un 30% de la cuota de mercado superando así a Microsoft Azure con un 20% y a Google Cloud con un 13%.

Amazon revela sus AWS EC2 Trn3 UltraServers con hasta 144 chips Trainium3

AWS ofrece sus servicios en la nube para los clientes y empresas con servidores que se enfocan en ofrecer un gran rendimiento de computación en la nube. Aquí es donde hay que destacar que Amazon usa su propio hardware y a finales de 2023 vimos que lanzaba CPU para IA Graviton4 y chips Trainium2 para entrenar modelos de inteligencia artificial. Ahora han pasado dos años desde entonces y Amazon ha presentado los nuevos AWS EC2 Trn3 UltraServers que hacen uso del nuevo chip Trainium3 de nueva generación. Estos Trainium3 son chips de IA creados con 3 nm y ofrecen un rendimiento hasta 4,4 veces mayor, un ancho de banda de memoria 3,9 veces superior y más de 4 veces mejor rendimiento/W.

Estos UltraServers usarán hasta 144 chips Trainium3 lo que les proporcionará hasta 362 PFLOPS FP8 (cada chip son 2,52 PFLOPS FP8) y estarán disponibles también en los UltraClusters 3.0 que permitirán escalar a miles de estos chips. En cuanto a su compatibilidad, los nuevos chips son compatibles con FP32, BF16, MXFP8 y MXFP4 para IA. Además, esta nueva generación de UltraServers incluye NeuronSwitch-v1 que hará uso de NeuronLink-v4 con 2 TB/s de ancho de banda por chip.

Con UltraCluster 3.0 pueden escalar y usar cientos o incluso miles de chips AWS Trainium3

Estos nuevos chips AWS Trainium3 serán mucho más eficientes y permitirán una producción de tokens por megavatio más de cinco veces superior a la de los Trn2 UltraServer a la vez que mantiene una latencia similar. Continuando con las características de los EC2 Trn3 UltraServer, estos tendrán hasta 20,7 TB de memoria HBM3E con un ancho de banda de 706 TB/s, una auténtica barbaridad.

Con esto podrán hacer uso de modelos de IA multimodales mucho más complejos incluyendo también modelos avanzados de razonamiento o de generación de vídeos. Con 144 chips Trainium3, Amazon ha conseguido duplicar la cantidad de chip por cada UltraServer. Para poder realizar entrenamiento de modelos de IA a gran escala han conseguido acumular cientos de chips Trainium3 usando UltraCluster 3.0.