AMD Instinct MI350P: um acelerador de IA ultrarrápido como placa PCI Express

Diz-se que o Instinct MI350P da AMD para soquetes PCIe 5.0 regulares é particularmente adequado para Agentic AI, que é um agente de IA que pode ajudar automaticamente os usuários e assumir tarefas. Com a GPU, a placa conta com diversas outras funções além de altíssimo poder computacional de IA e muita memória. Também inclui aceleração dos codecs de vídeo atuais até AV1 e divisão em até quatro GPUs virtuais.

E embora também possa ser executado em computadores normais, a AMD tem como alvo sistemas de servidores onde o MI350P deve ajudar a torná-lo pronto para IA. O resfriamento passivo da placa de slot duplo com aproximadamente 26,7 cm de comprimento foi projetado para um forte fluxo de ar do rack do servidor. Segundo a AMD, com 144 GB de memória heap do tipo HBM3e, deve ser adequado para modelos de IA com cerca de 200 a 250 bilhões de parâmetros. Placas de estação de trabalho como a Radeon AI Pro 9700 com apenas 32 GB falham precocemente, em torno de 40 a 50 bilhões de parâmetros.

Meia irmã

O MI350P compartilha uma GPU com um acelerador no Open Accelerator Module (OAM) do tipo Instinct MI350X/355X, mas apenas 128 unidades de computação estão ativas no MI350P, enquanto 256 CUs contam no modelo OAM. A AMD também reduziu pela metade a rápida pilha de memória HBM3e, de 288 para 144 GB. A AMD não declarou isso por escrito, mas a imagem da placa mostra o que é óbvio: o MI350P usa apenas um die de E/S (IOD) com quatro dies de computação (XCDs), de modo que o pacote GPU é metade em comparação com seu irmão maior.

O consumo de energia também é significativamente reduzido e, com um TDP nominal de 600 watts, é igual ao Nvidia RTX Pro 6000 Blackwell ou ao H200 NVL, que é claramente destinado à competição. Para fornecer energia, a AMD utiliza o polêmico conector 12V-2×6 ATX. Alternativamente, a placa pode ser configurada para o modo de 450 watts.

Para atender múltiplos usuários simultaneamente, existem três opções de partição: SPX, DPX e CPX. O primeiro é adequado para operação total, com DPX dois usuários compartilham recursos (CUs, RAM, mecanismo de vídeo e JPEG, cache L2 e mecanismo DMA) igualmente e com CPX há quatro usuários. No modo CPX, duas partições competem por um vídeo e um bloco de dez mecanismos JPEG cada. Mas ainda deve ter reservas suficientes, porque todo o chip pode gerenciar 99 fluxos AV1 (1080p30, 4:2:0) e 4.425 imagens JPEG por segundo em 1080p.

Alto poder de computação

A AMD não mostrou estimativas de desempenho específicas antes, mas o poder de computação teórico – multiplicado pelo número de unidades de execução e frequência de clock – é de 2.300 teraflops com precisão FP8 (uma matriz densamente povoada, com a dispersão de cada valor aproximadamente duplicada). MXFP4 dobra esse nível para 4600 Tflops, MXFP6, ao contrário da Nvidia, faz o mesmo. Isso significa que o poder de computação teórico é menos da metade do MI355X. No papel, o H200 NVL da Nvidia gerencia cerca de 1.670 Tflops com uma matriz preenchida (com dispersão, então 3.340 Tflops).

A AMD também fornece uma estimativa do rendimento real alcançado, que também leva em consideração as transferências de memória e as limitações devido ao consumo de energia. Portanto, o Instinct MI350P está entre 60 e 70 por cento de sua taxa de transferência máxima. O valor discrepante é MXFP6 com 40% do rendimento teórico, portanto o valor apenas triplica em vez de dobrar em comparação com (MX)FP8.

(sp)