De bonequinhos a Leon Kennedy? Se as patentes da AMD conseguirem o que querem, isso deverá ser possível. (© Capcom, GS Tech)
Durante anos, o esforço necessário para gráficos de alta resolução em tempo real cresceu mais rapidamente do que o poder de computação disponível.
Quando o portal Cheathappens foi descoberto, a AMD publicou agora uma patente chamada “mecanismo de jogo e renderização baseado em IA” (US20260115594A1), que descreve uma abordagem diferente – ou seja, um mecanismo que delega ou transfere o trabalho de renderização clássico para componentes de IA.
10h56
Atualização do Unreal Engine 5: Gothic 2 agora é verdadeiramente moderno
A IA assume onde o renderizador termina
Uma patente disponível gratuitamente descreve um sistema que consiste em um “gerenciador de estado de jogo” analítico (ou seja, tradicionalmente programado) e integrado a vários modelos de IA.
Em seguida, ele usa um grande modelo de linguagem para cuidar de tudo, desde a interpolação de quadros até ajustes de estilo e descrições de cena.
- Um mecanismo analítico simplificado – que, de acordo com a patente, pode funcionar com “esqueletos” em vez de geometria 3D completa – fornece o estado do jogo.
- O componente de extrapolação neural pega os dados simplificados e os utiliza para gerar imagens individuais detalhadas.
Um pipeline de três estágios: o mecanismo fornece o estado do jogo, a extrapolação neural e, em seguida, o aumento antes que o aumento de escala e o estilo produzam a imagem final.
A patente descreve duas variantes específicas deste processo.
- Primeiro, o Modelo Dinâmico cria quadros adicionais a partir de imagens de baixa resolução; o ajuste de estilo ocorre posteriormente.
- Na segunda variante, a força é aplicada antes da extrapolação do quadro, o que, segundo o texto da patente, deveria levar à consistência temporal. No entanto, isso leva a uma maior complexidade.
Duas variantes arquitetônicas em comparação: Na FIG. 4A, o ajuste da força ocorre após a extrapolação do quadro, na FIG. 4B antes – para maior consistência temporal em detrimento da complexidade.
Difusão, LLM e codificador em interação
A variante mais complexa deste sistema incorpora várias camadas de IA.
- O componente cinemático baseado em difusão lida com a geração de imagens a partir dos estados do jogo. O que se entende é um modelo de difusão que gera posições e estados de movimento a partir dos chamados quadros-chave.
- Existe também um grande modelo de linguagem que avalia eventos de jogo e informações de cena e deriva enriquecimento de conteúdo para a cena – ou seja, aspectos que não são registrados no estado de jogo simplificado, mas serão adequados para uma representação confiável.
- Um codificador de visão transforma a imagem gerada em incorporações latentes; O LLM, por sua vez, usa isso para controlar o gerador de vídeo, que produz a sequência final da imagem.
Finalmente, os componentes de estilo e aumento de escala garantem que a saída corresponda ao estilo visual fornecido e seja ampliada para a resolução desejada.
Um pipeline de seis componentes com mecanismo, difusão, LLM, codificador de visão, gerador de vídeo e estilo e luxo. LLM coordena todos os outros componentes.
Como sempre, uma patente não é um anúncio de produto. No passado, a AMD registrou diversas patentes para arquiteturas de hardware e software que não apareciam em produtos independentes.
Muitas pessoas também estão testando o novo motor de outras maneiras: os pesos pesados da indústria de jogos estão agora criando a resposta europeia ao Unreal Engine 5.
Cheathappens também mostra que o texto da patente não indica que a AMD esteja planejando uma máquina autônoma para desenvolvedores ou que queira colocar a arquitetura de IA descrita como uma camada adicional na estrutura existente – pelo menos isso pode ser imaginado.
