O Google Cloud está expandindo seu portfólio FinOps com novos recursos para cargas de trabalho de IA. Concentre-se em limites de gastos automatizados que impõem ativamente limites orçamentários, bem como no novo FinOps Clarification Agent que analisa de forma independente os direcionadores de custos. Com isso, o Google quer aumentar o controle sobre os custos de IA difíceis de calcular e reduzir o esforço necessário para analisá-los.
Leia mais depois do anúncio
O pano de fundo é que as cargas de trabalho de IA estão mudando a estrutura de custos da nuvem. Em vez de um perfil de carga relativamente estável, existem custos altamente flutuantes – por exemplo, através da utilização de tokens variáveis, preços de modelos diferentes ou da utilização de hardware especializado, como GPUs e TPUs. As ferramentas clássicas de FinOps fornecem relatórios e alertas, mas não intervêm diretamente nas operações em andamento.
Usar um limite interrompe automaticamente o tráfego da API
O novo limite de gastos, oferecido pela primeira vez pelo Google em uma prévia privada, visa preencher essa lacuna. Isso permite que os administradores definam orçamentos em nível de projeto que o sistema implementa automaticamente. Se o projeto atingir o limite, o Google Cloud primeiro avisa e depois pausa o tráfego da API. Os recursos básicos são conservados. Caso queira continuar a operação, você pode definir o limite de gastos ou cancelá-lo. Originalmente desenvolvida pelo Google AI Studio, a Gemini Enterprise Agent Platform é um desenvolvimento adicional da Vertex AI, Cloud Run, Cloud Run Functions e API do Maps.
Esses benefícios são particularmente evidentes em cargas de trabalho experimentais de IA. Um loop rápido defeituoso ou um pipeline de inferência não otimizado pode levar a milhões de chamadas de API e a altos custos em um curto período de tempo. Nesses casos, o descarte da cobertura mista é automático, sem a necessidade de reação humana.
Agente de explicabilidade analisa direcionadores de custos
Além disso, o Google introduziu o Agente de Explicabilidade FinOps, que é integrado diretamente ao sistema de faturamento. O agente analisa de forma independente quais fatores impulsionam o custo das cargas de trabalho de IA e fornece uma avaliação, se desejado. Por exemplo, os usuários podem perguntar como o custo é distribuído entre o Gemini 1.5 Pro e o Gemini 1.5 Flash, quais chaves de API são particularmente caras ou quão alta é a proporção do custo total dos tokens de entrada e saída.
Tal avaliação é necessária porque o custo da IA pode ser formalmente descrito como o produto da quantidade e do preço, mas os factores que influenciam são muito fragmentados. Além do volume de solicitações, o número de tokens, a taxa de erros, o acesso à memória e as alterações de modelo desempenham um papel. O Explanation Agent conecta automaticamente esses fatores e tem como objetivo acelerar a análise da causa raiz – por exemplo, no caso de aumentos inesperados de custos ou para avaliar o retorno do investimento de projetos individuais de IA.
Leia mais depois do anúncio
Mais transparência no faturamento e nos contratos
Além disso, o Google anunciou uma hierarquia de faturamento ampliada e relatou compromissos contratuais. A nova hierarquia pretende unificar custos em diversas contas de faturamento, incluindo os chamados Outros Serviços Elegíveis – uma família de produtos adicionais que o Google considera nos contratos da empresa além dos serviços reais em nuvem, como Apigee, AppSheet, Looker, produtos Workspace, Mandiant ou VirusTotal. O relatório de compromissos, que inicialmente também foi anunciado como uma prévia privada, tem como objetivo esclarecer a rapidez com que os clientes estão usando os compromissos nos acordos da empresa.
De acordo com o anúncio do Google, o FinOps Explanation Agent já está disponível no Cloud Console. Os limites de gastos e a funcionalidade expandida de faturamento e relatórios estão disponíveis apenas em visualizações privadas, nas quais os clientes podem se inscrever.
Leia também
(foo)
