Lançamento expande as capacidades do Envoy; Bloomberg usa o projeto para acelerar o desenvolvimento de aplicações de IA generativa.
A Bloomberg e a Tetrate cumpriram suas intenções, anunciadas pela primeira vez em outubro de 2024, de desenvolver um conjunto inovador e comunitário de funcionalidades principais de gateway de IA para integração empresarial. Hoje, os parceiros da comunidade anunciaram que a primeira versão estável (v0.1) do projeto open source Envoy AI Gateway já está disponível para download no GitHub, para que os desenvolvedores possam usá-lo como parte da infraestrutura de aplicações empresariais de IA.
O primeiro projeto de gateway de IA open source apoiado pela Cloud Native Computing Foundation (CNCF), o Envoy AI Gateway democratiza a infraestrutura de IA para organizações de todos os tamanhos e fornece uma interface de API para desenvolvedores que integram aplicações com serviços de IA generativa. O Envoy AI Gateway atende às necessidades das empresas em termos de robustez, escalabilidade e adaptabilidade em um cenário de IA generativa (GenAI) em constante mudança.
Essa iniciativa open source é uma resposta aos desafios que as empresas enfrentam ao adotar e integrar a IA em suas aplicações em grande escala. Ao estabelecer as bases para plataformas de IA escaláveis, os engenheiros da Tetrate e da Bloomberg estão atendendo às necessidades imediatas das empresas de hoje e preparando o caminho para o futuro das aplicações de IA em ambientes cloud-native.
***Comece agora com o Guia de Instalação do Envoy AI Gateway***
O Envoy AI Gateway aproveita as capacidades do projeto Envoy Gateway da CNCF, uma das implementações da Kubernetes Gateway API. Ele utiliza a base robusta e escalável do Envoy e permite que as organizações integrem funcionalidades modernas de GenAI em seus fluxos de trabalho e aplicações. O Envoy AI Gateway direciona solicitações para vários provedores e modelos de serviços de IA por meio de uma única camada de proxy reverso e oferece uma camada de API unificada com a qual os desenvolvedores interagem.
A versão inicial do Envoy AI Gateway oferece as seguintes funcionalidades:
- API unificada: simplifica a integração do cliente com múltiplos provedores de LLM, oferecendo uma interface contínua. A versão 0.1 inclui integrações com AWS Bedrock e OpenAI.
- Autorização Upstream: facilita o login com múltiplos provedores de serviços LLM por meio de credenciais fáceis de configurar e gerenciar.
- Limitação de Taxa de Uso: baseada em tokens de palavras, garantindo controle de custos e operacional. As taxas de tokens podem ser limitadas por provedor de LLM, personalizadas por modelo ou ajustadas para cada cliente em um período definido.
De acordo com Varun Talwar, fundador da Tetrate: “O Envoy está se tornando rapidamente a comunidade de escolha para inovação em IA”. Talwar completa: “A Tetrate está trabalhando ativamente não apenas para contribuir com o Envoy, mas também para construir em cima do projeto e ajudar as organizações a entregar projetos de GenAI mais rapidamente e com mais confiabilidade, maximizando o retorno sobre o investimento no processo. A disponibilidade do Envoy AI Gateway como uma alternativa aos gateways Python é um grande avanço para o setor.”
Envoy AI Gateway ajudará a Bloomberg a escalar o desenvolvimento de aplicações GenAI
A Bloomberg está usando o Envoy AI Gateway para construir aplicações de IA generativa que interagem com serviços de GenAI – tanto on-premises quanto na nuvem – em grande escala. O Gateway oferece à Bloomberg um ponto central para gerenciar o uso de serviços GenAI por meio de uma API consistente e unificada – independentemente do provedor – estabelecendo limites e cotas e aplicando de forma consistente o controle de acesso aos serviços GenAI em toda a infraestrutura de IA da empresa. Essa abordagem simplifica o desenvolvimento de aplicações de IA generativa e ajudará os engenheiros da empresa a criar serviços inovadores de IA mais rapidamente para os usuários da Bloomberg.
Segundo Steven Bower, gerente do grupo de engenharia de serviços de computação cloud-native da Bloomberg: “Contribuir e construir com soluções open source e de padrões abertos é algo que valorizamos e no qual investimos na Bloomberg. O Envoy AI Gateway permitirá que a Bloomberg equipe seus engenheiros com a infraestrutura necessária para entregar aplicações de IA generativa rapidamente e em escala. Colaboramos com a Tetrate para levar esse projeto à sua primeira versão estável, e estamos animados para compartilhar essa inovadora solução empresarial de IA com a comunidade CNCF.”
Próximos passos para o projeto Envoy AI Gateway
Os organizadores da comunidade já identificaram vários novos recursos que agora estão no roadmap do projeto, incluindo:
- Integração com Google Gemini 2.0: pronta para uso.
- Lógica de Fallback de Provedor e Modelo: para garantir a continuidade dos serviços caso um serviço de IA se torne temporariamente indisponível.
- Modelagem de Prompt: para fornecer contexto consistente ao serviço LLM em diferentes solicitações.
- Cache Semântico: para reduzir os custos de uso do LLM reutilizando respostas de solicitações semanticamente similares, minimizando interações caras com o LLM.
Origens do Projeto
A ideia inicial para o projeto Envoy AI Gateway surgiu quando Dan Sun, líder da equipe de engenharia do time de IA Inference dos Serviços de Computação Nativa na Nuvem da Bloomberg e cofundador/maintainer do projeto KServe, descreveu para a comunidade Envoy a necessidade empresarial de uma plataforma interna de IA baseada em tecnologias open source, principalmente Envoy e Kubernetes. A Tetrate, uma importante colaboradora upstream do projeto Envoy, se prontificou a ajudar a transformar a visão da API do Envoy AI Gateway em realidade. Se você gostou desse post, não esqueça de compartilhar sobre o projeto aqui.
Saiba mais, comece e participe
Sobre a Tetrate
Com raízes no open source, a Tetrate foi fundada para resolver os desafios de rede e segurança de aplicações criados pela computação moderna, permitindo que empresas inovem com rapidez e segurança em ambientes híbridos e multi-nuvem. À medida que as aplicações evoluem para coleções de microsserviços descentralizados, monitorar e gerenciar as comunicações de rede e a segurança entre esses inúmeros serviços se torna um desafio. Por isso, algumas das maiores instituições financeiras, governos e outras empresas confiam na Tetrate para oferecer redes modernas de aplicações e segurança. Saiba mais em tetrate.io.
###
