AIVAX - Criei um serviço de gateway de IA · cyp

Montei meu primeiro serviço e segui a onda de todo mundo em fazer algo focado pra IA. No entanto, meu serviço não vai te vender um produto ou exigir uma assinatura. Na verdade, você pode até usar ele pra sempre sem pagar 1 real pra mim.

O objetivo dele é servir como um gateway de IA, ou seja, uma ponte de inferência para inferência. Basicamente, você traz seu próprio modelo com sua API key e endpoint (ou usa um dos provedores que já temos lá como OpenAI e Google) e você ganha um gateway que adiciona pipelines de geração e te dá um endpoint chat/completions pra plugar no seu aplicativo já existente.

O pipeline de inferência do gateway dá para seu modelo:

RAG: indexe milhares de documentos e conhecimento em sua assistente, sem exigir treinamento pra isso.
Ferramentas server-side: sua modelo irá chamar ferramentas para se comunicar com seu sistema ou API já existente, algo similar ao MCP.
Ferramentas prontas: ferramentas legais pra você por na sua assistente, como:
- Pesquisa na internet
- Pesquisa de posts no X
- Execução de código
- Acessar links e urls externas
- Memória de longo prazo
- Geração de imagens
Customização avançada: pré-configure instruções de sistema, prefilling, parâmetro de stop, inicialização de mensagens e hiper-parâmetros (temperatura, top_p).
Reduzir custos: ajuste o tamanho do contexto da inferência, compacte o contexto removendo respostas de ferramentas antigas e máximo de tokens de saída.
Interpretação multi-modal: esse é legal: adicione interpretação de áudios, documentos e imagens para modelos que não suportam isso usando um modelo secundário para processar esse conteúdo.
Roteamento de complexidade: redirecione mensagens bobas para modelos mais baratinhos e mensagens complicadas para os mais avançados, reduzindo custos e mantendo a qualidade da conversa.
Observabilidade: logs super detalhados de toda conversa transacionada pela plataforma, que expiram depois de um tempo, para você monitorar o que está acontecendo no seu modelo.

E o mais legal: tudo é super personalizável. Você ajusta sua assistente do jeitinho que você quer.

Ah, e se quiser, você pode vincular de graça sua assistente em um cliente de chat web pronto, que funciona com Telegram e WhatsApp.

Quanto custa?

Preços? Cobro somente o que você usar. Por exemplo, geração de imagens e pesquisa na internet tem um custo. Não cobro nenhuma margem em cima disso, só repasso o valor pra você.

Se você usar seu próprio modelo (BYOK) não vou cobrar nada pela inferência, somente os outros serviços que você plugar na sua assistente. Todos os preços são bem documentados.

Não tem chave de API? Sem problemas. Fornecemos os principais modelos da Google, OpenAI, Llama, etc. E quanto ao preço? O mesmo preço que eles cobrariam para você - a gente só repassa.

Ok, como entro?

O link está ali em baixo.

Atualmente está em beta, estou liberando convites conforme posso observar o que vocês estão fazendo para ter certeza que não vou acordar no outro dia devendo $ 5.000 pra Google.

tl;dr

Sim, é um gateway de IA proprietário, grátis, e você não precisa se preocupar com nada além plugar tua IA lá e usar. Nem precisa vincular cartão pra isso.

AIVAX não é um estúdio de criação de apps como o bolt.new e não possui mensalidades. O plano grátis do bolt.new possui vários limites, como 150K tokens diários, 333 mil requests por mês, etc. AIVAX não tem nada disso.

O AIVAX é um pouco parecido com o Envoy AI Gateway. Tem recursos similares, mas não dá suporte para routing, context truncating, RAG, funções built-in, etc.

Eu acho que seria uma versão proprietária, já hospedada do Envoy, com alguns recursos legais. A gente cuida de toda a parte chata, como infraestrutura, hospedagem, uptime, etc...

E o AIVAX também é gratuíto. Se você trazer sua própria API-Key, não paga 1 real sequer. Se quiser, pode usar a nossa inferência com Gemini, OpenAI, etc, e os preços são os mesmos valores que eles cobrariam de vocês. E você não precisa criar uma conta em cada um pra usar.