Executando verificação de segurança...
2

Giga-Token - provedor de LLM ilimitado - dicas para entrar no mercado

A intenção deste texto não é simplesmente propaganda, mas pedir dicas - e também oferecer algo bastante competitivo para devs.

Trabalhando como dev há mais de 20 anos, incluindo 10 anos de hospedagem de sites, tive a seguinte idéia:

  • Provedores grandes como AWS dominaram o mercado em geral, mas provedores de infra de hospedagem de sites ainda sobrevivem.
  • Provedores de LLM iniciaram dominados pelos gigantes, como poderiam entrar provedores pequenos no jogo ?

Estava com tempo livre, e, agora com a maravilha do vibe-coding, resolvi oferecer minha infra como serviço criando o Giga-Token

O provedor oferece uma camada grátis "ilimitada", que tem menor prioridade na fila de execução - o que pode demorar alguns segundos a mais caso todos os consumidores estejam em uso. Em outras palavras o upgrade para planos pagos se torna válido se é necessária resposta sempre rápida - como serviços ao vivo / em produção.

Iniciei oferecendo o GLM-4.5 com 106b parâmetros, qualidade muito boa, velocidade boa. Também deixei rodando LLMs menores em GPUs menores como llama3.1:8b.

Testei bastante, 500 execuções consecutivas com sucesso, tenho amigos que estão se divertindo com seus agentes.

Já está tudo pronto, rodando OK em produção. Agora fica minha questão - estou com uma baixa adesão de cadastros - mesmo no free - e peço sua ajuda - o que poderia ser melhorado / adicionado para ser mais atraente ao público ?

O sistema já conta com afiliados, o que leva a quem indicar ganhar um percentual dos pagamentos.

Muito obrigado pelo seu tempo e sua ajuda!!!

Carregando publicação patrocinada...
1
1

eu diria que teria de ter modelos mais "novos", mesmo se forem pequenos ou médios.
ex: não deve ser difícil encontrar modelos mais novos que o GLM-4.5 e inclusive menores que ele.

1

Meus 2 cents,

Pergunta de boa: Qual o diferencial em usar teu provedor ao inves do openrouter ou huggingface ?

P.ex. O openrouter tem modelos free (com quota razoavel) e bom tempo de resposta.

E nao venha com "ilimitado", que se comecar a queimar tokens nao da para segurar.

Saude e Sucesso !