Follow-up

O fino-chan está online há quase 1 ano, mas só teve um fluxo significativo de usuários nessa última semana, após ter sido divulgado aqui. Seguem algumas considerações do desenvolvedor.

Mensagens no mural

Enviaram vários tipos de mensagens:

• Tentaram fazer o "jailbreak" do prompt, enviando uma mensagem com símbolos de debugging pra tentar quebrar o modelo, tentando fazer ele mostrar algo diferente. Nada disso funcionou com o LLM que usamos para interpretar as mensagens, o 'o3'.
• Mensagens curtas e inúteis tipo 'uuu'. Para evitar o desperdício de créditos com essas mensagens, adicionei uma chamada ao 'gpt-4-mini' pra verificar se as mensagens realmente eram úteis antes de enviar ao modelo mais caro e ao gerador de imagens.
• Trechos de músicas. Algumas ficam realmente engraçadas depois de ajustadas pelo modelo, principalmente letras de funk carioca.
• Mensagens questionando a utilidade do aplicativo.
• Perguntando se o aplicativo tem ou não tem proteção contra bots.
• Pediram por melhorias como modo dark e melhor navegabilidade em mobile. Vou tentar implementar essas melhorias.

Melhorias no app durante o período

Nesse curto período de utilização intensa o app começou a quebrar, então fiz diversas atualizações no sistema. Segue a lista, em ordem de importância:

• Fiz um downscale das imagens mostradas no fórum. A IA gera imagens com tamanho mínimo de 1024x1024 e isso dá pouco mais de 1,5Mb por imagem. A página ficou muito pesada usando no tamanho original, o downscale se torna obrigatório.
• Limitei a quantidade de posts mostrados na página, agora mostramos os 40 mais recentes.
• Mudei a engine geradora de imagens do dall-e-3 para o gpt-image-1, tentando diminuir os custos por mensagem. Não diminuiu o custo, mas as imagens ficaram mais interessantes.
• Mudei a fonte e o tamanho das letras das mensagens. Acho que a antiga estava melhor, ainda preciso melhorar isso.
• Diversos problemas na comunicação com o banco de dados, como conexões não fechadas, causavam crashes periódicos. Isso foi consertado.

Considerações

Algumas mensagens bem engraçadas após serem processadas pelo LLM, e o app não consome muitos créditos. Ainda não medi o custo exato, deve algo parecido com R$1,00 por dia, considerando 5 mensagens diárias. Vou manter o projeto online por mais um tempo. O que me surpreendeu foi que os usuários não tentaram abusar das chamadas ao modelo, mesmo na falta de uma proteção anti bot robusta. Usamos um limite variável de queries por hora, mas no fim das contas, a verdadeira proteção contra bot é limitar o orçamento diário para o projeto nas configurações da OpenAI.

Apesar das mensagens interessantes recebidas no mural, seu objetivo principal, que é a interação entre usuários através das mensagens, não aconteceu. Talvez seja necessária a criação de tópicos, como em um fórum, para o debate de assuntos específicos. A 'feature' de citar outras mensagens pode ser o que falta.

No momento o app está estável mas a interface está meio simples. Se alguém quiser contribuir com o projeto através de melhorias no frontend, mesmo que através de vibe coding, seria bem vindo.