Pitch: Mural onde as mensagens são reescritas por LLMs · cabriton

Esse é o fino-chan, um 'imageboard' simples onde cada postagem é completamente reescrita por IA.
Esse projeto é apenas uma brincadeira com LLMs, um meio para testar o conceito da moderação de comunidades virtuais por IA.
Seria um espaço 'seguro' para conversar, onde é impossível ofender alguem ou até mesmo desvirtuar o tópico.

O Projeto

Temos um mural onde usuários anônimos podem escrever mensagens que serão interpretadas e completamente reescritas por uma LLM.
O modelo é instruído a utilizar a linguagem mais culta possível, sempre tentando preservar o sentido original da mensagem.
Durante esse processo, todas as ofensas e os erros de português contidos nas mensagens são eliminados.
Além disso, usamos o Dall-E-3 para criar uma ilustração para cada mensagem.

O projeto está online aqui,
e o código pode ser encontrado no GitHub.

Futuramente, o fino-chan pode chegar a ser um fórum propriamente dito, com diversos tópicos e talvez até mesmo várias boards. Talvez seja possível ainda criar um plugin para sistemas de imageboards já existentes que cumpra a proposta do fino-chan;

PRs e issues descrevendo possíveis novas funcionalidades serão bem vindos. Inclusive ele pode ter falhas de segurança, principalmente no banco de dados.
Acredito que o maior obstáculo para o fino-chan ser implementado de verdade em um imageboard seja
o custo com os modelos. O lado textual tem custo irrisório, mas cada imagem gerada pelo Dall-E-3 custa cerca de R$0,20.

Stack

O site em si é mantido online através de dois componentes:

Frontend estático HTML/CSS/JS hospedado em um bucket S3.
Mensages de usuários, templates de prompts para a LLM e mensagens traduzidas por IA são armazenados na Supabase.

E existe ainda um script ./scripts/process_messages.py que consulta periodicamente o banco de dados por novas mensagens e coordena as chamadas de API envolvidas na reescrita das mensagens e geração das imagens.

Follow-up

O fino-chan está online há quase 1 ano, mas só teve um fluxo significativo de usuários nessa última semana, após ter sido divulgado aqui. Seguem algumas considerações do desenvolvedor.

Mensagens no mural

Enviaram vários tipos de mensagens:

Tentaram fazer o "jailbreak" do prompt, enviando uma mensagem com símbolos de debugging pra tentar quebrar o modelo, tentando fazer ele mostrar algo diferente. Nada disso funcionou com o LLM que usamos para interpretar as mensagens, o 'o3'.
Mensagens curtas e inúteis tipo 'uuu'. Para evitar o desperdício de créditos com essas mensagens, adicionei uma chamada ao 'gpt-4-mini' pra verificar se as mensagens realmente eram úteis antes de enviar ao modelo mais caro e ao gerador de imagens.
Trechos de músicas. Algumas ficam realmente engraçadas depois de ajustadas pelo modelo, principalmente letras de funk carioca.
Mensagens questionando a utilidade do aplicativo.
Perguntando se o aplicativo tem ou não tem proteção contra bots.
Pediram por melhorias como modo dark e melhor navegabilidade em mobile. Vou tentar implementar essas melhorias.

Melhorias no app durante o período

Nesse curto período de utilização intensa o app começou a quebrar, então fiz diversas atualizações no sistema. Segue a lista, em ordem de importância:

Fiz um downscale das imagens mostradas no fórum. A IA gera imagens com tamanho mínimo de 1024x1024 e isso dá pouco mais de 1,5Mb por imagem. A página ficou muito pesada usando no tamanho original, o downscale se torna obrigatório.
Limitei a quantidade de posts mostrados na página, agora mostramos os 40 mais recentes.
Mudei a engine geradora de imagens do dall-e-3 para o gpt-image-1, tentando diminuir os custos por mensagem. Não diminuiu o custo, mas as imagens ficaram mais interessantes.
Mudei a fonte e o tamanho das letras das mensagens. Acho que a antiga estava melhor, ainda preciso melhorar isso.
Diversos problemas na comunicação com o banco de dados, como conexões não fechadas, causavam crashes periódicos. Isso foi consertado.

Considerações

Algumas mensagens bem engraçadas após serem processadas pelo LLM, e o app não consome muitos créditos. Ainda não medi o custo exato, deve algo parecido com R$1,00 por dia, considerando 5 mensagens diárias. Vou manter o projeto online por mais um tempo. O que me surpreendeu foi que os usuários não tentaram abusar das chamadas ao modelo, mesmo na falta de uma proteção anti bot robusta. Usamos um limite variável de queries por hora, mas no fim das contas, a verdadeira proteção contra bot é limitar o orçamento diário para o projeto nas configurações da OpenAI.

Apesar das mensagens interessantes recebidas no mural, seu objetivo principal, que é a interação entre usuários através das mensagens, não aconteceu. Talvez seja necessária a criação de tópicos, como em um fórum, para o debate de assuntos específicos. A 'feature' de citar outras mensagens pode ser o que falta.

No momento o app está estável mas a interface está meio simples. Se alguém quiser contribuir com o projeto através de melhorias no frontend, mesmo que através de vibe coding, seria bem vindo.