1

Como sincronizamos HTML5 Canvas, áudio PCM e interrupção por dano em combate com IA no V.E.T.O.R — A Ruptura

Estamos desenvolvendo o V.E.T.O.R — A Ruptura (PC / Windows, ainda sem demo pública) em um motor próprio baseado em HTML5 Canvas e reprodução sincronizada de vídeo e áudio.

Acabamos de gravar um teste sem corte de 4m44s mostrando o mesmo encontro contra o chefe Voldrak (o troll do bosque) resolvido de duas maneiras — combate direto ou negociação em tempo real com intervenção do companheiro de IA:

Vídeo completo do encontro: https://www.youtube.com/watch?v=HJMoPBQ2Wx4

Principais desafios técnicos resolvidos nessa cena

  1. Buffer completo antes da fala + sincronismo por relógio de áudio
    Em vez de iniciar o vídeo de fala no primeiro chunk de streaming (o que causava dessincronia e travamento no último quadro quando o áudio atrasava ou o clipe terminava antes), hoje aguardamos o buffer PCM completo, removemos silêncio das pontas na janela de animação e acoplamos o vídeo mudo diretamente ao trecho audível.

  2. Interrupção por dano real no meio de uma frase
    Como o jogador pode digitar livremente ou atacar o chefe a qualquer segundo:

    • Quando um golpe conecta durante a fala de Voldrak, o AudioContext da voz é suspenso e o vídeo de fala entra em pausa exatamente no ponto atual, disparando o clipe de reação de dano.
    • Assim que a recuperação termina e não há outro impacto pendente, o mesmo áudio e o mesmo clipe retomam de onde pararam — sem re-sintetizar a fala nem resetar o tempo.
    • Um golpe fatal cancela imediatamente a fila de fala e executa a transição final.
  3. Guardrails contra alucinação de estado pelo LLM
    Mesmo com diálogo aberto em 7 idiomas (inclusive via intervenção do companheiro V.E.T.O.R.), cada requisição envia um snapshot estrito do encontro (HP, postura de guarda, energia, nível de tolerância/fúria e inventário real). Um validador pós-geração bloqueia e força reformulação caso o modelo tente afirmar que recebeu um item antes da entrega confirmada na mesa, ou que liberou a trilha sem troca real.

Projeto e diários de desenvolvimento: https://vetorlogico.com/#conheca-o-jogo

Se alguém já enfrentou problemas parecidos com AudioContext.suspend(), sincronização de <video> em <canvas> ou validação de estado com LLMs em tempo real, comentários e críticas técnicas são muito bem-vindos!

Carregando publicação patrocinada...