Como sincronizamos HTML5 Canvas, áudio PCM e interrupção por dano em combate com IA no V.E.T.O.R — A Ruptura
Estamos desenvolvendo o V.E.T.O.R — A Ruptura (PC / Windows, ainda sem demo pública) em um motor próprio baseado em HTML5 Canvas e reprodução sincronizada de vídeo e áudio.
Acabamos de gravar um teste sem corte de 4m44s mostrando o mesmo encontro contra o chefe Voldrak (o troll do bosque) resolvido de duas maneiras — combate direto ou negociação em tempo real com intervenção do companheiro de IA:
Vídeo completo do encontro: https://www.youtube.com/watch?v=HJMoPBQ2Wx4
Principais desafios técnicos resolvidos nessa cena
-
Buffer completo antes da fala + sincronismo por relógio de áudio
Em vez de iniciar o vídeo de fala no primeiro chunk de streaming (o que causava dessincronia e travamento no último quadro quando o áudio atrasava ou o clipe terminava antes), hoje aguardamos o buffer PCM completo, removemos silêncio das pontas na janela de animação e acoplamos o vídeo mudo diretamente ao trecho audível. -
Interrupção por dano real no meio de uma frase
Como o jogador pode digitar livremente ou atacar o chefe a qualquer segundo:- Quando um golpe conecta durante a fala de Voldrak, o
AudioContextda voz é suspenso e o vídeo de fala entra em pausa exatamente no ponto atual, disparando o clipe de reação de dano. - Assim que a recuperação termina e não há outro impacto pendente, o mesmo áudio e o mesmo clipe retomam de onde pararam — sem re-sintetizar a fala nem resetar o tempo.
- Um golpe fatal cancela imediatamente a fila de fala e executa a transição final.
- Quando um golpe conecta durante a fala de Voldrak, o
-
Guardrails contra alucinação de estado pelo LLM
Mesmo com diálogo aberto em 7 idiomas (inclusive via intervenção do companheiro V.E.T.O.R.), cada requisição envia um snapshot estrito do encontro (HP, postura de guarda, energia, nível de tolerância/fúria e inventário real). Um validador pós-geração bloqueia e força reformulação caso o modelo tente afirmar que recebeu um item antes da entrega confirmada na mesa, ou que liberou a trilha sem troca real.
Projeto e diários de desenvolvimento: https://vetorlogico.com/#conheca-o-jogo
Se alguém já enfrentou problemas parecidos com AudioContext.suspend(), sincronização de <video> em <canvas> ou validação de estado com LLMs em tempo real, comentários e críticas técnicas são muito bem-vindos!