Pitch: a primeira sugestão da sessão sai com um limiar mais baixo

Estou construindo o LiveSuggest, um assistente que mostra sugestões enquanto a reunião ainda acontece. Sem bot no Zoom ou no Teams. O navegador processa o áudio que a pessoa escolhe compartilhar.

Não gerar em cima do parcial

O STT devolve texto o tempo todo, e boa parte ainda é parcial. Esse trecho vai ser reescrito. Uma sugestão em cima dele responde a uma frase que o reconhecedor não fechou.

Os finais também não resolvem se a regra for "um transcript, uma chamada". A conversa não chega fatiada. "Acho que o problema aqui é..." e o ponto vem na frase seguinte. Chamar cedo responde a um contexto pela metade. Chamar em cada final deixa a tela cheia de sugestão sobre um assunto que ainda nem fechou.

O que ficou no código: só transcrição finalizada entra no contexto. O texto acumula. A geração espera até surgir informação nova o bastante desde a última sugestão.

A primeira é outra conta

Esse limiar fica mais baixo na primeira sugestão da sessão. A tela começa vazia. Enquanto nada aparece, não dá para saber se o áudio chegou ou se o modelo ficou mudo. Mais adiante na reunião a mesma espera incomoda menos, porque já houve uma resposta e a conversa seguiu.

A latência que pesa na abertura é a da primeira sugestão útil.

O LiveSuggest ainda está em construção. O pipeline mais longo, em inglês: Building Real-Time AI Suggestions Without a Meeting Bot.