2

Fiz um "OBS Mobile" para Android: cenas, avatar PNGtuber e live deitada + em pé ao mesmo tempo e muito mais, tudo no celular...

Faço lives de jogo pelo celular e sempre esbarrei no mesmo problema: os apps de live para Android ou só espelham a tela, ou te prendem a uma plataforma. Eu queria o que o OBS faz no PC (cenas, fontes, mixer, filtros) rodando no próprio celular. Como não achei, fiz o IVO LIVE.

IVO LIVE

O que ele faz hoje

  • Cenas com fontes (jogo, câmera, imagem, texto, vídeo/GIF, navegador, chat da live, cronômetro de speedrun, outro celular, avatar), mixer de áudio por canal e transições.
  • Live no YouTube, Twitch e Kick (RTMP/SRT) e gravação, juntos ou separados.
  • Avatar PNGtuber que fala junto com a sua voz. A IA (ChatGPT) desenha uma folha com 6 expressões e o app recorta e alinha tudo sozinho.
  • Na versão nova: gravar e fazer live deitado (16:9) e em pé (9:16) ao mesmo tempo, cada fonte com um lugar, uma perspectiva e filtros próprios em cada vídeo.

As partes que deram trabalho (e onde eu queria opinião)

  1. Uma passada só na GPU. No começo, cada fonte era um filtro que redesenhava a tela inteira, e com 6 fontes o celular fazia 6 cópias por quadro. Hoje um único passo de OpenGL desenha o fundo uma vez e cada fonte como um quadrado só na área dela.

  2. Vídeo em pé sem dobrar o custo. O vídeo vertical não copia a tela de novo: ele reaproveita as mesmas texturas (jogo, câmera, imagens) e desenha uma segunda vez, num FBO de 720×1280, só quando é a vez do quadro dele (30 ou 60 por segundo). Para mandar essa imagem a um segundo codificador, precisei de um contexto EGL meu, compartilhado com o da biblioteca de streaming, porque o contexto dela é offscreen e não aceita janela. No Galaxy S23, a live dupla (1080p60 + 720p30) ficou em uns 13% de CPU.

  3. Som e imagem no mesmo relógio. O segundo vídeo tem codificadores e MP4 próprios, então os carimbos de tempo precisavam bater com os do principal. A imagem usa o carimbo do quadro (o mesmo relógio da tela) e o som conta as amostras a partir do primeiro bloco do mixer. No teste, ficou a 0,14 s de diferença no começo e sem desvio depois.

  4. Recorte do PNGtuber sem IA. A IA desenha 6 caras numa folha com fundo magenta. O app acha o fundo pelos cantos, limpa a borda colorida, separa os quadros, alinha cada um pelo topo da cabeça e cola só o que mudou (boca e olhos) sobre a cara neutra. Se uma expressão vem com a cabeça virada, ele deixa ela de fora em vez de "pular" na animação.

  5. Pacing. O relógio dos quadros é uma thread própria com o tempo exato de 1/fps, porque o temporizador da biblioteca dormia milissegundos inteiros e entregava 57 quadros em vez de 60.

É Kotlin puro, com a UI feita em código (sem XML de layout), RootEncoder para codificar e enviar, e ONNX Runtime para a redução de ruído do microfone e a detecção de rosto do avatar.

O app é gratuito e está aqui (APK e o que mudou em cada versão): https://github.com/evilgreenIvo/ivo-live

Queria ouvir de quem já mexeu com MediaCodec/EGL no Android: vocês fariam o segundo vídeo de outro jeito? E para quem faz live pelo celular, o que falta num app assim? (se ser sobre personalizaçao de fontes)

Carregando publicação patrocinada...
1
1