Autoware LatentDrive: Direção autônoma usando apenas câmeras (sem LIDAR)
Meus 2 cents,
Para quem acompanha a evolução de veículos autônomos e robótica open-source, a Autoware Foundation liberou um repositório interessante que foge da arquitetura clássica (percepção rastreamento predição planejamento) e aposta em End-to-End (E2E) baseado em Latent World Models.
O projeto autoware_latent_drive usa um planejador de direção autônoma que utiliza apenas câmeras para gerar a trajetória do veículo.
O que torna essa abordagem diferente?
Nos sistemas tradicionais de direção autônoma, você precisa de dezenas de modelos intermediários: detectar caixas delimitadoras (bounding boxes) de carros e pedestres, rastrear objetos no tempo, prever intenções e só então calcular a rota. Qualquer erro acumulado no meio do caminho compromete a decisão final.
O LatentDrive pula as etapas explícitas de detecção e tracking de objetos:
-
Em vez de tentar prever o futuro gerando pixels (computacionalmente caro), o modelo usa uma arquitetura V-JEPA pré-treinada com vídeos de direção onde aprendeu como as cenas de trânsito evoluem.
-
Assim ele lê os dados extraídos das câmeras, junta com os pontos da rota desejada e o estado atual do carro e cospe a trajetória necessária.
Como funciona na prática (Entradas e Saídas)
O modelo roda a 10 Hz e possui duas variantes disponíveis no Hugging Face (uma para 1 câmera frontal e outra para 3 câmeras: frontal, frontal-esquerda e frontal-direita).
O contrato de inferência da rede é super enxuto:
-
Entrada de Vídeo (
video): Os últimos 2 segundos de vídeo (4 frames por câmera, espaçados em 0.5s, resolução256x512). -
Estado e Rota (
status): Um vetor[1, 16]contendo 6 pontos ao longo da rota (5, 10, 15, 20, 30 e 50 metros à frente no referencial do carro) mais velocidade e aceleração atuais (frontal e lateral). -
Saída (
plan): Um tensor[1, 40, 3]que representa a trajetória planejada para os próximos 4 segundos.
Arquitetura do Repositório
Um ponto muito legal de engenharia de software nesse repositório é o desacoplamento:
- Toda a lógica de inferência com TensorRT e CUDA 13 fica isolada em uma biblioteca C++ limpa (
core/). Isso permite rodar inferência offline em clipes extraídos ou integrar o planejador em outros frameworks fora do ecossistema ROS.
Vale o aviso
Como o próprio README destaca, trata-se de um modelo de pesquisa avaliado em open-loop (replay de dados gravados) e não de um sistema certificado de segurança para rodar controlando veículos reais em vias públicas.
Ainda assim, é um excelente material de estudo para quem quer ver como arquiteturas baseadas em World Models estão sendo implementadas em no mundo real.
Saude e Sucesso !
Links úteis:
-
Repositório no GitHub: https://github.com/autowarefoundation/autoware_latent_drive
-
Modelos e vídeos de demonstração no Hugging Face: https://huggingface.co/AutowareFoundation/latent_drive
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS