3

Autoware LatentDrive: Direção autônoma usando apenas câmeras (sem LIDAR)

Meus 2 cents,

Para quem acompanha a evolução de veículos autônomos e robótica open-source, a Autoware Foundation liberou um repositório interessante que foge da arquitetura clássica (percepção →\rightarrow rastreamento →\rightarrow predição →\rightarrow planejamento) e aposta em End-to-End (E2E) baseado em Latent World Models.

O projeto autoware_latent_drive usa um planejador de direção autônoma que utiliza apenas câmeras para gerar a trajetória do veículo.

O que torna essa abordagem diferente?

Nos sistemas tradicionais de direção autônoma, você precisa de dezenas de modelos intermediários: detectar caixas delimitadoras (bounding boxes) de carros e pedestres, rastrear objetos no tempo, prever intenções e só então calcular a rota. Qualquer erro acumulado no meio do caminho compromete a decisão final.

O LatentDrive pula as etapas explícitas de detecção e tracking de objetos:

  1. Em vez de tentar prever o futuro gerando pixels (computacionalmente caro), o modelo usa uma arquitetura V-JEPA pré-treinada com vídeos de direção onde aprendeu como as cenas de trânsito evoluem.

  2. Assim ele lê os dados extraídos das câmeras, junta com os pontos da rota desejada e o estado atual do carro e cospe a trajetória necessária.

Como funciona na prática (Entradas e Saídas)

O modelo roda a 10 Hz e possui duas variantes disponíveis no Hugging Face (uma para 1 câmera frontal e outra para 3 câmeras: frontal, frontal-esquerda e frontal-direita).

O contrato de inferência da rede é super enxuto:

  • Entrada de Vídeo (video): Os últimos 2 segundos de vídeo (4 frames por câmera, espaçados em 0.5s, resolução 256x512).

  • Estado e Rota (status): Um vetor [1, 16] contendo 6 pontos ao longo da rota (5, 10, 15, 20, 30 e 50 metros à frente no referencial do carro) mais velocidade e aceleração atuais (frontal e lateral).

  • Saída (plan): Um tensor [1, 40, 3] que representa a trajetória planejada para os próximos 4 segundos.

Arquitetura do Repositório

Um ponto muito legal de engenharia de software nesse repositório é o desacoplamento:

  • Toda a lógica de inferência com TensorRT e CUDA 13 fica isolada em uma biblioteca C++ limpa (core/). Isso permite rodar inferência offline em clipes extraídos ou integrar o planejador em outros frameworks fora do ecossistema ROS.

Vale o aviso

Como o próprio README destaca, trata-se de um modelo de pesquisa avaliado em open-loop (replay de dados gravados) e não de um sistema certificado de segurança para rodar controlando veículos reais em vias públicas.

Ainda assim, é um excelente material de estudo para quem quer ver como arquiteturas baseadas em World Models estão sendo implementadas em no mundo real.

Saude e Sucesso !

Links úteis:


Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

Carregando publicação patrocinada...