Carros e drones autônomos podem obedecer comandos ilegais escritos em placas físicas

Pesquisadores demonstraram que carros e drones autônomos, equipados com modelos de visão e linguagem como GPT-4o e InternVL, podem interpretar comandos ilegais escritos em placas físicas como instruções válidas e executá-los.

O método funciona em vários idiomas, incluindo inglês, espanhol e chinês. O ataque permite, por exemplo, que um carro autônomo avance sobre uma faixa de pedestres ocupada ou que um drone pouse em um local inadequado.

Em ambientes simulados, testes com carros autônomos mostraram que o sistema DriveLM foi enganado em 81,8% dos casos, levando o veículo a tomar decisões perigosas mesmo com pedestres claramente visíveis.

Já em experimentos no mundo real, realizados com carrinhos controlados remotamente e equipados com câmeras que enviavam imagens para modelos de visão e linguagem responsáveis por decidir a ação a ser tomada, o GPT-4o foi enganado em 92,5% das tentativas quando as placas estavam fixas no chão, e em 87,76% quando estavam presas a outros carrinhos em movimento. O modelo InternVL apresentou maior resistência em aproximadamente metade das tentativas.