Estudo da Apple propõe navegação urbana para pessoas com deficiência visual

O SceneScout, em parceria com a Universidade Columbia, utiliza as APIs do Apple Maps combinadas ao modelo de linguagem multimodal GPT-4o, da OpenAI, para gerar descrições interativas no estilo Street View. O objetivo é oferecer uma experiência de navegação mais acessível para pessoas cegas ou com baixa visão, permitindo a exploração virtual de rotas e bairros com base em descrições adaptadas às necessidades individuais de cada usuário.

Diferentemente das instruções tradicionais passo a passo, o SceneScout fornece uma visão detalhada do ambiente urbano, incluindo aspectos como a qualidade das calçadas, a presença de cruzamentos e a aparência de pontos de ônibus. A ferramenta simula a perspectiva de um pedestre, interpreta elementos visuais do trajeto e gera descrições estruturadas em diferentes níveis de detalhamento. A interface web foi desenvolvida com foco em acessibilidade, sendo compatível com leitores de tela.

Em um estudo com 10 participantes cegos ou com baixa visão — todos com experiência no uso de tecnologias assistivas — a maioria considerou a ferramenta útil e relatou que ela forneceu informações que normalmente dependeriam de terceiros para obter.

No entanto, embora 72% das descrições tenham sido consideradas corretas, algumas apresentaram alucinações, como a indicação equivocada de sinalização sonora em faixas de pedestres ou a rotulagem incorreta de placas de rua. Também foram identificadas referências a elementos transitórios ou desatualizados, como obras temporárias ou veículos estacionados.

Ainda não há previsão de lançamento de um produto comercial baseado nessa tecnologia.