Self-heal de localizadores quebrados com um modelo de 2B na sua própria GPU
Trabalho no Optics Framework, então leve isso em conta. Esta é a versão em português de um post do blog do Optics Framework.
Quando um passo não encontra o elemento, o Optics Framework pode pedir a um modelo de IA que o encontre. Isso é o AI self-heal. O Optics Framework envia o localizador que falhou, as linhas da tela e um screenshot ao modelo, e o modelo escolhe a linha correta. O modelo pode rodar em qualquer servidor compatível com a API da OpenAI, então dá para usar um modelo aberto pequeno na sua própria GPU.
Usei o Qwen3.5-2B, um modelo de 2 bilhões de parâmetros, e testei duas formas de ensinar essa tarefa: uma edição direta dos pesos, sem gradientes, e um LoRA pequeno. Depois conectei o modelo com LoRA ao Optics Framework 1.11.3 e rodei uma suíte num Pixel 4a.

A tarefa do modelo
Este é um trecho de um pedido de self-heal da execução no celular. Quebrei o localizador do botão Start no app Google Clock:
TARGET ELEMENT (not found by normal locators): //*[@resource-id="com.google.android.deskclock:id/primary_action"]
TARGET ELEMENT NAME (from the test suite): start_button
CURRENT SCREEN:
e3 android.widget.TextView "00:00.00" #com.google.android.deskclock:id/stopwatch_time_text
e4 android.widget.Button "Start" [tap] #com.google.android.deskclock:id/start_stop_button
e5 android.widget.FrameLayout "Alarms" [tap] #com.google.android.deskclock:id/tab_menu_alarm
O modelo respondeu:
{"reason": "The target is the 'Start' button. Row e4 matches the target name 'Start' and has the #id 'start_stop_button'.",
"action": "keyword", "keyword": "press_element", "target": "e4", "params": [], "completed": true}
O localizador primary_action não tem nenhuma palavra em comum com "Start". Quem dá a pista é o nome do elemento na suíte, start_button. O Optics Framework envia esse nome em cada pedido de self-heal e também adiciona 3 linhas de dica: as linhas com mais palavras em comum com o localizador.
Medi dois tipos de localizador quebrado. O localizador de texto repete o texto do botão, por exemplo id/see_1_tab para "See 1 tab". O localizador de propósito diz só o propósito do botão, por exemplo id/skip_notification_button para "Not now". O primary_action acima é um localizador de propósito. O modelo erra mais nesse tipo.
Duas formas de ensinar a habilidade
O primeiro método veio do weight-space programming (WSP). Com WSP, um agente escreveu fatos no Qwen 0.8B em forma fechada, mudando 5 de 488 tensores e sem gradientes. Um fato é uma ligação só, como "capital do Japão" para "Tóquio". Eu queria saber se o mesmo método consegue adicionar uma habilidade.
A melhor edição usou a diferença entre duas execuções do modelo, com e sem uma dica. A dica manda o modelo escolher a linha cujo texto bate com o nome do alvo. Somei essa diferença como uma atualização de posto 1 na projeção de saída da atenção em 5 das 24 camadas. Cada matriz mudou de 0,6% a 1,7%.
O segundo método foi um LoRA, que adiciona 0,7% a mais de pesos ao modelo. Treinei por 1 época com 2.628 exemplos.

Todas as notas vêm de telas gravadas de 96 apps Android e iOS, com validação cruzada de 4 partes por app. Em cada parte, o modelo não treinou nos apps avaliados.
| Configuração | Localizadores de texto | Localizadores de propósito |
|---|---|---|
| Qwen3.5-2B com o prompt de self-heal do Optics Framework | 95,5% | 77,9% |
| O mesmo, com o LoRA | 98,6% | 84,9% |
A edição de pesos somou 1,6 ponto em localizadores de texto, de 86,3% para 87,9%, num prompt sem linhas de dica. Num conjunto separado de 377 passos, a edição alcançou 58% do ganho da dica. Uma edição mais forte quebrava respostas certas no mesmo ritmo em que consertava as erradas.
O LoRA somou 3,1 pontos em localizadores de texto e 7,0 em localizadores de propósito, em apps que ele não viu no treino. Usei só um modelo e uma tarefa.
No celular
Servi o modelo com LoRA no vLLM e conectei o Optics Framework 1.11.3. A suíte opera o Google Clock num Pixel 4a, com 2 casos de teste e um assert depois de cada toque. Quebrei os localizadores de 7 formas e rodei cada conjunto 2 vezes. Com strict_element_match: true, o Optics Framework não usa a correspondência aproximada, então cada localizador quebrado vai para o modelo.

Um self-heal do conjunto de propósito. O localizador quebrado é id/primary_action. O modelo escolheu Start, e o assert seguinte passou.
| Conjuntos | Self-heals corretos | Casos de teste aprovados |
|---|---|---|
| ID errado (4: ID antigo, camelCase, pacote, classe) | 64 de 64 | 16 de 16 |
| Palavras erradas (3: rótulo novo, propósito, propósito com abas corretas) | 49 de 50 | 11 de 12 |
O modelo corrigiu 109 dos 114 localizadores em 1 passo e 5 em 2 passos. Um dos de 2 passos ficou errado. O log do conjunto de propósito mostra cada self-heal e o motivo do modelo:
AI self-heal: attempting recovery for 'press_element' on '//*[@content-desc="Chronometer"]'
AI self-heal step 1/5 for 'press_element': ... reason=The target is 'stopwatch_tab'. Row e13 "Stopwatch" matches the target name exactly.
AI self-heal: attempting recovery for 'press_element' on '//*[@resource-id="com.google.android.deskclock:id/halt"]'
AI self-heal step 1/5 for 'press_element': ... reason=The target is 'stop_button'. Row e10 "Stop" matches the target name exactly.
Como usar com o Optics Framework
O adapter (60 MB) e os scripts estão no repositório qwen-self-heal. O servidor precisa de uma GPU com 16 GB de memória ou mais.
- Baixe
Qwen/Qwen3.5-2Bdo Hugging Face. - Baixe o adapter na release do repositório.
- Faça o merge do adapter no modelo base com
scripts/merge_adapter.py. - Suba o servidor com
vllm serve, usando as flags do README do repositório. - Adicione o servidor ao
config.yaml:
ai_self_heal: true
llm_models:
- openai:
enabled: true
url: http://<gpu-host>:8000/v1
capabilities:
model: qwen-heal
response_format: json_object
temperature: 0.0
max_tokens: 400
- Rode a suíte com
optics execute.
O valor de model precisa ser igual ao --served-model-name do servidor. O vLLM só pede chave quando você o inicia com --api-key. Nesse caso, adicione api_key: ${QWEN_API_KEY} em capabilities. O Optics Framework lê a variável ao carregar o arquivo e mostra **** no log.
Dicas
- Use as configurações das medições: screenshot de até 1 megapixel,
enable_thinking: false, temperature 0 ejson_object. As flags do vLLM no README cuidam das duas primeiras. - Dê nomes descritivos aos elementos da suíte. O modelo usa o nome quando o localizador não tem palavras em comum com a tela.
- Mantenha um assert depois de cada toque. Ele confirma cada self-heal na tela seguinte.
- Depois de rodar, leia as linhas de self-heal no log e atualize os localizadores corrigidos.
Resultados completos, os métodos de edição que não funcionaram e o relatório do celular estão na página de resultados. Configurações de self-heal: documentação.
- Post original: https://optics-framework.org/blog/small-model-self-heal
- Código: https://github.com/mozarkai/optics-framework
Dúvidas e bugs: issues no GitHub ou aqui nos comentários.