Pitch: Como fiz um classificador de roupas que roda no celular (e por que ele achava que calça pantalona era saia)
Estou construindo o Clomuse, um app de guarda-roupa que monta looks só com as roupas que a pessoa já tem. Quero compartilhar uma parte técnica que me deu mais trabalho do que eu esperava: reconhecer a categoria de uma peça a partir de uma foto tirada em casa, direto no aparelho, sem chamar nenhuma API paga.
Stack
- App em Flutter, backend em Laravel.
- A análise completa (cor, padrão, tecido) usa um modelo de visão no servidor, mas só quando o usuário pede. Para a primeira sugestão de categoria eu queria algo instantâneo, offline e de custo zero.
Pipeline no aparelho
- Recorte do fundo: no iOS uso o Vision (
VNGenerateForegroundInstanceMaskRequest, iOS 17+); no Android, o ML Kit Subject Segmentation. A peça vai para um fundo branco. Se a máscara cobre menos de 3% ou mais de 95% da imagem, uso a foto original. - Classificação: EfficientNet-Lite0 com 32 classes (as mesmas IDs do catálogo do app + uma classe
not_clothing). Exportado para Core ML no iOS e TFLite (LiteRT) no Android, chamado por platform channel. - Regras em cima do score: só seleciono a categoria quando o modelo está bem confiante; abaixo disso ela vira um "chip" de sugestão que a pessoa confirma com um toque.
O que deu errado
- Treinei primeiro com fotos de produto e do Open Images. No mundo real as pessoas fotografam roupa dobrada em cima da cama. Camisa dobrada virava "saia", com baixa confiança.
- Fiz um ajuste fino com um dataset CC0 de ~5 mil fotos caseiras e aumentei os dados com recortes simulando peça dobrada. No conjunto de fotos caseiras separado para teste, o top-1 subiu de 72% para 83%.
- Calça pantalona continuou sendo "saia" com score alto. Em vez de insistir no modelo, mudei a regra: "saia" nunca é selecionada automaticamente, só aparece como sugestão.
- Usar a média da imagem normal e espelhada (flip horizontal) ajudou sem piorar nenhuma classe.
- Um bug sutil: quando a foto recortada não dava resultado, eu caía para a foto original, e o fundo (cama, cabide) gerava sugestões absurdas, tipo camisa como "bolsa" ou "luvas". Agora a foto original só pode confirmar uma categoria que já estava entre as 3 primeiras da imagem recortada.
Lição
Modelo pequeno no aparelho é ótimo para custo e privacidade, mas as regras em volta do score importam tanto quanto a acurácia. Melhor sugerir do que errar com confiança.
Pergunta para quem já fez algo parecido: como vocês escolheram o limite entre "selecionar automaticamente" e "só sugerir"?
O app funciona sem cadastro (modo convidado) no iOS e no Android. Se alguém testar, o feedback que mais me ajuda é: a sugestão de categoria acertou nas suas fotos?
iOS: https://apps.apple.com/app/id6829321345
Android: https://play.google.com/store/apps/details?id=com.muuf.clomuse