aparentemente vai ser uma nova tendência os sistemas integrados com ia rodarem pequenos modelos rodando local e na máquina do client, já é possível rodar modelos sem depender de um backend, eu vi no youtube do micael mota a biblioteca transformers.js que utiliza web gpu possibilitando usar o hardware do client para processar dados, claro que depende da máquina do client suportar e o navegador também, mas eu acho que as coisas vão começar a caminhar bastante para esse lado