Executando verificação de segurança...
9
rafinhahdc19
1 min de leitura ·

Rode modelos de AI 100% offline no celular

Descobri um app bem legal chamado PocketPal, que permite rodar modelos de IA direto no celular, offline mesmo. Achei bem prático pra quem quer usar IA sem depender de internet ou servidores.
Recomendo usar os modelos Phi-4 Mini, que funcionam muito bem e são leves. Dependendo do seu celular, dá pra escolher a versão certa:
Q2: se o celular for mais fraco (mas ainda razoável)
Q4: pra celular intermediário
Q8: se o seu aparelho for mais potente
Achei a ideia massa e tô curtindo usar no dia a dia. Fica a dica pra quem curte brincar com IA ou quer algo mais privado e sem conexão.

Carregando publicação patrocinada...
3
teknolista

Cara, isso me chamou muito a atenção, porque o futuro é bem por ai...

Parece que esses "small language models (SLMs)" são implementados com frameworks mais brandos como o TensorFlow Lite, programado majoritariamente com C++. Isso permite a execução nos smartphones, e até conseguem fazer uso de qualquer GPU que o smartphone tenha.

Acho que o repo do app é esse aqui:
https://github.com/a-ghorbani/pocketpal-ai

Muito fascinante! Valeu pela dica.

1
hagaka

Cara, muito legal esse app!!! Já tô com uns 4 modelos aqui no meu celular kkkkkk. Muito legal ver como um modelo de 1B mesmo já dá resultados. No meu celular eu acho que conseguiria ir até uns 3B, mas eu não sei se quero tanta assertividade e tanto peso assim, prefiro só a brincadeira mesmo. Valeu por compartilhar!!

1
1
rafinhahdc19
  • Autor
    Autor

Dá sim, usando o ollama, consegue rodar varios modelos do hugging face e muito bem, recomendo modelos como o gemma do google ou o Llama da meta. Apenas temque ter uma noção sobre a quantidade de paramentros a a quantizaçâo do modelo para não baixar um modelo que não

1
1
Alekis

Rapaz, a quinta série abaixou aqui, um brasileiro nunca iria escolher esse nome como app. Mas a ideia é top, eu sou apaixonado por qualquer coisa sobre I.A