A PrismML afirma ter conseguido rodar uma versão do Qwen 3.6, com 27 bilhões de parâmetros, em um iPhone 17 Pro, cerca de 800% a mais do que a capacidade típica dos modelos executados em celulares, com 3 bilhões de parâmetros, em média.

eu tava acabando de ver algo parece com isso: https://developers.googleblog.com/litertjs-googles-high-performance-web-ai-inference/

Apple estaria interessada em tecnologia de startup que roda LLMs “gigantes” localmente em smartphones

A PrismML afirma ter conseguido rodar uma versão do Qwen 3.6, com 27 bilhões de parâmetros, em um iPhone 17 Pro, cerca de 800% a mais do que a capacidade típica dos modelos executados em...