Cara, o que eu mais quero é ter algum modelo de IA leve que não precisa de rodar em GPU, mas sim uma CPU leve, seria ótimo.
Creio que não deve demorar muito para isto acontecer, espero eu.
Em resposta a BitNet: A Revolução Silenciosa na Inferência de LLMs
2
1
Pelo que vi, o BitNet é metade em C++ e outra metade em Python. Uma solução 100% em C seria razoável para isso que tu menciona, mas acho que leva tempo até alguém encarar essa empreitada...