Pelo que vi, o BitNet é metade em C++ e outra metade em Python. Uma solução 100% em C seria razoável para isso que tu menciona, mas acho que leva tempo até alguém encarar essa empreitada...
Respondendo a "Cara, o que eu mais quero é ter algum modelo de..." dentro da publicação BitNet: A Revolução Silenciosa na Inferência de LLMs
1