A ferramenta de código aberto OpenGraviton permite executar modelos de linguagem com mais de 500 bilhões de parâmetros diretamente em um Mac Mini de consumo.

A mágica está em técnicas como quantização ternary (1.58-bit), sparsidade dinâmica e streaming de camadas via mmap, que contornam limitações de RAM. Isso reduz drasticamente a dependência de infraestrutura de nuvem cara para inferência. 

A iniciativa tem potencial para acelerar a pesquisa e o desenvolvimento de IA fora dos grandes centros de dados corporativos.

OpenGraviton roda modelos de 500B+ parâmetros em um Mac Mini

A ferramenta de código aberto OpenGraviton permite executar modelos de linguagem com mais de 500 bilhões de parâmetros diretamente em um Mac Mini de consumo. A mágica está em técnicas com...