Pitch: Otimização de Inferência com C99
Saudações,
Eu recentemente realizei a construção de um motor de inferência com base em um proejeto chamado kimi-k3-c, onde busquei entender e reverti o projeto em insumo para construir este novo.
O principal aprendizado é que para caber em 1 CPU e 8GB de RAM é necessário fazer escolhas estratégicas, para que os pesos entreguem material necessário para evitar alucinações em um janela de contexto de 2048 tokens por exemplo.
Tem vários artefatos disponíveis para você ver na prática e a minha sugestão é começar pela geração de relatório de performance e tirar as próprias conclusões.
Confere lá!