Fiz algo quase parecido.
Rodei ollama, fiz pull de alguns modelos e fui testando.
Os modelos:
- deepseek-coder:6.7b -: começou muito bem, de repente começou a alucinar, eu dava instrução: Crie a entidade XPTO, fez as classes(Produto.java, ProdutoRepository, ProdutoService e ProdutoController), no dia seguinte pra próxima entidade, já alucinou
2.qwen2.5-coder:7b - Já começou travando.
3.qwen2.5-coder:3b - Não completava as tarefas.
Um detalhe, eu uso Aider como assistente de código, e nos meus projetos passava contexto, vários arquivos .MD explicando o que fazer.
E minha máquina é um i5 8400, GTX 1060 6gb, 16gb ram. Em tese deveriam rodar razoável na placa de vídeo, mas a alegria durou pouco, as opções 1, 2 começaram a fugir das ideias com o tempo e a opção 3, foi pior.
E eu via o trabalho delas no monitor da placa de vídeo, pra ter certeza que não estava usando CPU.
No fim das contas, apontei o Aider pra uma api gratuita. E foi show de bola.
Fui passando essa questão de criar por entidade, fui pedindo pra criar os testes na sequência. E teve um ponto que achei que já era possível, passar a instrução, " crie o que falta no projeto" , dito e feito.
Testei algumas coisas e tive poucos pontos de correção, não terminei, mas estou indo aos poucos.
Sobre o Aider: A proposta é pair programing, ele tem capacidade de editar arquivos no projeto, pergunta tudo o que vai fazer, tem opção de commits, achei bom.
Obs: Rodo no Ubuntu