Rodar LLMs localmente exige uma GPU potente e cara, além de muita memória RAM para manter a conversação. Já tentou usar o Microsoft Copilot do Windows 11 para praticar a conversação? Você pode usar a função de voz do Copilot para conversar em outros idiomas. Ele pode atuar como um parceiro de conversação, permitindo que você pratique a pronúncia, construa frases e ganhe confiança para falar.

Cara, rodar uma llm em um desktop mediano, pode ser um problema, ela vai funcionar de boa por algumas horas, mas a medida que for usando o processamento e armazenamento aumenta e ai complica tudo. Mas enfim, voce pode usar o Ollama junto o whisper que é um modelo de reconhecimento de voz (Speech-to-Text) criado pela OpenAI ele ouve o áudio e converte em texto. Agora não sei como faz essa implementação de forma pratica do jeito que tu quer, mas deve ter repositorios no github que ja devem ter feito isso.

Se sua intenção é fazer uma ferramenta em cima dessa tecnologia não consigo ajudar acho, porém se sua intenção é apenas você conseguir praticar a lingua acho que o advanced voice mode do ChatGPT é a melhor ferramenta pra isso.

Se você introduzir a conversa em inglês e explicar que quer que ele fique te perguntando coisas ou te forçando a falar em inglês vai dar pra tirar muito proveito da parada, com a questão das memórias você consegue fazer com que ele vá entendendo o seu nível de inglês e subindo as dificuldades das coisas.

OLlama + Engenharia de Prompt + algum SLM.

Ano passado fiz um série de posts sobre como rodar LLMs localmente:

https://lgrando1.github.io/tag/gpt/

Que maneiro esse post