O problema é focar na tradução. Enquanto você traduzir na cabeça, não vai conseguir falar sem interrupções. Foque no contexto: leia livros sem parar para traduzir e só depois busque o significado, não a tradução. Aumente seu vocabulário usando um dicionário, e não um tradutor. Use o inglês para falar consigo mesmo na sua cabeça; eu penso em inglês. Vá para algum país que fale inglês e passe um tempo lá também. Isso, por si só, não ajuda, mas, se você interagir bem, vai melhorar bastante a audição. Por exemplo, a Guiana é um país pobre aqui perto, super barato para viver, e fala inglês.

Você já está no caminho certo, porque identificou a necessidade e tem uma motivação forte. Logo, vai conseguir.