alguém aqui já tentou rodar um modelo de IA interno na própria infraestrutura? Em qual modelo vocês treinaram e quais frameworks usaram

Sim, mas não precisei usar treinamento ou framework.

Alguns modelos famosos já tem imagens docker disponibilizadas pela comunidade, já deixa a imagem pronta pra rodar e fazer solicitações via API.

Claro, isso serve principalmente para sistemas com um baixo volume de requests.

Para um sistema com alto volume de requests é necessário uma infraestrutura dedicada.