Executando verificação de segurança...
4

IA corporativa local

Olá,
alguém aqui já tentou rodar um modelo de IA interno na própria infraestrutura? Em qual modelo vocês treinaram e quais frameworks usaram — Llama, Mistral, Qwen ou algo próprio? Seria interessante comparar experiências, porque por aqui já começamos a notar alguns pontos bem relevantes.

O tema fica ainda mais sensível quando falamos do setor de saúde. As restrições de dados são muito mais rígidas do que em outras áreas: diagnósticos, resultados de exames, protocolos clínicos, padrões internos — tudo é fortemente regulamentado. E, na prática, surgem várias outras dificuldades:

  1. A tendência do modelo de “inventar” fatos, mesmo quando treinado com materiais médicos verificados. As alucinações não desaparecem, especialmente quando o modelo tenta “generalizar” conteúdos de diferentes fontes.
  2. Alta sensibilidade à formulação das perguntas. Pequenas mudanças no enunciado podem levar o modelo a sugerir caminhos clínicos incorretos ou a interpretar de forma errada indicadores médicos.
  3. Dificuldade na limpeza e padronização dos dados. Documentação médica interna costuma ser pouco unificada: formatos diferentes, termos variados, abreviações inconsistentes… Preparar o dataset leva mais tempo do que o próprio treinamento.

Por isso, gostaria muito de ouvir a experiência de vocês.
Que modelo testaram? O que precisaram adaptar na infraestrutura? E, principalmente, com quais problemas reais vocês se depararam durante a implantação?

Esse é um tema em que o compartilhamento de experiências realmente ajuda a evitar erros caros.

Obrigada!

Deixo aqui alguns links úteis com mais detalhes sobre a implementação de IAs locais:
Exam
Nexuhub
UBD Blog

Carregando publicação patrocinada...
3

alguém aqui já tentou rodar um modelo de IA interno na própria infraestrutura? Em qual modelo vocês treinaram e quais frameworks usaram

Sim, mas não precisei usar treinamento ou framework.

Alguns modelos famosos já tem imagens docker disponibilizadas pela comunidade, já deixa a imagem pronta pra rodar e fazer solicitações via API.

Claro, isso serve principalmente para sistemas com um baixo volume de requests.

Para um sistema com alto volume de requests é necessário uma infraestrutura dedicada.

2

Aos que aqui manifestarem lições aprendidas, poderiam por gentileza dar uma ordem de grandeza quanto ao valor para montar uma infraestrutura local. Algo para entusiastas mesmo, não seria corporativo.