Uptrain como ferramenta de avaliação de aplicações de LLMs
A avaliação de aplicações de LLMs é um dos campos mais desafiadores da contemporânea Engenharia de Inteligência Artificial (IA). A autora Chip Huyen define que o metodismo ao avaliar uma aplicação de IA generativa é de suma importância, mas também que o esforço de pensar no sistema de avaliação pode custar mais da metade do tempo de desenvolvimento.
Pensando em mitigar o esforço gasto nessa atividade, a plataforma uptrain surge como uma poderosa aliada nesse processo.
De código aberto, a plataforma oferece ferramentas para avaliação de aplicações de LLM, além de uma ferramenta de dashboards auto-hospedada para monitoramento dessas aplicações, embora essa última aparenta ainda estar prematura e incompleta.
Como ferramenta de avaliação, uptrain apresenta um framework enxuto, mas expansível, com uma classe EvalLLM, com um método evaluate que só precisa, como parâmetros, de um tipo de avaliação (o qual o framework apresenta 17 pré-definidos e prontos para uso) e pelo menos três colunas de dados:
- question: a pergunta feita ao modelo;
- context: o contexto relevante para aquela pergunta; e
- response: a resposta do modelo àquela pergunta.
Algumas avaliações pedem mais algumas colunas, essas são chamadas de avaliações paramétricas.
Por ser de código aberto, a plataforma permite que seus usuários desenvolvam suas próprias métricas e que contribuam com o projeto, tendo assim grandíssimo potencial no mercado e na academia.
Para finalizar, convido vocês a visitar a documentação da plataforma em: https://docs.uptrain.ai/getting-started/introduction