Muito boa a análise. A parte de não terceirizar regra de negócio para o prompt é onde vejo a maioria dos projetos de IA derrapando feio.
É muito tentador jogar no system prompt algo como "só recomende se a empresa faturar menos de X e tiver a certidão Y" porque na primeira demo parece mágica. O problema é que no primeiro caso de borda o modelo inventa uma justificativa super convincente pra aprovar quem não devia, e você não tem um teste unitário determinístico pra pegar isso antes de ir pra produção.
Deixar a regra dura e os filtros no código (onde dá pra versionar e testar de verdade) e usar o modelo só pra interpretar a entrada e resumir os dados encontrados muda o nível do software.
Sem contar que mostrar na interface que um dado está pendente ou não pôde ser confirmado, em vez de deixar a IA "completar a frase" com um chute confiante, é o que realmente separa um produto de verdade de uma demo frágil.