LLMs não são modelos. São sistemas econômicos.

LLMs não são modelos. São sistemas econômicos.
Neste sistema econômico:
Existe um recurso escasso, chamado token.
Existe um custo marginal de cada transação.
Existe a escalabilidade que multiplica este custo.
E...
Existem as decisões técnicas...
Que impactam diretamente o financeiro.
Neste cenário:
Prompt
RAG
Cache
Retries
Agentes
Contexto
Tudo isso é arquitetura.
E arquitetura, nesse caso, é decisão econômica.
Não levar isso a sério fará com que seu sistema funcione bem em demo, mas quebre em produção.