Usando CSV em vez de JSON para reduzir consumo de tokens e reduzir o custo de AI apps

Bom dia a todos!

Hoje gostaria de compartilhar uma simples dica que pode ajudar você a reduzir o consumo de tokens e salvar dinheiro.

Se você tem um json como esse:
{"id": 1,"todo": "Do something nice for someone you care about","completed": false,"userId": 152}

Irá utilizar 31 tokens. Site utilizado: https://token-calculator.net/

Se usar um versão em csv:
id,todo,completed,userId
1,"Do something nice for someone you care about",false,152

Irá utilizar 22 tokens. Site utilizado: https://token-calculator.net/

Então você irá salvar 31 - 22 => 9 tokens

Imagine um cenário usando JSON:

1 planilha onde você converte em um JSON com a mesma estrutura do JSON acima, mas a planilha tem 1000 linhas, então 1000 x 31 igual 31000 tokens.

Então se receber 1000 planilhas para processar serão 31000000 tokens.

Custo de inputs por 1 milhão usando Chatgpt 5.5 é 5, 31000000 / 1000000 => 31 x 5 => 155

Custo de outputs por 1 milhão usando Chatgpt 5.5 é 30.00 usando a mesma estrutura, 31000000 / 1000000 => 31 x 30.00 => 930

Total de custo: 155 + 930 => $1085

Imagine um cenário usando CSV:

1 planilha onde você converte em um JSON com a mesma estrutura do JSON acima, mas a planilha tem 1000 linhas, 1000 x 22 igual 22000 tokens.

Então se receber 1000 planilhas para processar serão 22000000 tokens.

Custo de inputs por 1 milhão usando Chatgpt 5.5 é 5, 22000000 / 1000000 => 22 x 5 => 110

Custo de outputs por 1 milhão usando Chatgpt 5.5 é 30.00 usando a mesma estrutura, então 22000000 / 1000000 => 22 x 30 => 660

Total de custo: 110 + 660 => $770

Economizou: 1085 - 770 => $315