Opa, boas reflexões! Mas na verdade você não deveria utilizar uma LLM pra fazer essa transformação não, de maneira alguma.

A LLM é usada pra gerar código que roda em uma sandbox pra transformar a tabela, não pra gerar o novo arquivo em si. Isso além de caro como você falou, seria muito lento e também teria muita chance de alucinar.

A chave da coisa é oferecer para a LLM o contexto necessário sobre os dados, dados de exemplo, e ferramentas para que ela possa rodar código, verificar o resultado, e continuar o processo.

Mas no fim das contas o output é código, que você depois pode rodar deterministicamente em arquivos do mesmo formato.