Isso me lembra um trecho de um conto que ouvi uma vez, faz muito tempo bem antes desse conceito de LLM ser popular, entre 2013 e 2016 eu acho.
A história era a seguinte, uma empresa desenvolveu uma IA para auxiliar na gestão interceptando os e-mails entre funcionários, por exemplo, você manda um e-mail para fulano, mas a IA intercepta, verifica a agenda de fulano, gera o evento na agenda do fulano, reserva a sala de reuniões e etc. E fulano sequer recebe o e-mail realmente, só vê o compromisso na agenda com pauta e tal.
Com os e-mails interceptados, a IA foi aprendendo como a empresa funcionava e começou a tomar decisões sozinha, gerando e-mails por conta própria, analisando os resultados com base nos e-mails seguintes, gerando campanhas de marketing, contratando e demitindo pessoas e etc.
Em um determinado ponto, era ela que comandava a empresa.
Eu ouvi esse trecho em um podcast, mas não lembro qual era e qual era a história original para pesquisar depois. Quando esse boom de LLM surgiu, a lembrança desse conto me veio na memória e acho que tem relação com essa ação que você descreveu.
É claro que o conto é uma distopia, pelo menos por enquanto. :)