Se não me engano só da pra mandar os logs do CF pra um S3.

Se quiseres mandar pro Cloudwatch dá pra implementar uma Lambda que faça isso, mas honestamente acho mais fácil vc consultar os logs no Athena. Geralmente eu faço isso com logs de ELB e CF que vão pro S3.

Dá uma lida nesse tópico: https://docs.aws.amazon.com/athena/latest/ug/application-load-balancer-logs.html. Creio que vai te ajudar.

Só um ponto de atenção: Athena cobra por dados escaneados, então tome cuidado com queries excessivas. Dê uma pesquisada sobre isso também. Qualquer coisa pergunta pros GPTs da vida que eles conseguem te dar uma visão nesse assunto.