Qual a melhor forma de usar Logs em produção?

Estou trabalhando com diversas aplisações em produção e tenho dúvidas sobre as melhores práticas para logging. Qual a abordagem mais eficiente e como vocês fazem?

Contexto

Nosso principal desafio hoje é prover algum meio de observabilidade para o que está acontecendo em alguns determinados fluxos. Por exemplo, cadastro de usuários para um determinado segmento ou cobranças automáticas que notificam via webhook em nossa aplicação.

Muitas das vezes, quando problemas desse tipo ocorrem, não ficamos sabendo, a menos que nos avisem que algo inesperado aconteceu.

Com o intuito de se ter uma "rastreabilidade", configuramos o Winston para logar fluxos críticos e poder pesquisar por eles.

Porém, isso seria apenas um processo investigativo depois do problema ter acontecido.

No entanto, querendo ter um acompanhamento em "tempo real", pensamos em popular esses logs diretamente em um Grafana, usando o Grafana Loki e poder ter dashboards e notificações.

Uma outra alternativa que estamos cogitando é termos um MongoDB para armazenar esses logs e fazer uma conexão com o Grafana para ter o mesmo resultado, porém mudando o destino de armazenamento.

Quais estratégias vocês adotam?