É relativamente simples fazer essa deduplicação automática no clickhouse. Dá uma olhada na ReplacingMergeTree
Respondendo a "UAU. lendo seu comentario me interessei mais ai..." dentro da publicação Reduzi um DB de 8TB para 218 GB! como? ClickHouse!
1