É relativamente simples fazer essa deduplicação automática no clickhouse. Dá uma olhada na ReplacingMergeTree