Executando verificação de segurança...
2

Meus 2 cents,

Chutando um pouco - pelo que vi o clickhouse tem uma funcao interna chamada "row_number()"

https://clickhouse.com/docs/sql-reference/window-functions/row_number

Talvez juntando isso com a ideia do @macnator possa ser util - algo como so comecar a exportar se o row_number() for maior que x.

Uma outra alternativa eh usar 'NOT EXISTS':

SELECT customer_id, customer_name
FROM Customers c
WHERE NOT EXISTS (
    SELECT 1
    FROM Orders o
    WHERE o.customer_id = c.customer_id
);

Mas pelo volume nao sei se seria viavel

Outra ideia seria um LEFT JOIN (semelhante ao NOT EXISTS acima):

SELECT c.CustomerID, c.CustomerName
FROM Customers c
LEFT JOIN Orders o ON c.CustomerID = o.CustomerID
WHERE o.OrderID IS NULL;

OU mais direto:

SELECT
    so.*
FROM
    SalesOrders so
LEFT JOIN
    ExportLog el ON so.OrderID = el.OrderID
WHERE
    el.OrderID IS NULL;

Novamente, nao sei se eh viavel (pelos volumes).

Boa sorte - Saude e sucesso !

Carregando publicação patrocinada...
2

opa, muito obrigado pelas dicas. irei analisar com calma se funcionam.

mas o processo de mover os dados de uma tabela pra outra acabou funcionando depois que usei o clickhouse-client direto no terminal.
com ele eu consegui descobrir o erro, era um problema com uma MV que faz agregações em uma outra tabela conforme os inserts chegam, removi temporariamente essa MV e a migração foi tranquila.

agora o próximo passo é popular manualmente a tabela de agregação já que a MV que fazia isso foi removida.