achei que bastava apontar o domínio para o IP que a Vercel fornece, mas percebi que, para trocar o DNS padrão do Registro br, precisava informar dois name servers.

Sim, é só apontar para o IP da hospedagem, você pode usar os servidores do registro br, mas pessoalmente prefiro usar a Cloudflare.

Você não precisava ter alterado o DNS para a Vercel a menos que seja uma limitação muito específica da hospedagem (o que duvido)