Projeto open-source! Já precisou migrar dados entre ambientes Dev / Stage / Prod de forma granular em ferramentas No-code ou até mesmo uma migração simples de dados usando PostgreSQL?
Primeiramente, a comunidade open source já me ajudou bastante e agora resolvi contribuir também, vou contar um pouco da história do projeto.
Utilizo uma ferramenta No-code onde toda a configuração e desenvolvimento ficam armazenados no próprio banco de dados. Quando precisei montar ambientes segregados (Dev/Stage/Prod), o desafio começou: como promover esses dados de forma controlada?
O cenário era complexo:
- Tabela X: Preciso apenas do schema (não posso apagar os dados de produção).
- Tabela Y: Preciso enviar todas as linhas criadas em Dev.
Minha rotina era fazer isso manualmente via pg_dump e pg_restore. O resultado? Exportava o banco todo, sem granularidade e as vezes com retrabalho. As ferramentas de mercado que testei não atendiam a essa necessidade específica.
Como um bom dev, decidi construir a ferramenta que eu precisava. E como fã de Interestelar, batizei o projeto de Bulk Migration (referência ao "Bulk" do filme ).
A ferramenta é Open Source e foi feita para dar controle total sobre suas migrações PostgreSQL:
- Gerenciamento de Conexões: Teste visual e imediato de conectividade entre ambientes.
- Regras Flexíveis: Defina estratégias globais ou por coleção: Schema only (Apenas estrutura), Overwrite/Truncate (Sobrescrever), Upsert (Atualizar e Inserir), Insert Ignore (Ignorar duplicados)
- Operações em Batch: Selecione múltiplas coleções para ganhar tempo.
- Relatórios Detalhados: Logs em tempo real e histórico de execuções.
Estou compartilhando com a comunidade para ajudar quem enfrenta o mesmo desafio ou em outros cenários de migração de dados não ligados ao no-code.
Confira a documentação técnica e contribua no GitHub com PR, issues, testes:
https://github.com/leandro-jm/bulk-migration
Se puder deixar sua opnião, obrigado :)