Pitch: CupidMQ: um sistema de filas sem broker

Estou disponibilizando o CupidMQ, um projeto open source que explora uma abordagem diferente para sistemas de mensageria distribuída.

CupidMQ é um sistema de filas distribuídas criado para aplicações que precisam movimentar grandes volumes de dados entre múltiplos participantes.

Em vez de encaminhar todo o tráfego através de um broker central, o CupidMQ utiliza um servidor de controle apenas para registro, descoberta e coordenação dos nós. A transferência dos dados acontece diretamente entre os participantes da rede (P2P).

A motivação do projeto surgiu da necessidade de conectar múltiplas GPUs distribuídas pela rede, inclusive em locais físicos diferentes, através de um modelo producer/consumer parecido com RabbitMQ. As soluções tradicionais de mensageria funcionavam bem para coordenação, mas concentravam o tráfego de dados em um broker central.

O CupidMQ nasceu para resolver esse problema: manter a simplicidade do modelo producer/consumer enquanto distribui a transferência dos dados entre os próprios participantes da rede.