Muito bacana. Eu também morria de medo de multiplayer, até que decidi começar a fazer meu próprio jogo, meu próprio transport, meu próprio tudo. Comecei literalmente do zero. Agora estou finalizando meu sistema de UDP confiável e, logo depois, vou partir para o client/server, que poderá ser reutilizado em qualquer jogo. Pensando mais à frente ainda, e sabendo que vai ser extremamente difícil, pretendo encarar um sistema de física multiplayer, com todas essas complexidades que você citou.