Qual é o orçamento para esse projeto?
É uma empresa grande com profissionais capacitados para realizar esse projeto?
Com base no que falou, imaginando que tenha um orçamento grande e um prazo menor que 5 anos:
Fuja das integrações de site com unity, das ferramentas que conheço que envolvem 3d para web e um pouco de conhecimento de 3d para jogos é que são mundos completamente diferentes.
Web é muito mais limitada e não tem muitas funções que de para fazer.
Não entendi direito se a parte do site é obrigatória ou se foi apenas um exemplo de interação fácil.
Se o site não é obrigatório, acredito que um jogo que simule a interface web seja o indicado.
O usuário pode construir o cômodo com objetos de pegar e arrastar e depois só exporta o cenário criado pelo cliente para a aplicação vr.