Ha muito tempo atrás precisei fazer um serviço diskless linux onde as estações davam boot via rede e um servidor X que experimentei foi o tinyX https://www.xfree86.org/current/TinyX.1.html
A ideia é semelhante, só não sei se hoje o código dele é atualizado. Entendo que você tem que criar algo que implemente o mesmo protocolo.