Eu fiz retornando 404, mas depois que fiz o front e consumi a API, percebi que se fosse um 200 com json vazio mais pratico implementar
Respondendo a "Um 204 não faria mais sentido do que um 200 com..." dentro da publicação Melhores práticas no design de APIs Rest
1