Em tese, os upvotes e downvotes são indicativos se tal post ou comentário é relevante ou não, baseado na opinião de quem votou. Se você oculta essa informação, ela perde sentido.
Por exemplo, alguns tópicos eu nem leio pois, antes mesmo de abrir, vejo que está fortemente negativado, logo, já percebo que passou pelo crivo dos usuários de que aquele post não é relevante.
Uma vez que, finalmente, não é mais possível que apenas 1 usuário altere toda a história de um post (votando infinitamente), fica mais fácil julgar a opinião geral (e não individual) dos leitores.