Cultura não é MVV (Missão, Visão e Valores). Cultura costuma ser explicada como "a forma como os funcionários se comportam quando o dono não está vendo". MVV é o famoso "para inglês ver".
Obviamente cultura faz diferença. Se você já trabalhou em um lugar bom e um ruim, é nítida a diferença. Há quem chame os lugares ruins de "empregos tóxicos" ou similar. Eu já vi casos em que uma pessoa sair da equipe foi bom, porque uma pessoa negativa, com uma cultura contrária, drena muita energia.
Agora, se colocar cultura como justificativa para as demissões que você citou é balela ou não, já é outra história. Não conheço o caso a fundo para opinar, e muita gente que tá opinando também não conhece.