Avaliar seres humanos é extremamente dificil e subjetivo (isso é muito discutido no meio acadêmico/científico).

Concordo, mas tem bastante estudos legais que já funcionam e são usados em larga escala, e eu replico os mesmos estudos na minha plataforma.

Vc n vai conseguir evitar trapaça com i.a, beira o impossível (persua etc)

Ainda no desafio técnico, temos uma seção que a gente mesmo disponibiliza um agente de ia no browser para te ajudar a codar e ver seu desempenho com inteligência artificial.
No mais, temos um sistema de monitoramento de teste bem robusto, uma vez identificado a trapaça durante o teste ou a empresa interessada falar algo como "Olha esse cara aqui não é tão bom quanto foi no teste" nossa equipe vai avaliar e aplicar um banimento permanente via CPF se aplicável.

Acho q fazer estas provinhas na área da i.a n faz mais sentido, antes já n fazia, é uma metodologia defasada, os devs n praticam isso no dia a dia, isso n mede de fato se o cara é bom...

Concordo demais, todo processo foi pensado saindo dessa zona comum de leetcode e indo o máximo possível para a parte prática.

Ex: o dev manda o currículo pdf dele, seu sistema na transforma o pdf em dados/objetos (até aqui normal). Agora vem um sistema q mede a qualidade do dev, acessa links de github e dos projetos, faz webscraping tira fotos, analisa blogs, posts etc. A sua i.a avalia o dev baseado em projetos q o cara desenvolveu.

Já temos ambos os sistemas, na checagem de github o candidato pode permitir repos privados / organizações para análise de commit, prs etc

Enfim, apenas um ideia maluca minha. De qualquer forma sucesso na sua empreitada

Muito obrigado.