Sim, da para fazer muita coisa no HF sem precisar colocar o modelo como open weights, mas como voce se apresenta como especialista na area eh meio esquisito dizer que nao sabe como o HF funciona, mas que seja.
De qualquer forma, o trem ja deixou a estacao e voce vai ter de correr atras para nao perder a viagem: o djev tambem se propoe a ser um classificador com entrada multimodal.
Abaixo segue um artigo comparando os "decision models" (estilo system one/classficadores)