Avaliações interuniversitárias permitem, em regra, comparar e monitorar, ao longo do tempo, o desempenho de instituições, fazendo-se úteis para a governança educacional. Rankings, desde que ancorados em boas evidências e realizados de maneira transparente e confiável, podem até servir de ferramenta para a gestão acadêmica.

Sob essa ótica, causou surpresa a divulgação dos resultados mais recentes do Ranking Universitário Folha, o RUF 2023.

Chama a atenção, em primeiro lugar, a inexistência de documento com o detalhamento da metodologia empregada para aferir a performance das universidades.

Notas explicativas sobre parâmetros, quando disponíveis, encontram-se pulverizadas em matérias jornalísticas da Folha. Não há referência oficial a conceitos operacionais e fórmulas de cálculo. Seria salutar encontrar esse tipo de esclarecimento à mão; quem tem o trabalho julgado deve, ao menos, conhecer o regramento que se lhe aplica.

Diferentemente das boas práticas internacionais, o RUF não informa aos dirigentes universitários as notas das suas IES antes da divulgação ampla dos dados. Essa cautela impediria que juízos equivocados, formulados com base em erros de medição ou interpretação, fossem difundidos.

O RUF tampouco dispõe de procedimento para contestação formal dos resultados, prejudicando, assim, o direito ao recurso e, eventualmente, à reparação.

É fundamental perceber que os critérios de um ranking devem ter relevância material. Resgatamos o que se passou com a UFMG no RUF 2023. Por declarar haver em seu quadro docente 1 professor "horista" (que não tinha regime de dedicação integral ou parcial) entre os 3.322 que integravam a instituição em 2021, a IES despencou do primeiro para o 88º lugar em um dos tópicos.

Assim, o ensino da UFMG, o melhor do país em seis edições consecutivas do RUF, caiu para a 12ª colocação. A posição da UFMG na classificação geral também foi impactada. Em vez do terceiro lugar, a instituição acabou ficando na quinta posição.

O exemplo é extremo – e eloquente – das distorções de uma medição numérica acrítica. A existência de um único professor "horista", em meio a professorado tão numeroso e qualificado, não poderia desabonar de tal forma a instituição avaliada.

Por que a opção pelo escore normalizado – e não a incorporação da métrica como variável contínua? Por que utilizar os dados do MEC de 2021 em vez dos de 2022? Não há respostas para essas e outras perguntas. Infelizmente, o ranking da Folha é opaco.

Ao associar-se à tradição de um dos principais meios de comunicação do país, o RUF precisa entregar a seus leitores avaliações consistentes sobre as universidades brasileiras.

Um desenho mais representativo e colegiado para o corpo técnico do RUF cairia bem. Se pretende ser instrumento avaliativo verdadeiramente nacional e de caráter multidimensional, o ranking deve investir em diálogo aberto com a academia.

Se quer compreender o conjunto das universidades, precisa imaginar um cesto de métricas capaz de traduzir a intensa atividade científica, cultural e social das instituições escrutinadas. Para preservar a credibilidade conquistada, o RUF deve ser aperfeiçoado.

Dawisson Belém Lopes, diretor do Escritório de Governança de Dados Institucionais da UFMG
Viviane Birchal, diretora de Avaliação Institucional da UFMG
Carlos Basílio Pinheiro, diretor de Produção Científica da UFMG

Artigo publicado no jornal Folha de S.Paulo, em 7/12/2023