quarta-feira, 4 de março de 2020

O Expresso ao serviço de um ranking universitário da treta

https://expresso.pt/sociedade/2020-03-04-Engenharia-Arquitetura-e-Desporto-tres-areas-em-que-as-universidades-portuguesas-se-destacam?n=1

Acima a recente peça "jornalistica" do tal jornalismo de "investigação" que fazem no semanário Expresso. Recordo, que um dos motivos do aparecimento deste blog foi combater estes rankings da treta, como aquele da THE, que em 2019 colocou a Universidade Católica como a melhor universidade Portuguesa. Vide teor do email abaixo que na altura coloquei sob a forma de post noutra plataforma no dia 12 de Setembro de 2019 sob o esclarecedor título: "UCatólica é a melhor universidade Portuguesa____Fake news, incompetência ou ambas?" 


 
________________________________________________________________________

De: F. Pacheco Torgal
Enviado: 12 de setembro de 2019 06:42
Assunto: UCatólica é a melhor universidade Portuguesa____Fake news, incompetência ou ambas?

Depois de em 17 de Agosto o jornalista Samuel Silva ter feito um bom artigo sobre o ranking Shanghai (email abaixo) o mesmo jornalista vem agora, enxovalhar a sua própria credibilidade dando crédito a um ranking da treta, que pasme-se diz que a Universidade Católica é a melhor universidade Portuguesa. Explica o pobre jornalista, Samuel Silva,  que o fenomenal resultado  “foi impulsionado por uma melhoria nos indicadores relacionados com a investigação, como o número de citações...De acordo com os números disponibilizados...a Católica tem uma classificação muito elevada no índice de citações dos artigos científicos publicados pelos seus professores. Tem uma cotação de 94,6 (numa escala de 100 pontos), ao nível das melhores universidades do mundo. A segunda melhor nacional é a universidade do Porto, com 62,1.”

Ou seja o jornalista leu que a universidade católica tinha melhor desempenho em termos de citações do que a UPorto e nenhum alarme lhe soou naquela cabecinha pensadora e cogitasse que isso era indicio de marosca da grossa ! E como é que esse ranking original foi construído ? O jornalista preferiu não maçar os leitores com esse complicadíssimo  assunto, que por certo só está ao alcance das mentes mais brilhantes. Porém o jornalista revela no artigo que chegou à fala com um individuo de nome Tomasso Grant que lhe explicou todos os detalhes da coisa. Quem é este génio dos rankings ? Informa o Linkedin que é alguém com formação em Artes, que acabou o mestrado há um ano atrás, e que há 2 meses ocupa o pomposo posto de Freelance Communications Executive da THE, ou seja que de bibliometria académica, incluindo citações e indice de Hirsch com correcções de Schreiber (embora na THE não se percam com tais preciosismos) percebe rigorosamente zero. 

Um conhecido catedrático de medicina da universidade da Universidade de Stanford acaba de ser noticia por causa de estar na origem de um ranking dos cientistas mais citados a nível mundial (entre 35 milhões de cientistas ou 7 milhões se reduzirmos a amostra somente aqueles com publicações indexadas). Quantos dos 100.000 cientistas que lá aparecem pertencem à Universidade Católica Portuguesa ? rigorosamente ZERO enquanto a UPorto tem 40 ! e é esta a universidade com o melhor desempenho nacional em termos de citações que até rivaliza com as melhores do mundo ! Sobra assim a magna dúvida, entre o jovem que agora se inicia nas lides do Freelance Communications da THE a falar de um ranking da treta e o catedrático de medicina da universidade de Stanford (que sozinho tem quase tantas citações ou até mesmo mais citações do que todos os docentes da UCatólica juntos) em quem podemos nós acreditar ? 

 

Infelizmente no Expresso têm evidentes dificuldades em aprender a lição do rigor, no que respeita a certos rankings universitários, pelo que abaixo se recorda, aquilo que em 2017 coloquei em post intitulado "Ranking QS e a venda de estrelas". É claro que entre o que escreve a jornalista autora da referida peça e o que escreveram vários académicos, abaixo, como por exemplo o conhecido catedrático jubilado David Blanchflower, cada um que escolha a que lhe pareça mais merecedora de crédito !


Andrejs Rauhvargers in Global University Rankings and their Impact- Report II:
"QS admits that a university may occasionally be nominated as excellent and ranked in a subject in which it “neither operates programmes nor research”

-David Blanchflower in an article for the New Statesman entitled "The QS Rankings are a load of old baloney"
"This ranking is complete rubbish and nobody should place any credence in it.The results are based on an entirely flawed methodology that underweights the quality of research and overweights fluff"

-Simon Marginson, professor of higher education at University of Oxford:
"I will not discuss the QS ranking because the methodology is not sufficiently robust

-Fred L. Bookstein, Horst Seidler, Martin Fieder and Georg Winckler in the journal Scientometrics:
"There are far too many anomalies in the change scores of the various indices

-Isidro F. Aguillo, Judit Bar-Ilan, Mark Levene, José Luis Ortega in the journal Scientometrics:
"The QS is based on a not large and not representative enough survey that means the results are biased towards certain countries

-H. Jons and M. Hoyler in the Geoforum; Journal of Physical, Human, and Regional Geosciences
"The QS ranking was also criticized for the low response rates of the review surveys and for a general lack of methodological transparency

-Mu-Hsuan Huang in the journal Research Evaluation:
"the statistic data adopted by QS Rankings should be further questioned.

-V. Safon in the journal Scientometrics:
"the majority of the received questionnaires come from English-speaking countries, clearly favoring their universities

-Andrejs Rauhvargers in EUA Report Rankings
"QS Stars is offered as a paying service to universities. A QS Stars audit costs US$30,400.