The flawed Clarivate list of influential scientists: The unsuccessful bid of third methodological changes to rectify flaws

The annual list of "top" scientists compiled by Clarivate Analytics remains a subject of ongoing controversy. Following the year 2018, and in response to significant criticism from the scientific community, Clarivate Analytics introduced a new category called "Cross-Field." In addition, they made the decision to exclude articles featuring more than 30 affiliations. This year, a fresh alteration to their methodology has come to light. Clarivate Analytics decided to remove (evil) articles with more than 30 authors.

However, the question arises: why specifically 30, and not 29, 28, 27, 26, 25, and so on? Curiously, Clarivate Analytics provides no insight into this choice, possibly due to the inherent secrecy that appears to be central to its operations. Alternatively, it may be reluctant to acknowledge that its methodology is fundamentally flawed, a sentiment expressed by numerous researchers in the field., such as Docampo & Cram (2019), Asknes &Aagaard (2021), or more recently Koltun &Hafner (2021) https://pacheco-torgal.blogspot.com/2021/11/evaluating-researchers-in-fast-and.html

To Clarivate Analytics' great misfortune, some Stanford University researchers went out of their way to try to solve the aforementioned shortcomings. And fortunately, they successfully generated a list of top scientists that markedly enhances the scientific reliability. https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/3?fbclid=IwAR1vdz  

This new list of top scientists effectively addresses the significant issue of articles with numerous authors, ranging from tens to hundreds or even thousands. Moreover, it rectifies the deficiencies present in Clarivate Analytics' list, which often combines researchers from different fields, overlooking the distinct citation patterns, as thoroughly demonstrated by Lillquist and Green.https://link.springer.com/article/10.1007/s11192-010-0162-3

Last but not least, the Stanford University researchers' list (in contrast to the flawed Clarivate Analytics list) upholds a commitment to transparency by providing open access to raw data for all interested parties.

Reigning in Hell or Serving in Heaven: What kind of chaos does Academia really need ?

 

A retired Full Professor from the University of Minho has penned a compelling piece titled "Predicting the Future," reflecting on the critical role of chaos in the success of organizations. In it, he explores how unpredictability and disorder can act as catalysts for growth and innovation https://pacheco-torgal.blogspot.com/2021/11/academia-portuguesa-necessita-de.html

But this raises a fundamental question: what kind of chaos does academia truly need? Should it cultivate slack chaos, a state of looseness and flexibility that allows for serendipitous discoveries, fostering “an increase in creative projects, particularly relatively complex, high-quality ones”? Or should it embrace Schumpeterian creative destruction, tearing down outdated structures to make way for radical reinvention? Alternatively, is the most potent form of chaos the kind evoked by Milton in Paradise Lost—the utterly disruptive, all-consuming upheaval embodied in the defiant words, "Better to reign in Hell than serve in Heaven"?

PS - The image above captures a defining moment: Satan in the Council, summoning the rebel angels. His famous speech, imbued with defiance and ambition, echoes—at least to my ears—the rhetoric of Niall Ferguson, who appears determined to carve out his own dominion in the form of a new, and perhaps infernal, academic institution.  https://www.washingtonpost.com/outlook/2021/11/15/not-so-hidden-purpose-university-austin/

 

As ilustres investigadoras Portuguesas descriminadas pela comunicação social

     

https://pacheco-torgal.blogspot.com/2021/11/os-15-cientististas-portugueses-melhor.html

Ainda na sequência do post acima onde foi mencionado o nome de uma cientista altamente citada pertencente à Universidade de Lisboa, cujo trabalho científico a comunicação social sempre ignorou, listam-se abaixo o nome de outras investigadoras que a mesma comunicação social descriminou, tendo optado por dar destaque quase exclusivo à catedrática Elvira Fortunato que no ranking da Universidade de Stanford, curiosamente, aparece muito abaixo das referidas investigadoras. 

Paula Isabel Moreira............Universidade de Coimbra (foto no inicio do post)

Maria Carmo-Fonseca.........Universidade de Lisboa

Helena Pereira.....................Universidade de Lisboa

Nos últimos anos a comunicação social deu algum destaque ao nome da Catedrática Helena Pereira, mas somente por conta de ela se ter tornado Presidente da FCT e não por conta da sua obra científica. E fenómeno similar já tinha ocorrido com a Maria do Carmo Fonseca que só passou a receber alguma atenção mediática depois de ter ganho o prémio Pessoa.

PS - Uma pesquisa no Público encontra 70 noticias com o nome da catedrática Elvira Fortunato, um número muito superior ao das noticias que mencionam o nome do seu marido, o catedrático Rodrigo Martins, que a mesma imprensa também tem andado a descriminar há muito tempo https://pacheco-torgal.blogspot.com/2021/04/uma-duvida-sobre-invencao-da.html quase parecendo que estão a germinar em Portugal as ideias radicais daquela lésbica furiosa, que já mereceu um artigo na revista The Economist e que defende que aquilo que é feito por homens dever ser desprezado por todas as mulheres https://pacheco-torgal.blogspot.com/2020/10/lesbica-francesa-vem-em-socorro-do.html

UAveiro, UBI e UCoimbra são as instituições onde os investigadores menos merecem a solução radical

 

https://pacheco-torgal.blogspot.com/2021/11/times-higher-education-revistas.html

Ainda sobre a tal solução radical mencionada no post acima segue abaixo, para cada uma das instituições de ensino superior públicas, o rácio médio revisões nos últimos 12 meses/100 docentes ETI confirmadas na plataforma Publons-Clarivate. 

1 - UAveiro................642 revisões por cada 100 ETIs

2 - UBI.......................572

3 - UCoimbra.............495

4 - IPolPortalegre......486

5 - UALG...................475

6 - UTAD...................467

7 - UPorto.................405. 

8 - UMinho................385

9 - ISCTE..................354

10 - UNova................351

11 - IPol.Viana C.......309

12 - ULisboa..............276

13 - IPol.Leiria...........249

14 - IPol.Porto...........248

15 - IPol.Guarda........246
16 - UÉvora...............240

17 - IPol.C.Branco.....236

18 - UMadeira............217

19 - IPol.Bragança.....214

20 - IPCA...................202

21 - IPol.Coimbra......171
22 - IPol.Lisboa.........171

23 - UAçores.............143
24 - IPol.Setubal.......131

25 - IPol.Viseu...........130

26 - IPol.Tomar..........123

27 - IPol.Santarém....102

28 - UAberta..............100

29 - IPol.Beja...............25

A falhada lista de cientistas influentes vai continuar falhada mesmo após a terceira alteração da metodologia

 

A tal lista de cientistas elaborada anualmente pela Clarivate Analytics continua em bolandas. Depois de em 2018, e em resultado das criticas que recebeu por parte da comunidade científica, ter passado a incluir uma nova categoria e depois de também ter decidido remover os artigos com mais de 30 afiliações a referida lista volta este ano a apresentar mais uma alteração da sua metodologia, desta vez a Clarivate Analytics diz que decidiu eliminar os (malvados) artigos com mais de 30 autores. 

Porque é que o número mágico da malvadez é 30 e não 29, ou 28, ou 27, ou 26, ou 25, ou 24, ou 23 etc etc etc ? Sobre isso porém a  Clarivate Analytics nada diz porque o segredo parece ser a alma do negócio, talvez porque muito provavelmente aquela não queira dar a mão à palmatória e reconhecer que a sua metodologia está errada de forma irremediável, como já foi reconhecido por vários investigadores, como por exemplo o Docampo &Cram (2019), Asknes&Aagaard (2021) ou mais recentemente o Koltun&Hafner (2021) https://pacheco-torgal.blogspot.com/2021/11/evaluating-researchers-in-fast-and.html

Para grande azar da Clarivate Analytics alguns investigadores da Universidade de Stanford, meteram-se ao caminho para resolver as limitações referidas e apresentaram uma lista que é cientificamente muito mais fiável, pois soluciona o grave problema dos artigos com dezenas, centenas ou milhares de autores, ao mesmo tempo que também evita as asneiras da lista da Clarivate Analytics que em má hora achou boa ideia misturar alhos com bugalhos, isto é, juntou no mesmo grupo investigadores de áreas muito diferentes. https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/3?fbclid=IwAR1vdz

PS - Por último e não menos importante a lista dos investigadores da Universidade de Stanford (ao contrário da falhada lista da Clarivate Analytics) pauta-se pelo principio da transparência e assim disponibiliza os dados em bruto a quem os queira consultar, o que desde logo permite saber de forma rápida quem são os investigadores que sistematicamente abusam das auto-citações. 

Evaluating researchers (in a fast and robust manner) to maximize impact

 

https://www.youtube.com/watch?v=jZZ2-eNW77o

In a captivating YouTube presentation produced just a few months ago, accessible via the provided link above, Vladlen Koltun, Distinguished Scientist at Apple, (formerly Chief Scientist at Intel, and previously a Professor at Stanford University from 2005 to 2013), elucidates how fast decisions can be made regarding the evaluation of researchers. 

Koltun's presentation, while extending beyond an hour, offers significant insights, particularly around the 12-minute mark and thereafter. During this segment, he asserts that traditional metrics, such as the number of publications and the impact factor of journals, are bad metrics that should never be used in the evaluation of researchers. This is due to the presence of low-quality papers within high-impact factor journals, and conversely, exceptional papers in low-impact factor journals. I had previously furnished evidence of this in a post dated January 21, 2020. https://pacheco-torgal.blogspot.com/2020/01/the-journal-that-has-low-impact-factor.html

Beyond minute 22 Koltun unveils the findings from an extensive study, encompassing millions of papers. These results highlight a striking surge in hyper-authorship, particularly prevalent in Physics and Biology. This surge has rendered the conventional use of the h-index ineffective for researchers in these fields unless fractional allocation (h-frac) is used. The study shows that h-frac is a robust metric that outperforms other measures as a correlate and predictor of scientific awards. Naturally, it's evident that this serves as compelling evidence that Clarivate's Highly Cited list is inherently flawed, a fact underscored by recent research conducted this year by two researchers of Norway and Denmark. In fact, The aforementioned Koltun´s h-frac-related paper had already been mentioned in this blog in a post of May 9 https://pacheco-torgal.blogspot.com/2021/05/the-best-performing-measure-in-terms-of.html

Around minute 50 Koltun addresses the issue of publication inflation, a topic that has been previously discussed in this blog like in 2019 about a radical UCL proposal and again in 2021 regarding the problems associated with the deluge of scientific papers. Koltun clearly states that researchers should publish less and also asserts that metrics should play a pivotal role in mitigating publication inflation. 

PS - Check Vladlen Koltun webpage in here http://vladlen.info/

Catedrático de Coimbra enxovalha alguns empertigados sanguessugas Lisboetas

"...Lisboa a alimentar a sua insaciável gula imperial, narcisicamente deleitada na fruição das suas pantagruélicas deglutições, sem cuidado, interesse ou solicitude pelo país de que se diz capital"

Acima um pequeno extracto de um artigo, hoje na página 9 do jornal Público, onde um conhecido catedrático da Universidade de Coimbra faz a vida negra aqueles que neste blogue foram comentados aqui. 

Há alguns anos atrás, em 2017, um outro catedrático da mesma universidade de Coimbra, tinha porém gasto muito menos latim para dizer algo não muito diferente, quando escreveu então que há mais de 40 anos que Lisboa anda a "chular" o orçamento de estado https://pacheco-torgal.blogspot.com/2019/11/um-elogio-ao-governo.html 

Os dois catedráticos acima referidos esqueceram-se infelizmente de dizer que Lisboa só se lembra do Interior do país quando se trata de aprovar projectos de exploração mineira, como se percebe pela recente febre mineira que tomou conta deste Governo moribundo, que de uma assentada aprovou 14 projectos de exploração de minas. Já a resposta das populações afectadas pelas mesmas só ser uma, inequívoca e nada meiga, mesmo que não possa haver maneira legal de impedir essas explorações mineiras, então no mínimo dos mínimos que se exija que a parasita Lisboa não possa beneficiar de um único euro das mesmas, pelo menos até que essas regiões consigam aproximar-se do poder de compra de Lisboa.

A tese da professora de Harvard onde Portugal é excepção

  

Ontem o jornal Público continha uma muito interessante entrevista com uma professora da Universidade de Harvard, Directora de um programa sobre Ciência, Tecnologia e Sociedade, que afirmou que os países onde não há confiança na ciência são também os países onde há falta de confiança no sistema politico. Tendo porém em conta que em Portugal a desconfiança no sistema politico nunca foi tão baixa https://pacheco-torgal.blogspot.com/2020/02/portugueses-estao-fartos-dos-partidos.html então seria de esperar que no nosso país houvesse pouca confiança na ciência, o que não sucede como se percebe pela anormalmente elevada percentagem daqueles que se vacinaram contra a Covid-19, que até mereceu destaque num canal televisão dos EUA o que só pode significar que Portugal é uma excepção à tese supracitada. 

Tese essa que faz muito sentido em países como o Brasil onde a elevada falta de confiança nos cientistas anda de mão dada com um sistema politico corrupto, e isso apesar dos políticos Brasileiros serem melhor remunerados do que os políticos europeus https://pacheco-torgal.blogspot.com/2020/02/deputado-exige-reembolso-de-30000-euros.html

PS - A referida Professora tem vários livros que receberam um elevado número de citações, como por exemplo o livro "States of knowledge: the co-production of science and the social order" que está indexado na Scopus onde já recebeu mais de 2000 citações. 

Nature - Scammers impersonate guest editors to get sham papers published

 

"...scammers exploited the processes for publishing special issues to get poor-quality papers...into established journals. In some cases, fraudsters posed as scientists and offered to guest-edit issues that they then filled with sham papers." https://www.nature.com/articles/d41586-021-03035-y

In  In my perspective, the pivotal issue lies not in outright abolishing special issues but in actualizing what Elsevier foresaw as the inevitable future of scientific publishing. This foresight, as articulated by Richard Smith three years ago, foretells the imminent conclusion of the journal-centric epoch. Therefore, the focus should be on aligning our practices with this anticipated evolution rather than simply discarding special issues  https://pacheco-torgal.blogspot.com/2021/04/the-first-15-bricks-in-scientific.html

Catedrático e Engenheiro Conselheiro Renato Morgado_O sucesso no séc. XXI exige um mínimo de rebeldia e de caos

https://pacheco-torgal.blogspot.com/2021/10/estudo-sobre-endogamia-envolvendo.html

Ainda sobre o post supra, acerca dos mais de 70 anos de inconseguimento da Academia Portuguesa, e a muito elucidativa frase do físico Carlo Rovelli "É preciso ser rebelde para se ser um cientista criativo” acho importante recordar um sucinto mas bastante interessante artigo, reproduzido abaixo, de título "Prevendo o futuro", artigo esse que foi publicado em 2018, na revista da Ordem dos Engenheiros, por um Membro Conselheiro, que também foi Professor catedrático na Universidade do Minho, onde ele escreve que o sucesso das organizações, no contexto actual em que a informação possui um valor quase nulo, requer um mínimo de rebeldia e caos. 

Mas como conseguirá a Academia Portuguesa alcançar o tal mínimo de rebeldia e de caos, defendidos no artigo do Engenheiro Conselheiro Renato Morgado, se o próprio Ministro Manuel Heitor, em Abril de 2017, afirmou que os investigadores não se queixavam o suficiente (leia-se eram amorfos) ?