Comment évaluer la crédibilité d’un chercheur?

Dans le contexte actuel, des scientifiques sont régulièrement présents dans les médias pour exprimer leur opinion sur l’épidémie de Coronavirus. En particulier, le chercheur Didier Raoult, directeur de l’IHU de Marseille, est très souvent évoqué pour sa proposition de la chloroquine comme remède au virus.

Didier Raoult est présenté comme un grand chercheur, très reconnu, une sommité de son domaine. Toutefois, que signifie être un grand chercheur ? Comment est réalisée cette évaluation ? Qu’est-ce qui permet l’utilisation de ce qualificatif pour un scientifique ?

Cet article a pour objectif de fournir au lecteur des informations sur ce domaine. En particulier, il permet de réaliser une évaluation qualitative d’un chercheur. Donc, de juger de façon partielle la qualité d’un chercheur.

L’essentiel des données présentées ici sont accessibles au public et sont trouvables après une simple recherche sur Internet. Cet article cherche à donner une grille qui permet leur interprétation, car il existe une disparité de niveau entre les chercheurs. Parmi ces spécialistes, certains sont plus doués, plus pertinents que d’autres, leur avis nécessite donc une plus grande prise en compte.

 

Les facteurs existants

Il existe principalement deux sites internet ou les chercheurs présentent leurs dernières publications : Google Scholar et Researchgate.

Le référencement des articles sur ces sites n’est pas nécessairement volontaire, le site référence les auteurs même s’ils ne possèdent pas de compte personnel. Un chercheur qui ne créé pas de compte peut donc toujours être référencé avec un profil qui renseigne les publications à son nom. Google Scholar est entièrement dédié à la présentation de publications tandis que Researchgate est plus proche d’un réseau social. Chacun de ces deux sites permet de connaître des indices qui sont supposés refléter la qualité d’un chercheur, le h-index pour GoogleScholar et le RG Score pour Researchgate.

Ces deux indices ne sont pas calculés de la même manière et reflètent donc une réalité différente.

Le h-index a été proposé en 2008 par Jorge Hirsch et présente un calcul qui prend en compte le nombre d’articles, le nombre de citations et le nombre de citations par article. Il existe des formules mathématiques qui décrivent le calcul du h-index, je vous renvoie à Wikipédia qui propose un panel d’informations assez complet à ce sujet. La lecture de l’article Completing h de Dienes (2015) permet aussi de situer les limites de cet indice et de mieux en comprendre le fonctionnement.

Le RG Score est plus lié au réseautage social et dépend donc de la quantité des articles lus, téléchargés, des recommandations reçues des pairs, des citations reçues par les articles mais aussi du nombre de questions qui est posé et du nombre de questions auquel le chercheur a répondu sur ce site.

Pour résumer nous pouvons dire que le h-index est une donnée moyenne qui reflète la qualité des productions scientifiques d’un chercheur alors que le RG Score va refléter la qualité des travaux mais aussi l’implication d’un chercheur dans un réseau social et sa validation par ses pairs.

Ces deux grandeurs sont complémentaires, elles ont des défauts et des qualités propres.

Le h-index considère toute citation. Par conséquent, un article cité régulièrement comme faux va donc augmenter le h-index de son auteur alors qu’il diminue la qualité des recherches. Un chercheur qui recourt à l’autocitation va aussi voir son h-index augmenter alors que sa communauté scientifique le juge peu pertinent.

Le RG Score, lui, tient plus compte de l’implication d’un chercheur dans le réseau social de sa communauté et du retour des pairs. Cependant ce score dépend de l’activité sur le réseau, quelqu’un de très impliqué qui répond à de nombreuses questions et travaille son profil pour gagner en visibilité a un RG Score élevé. Ce RG Score peut alors surestimer la qualité des recherches effectuées par un scientifique.  L’avantage d’un profil ResearchGate est aussi lié à des informations telles que le nombre de membres suivi par un chercheur et le nombre de membres qui suivent ce chercheur. Plus il y a de chercheurs qui suivent un scientifique, plus son travail est considéré comme novateur ou important.

La qualité et la réputation d’un chercheur est fonction des indices cités, s’ils sont élevés c’est que les travaux du chercheur sont de qualité et reconnus. Une simple recherche internet, en considérant les biais présentés, permet de bien estimer la validité des indices du chercheur concerné.

Concernant la médecine, il existe deux autres sites, PubMed et ExpertScape, je ne connais pas ces sites à titre personnel et ne les évoquerai pas.

 

La qualité d’un journal

                Impact Factor

Le site « Web of Science » est le principal site dédié à la mesure de ce qu’on appelle le facteur d’impact d’un journal. Notons que ce facteur d’impact concerne les revues scientifiques avec comité de lecture. La présence de ce comité signifie qu’est réalisée une évaluation des articles déposés par les auteurs, le plus souvent par deux chercheurs anonymes reconnus dans le domaine de la publication.

Le facteur d’impact est en fait le nombre moyen de citations d’un article publié dans une revue, il permet donc d’estimer la visibilité et la qualité attribuée aux publications d’un journal par les pairs. De manière similaire au h-index, le facteur d’impact est un bon indice de la qualité d’un journal bien qu’il soit limité. En effet, notons que ces indices sont calculés depuis des publications qui ont subi un processus de sélection, par un éditeur qui juge la compatibilité d’un article avec la ligne éditoriale et par des reviewers qui jugent de la validité scientifique de l’article. Notons que le fait de « reviewer » une publication est un travail bénévole.

Des journaux très reconnus et généralistes (Science ou Nature) présentent, en règle générale, des articles de qualité, avec des critères de sélection élevés d’un point de vue scientifique (rigueur, méthode, nouveauté, nombre de résultats…) mais aussi une sélection sur l’impact possible d’une publication.

Cet impact n’est pas négligeable car la visibilité du journal sera directement dépendante de ce critère. Dans un même domaine, la disparité est très importante entre différents sujets.

Les travaux concernés à la fusion nucléaire auront beaucoup plus d’impact que des travaux dédiés à un gain de rendement de 2% pour les éoliennes. De même un traitement contre le cancer du pancréas aura bien plus d’impact que des études sur le métabolisme du bouledogue.

Ainsi, les chercheurs qui publient régulièrement dans ce type de revue très cotées sont souvent des auteurs de qualité et ont une légitimités certaine.

Il peut être difficile de connaître les moyennes des h-index ou RG Score des chercheurs dans un domaine mais les facteurs d’impact sont triés selon leur valeur. Le JCR & Science Citation Index de 2016 nous permet par exemple de constater une surreprésentation des revues médicales, de physiologie ou de biologie, dans les hauts facteurs d’impact. En effet six des dix revues avec le plus haut facteur d’impact sont dédiées à la médecine ou la pharmacologie, deux à la biologie, une généraliste et une à la chimie. Cet aspect peut être relié directement à l’impact très important du médical dans la société qui va placer les revues d’oncologie et de médecine en tête des classements.

Sur ce type de classement, vous pouvez aussi constater qu’un grand nombre de journaux démarrant par Nature sont en haut du classement. Ces journaux font partie du « Nature Publishing Group », dont le journal central est Nature. Un chercheur qui publie régulièrement dans ces revues verra donc son h-index augmenter et est plus susceptible de présenter des résultats de haute tenue.

Ces facteurs d’impact peuvent être modifiés ou manipulés et sont sujet à caution, parfois à critique. Ceci peut se comprendre de manière assez simple. Une technique d’analyse très courante dans le domaine de la recherche est la Diffraction des Rayons X, un article qui présente un traitement original d’analyse, même mineur, peut alors être énormément cité dans le monde entier. De ce fait, le facteur d’impact du journal concerné est alors susceptible d’augmenter de façon importante mais la qualité générale des articles n’a pas changé entre-temps. Toutefois les publications les plus à-même d’être énormément citées sont celles présentant des avancées ou découvertes majeures, actuellement des publications dédiées au « deep learning » sont énormément citées (Deep Learning, publiée dans Nature par les « parrains de l’intelligence artificelle » a été cité plus de 16000 fois en 2019, là où le même journal présente un facteur d’impact de 40 environ). Les publications originelles sur une technique d’analyse, la matière noire, les nanotubes de carbone ou les MOF (Metal-organic Framework) seront par exemple très citées et augmenteront la renommée des journaux ou elles ont été publiées.

                Eigenfactor

Un indice similaire au facteur d’impact se nomme le Eigenfactor et est aussi trouvable en ligne pour toute revue mais mesure cette fois l’influence d’un journal en prenant en compte les journaux dans lesquels sont cités un article dans le calcul. Le but est d’essayer de prendre en compte le nombre moyen de chercheurs qui souhaiteront accéder à un article de cette revue et surtout d’associer un poids différent à chaque citation selon leur origine.

Comme pour les indices précédemment évoqués, ces valeurs sont une estimation quantitative de la qualité des recherches publiées, elles peuvent être manipulées ou subir des variations significatives mais ces défauts peuvent être compensés ou nuancés dès lors qu’on applique un jugement critique sur une valeur en particulier.

 

Les collaborations multiples

Pour monter des projets ou augmenter la renommée d’un laboratoire, les collaborations internationales et industrielles sont vivement recommandées. Les collaborations nationales sont moins recommandées pour étendre son influence mais elles ne sont pas pour autant délaissées.

La quantité et la qualité des collaborations sont aussi un bon moyen d’évaluation par les pairs, une équipe de recherche qui créée un logiciel dédié à l’étude d’un phénomène, à la simulation d’un système ou à l’analyse des données verra son nombre de collaboration augmenter si le logiciel présente un apport important.

Il est d’usage que pour les publications, les collaborations les plus régulières soient effectuées entre membres d’une même équipe, ce qui est logique. Toutefois, plus la qualité des travaux d’un chercheur en particulier sera élevée, plus il recevra des demandes de collaboration. La variété et la multiplicité des collaborations d’un chercheur sera donc un bon indice pour tempérer les indices présentés précédemment.

Si lorsque vous effectuez une recherche sur un scientifique, vous constatez sur ResearchGate qu’il a de nombreuses publications en commun avec d’autres scientifiques tout autour du monde, ceci est un indice fort pour comprendre que cet homme est reconnu par ses pairs. C’est donc une validation indirecte de la qualité de ses travaux. A contrario, des collaborations exclusivement avec des membres de son laboratoire, sachant qu’un certain nombre seront des doctorants ou post-doctorants qu’ils dirigent, trahissent une certaine isolation. Il n’est pas possible d’affirmer que l’absence de collaboration externe montre une faible qualité de recherche mais c’est plutôt un signe négatif.

Enfin vous pouvez compléter l’étude des collaborations en observant les différents indices présentés des collaborateurs réguliers, ce qui vous aide à situer la qualité des collaborateurs.

De manière assez simple, plus un chercheur montrera des collaborations variées avec d’autres chercheurs dont le h-index, le RG Score ou le Eigenfactor sont élevés, plus la qualité de son travail sera élevée.

La liste d’auteurs dans un article

Les auteurs d’un article sont ceux qui ont contribué de manière, même minime, à obtenir les résultats présentés, à leur analyse ou à leur interprétation.

Dans certains cas, les chefs d’équipes ou directeurs de laboratoire sont inclus comme auteurs de toutes publications de leur équipe ou de leur laboratoire. Leur contribution scientifique directe peut être minime ou négligeable pour les publications mais leur direction, leur expertise, fournit le cadre qui permet aux scientifiques d’effectuer leurs recherches. Cette contribution n’est pas négligeable et ne doit pas être balayée d’un revers de main.

De manière courante, la personne présentée en premier auteur est le rédacteur de la publication et qui a le plus travaillé sur l’obtention des résultats.  Les auteurs suivants ont fourni un travail plus variable. Ce peut être une analyse de résultats, l’interprétation des données, une acquisition spécifique etc…

La contribution apportée par chaque auteur est assez subjective. Les étudiants en thèse, post-doc et ATER fournissent en général une grosse part du travail d’acquisition, de rédaction et d’analyse. Mais l’apport de leurs responsables dans l’interprétation et les corrections est primordial. Les directeurs de thèse disposent d’un recul et de connaissances que ne possèdent par leurs étudiants, ou pas encore. C’est donc une collaboration étroite de ces deux corps, sous l’autorité d’un chercheur confirmé, qui permet de rédiger des publications pertinentes.

De plus certaines personnes, grands spécialistes d’une technique d’analyse, sont hautement sollicitées pour leur expertise dans un domaine particulier. Si vous observez un chercheur coauteur d’un grand nombre de publications de nombreuses équipes de recherche, il est probablement dans ce cas.

                 Luc Montagnier et Françoise Barré-Sinoussi

Pour illustrer ce propos, nous pouvons nous intéresser au cas de Luc Montagnier et Françoise Barré-Sinoussi, prix Nobel 2008 pour leurs recherches sur le VIH.

Un cas intéressant concerne le prix Nobel 2008 de médecine attribué à Luc Montagnier et Françoise Barré-Sinoussi. C’est une bonne illustration de la répartition des tâches, Luc Montagnier, directeur d’unité, a fourni le cadre des recherches, les moyens, la ligne directrice scientifique ; Françoise Barré-Sinoussi, chargée de recherches, a obtenu les résultats, les a traités et analysés. D’autres personnes ont participé à ces travaux, en particulier Jean-Claude Chermann qui était directeur de recherche à l’INSERM, sur le sujet des rétrovirus mais n’a malheureusement pas été récompensé du prix Nobel.

Précisons que Luc Montagnier est largement désavoué par sa communauté depuis une dizaine d’années (autres prix Nobel, membres de l’Académie de Médecine). Les travaux qu’il publie depuis lors sont sévèrement critiqués pour leur manque de reproductibilité, leurs résultats et analyses au mieux tendancieux. Sa crédibilité actuelle est donc très faible.

Françoise Barré-Sinoussi préside le comité scientifique pendant la crise du « COVID-19 », sa crédibilité scientifique n’est pas à remettre en cause et son rôle dans la crise actuelle ne sera pas présenté dans cet article.

Nous avons employé les termes de chargé et directeur de recherches. Ces termes ont un sens car un directeur de recherche, tout comme un Professeur d’Université, doit posséder une Habilitation à Diriger des Recherches (HDR). Cette Habilitation est une distinction universitaire qui est nécessaire à l’encadrement des thèses. Elle ne peut être obtenue qu’après une soutenance devant un jury d’experts de l’ensemble des travaux réalisés par un Maître de Conférence ou un Chargé de Recherche. L’avis d’un Professeur ou d’un Directeur a donc plus de poids en règle générale que celui d’un Maître de Conférence ou d’un Chargé de Recherche.

 

La régularité des publications

La régularité des publications constitue aussi un critère intéressant pour juger les travaux d’un chercheur.

D’après l’article Publication rate by age, gender and academic position – A large-scale analysis of Norwegian academic staff, de Rorstad et Aksnes (2015), la moyenne est d’une publication par an en sciences dures et entre 0.5 et 1 pour les sciences molles ou la médecine, 1,5 pour les sciences sociales et 2 pour les lettres.

Plus le nombre de publication annuelle est élevé, plus le h-index ou le RG score augmente, un fort taux de publication est donc en général lié à une bonne productivité et une certaine qualité de travail. En prenant en compte les délais pour la publication dans une revue à comité de lecture, six publications annuelles est une quantité élevée.

Au-delà de cette valeur, il est nécessaire de s’interroger sur la contribution du scientifique concerné. Le chercheur peut diriger plusieurs études dans un même temps, avoir une spécialité reconnue qui le rend très sollicité par ses pairs sur certains points et donc être coauteur de beaucoup de publications. En-deçà d’une publication tous les deux à trois ans, le chercheur a probablement arrêté son travail de recherche pour se concentrer sur d’autres carrières, parfois sur l’écriture de livres.

Pour résumer, si l’écart par rapport à la moyenne présentée au début de cette partie est trop important, il faut être sceptique devant ce spécialiste. Vous pouvez alors explorer son CV en prenant en compte les autres critères présentés.

Dans des domaines où l’innovation est très rapide, par exemple l’électronique et l’informatique, les publications peuvent se succéder à un rythme élevé, ce qui peut engendrer une course à la publication. Dans d’autres domaines, les analyses peuvent prendre un temps considérable, par exemple dans la chimie des matériaux type ciment ou argile. Dans ce domaine, un échantillon peut être laissé des mois dans un environnement pour évaluer son vieillissement.

Des études sur la corrosion ont aussi cette contrainte temporelle, tout comme des études qui nécessitent des cultures biologiques qui peuvent être très longues. Les disciplines liées à la simulation en physique ou en chimie peuvent avoir des études très longues, mais de nombreuses études peuvent être lancées en parallèle. En somme pour tempérer un avis sur le nombre de publications, il faut observer son domaine d’étude et chercher des informations sur le nombre de publications annuelles dans ce domaine.

Je vous conseille cet article sur la régularité des publications.

 

Conclusion

Cet article donne des clés sur des publications dans des revues à comité de lecture. Dans des domaines plus secrets liés à la défense, à l’électronique, au nucléaire, la confidentialité peut être requise et même les brevets déposés peuvent sous-évaluer l’avancée d’un laboratoire. En particulier, certaines grandes entreprises ou États bloquent les communications sur leurs sujets de recherche.

Cette évaluation de la qualité des travaux d’un chercheur repose sur certains critères factuels, le nombre de publications, de citations, de collaborations. Toutefois, on peut noter que les nuances apportées à ces grandeurs sont plus subjectives et empiriques, elles demandent donc à être exprimées avec précaution. L’idéal serait de pouvoir questionner les pairs d’un chercheur sur ces critères dans leur domaine d’activité.

Observer les quelques critères énoncés vous donne une première image d’un chercheur, appliquer les nuances exposées de manière logique vous permet ensuite d’affiner cette image. Le rendu final que vous obtiendrez sera alors au plus proche de la réalité et vous ne pourrez pas aller plus loin à moins de travailler directement avec cette personne. Notons que nous ne jugeons pas ici la validité scientifique des recherches mais leur pertinence, leur importance. Simplement, si vous constatez qu’un chercheur remplit tous les points négatifs énoncés ci-avant, c’est probablement un mauvais chercheur ou pire, un escroc. A contrario, s’il remplit tous les points positifs, c’est probablement un grand scientifique.

Didier Raoult constitue un cas limite ici, son CV est impressionnant, la qualité globale de ces recherches est élevée et il est reconnu par ses pairs. Toutefois ses récentes déclarations et études cliniques font l’objet d’une forte remise en question de sa communauté. Il est possible que certains résultats soient faux, ce qui remet en cause sa crédibilité et la validité scientifique de ses travaux.

Pour terminer et étendre, les récompenses attribuées en sciences dures sont soumis à des critères rigoureux, si une personne est titulaire d’un prix Nobel, d’une médaillle Fields, d’une médaille d’or du CNRS, d’un prix Humboldt, il a une forte légitimité. La simple nomination à l’une de ces récompenses demande un parcours impressionnant à l’heure actuelle.

Luc Montagnier constitue ici un contre-exemple assez marquant, son prix Nobel a été attribué en 2008 pour des travaux de 1982-83. Après avoir obtenu son prix Nobel, il a multiplié les travaux polémiques et est depuis très largement désavoué par ses pairs, par des prix Nobel aussi bien que des membres de l’Académie de Médecine. Toutefois la validité de ses recherches précédentes n’est pas remise en cause.

Sachez enfin que le nombre de publications, leur régularité font aussi l’objet de débats et de discussions entre scientifiques sur leur réseau social.

Il est aussi possible de trouver des publications scientifiques sur ces différents points et critères, par exemple dans le Journal of Infometrics.