En France, le Scimago Journal Ranking est devenu un pivot de l’évaluation de la recherche dans des sections universitaires comme la psychologie ou les STAPS. En l’appréhendant comme un centre de calcul, l’auteur entend contribuer à une meilleure compréhension de son fonctionnement et de ses effets. Objectif d’autant plus important que dans les deux sections saisies comme analyseurs, le virage bibliométrique s’est produit sur fond de relative méconnaissance des rouages de ce nouvel indicateur. Le deuxième objectif consiste à identifier certaines répercussions de cette place croissante faite au SJR dans les deux communautés scientifiques considérées. Enfin, deux pistes interprétatives sont avancées quant à l’origine de cette nouvelle centralité : la première au prisme du concept de solutionnisme technologique ; la seconde à l’aune d’enjeux normatifs et de mise en ordre.
Mots-clefs : bibliométrie, évaluation, normativité, SHS, solutionnisme
Promises and appropriations of a bibliometric innovation : the uses of the Scimago Journal Ranking in the Humanities and Social Sciences
In France, the Scimago Journal Ranking has become pivotal for the purpose of research evaluation in such scientific domains as psychology or sports sciences. Through the concept of calculation center, the author intends to contribute to a better understanding of its functioning and effects. This objective is all the more important because in the two aforementioned domains, this bibliometric shift took place against a background of lack of knowledge as to the origins and operating of the new indicator. The second objective is to identify the implications of this growing importance of the SJR in the two scientific communities. Finally, two interpretative avenues are put forward as to this new centrality : the first in the light of the concept of technological solutionism ; the second in the light of normative issues and power issues.
Keywords : bibliometrics, evaluation, normativity, HSS, solutionism
Des sensibilités théoriques et des approches méthodologiques diverses cohabitent au sein de chaque discipline. La pluralité épistémique est particulièrement marquée dans les communautés multidisciplinaires où se côtoient des travaux relevant des sciences humaines et sociales (SHS) et des sciences de la vie et la santé (SVS). Historiquement, les STAPS (sciences et techniques des activités physiques et sportives) ont été construites comme une section universitaire (la 74ème du Conseil National des Universités – CNU) agrégeant des spécialistes de physiologie, de neurosciences, de biomécanique, de sociologie, de psychologie, d’histoire, de sciences de l’éducation ou de sciences de gestion. En psychologie, en dépit d’une délimitation a priori plus nette émanant du CNU (dont la 16ème section est intitulée psychologie, psychologie clinique, psychologie sociale) et du Hcéres [1] (qui mentionne sobrement un sous-domaine psychologie au sein des SHS), la situation ne diffère pas fondamentalement. Pansu (2015) évoque du reste « les disciplines de la psychologie », et la section 26 du CNRS (cerveau, cognition, comportement) regroupe des perspectives aussi hétérogènes que les neurosciences, la psychologie sociale, l’éthologie, l’ergonomie cognitive ou encore l’économie et la linguistique expérimentales.
Une autre similitude pousse à s’appesantir sur la psychologie et les STAPS : un peu plus d’une dizaine d’années après son apparition en 2007, le Scimago Journal Ranking (SJR) y est devenu un outil central d’appréciation des productions scientifiques. Cet avènement a été favorisé par l’antériorité du recours, du côté des chercheurs inscrits dans des démarches expérimentales et/ou proches des sciences biomédicales, au Journal Impact Factor (JIF). La généralisation de cet outil bibliométrique [2] étant peu adéquate pour apprécier la qualité de certaines productions scientifiques (en psychologie clinique par exemple, et plus largement en sciences sociales), le SJR a constitué une alternative dont la promotion et la diffusion ont été dynamisées par la suppression ou la relativisation de référentiels faisant jusqu’alors autorité (disparition des listes de revues produites par l’AERES pour les domaines STAPS et psychologie [3], mise au second plan de la base de données Psycinfo).
L’importance croissante prise par le SJR appelle une analyse rigoureuse de cet outil : son origine, ses spécificités par rapport aux autres indicateurs, ses atouts, mais aussi ses limites et zones d’ombre. L’exercice est d’autant plus nécessaire qu’en la matière, il existe une certaine méconnaissance, de la part des évalués comme des évaluateurs (Soulé, 2021). Pourtant dense, la littérature sur l’évaluation de la recherche, son outillage et ses divers référentiels est sous-mobilisée (Pontille, Torny, 2010) ; par conséquent, les désaccords et controverses sont rarement adossés à une connaissance de la mécanique des métriques et instruments internationaux, comme si les argument cognitifs et épistémologiques n’étaient pas prioritaires.
Les indicateurs bibliométriques qui définissent ce qui est valorisé ou au contraire ignoré ne constituent pas des « boîtes noires ». Il existe par conséquent un enjeu à expliciter la technologie de calcul qui équipe les jugements portés sur les activités de recherche (Pontille, Torny, 2013). D’où la question posée par ces sociologues : « de quoi sont faites les mesures quantitatives de la science » ? Si les limites du Journal Impact Factor (JIF), qui obéit à un principe d’élaboration relativement simple [4], sont largement documentées, tout comme certains de ses usages problématiques [5], on ne dispose pas d’autant de recul à propos du SJR.
Dans cet article, des travaux scientifiques sont mobilisés pour mettre en évidence les spécificités dont est porteur le SJR en matière de hiérarchisation des supports de publication. Des cas concrets, saisis à travers un ensemble d’écrits et de prises de position émanant de membres des deux sections universitaires saisies comme analyseurs (psychologie, STAPS), permettent de cerner les répercussions de la « conversion » au SJR [6]. Au terme de processus rapides et contestés, les stratégies de publication et les manières de diffuser les connaissances ont en effet été profondément altérées pour s’ajuster aux critères en vigueur. Suite à la mise en miroir des attentes suscitées par le SJR et de quelques-uns de ses effets, deux pistes interprétatives subsidiaires sont avancées : la première au prisme du concept de solutionnisme technologique (Morozov, 2013) ; la seconde à l’aune des enjeux normatifs soulevés, car la dimension politique et institutionnelle des changements décrits ne saurait être escamotée, comme en attestent les tensions générées au sein des deux domaines scientifiques considérés [7].
Partant du constat que les algorithmes sont des suites de décisions « mises en place, définies et validées par des individus poursuivant un objectif déterminé » (Ertzscheid, 2020 : 26), la première partie de cet article aborde le SJR en tant que « centre de calcul » (Latour, 1989) liant des acteurs (chercheurs, entreprises, éditeurs, etc.) et instruments pluriels (algorithmes, bases de données, serveurs informatiques, etc.). Les données, leur codage, les opérations de dénombrement et de classement constituent ce que Bowker et Star (1999) appellent des infrastructures informationnelles, fruits de décisions techniques distribuées entre acteurs et instruments [8].
Consultable à tout moment et circulant avec fluidité, la partie visible des construits que constituent les infrastructures informationnelles relègue à l’arrière-plan le travail (chaînes de traitement, opérations plus ou moins complexes) et les critères qui président à leur fabrication (Weller, 2019). En dépit de leur omniprésence, une bonne part de ces infrastructures tend ainsi à devenir invisible, leur évidence partagée conduisant à l’effacement des opérations permettant d’accomplir les mesures (Pontille, Torny, 2013).
Elaboré par des chercheurs espagnols spécialisés en scientométrie, le SJR propose une méthode d’analyse et de mesure de l’impact des revues scientifiques, ainsi qu’un ensemble de représentations visuelles simplifiées de cette influence. L’algorithme intègre le principe de l’influence weight, présent dans le weighted PageRank sur lequel est basé le moteur de recherche Google. Le principe : lester les citations d’un poids relatif à la qualité de la revue qui cite. Pour le formuler simplement, ces algorithmes permettent de tenir compte, par un ensemble d’itérations, des réseaux de citations liant des revues entre elles (Durand-Barthez et al., 2009). Ce que le SJR, parmi d’autres métriques, introduit de nouveau par rapport au JIF, c’est une évaluation et une prise en compte de la qualité des revues citantes, par le biais de l’analyse des réseaux d’articles scientifiques (Falagas et al., 2008).
Cette métrique est donc censée intégrer deux variables qui la distinguent du JIF : le prestige des revues citant les articles d’autres revues (exprimé par un bon classement dans le SJR) ; la proximité thématique entre les revues citant et les revues citées (évaluée via Scopus) (HEFCE, 2014). Concernant le second aspect, le SJR mesure les liens de proximité entre périodiques, déterminés par leurs relations de co-citations (Larivière, Sugimoto, 2018). Cet indice repose sur l’hypothèse que deux revues étroitement liées, présentant un potentiel de transfert important, sont susceptibles d’avoir des sujets en commun. L’algorithme du SJR accorde donc davantage de poids aux citations d’une revue voisine qu’aux citations provenant d’une revue périphérique.
Dans les années 2000, le paysage de la bibliométrie s’est complexifié du fait de la multiplication des instruments de mesure, constitutive d’un espace concurrentiel au sein duquel le JIF ne règne plus en maître (quand bien même il demeure une référence dans bien des domaines) (Pontille, Torny, 2013).
Le principe récursif consistant à tenir compte du prestige des revues citantes n’est pas une idée récente : il émerge dès les années 1970, mais ne peut alors s’appuyer sur des outils informatiques suffisamment puissants pour systématiser les calculs (Falagas et al., 2008). Il convient donc de relativiser le caractère novateur du SJR : l’Eigenfactor, conçu à l’Université de Washington (Bergstrom, 2007), obéit lui aussi au principe du transfert de prestige entre revues. Mais il est adossé au JCR (Journal Citation Report) là où l’algorithme de Scimago s’appuie sur le jeu de données Scopus (Durand-Barthez et al., 2009 ; Zitt, 2015). Ce dernier est un recensement de périodiques scientifiques créé en 2004 et commercialisé par la multinationale Elsevier. Le dispositif du SJR va se concrétiser à travers un partenariat liant à partir de 2007 ce leader mondial de l’édition scientifique [9] et les chercheurs du groupe de recherche Scimago (transformé par la suite en entreprise). Pour Elsevier, l’intention est de valoriser la base Scopus et de venir concurrencer le JIF de Thomson-Reuters [10], alors dominant en matière d’indicateurs bibliométriques.
En créant Scopus, Elsevier a cherché à se démarquer de l’ISI (Institute for Scientific Information) en visant une certaine exhaustivité, là où le WoS (Web of Science) a bâti sa réputation sur un fonctionnement sélectif « snobant » les supports considérés comme scientifiquement légers. La taille du jeu de données d’Elsevier est mise en avant (23 000 titres en 2016, contre seulement 13 000 pour le WoS), tout comme l’extension concomitante à des domaines jusqu’alors peu couverts par le WoS (SHS et supports non-anglophones notamment). Cet élargissement est le principal argument brandi par Elsevier pour convaincre des clients (notamment les universités) de recourir à Scopus afin de couvrir au mieux l’activité scientifique, mais aussi de l’évaluer de manière plus pertinente. A priori, on peut donc voir dans cet outil bibliométrique une alternative crédible au JIF.
Par le biais de ce partenariat, Elsevier devient un acteur majeur de la production d’indicateurs bibliométriques. Ce mouvement illustre sa stratégie de convergence entre édition scientifique et gestion de données et métriques. Destinée à maintenir la profitabilité très élevée du groupe, elle augure du développement d’un écosystème propre d’information scientifique [11]. Il peut sembler délétère de confier l’élaboration et le calcul des indicateurs bibliométriques à des maisons d’édition qui sont juge et partie (Farge, 2016). Les experts en bibliométrie ont du reste été prompts à soulever la suspicion de conflit d’intérêt que ne manque pas de générer ce double-positionnement (l’entreprise contrôle des métriques qui évaluent ses propres revues et celles d’éditeurs concurrents). Données factuelles à l’appui, Bergstrom et West (2018) montrent que les métriques du groupe Elsevier (CiteScore par exemple) sont particulièrement bienveillantes envers les revues qu’il édite, et un peu moins envers celles de concurrents directs comme Springer (éditeur de Nature, par exemple).
La coopération entre les chercheurs du groupe Scimago et Elsevier a donné lieu à une innovation par imitation (Godin, 2017), consistant à hybrider le facteur d’impact et l’algorithme PageRank, au moment où la puissance de calcul informatique et la surface offerte par les bases de données internationales ne constituent plus une entrave. Le SJR tire sa force du jeu de données auquel il s’adosse (Scopus), ainsi que d’une ergonomie facilitant la visualisation des données. Il fait néanmoins l’objet de critiques de divers ordres.
En ne faisant que quantifier les citations entrantes, le JIF s’appuie sur un algorithme simple. L’ajout d’une pondération liée à la proximité thématique et à la notoriété de la revue citante fait du score d’impact de Scimago un algorithme complexe (Durand-Barthez et al., 2009). Falagas et al. (2008) le jugent « trop compliqué ». A leurs yeux, la méthodologie et l’algorithme qui le structurent sont flous [12]. La justification avancée pour soutenir le choix fondateur du SJR est que les revues dites périphériques auraient moins d’autorité sur le sujet traité dans la revue citée : affirmation contestable qui limite la pertinence et la puissance de l’indicateur (Manana-Rodriguez, 2015). La manière dont est caractérisé le prestige d’une revue demeure à la fois critiquable (la notion étant insuffisamment définie) et par trop récursive (une revue étant particulièrement prestigieuse si elle est surtout citée par des revues du même niveau). Dit autrement, ce qui confère du prestige à une revue, et donc aux revues qu’elle cite, est en fait le nombre de citations qu’elle reçoit d’autres revues pondérées par le même processus (ibid.).
D’autres aspects censés faire du SJR une alternative sérieuse au JIF génèrent une certaine circonspection dans la littérature spécialisée :
Au regard de ces éléments, sans sous-estimer l’intérêt d’un outil plus ouvert aux titres publiés dans d’autres langues que l’anglais, l’introduction du SJR n’entraîne pas de changements radicaux. Les biais générés sont proches de ceux, bien connus, du JIF ; les classements de revues diffèrent du reste très peu entre les deux indicateurs (Manana-Rodriguez, 2015 ; Schöpfel, Prost, 2009 ; Elkins et al., 2010). Mobiliser des bases données comme le WoS ou Scopus à des fins d’évaluation introduit donc des biais qui défavorisent les SHS, a fortiori dans une section interdisciplinaire (Mongeon, Paul-Hus, 2016). Selon Falagas et al. (2008), « en termes d’utilité, la principale nouveauté introduite par l’indicateur SJR est le libre accès ».
L’autre atout mis en avant à propos du SJR est un classement par quartile des revues au sein de 300 catégories disciplinaires et thématiques [14]. Toutefois, la manière dont Scopus a établi ces catégories, puis ventile les revues en leur sein est floue et génère un nombre important d’approximations et d’erreurs (Soulé, 2021). Ce classement par quartile ne permet pas une comparaison interdisciplinaire fiable (Schreiber, 2013). L’instabilité dans le temps du SJR pose également de sérieux problèmes éthiques (Gingras, Khelfaoui, 2020) : les scores et classements évoluent sans offrir une traçabilité stable, générant des modifications rétrospectives (Manana-Rodriguez, 2015). Cette importante limite, soulignée dès 2013 par Delgado-López-Cózar et Cabezas-Clavijo, provient du fait que les valeurs sont recalculées lors de deux mises à jour annuelles.
Enfin, les autocitations de revues sont incluses dans le calcul du SJR, jusqu’à concurrence du tiers de toutes les citations reçues par un périodique, alors que le JIF en fait abstraction. De sérieux doutes sont émis quant aux effets induits (Zitt, 2015). En 2012, des améliorations ont été apportées, parmi lesquelles la fixation d’un seuil en termes de transfert de prestige d’une revue à l’autre, destiné à réduire les distorsions (causées par des manipulations ou la rareté des références dans les revues très spécialisées).
L’ensemble de ces problèmes et incertitudes constitue un obstacle majeur à l’utilisation du SJR à des fins d’évaluation (Manana-Rodriguez, 2015). Une transparence accrue serait à même de pondérer, voire lever certaines réserves émises. Pour des raisons commerciales, les données nécessaires au calcul du SJR ne sont toutefois pas accessibles au public (ibid.). Il est par conséquent impossible de reproduire les analyses réalisées et les classements produits, ce qui va à l’encontre d’un principe essentiel sur lequel est censée reposer l’évaluation bibliométrique : laisser la possibilité aux communautés évaluées par le biais d’une métrique d’auditer cette dernière (Pulverer, 2015).
Dans les deux domaines scientifiques investigués, le SJR a fait l’objet d’une appropriation assez rapide. La production de données aisément consultables (en ligne, gratuitement, sans condition restrictive) est inédite dans le paysage de la bibliométrie d’impact. Par ailleurs, le SJR doit son attractivité aux artefacts scripturaux qu’il convoque (scores, graphes, tableaux, couleurs, classements, quartiles, etc.). Le processus d’écriture et de lecture (Weller, 2019) semble s’avérer explicatif du succès de cet outil bibliométrique. Sa diffusion est en effet grandement facilitée par son apparente simplicité et par l’accessibilité liée aux efforts réalisés en termes de visualisation : passée au crible du SJR, une revue scientifique dispose d’un score et figure dans un ou plusieurs quartiles (thématiques ou disciplinaires) censés attester de sa qualité.
Contrairement au JIF, le score du SJR est rarement utilisé sous forme numérique, en tant que métrique [15]. C’est son appartenance à tel ou tel quartile (Q1 à Q4) qui sert d’étalon : ce label agit comme un marqueur de la production scientifique, avec pour corollaire une difficulté à valoriser des articles publiés dans des revues non recensées dans la base Scopus.
Comme pour d’autres hiérarchisations de revues (nombre d’étoiles ou classement en plusieurs rangs en économie-gestion), l’adoption, en dépit de quelques réticences initiales, a été prompte ; le SJR a rapidement été intégré aux procédures d’évaluation, avant de fortement les cadrer [16]. Les effets de prescription et d’alignement poussent à évoquer la performativité de ce type d’instrument : « les conversations ordinaires d’économistes et de gestionnaires ont intégré des néologismes tels que revues 2 étoiles aussi naturellement que revue d’économie industrielle ou revue anglaise » (Pontille, Torny, 2010). De même, on parle quotidiennement, dans les laboratoires de recherche en STAPS et en psychologie, de revues Q1, voire d’articles Q2 ou Q3 [17]. Le changement induit est radical : quand bien même la différence numérique conduisant à basculer d’un quartile à un autre peut être minime, l’effet de délimitation et d’attribution de qualité scientifique se trouve amplifié par la seule évocation du quartile d’appartenance. Ce processus produit des effets de hiérarchisation explicite en positionnant et valorisant les revues. Les comparaisons et comptages sont facilités ; il est du reste attendu des évalués qu’ils fluidifient le travail des évaluateurs en mentionnant les quartiles des revues dans lesquelles ils ont publié.
Après avoir touché du doigt la construction et le fonctionnement du SJR, puis identifié quelques effets génériques découlant des choix originels, il s’agit dans cette deuxième partie de prêter attention aux conséquences concrètes de cette nouvelle donne évaluative au sein de sections pionnières dans l’application du SJR. Les analyses produites confirment les tendances synthétisées dans la partie précédente. En nous inspirant de Denis (2018), nous entendons « restituer les conditions de félicité de la performativité des données », à l’origine de formes altérées de travail et de diffusion scientifiques.
Afin d’étayer l’hypothèse d’un traitement défavorable aux sciences sociales induit par la « conversion » au SJR, Soulé et Chatal (2018) ont travaillé sur un échantillon de 160 revues de sciences sociales (sociologie, anthropologie, sciences politiques, sciences de gestion, histoire et sciences de l’éducation) présentes sur la liste AERES de revues pour le domaine des STAPS [18]. Au terme d’une recherche systématique de chacun de ces titres dans le SJR, 24% avaient disparu et 19% se trouvaient déclassés (perdant en moyenne 1,4 rang). Les revues concernées sont presque exclusivement francophones. A l’inverse, les revues promues via le SJR sont systématiquement anglophones (il n’est pas rare, du reste, qu’elles gagnent deux rangs). Lorsqu’elles ne disparaissent pas purement et simplement des radars, les revues francophones sont, pour une large part, cantonnées aux Q3 et Q4.
Les variations interannuelles de quartile sont fréquentes, en particulier pour les revues francophones et/ou classées dans les deux derniers quartiles [19]. Par ailleurs, un cinquième des revues de sciences sociales est concerné par des changements rétrospectifs de classement [20]. L’ensemble souligne le caractère instable d’un outil censé objectiver la mesure. Plus largement, les revues de sciences sociales francophones semblent « maltraitées » par le SJR, lequel survalorise à l’inverse de nombreuses revues anglophones qui n’étaient pas toutes, jusqu’alors, considérées comme des supports de premier plan. Le déclassement produit est d’autant plus problématique qu’il se combine à la propension croissante, lors des évaluations, à associer la qualité aux revues figurant dans les deux premiers quartiles.
A partir d’un échantillon de 500 revues de psychologie, Rancourt (2016) note une très forte corrélation entre le JIF et le score au SJR. La correspondance est beaucoup moins nette concernant les revues de gestion et de mathématiques, alors que les revues de sociologie et d’informatique se situent à l’intermédiaire. A cet égard, le caractère alternatif ou subsidiaire de la métrique SJR semble limité pour cette discipline.
En se focalisant sur les revues scientifiques françaises, toutes disciplines confondues, Schöpfel et Prost (2009) ont identifié 368 titres figurant au sein du JCR et/ou du SJR. Leur analyse confirme que le taux global de couverture du SJR est largement supérieur, pour les revues françaises, à celui du JCR, tout en appuyant le constat d’une sous-représentation des revues relevant des SHS (elles ne constituent que 18% de l’échantillon). En élargissant le périmètre aux 1049 revues françaises de SHS alors identifiées, le taux de couverture n’est que de 6% dans le SJR, contre un famélique 2% pour le JCR. Quatre revues de psychologie figurent parmi les 20 revues françaises de SHS les mieux classées par le SJR : Psychologie française (74ème rang des revues scientifiques françaises au SJR, absence d’IF), L’année psychologique (83ème au SJR et 105ème au JCR), Annales médico-psychologiques (84ème au SJR, absence d’IF) et Travail humain (85ème au SJR et 98ème au JCR). « La plupart des éditeurs français (80 à 90 %) n’ont aucun titre dans le JCR et/ou Scopus », concluent les auteurs. La principale différence entre le SJR et le JCR, en termes d’intégration des titres français, est selon eux la meilleure couverture du premier pour la médecine et la pharmacologie. Signalons que la situation a évolué ces dix dernières années, sous l’impulsion de l’ouverture progressive de Scopus aux revues jusqu’alors exclues des bases de données internationales.
Dans certaines spécialités comme l’ergonomie, des revues françaises jouant un rôle important de valorisation des travaux et de diffusion des connaissances ne figurent pas au SJR, ou dans un quartile qui questionne l’intérêt d’y publier. Ainsi, parmi les 34 revues dans lesquelles les ergonomes français publient fréquemment, les trois premières, francophones, ne sont pas ou peu considérées dans le SJR (une seule est répertoriée, dans le Q3). Ce constat dressé par le Collège des enseignants-chercheurs en ergonomie (2017) questionne sur le devenir de titres structurants pour cette communauté scientifique, mais fragilisés par l’injonction grandissante à cibler d’autres supports et le vide dans lequel elles se trouvent projetées en termes de visibilité et de reconnaissance académiques.
La formalisation d’une nouvelle critériologie faisant du SJR un pivot de l’évaluation peut être interprétée sous l’angle du caractère providentiel de cette métrique. Permettant d’attribuer de la valeur à des publications, puis de les comparer sur la base de quartiles, elle semble a priori construite sur mesure pour une section multidisciplinaire comme les STAPS, ou traversée de courants antagonistes comme la psychologie. Dans les communautés considérées, les partisans du changement sont prompts à mettre en avant les promesses d’un tel indice, tout en discréditant ce qui l’a précédé (le JIF, les listes de revues AERES, l’inéquité, l’incomparabilité) dans le but de conforter l’alternative. C’est une structure argumentative classique relevée par les sociologues s’intéressant aux attentes nées des développements technologiques (Borup et al., 2006). L’un des motifs régulièrement invoqués est que le SJR, plus inclusif que le JCR, et surtout ses quartiles permettant de situer entre elles les revues, quel que soit le champ disciplinaire ou thématique considéré, conviennent désormais à l’ensemble des disciplines et spécialités.
Le concept de solutionnisme technologique trouve ici un terrain fécond. Il renvoie aux solutions séduisantes, souvent simplistes, s’imposant d’elles même car dans l’air du temps (Morozov, 2013). Ce recours s’appuie généralement sur une appréhension et une définition restreintes des problèmes à résoudre, qui nécessiteraient pourtant un diagnostic approfondi du fait de leur complexité. Dans le cas des STAPS, l’enjeu est l’évaluation des productions scientifiques de collègues et d’unités de recherche appartenant à une seule et même section universitaire, traversée par des cultures scientifiques éminemment plurielles. Au lieu de prendre à bras le corps ce stimulant défi épistémologique, le groupe de travail mandaté par le Hcéres pour réviser le référentiel d’évaluation des productions scientifiques des laboratoires STAPS s’est tourné vers le SJR, érigé en « juge de paix ». Le numérique bénéficie tout particulièrement de l’emballement et de la séduction que suscitent les nouvelles technologies, comme levier de progrès (Joly, 2019). Adossé à un algorithme élaboré et à des données massives, traduisant les opérations de calcul en indices d’une grande limpidité (quartiles auxquels est associé un code couleur allant du vert au rouge), le SJR a a priori tout pour plaire. C’est incontestablement de son accessibilité et de sa praticité que cette métrique tire sa force, comme l’ont observé Berland et Dreveton (2012) à propos du système d’étoiles attribuées aux revues de sciences de gestion pour figurer leur qualité. Les TIC relèvent d’une supposée évidence qui les rend difficilement questionnables, quand bien même elles n’ont pas été mises à l’épreuve, ni même discutées (Robert, 2014). C’est pourquoi les promoteurs du SJR, qu’ils relèvent de la psychologie ou des STAPS, se sentent exemptés de la réelle explicitation de leur fondement (Diet, 2019 ; Soulé, 2021). Les promesses de remédiation prennent aussi le dessus sur l’anticipation des conséquences et éventuels effets pervers générés par le changement (Morozov, 2013). Vu sous cet angle, le SJR incarne ce que Robert (2014) nomme une technologie intellectuelle : une part de travail intellectuel lui est confiée, le faisant passer du statut d’outil classant à celui de pilote pensant en partie à la place de l’évaluateur. Sans que ce dernier sache, pour autant, comment « pense » l’algorithme. Car que ce soit dans la section des STAPS ou en psychologie, sur 18 interviewés, aucun n’a été en mesure de décrire, même approximativement, le fonctionnement du SJR, ni même ses spécificités par rapport au JIF [21]. Cette méconnaissance tranche avec la manière dont cet outil a profondément altéré, en quelques années, les pratiques des chercheurs, à commencer par les plus jeunes (façonnant les stratégies de publication, la constitution des dossiers, etc.). Dans les deux sections, les explications accompagnant et promouvant le changement ont surtout porté sur la présence de sous-domaines spécifiques, l’ouverture aux sciences sociales de Scopus ou la présence en son sein de revues francophones.
Au sein de la section des STAPS, asseoir la centralité du SJR a en premier lieu consisté à établir l’acte de décès des listes de revues établies par l’AERES, au motif qu’elles n’étaient plus consultables en ligne (le site Internet de l’agence ayant cessé de fonctionner quand elle a été transformée en haut conseil). Pour les remplacer, le SJR fut alors décrit par ses promoteurs comme une base de données couvrant de manière quasi-exhaustive les revues scientifiques. Un outil convenant d’autant plus à cette section multidisciplinaire que son catalogue de thèmes, disciplines et sous-disciplines, tous équipés de quartiles, ouvrait un espace de commensuration (Nouguez, Pilmis, 2022) censé rendre l’évaluation équitable. En dépit des quelques critiques qu’il a suscitées, ce nouvel outil a infusé au sein de la section des STAPS et altéré le ciblage des revues. La situation ne diffère guère en psychologie [i].
Après avoir décrit les différentes apories produites par le recours systématisé à un indicateur bibliométrique comme le SJR, nous entendons dans cette dernière partie approfondir la dimension politique (et pas seulement opportuniste) de cette « conversion » sans forte adhésion.
Se fonder sur des outils d’évaluation partagés rend a priori possible un ajustement des points de vue, voire une pacification des évaluations (Berry, 2009). Plusieurs psychologues interviewés expliquent que le SJR s’est imposé non seulement du fait de sa facilité d’accès et de sa simplicité, mais aussi parce qu’il aurait apaisé les tensions relatives à l’appréciation des supports de publication entre des sous-disciplines très éloignées sur le plan épistémologique [22]. Un enjeu tout sauf anodin dans une section dont l’unité disciplinaire est menacée, quand bien même Diet (2019) met en garde contre cette volonté d’effacement du conflit, susceptible de s’accompagner d’un déni de complexité et de diversité.
Dans la section des STAPS, Soulé (2021) expose le fonctionnement du groupe de travail créé en 2016 par le Hcéres pour réfléchir à l’actualisation du référentiel d’évaluation de la recherche : ce changement majeur a été formalisé dans un cadre gommant toute possibilité de débat avec les communautés disciplinaires concernées. Un strict devoir de confidentialité a été imposé aux huit membres du groupe jusqu’à la diffusion du nouveau guide d’évaluation de la recherche pour les STAPS (effective deux ans plus tard). Il a par ailleurs été acté que les décisions devaient être consensuelles, plutôt que soumises à des votes. Après deux heures d’échanges conflictuels, et contre l’avis de plusieurs membres du groupe, la liste AERES STAPS 2012 a été abrogée et le SJR placé au centre de l’évaluation des produits de la recherche. Plusieurs membres du groupe ont eu le sentiment d’être mis devant le fait accompli. Leurs contestations orales et écrites, quoique argumentées, sont restées sans effet et sans réponse. L’un des membres du groupe de travail s’est résolu à en démissionner pour signifier son désaccord, ce qui lui a aussi permis de se dégager de son devoir de réserve et d’alerter plusieurs sociétés savantes.
Pour la psychologie, c’est la 16ème section du CNU qui s’est rangée au SJR par un vote à une très courte majorité. En 2016, il a été décidé de recourir à cet indicateur pour se prononcer sur la qualification aux fonctions d’enseignant-chercheur (une proportion minimum des travaux des candidats devant être publiée dans des revues figurant dans les meilleurs quartiles) (Althaus, 2019 ; Collège des enseignants-chercheurs en ergonomie, 2017). Plusieurs membres de la section ont démissionné suite à cette décision, au motif que « la manière dont les débats sont introduits et conduits au sein de la commission fait que les approfondissements de l’argumentation ne sont guère possibles (…) nous ne pouvons que nous opposer à ce fonctionnement qui ignore les avis minoritaires et confond ainsi pouvoir d’une majorité de circonstance et collégialité » (Diet, 2019).
Sur le plan décisionnel, les processus d’imposition du SJR en STAPS et en psychologie se font écho. L’absence de réel débat, voire l’impossible publicisation des désaccords ont poussé quelques réfractaires à ce changement à formaliser leur opposition par des démissions officielles, attestant dans les deux cas d’un passage en force.
Comme Guillon (2016) l’a observé en sciences de gestion, l’évaluation constitue dans les STAPS et en psychologie un levier de normalisation. Fragmentées aux plans disciplinaire et épistémologique, les STAPS forment un espace au sein duquel la rareté (des financements de recherche, des postes, des promotions, des primes) renforce les enjeux de l’évaluation, sur fond de « lutte des places ». De même, la psychologie est clivée : la pluralité épistémique et méthodologique constitutive de cette discipline se trouve remise en cause par le biais des nouveaux critères d’évaluation qui disqualifient indirectement la psychanalyse, la psychologie clinique, la psychodynamique du travail, la psychologie sociale ou encore l’ergonomie (Althaus, 2019). Ainsi, si l’on en croit Diet (2019), l’appartenance des revues de psychologie aux Q1 et Q2 du SJR est essentiellement réservée à des titres se situant dans un paradigme dominant, faisant la part belle à l’expérimentation et à la quantification plutôt qu’à la subjectivité et aux méthodes qualitatives. Ce constat fait écho à l’impérialisme anglo-saxon déploré par Tiberghien et Beauvois (2008), lequel contribue, notamment via l’évaluation, à la mise à l’écart des hétérodoxes (Althaus, 2019).
Les effets de cette nouvelle donne évaluative peuvent s’avérer très concrets. Selon Diet (2019), « ces critères vont entraver l’accès au professorat des maîtres de conférences situés dans le paradigme psychodynamique ou plus largement humaniste et référé aux sciences humaines, ce qui constitue bien évidemment l’enjeu même de la décision prise par la faible majorité du CNU 16 ». Par ailleurs, derrière les attendus minimaux qui s’établissent peu à peu (de manière formelle ou informelle : tant d’articles dans tels quartiles) se dessine le spectre de la surenchère ; en STAPS, une nette distinction est établie entre les revues des deux premiers quartiles, à l’aune desquelles se définit l’excellence, et les supports figurant dans les 3ème et 4ème quartiles, nettement moins considérés. Il y a fort à parier que l’exigence du nombre d’articles publiés dans les revues qualifiées d’excellentes ira croissant, selon une tendance déjà observée par le passé.
L’évaluation produite par le biais du SJR présente l’avantage d’éviter les débats sur le fond. A cet égard, elle est normalisatrice : gouvernant en partie les pratiques de valorisation scientifique, elle permet aussi d’étendre une domination en soustrayant la nécessité de l’évaluation par les pairs (Zarka, 2009). La tentation est donc grande, du point de vue des experts qui estiment pouvoir estimer sans connaître, de se référer à l’arbitrage extérieur fourni par les outils bibliométriques internationaux.
Depuis 2015, le SJR a conquis une place centrale au sein des deux sections universitaires considérées dans cet article. Les processus ayant conduit à ce caractère incontournable diffèrent. Au sein de la 16ème section du CNU, c’est un rapport de force favorable aux partisans du recours à cet outil bibliométrique qui a conduit à adouber le SJR, sans que les comités d’experts missionnés par le Hcéres s’alignent systématiquement et exclusivement sur cet instrument lors des évaluations des unités de recherche. En STAPS, c’est inversement le Hcéres, à travers un groupe de travail ad hoc, qui a entériné le caractère incontournable des quartiles du SJR, à partir desquels sont désormais calibrées les évaluations des laboratoires. La 74ème section du CNU lui a emboîté le pas sans pour autant que le SJR soit devenu l’alpha et l’oméga de l’évaluation individuelle des enseignants-chercheurs. L’outil constitue plutôt un appui conventionnel (Dodier, 1993), c’est-à-dire une certaine définition de normes professionnelles donnant aux parties prenantes la possibilité d’argumenter pour faire valoir des productions scientifiques déconsidérées à travers le prisme du SJR (Pontille, Torny, 2010).
Le SJR ne se contente pas d’armer les jugements d’experts. Il impacte, en amont, la manière de rédiger les rapports d’activité et les dossiers d’auto-évaluation, ainsi que le ciblage des revues scientifiques (et incidemment le devenir de ces dernières). Il exerce à ce titre un pouvoir d’agentivité sur une proportion importante de chercheurs. Là où Pontille et Torny (2010) mentionnent la « course aux étoiles » en économie-gestion, il semble possible d’évoquer, dans les cas étudiés, des stratégies de publication « quartilotractées ».
L’installation du SJR s’est par ailleurs faite sur fond de méconnaissance de cet indicateur. L’immense majorité des enseignants-chercheurs et des évaluateurs n’ont guère de visibilité sur la mécanique du SJR, pourtant officiellement promu comme pivot de l’évaluation de la recherche. De telle sorte que les soutiens, comme les critiques tombent souvent à plat, faute d’arguments que pourrait enrichir une maîtrise du fonctionnement de ce centre de calcul. Pour les moins convaincus, le constat se borne à déplorer l’étrangeté de l’outil, à souligner son inadéquation, non sans une forme de résignation également observée par Gingras et Khelfaoui (2020). Mais le sentiment de devoir jouer le jeu, sur fond de pragmatisme et de pression à la conformité, tend à prendre le dessus, en particulier chez les chercheurs en début de carrière (Nicholas et al., 2018).
Il ne saurait être question de généraliser les analyses produites. Toutefois, il est intéressant de souligner qu’en dépit des contestations dont il fait l’objet, le SJR connaît un certain succès dans des communautés que l’on peut considérer comme clivées, sur fond de tensions épistémologiques et axiologiques. Comme si, en quelque sorte, le SJR constituait un outil permettant de mettre de l’ordre. Il serait bien naïf d’avancer que l’évaluation se déroule de manière pacifiée dans les autres domaines disciplinaires, mais la discussion, le compromis et la collégialité semblent encore l’emporter (Pontille, Torny, 2010).
Une question semble finalement résumer le propos de cet article : un outil comme le SJR, légèrement moins inadéquat que le JIF, doit-il pour autant être considéré comme pertinent et adapté ? L’excellence est un horizon sans cesse martelé auprès des chercheurs. Mais qu’en est-il des évaluateurs et de leurs outils ? Il pourrait être rétorqué qu’ils manquent d’ambition et cèdent volontiers à la facilité.
La problématique de l’évaluation de la recherche ne peut être abordée sans tenir compte des contraintes pesant sur l’exercice, et notamment le manque de ressources qui y est consacré (nombre et diversité des évaluateurs, temps dédié à cette activité, fonds alloués aux procédures, etc.). Il faut reconnaître que procéder à des évaluations pertinentes et adéquates relève de la gageure. Dans ce contexte, l’utilisation d’indicateurs standardisés, bien que simplificatrice et frustrante à bien des égards, constitue un confort et représente une économie pour aboutir à des résultats plus ou moins conformes à ce que donnerait une évaluation approfondie. L’enjeu n’est toutefois pas seulement là : l’évaluation est aussi censée cadrer avec des cultures scientifiques hétérogènes, disposant de critères de qualité variés voire contradictoires ; plus encore, elle est une épreuve souvent attendue par les évalués, censée préserver leur dignité et combler des attentes légitimes de justice et d’équité. Ces derniers attendent des évaluateurs que leur activité respecte le principe de souveraineté disciplinaire (permettant une contextualisation cognitive), qu’ils acceptent un certain pluralisme, respectent pour ce faire un esprit d’ouverture, et s’inscrivent dans le cadre de l’échange rationnel avec une constance et une cohérence des critères sur la durée (Lamont, 2009). De plus en plus d’institutions incitent du reste à soutenir l’appréciation qualitative par les pairs et à faire un usage responsable des indicateurs quantitatifs pour renouveler l’évaluation de la recherche (Hcéres, CNRS, Conseil de l’Union européenne sur l’évaluation de la recherche et la mise en œuvre de la science ouverte, Appel de Paris sur l’évaluation de la recherche [23]). Enfin, de nombreux pays ont développé leurs propres systèmes d’information sur la recherche, visant une couverture bibliographique élargie de la production scientifique qui ne néglige ni les problématiques locales, ni les supports de diffusion nationaux (Thibault, Streliski, 2022).
Althaus Virginie (2019), « Le capitalisme à l’assaut des sciences humaines et sociales : l’exemple des revues payantes en psychologie », Zilsel, 6, 2, pp. 9-24.
Bergstrom Carl, West Javin (2018), Comparing Impact Factor and Scopus CiteScore, Eigen Factor Project, University of Washington.
Berland Nicolas, Dreveton Benjamin (2012), « Mesurer la performance des chercheurs, au risque de la bureaucratie », dans Comptabilité, société, Politique. Mélanges en l’honneur du Professeur Bernard Colasse, Nikitin Marc, Richard Chrystelle (dir.), Paris, Economica, pp. 287-303.
Berry Michel (2009), « Les mirages de la bibliométrie, ou comment scléroser la recherche en croyant bien faire », Revue du MAUSS, 33, 1, pp. 227-245.
Borup Mads, Brown Nik, Konrad Kornelia, Van Lente Harro (2006), “The Sociology of Expectations in Science and Technology”, Technology Analysis & Strategic Management, 18, 3-4, pp. 285-298.
Bowker Geoffrey, Star Susan Leigh (1999), Sorting Things Out : Classification and its Consequences, Cambridge, MIT Press.
CNRS (2015), Fiabiliser l’analyse des publications scientifiques : vers l’optimisation des choix de bases bibliographiques et d’outils de métrique, Paris, Direction de l’information scientifique et technique.
Collège des enseignants-chercheurs en ergonomie - CE2 (2017), L’évaluation des enseignants-chercheurs en ergonomie : présent et futur, dans Actes du 52ème congrès de la SELF. Toulouse : 20-22 septembre. https://ergonomie-self.org/wp-content/uploads/2018/08/ActesSELF2017-724-729.pdf
Diet Emmanuel (2019), « Le temps de la résistance », Connexions, 111, 1, pp. 9-17.
Delgado-López-Cózar Emilio, Cabezas-Clavijo Alvaro (2013), “Ranking journals : could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank ?”, Learned Publishing, 26, 2, pp. 101-114.
de Mesnard Louis (2012), “On Some Flaws of University Rankings : The Example of the SCImago Report”, Journal of Socio-Economics, 41, pp. 495-499.
Denis Jérôme (2018), Le Travail invisible des données. Éléments pour une sociologie des infrastructures scripturales, Paris, Presses des Mines.
Durand-Barthez Manuel, Dassa Michèle, Kosmopoulos Christine, Gontharet Catherine, Dreyfus Thierry, Chazelas Martine (2009), « Outils et méthodes », Documentaliste Sciences de l’Information, 46, 4, pp. 44-59.
Dodier Nicolas (1993), « Les appuis conventionnels de l’action. Eléments de pragmatique sociologique », Réseaux. Communication, Technologie, Société, 62, pp. 63-85.
Elkins Mark, Maher Chris, Herbert Robert, Moseley Anne, Sherrington Catherine (2010), “Correlation between the Journal Impact Factor and three other journal citation indices”, Scientometrics, 85, pp. 81-93.
Engels Tim, Ossenblok Truyken, Spruyt Eric (2012), “Changing publication patterns in the social sciences and humanities, 2000-2009”, Scientometrics, 93, 2, pp. 373-390.
Ertzscheid Olivier (2020), Le monde selon Zuckerberg. Portraits et préjudices, Caen, C&F éditions.
Falagas Matthew, Pitsouni Eleni, Malietzis George, Pappas Georgios (2008), “Comparison of PubMed, Scopus, Web of Science, and Google Scholar : strengths and weaknesses”, The FASEB Journal, 22, pp. 338-342.
Farge Marie (2016), « L’usage purement quantitatif de la bibliométrie nuit à la qualité de la recherche », I2D – Information, données & documents, 53, 4, p. 19.
François Pierre, Musselin Christine (2022), Coopérer dans un monde en compétition, in Borraz, Olivier (dir.), La société des organisations, Paris, Presses de la Fondation Nationale des Sciences Politiques, pp. 125-139.
Gingras Yves (2014), Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, Paris, Raisons d’Agir.
Gingras Yves, Khelfaoui Mahdi (2020), L’effet SIGAPS : la recherche médicale française sous l’emprise de l’évaluation comptable, Note de recherche 2020-05, Centre interuniversitaire de recherche sur la science et la technologie, Montréal, UQAM.
Guillon Bernard (2016), « L’évaluation des enseignants-chercheurs via les seules revues scientifiques classées : des aspects contre-productifs pérennisés », Management & Sciences Sociales, 21, pp. 78-89.
Godin Benoît (2017), “Why is imitation not innovation ?”, dans Godin Benoît, Vinck Dominique (dir.), Critical studies of innovation : alternative approaches to the pro-innovation bias, Northampton, Edward Elgar, pp. 17-32.
Harzing Anne-Wil, Alakangas Satu (2016), “Google Scholar, Scopus and the Web of Science : a longitudinal and cross-disciplinary comparison”, Scientometrics, 106, 2, pp. 787-804.
Hicks Diana, Wang Jian (2011), “Coverage and overlap of the new Social Sciences and Humanities journal lists”, Journal of the American Society for Information Science and Technology, 62, 2, pp. 284-294.
Hicks Diana, Wouters Paul, Waltman Ludo, de Rijcke Sarah, Rafols Ismael (2015), “Bibliometrics : the Leiden Manifesto for research metrics”, Nature, 520, pp. 429-431.
Higher Education Funding Council for England (2014), The metric tide. Independent review of the role of metrics in research assessment and management.
Larivière Vincent, Sugimoto Cassidy (2018), Mesurer la science, Montréal, Presses de l’Université de Montréal.
Joly Pierre-Benoît (2019), “Reimagining Innovation”, dans Lechevalier Sébastien (dir.), Innovation beyond technology. Science for society and interdisciplinary approaches, Singapour, Springer, pp. 25-45.
Lamont Michèle (2009), How Professors Think ? Inside The Curious World of Academic Judgement, London, Harvard University Press.
Latour Bruno (1989), La Science en action, Paris, La Découverte.
Manana-Rodriguez Jorge (2015), “A critical review of SCImago Journal & Country Rank”, Research Evaluation, 24, pp. 343–354.
Mongeon Philippe, Paul-Hus Adèle (2016), “The journal coverage of Web of Science and Scopus : a comparative analysis”, Scientometrics, 106, pp. 213-228.
Morozov Evgeny (2013), To Save Everything, Click Here : The Folly of Technological Solutionism, Public Affairs.
Nederhof Antonius (2006), “Bibliometric monitoring of research performance in the Social Sciences and the Humanities : a review”, Scientometrics, 66, 1, pp. 81-100.
Nicholas David, Herman Eti, Xu Jie, Boukacem-Zeghmouri Cherifa, Abdullah Abrizah, Watkinson Anthony, Marzena Swigon, Rodriguez-Bravo Blanca (2018), “Early Career Researcher’s Quest for reputation in the digital age”, Journal of Scholarly Publishing, 49, 4, pp. 375-396.
Nouguez Etienne, Pilmis Olivier (2022), Les organisations face aux « lois » du marché, in Borraz, Olivier (dir.), La société des organisations, Paris, Presses de la Fondation Nationale des Sciences Politiques, pp. 141-153.
Ossenblok Truyken, Engels Tim, Sivertsen Gunnar (2012), “The representation of the social sciences and humanities in the Web of Science. A comparison of publication patterns and incentive structures in Flanders and Norway”, Research Evaluation, 21, 4, pp. 280-290.
Pansu Pascal, Dubois Nicole, Beauvois Jean-Léon (2014), Dis-moi qui te cite et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ?, Grenoble, Presses Universitaires de Grenoble.
Pansu Pascal (2015), « Quelques principes au sujet de l’évaluation de la recherche et des chercheurs : quye mesure vraiment la bibliométrie ? », Bulletin de Psychologie, 539, pp. 419-422.
Pontille David, Torny Didier (2013), « La manufacture de l’évaluation scientifique. Algorithmes, jeux de données et outils bibliométriques », Réseaux, 177, pp. 25-61.
Pontille David, Torny Didier (2013), « Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES », Quaderni, 77, pp. 11-24.
Pontille David, Torny Didier (2010), « Revues qui comptent, revues qu’on compte : produire des classements en économie et gestion », Revue de la régulation. Capitalisme, institutions, pouvoirs, pp.1-32.
Pulverer Bernd (2015), “DORA the brave”, EMBO J, 34, 12, pp. 1601-1602.
Rancourt Jean (2016), Comparaison entre le facteur d’impact et les indicateurs de Scopus pour une sélection de périodiques, UQAM, Service des bibliothèques.
Robert Pascal (2014), « Critique de la logique de la gestionnarisation », Communication & Organisation, 45, pp. 209-222.
Rossner Mike, Van Epps Heather, Hill Emma (2007), “Show me the data”, The Journal of Cell Biology, 179, 6, pp. 1091-1092.
Schöpfel Joachim, Prost Hélène (2009), « Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative », La Psychologie Française, 54, 4, pp. 287-305.
Schreiber Michael (2013), “Uncertainties and ambiguities in percentiles and how to avoid them”, Journal of the American Society for Information Science and Technology, 64, 3, pp. 640-643.
Sivertsen Gunnar (2014), “Scholarly publication patterns in the social sciences and humanities and their coverage in Scopus and Web of Science”, dans Noyons Ed (dir.), Proceedings of the science and technology indicators conference 2014 Leiden, Leiden, Centre for Science and Technology Studies, pp. 598-604.
Sivertsen Gunnar (2016), “Patterns of internationalization and criteria for research assessment in the social sciences and humanities”, Scientometrics, 107, 2, pp. 357-368.
Soulé Bastien (2021), Évaluer la recherche multidisciplinaire. Un défi épistémologique escamoté en STAPS, Montpellier, Éditions AFRAPS.
Soulé Bastien, Chatal Raphaële (2018), « Evaluer la recherche dans une section universitaire interdisciplinaire : les effets de la conversion bibliométrique au sein des Sciences et Techniques des Activités Physiques et Sportives (STAPS) », STAPS : Revue internationale des sciences du sport et de l’éducation physique, 122, 4, pp. 9‑29.
Thibault Françoise, Streliski Sarah (2022), Les indicateurs bibliométriques pour les SHS. Etat de la question, Paris, Alliance Athéna.
Tiberghien Guy, Beauvois Jean-Léon (2008), « Domination et impérialisme en psychologie », Psychologie française, 53, pp. 135-155.
Weller Jean-Marc (2019), « La fabrique des données. À propos de l’ouvrage de Jerôme Denis, Le Travail invisible des données. Eléments pour une sociologie des infrastructures scripturales », Gérer & Comprendre, 135, pp. 73-75.
Zarka Yves-Charles (2009), « L’évaluation : un pouvoir supposé savoir », Cités, 37, 1, pp. 113-123.
Zitt Michel (2015), « Comparabilité entre domaines scientifiques. La pondération côté citant des réseaux de citation », Revue économique, 66, 1, pp. 289-310.
[1] Autorité administrative indépendante chargée d’évaluer les établissements d’enseignement supérieur et de recherche, les formations et les laboratoires, le Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur a succédé en 2014 à l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES). Créée en 2006, cette dernière a été critiquée au sein de la communauté scientifique : manque de transparence et de légitimité, système de notation aux conséquence délétères, etc. La création du Hcéres visait à remédier à ce hiatus en affichant « des principes d’indépendance, de simplicité de fonctionnement et de procédures ainsi que de légitimité scientifique et de transparence » (déclaration de la Ministre de l’Enseignement Supérieur et de la Recherche, Le Monde du 3 janvier 2013).
[2] Calculés à partir des citations d’articles, les indicateurs bibliométriques sont un moyen d’analyse quantitative de la diffusion et de l’impact des publications scientifiques. Permettant, à travers la hiérarchisation des revues, la comparaison des chercheurs, de leurs équipes, mais aussi de leur universités et pays d’exercice (Gingras, 2014), ils constituent un dispositif illustrant le mouvement plus large de mise en compétition inscrit dans une conception vertueuse de la concurrence, à même de révéler les meilleurs et d’identifier des gagnants (François, Musselin, 2022).
[3] L’inadéquation des outils bibliométriques pour jauger la production française en SHS a poussé l’AERES à référencer plus de 6000 revues dans une dizaine de sous-ensembles disciplinaires. Le but était aussi de faciliter le tri entre chercheurs publiants et non-publiants (Pontille, Torny, 2010). Une majorité de listes hiérarchisait les revues avant que ce principe soit abandonné au début des années 2010 (sauf en STAPS, psychologie et économie-gestion).
[4] Pour une année donnée, ratio « nombre de citations des articles parus dans une revue les deux années précédentes / nombre d’articles publiés par cette revue dans les deux années précédentes ».
[5] Cf. Pansu et al. (2014), Gingras (2014), HEFCE (2014), Hicks et al. (2015), Rossner et al. (2007), Gingras, Khelfaoui (2020).
[6] Le matériau empirique provient pour l’essentiel de 18 entretiens : 12 auprès d’enseignants-chercheurs en SHS de la section des STAPS, portant sur l’évaluation des productions scientifiques (réalisés en 2018, ils ont déjà été mobilisés dans des publications antérieures) ; 6 auprès de psychologues siégeant au sein de la 16ème section du CNU, réalisés en 2022 pour les besoins de cet article.
[7] Démissions du CNU ou du Hcéres, courriers officiels de protestation émanant de sociétés savantes, expression d’inquiétudes lors d’audiences au sein du Hcéres ou du ministère de l’Enseignement Supérieur, de la Recherche et de l’Innovation, publication de tribunes ou d’éditoriaux.
[8] A propos des technologies de calcul des productions scientifiques, Pontille et Torny (2013) distinguent trois éléments articulés. Les algorithmes (du simple dénombrement ou ratio à des formules algébriques complexes) n’ont d’intérêt que s’ils sont appliqués à des jeux de données qui intègrent, écartent et classent des informations relatives aux productions scientifiques (titres d’articles, noms de revues, auteurs, citations, etc.). Pour leur part, les outils bibliométriques comme le SJR combinent jeux de données et formules algorithmiques.
[9] Elsevier tire 90% de son chiffre d’affaires (plus de 3,3 milliards d’euros en 2019) des périodiques scientifiques.
[10] Le succès de l’Institute for Scientific Information (ISI) en a fait une entreprise rentable, rachetée par le groupe Thomson Scientific & Healthcare en 1992. Sa division Thomson-Reuters a depuis cédé le Web of Science (WoS) à Clarivate Analytics.
[11] Source : Synthèse sur la stratégie d’Elsevier. EPRIST – Analyse I/IST n°27 – Avril 2018. Repéré à https://www.eprist.fr/wp-content/uploads/2018/04/EPRISTnotesanalyse27avril2018.pdf
[12] Constat d’imprécision étendu par de Mesnard (2012) à un autre classement proposé par Scimago (le Scimago Country Rank), pour des raisons méthodologiques : “based on a largely automatic reading of Scopus, the SCR includes too many erroneous or disputable items. We have detected problems of nomenclature, double affiliation, and aggregation, the latter phenomenon leading to the formation of very large research institutions purely for the purpose of being more prominent in the ranking systems”.
[13] La récursivité de l’algorithme du SJR contribue au maintien des écarts existants, les revues non-anglophones étant peu susceptibles de recevoir des citations provenant de revues anglophones, mieux classées (Falagas et al., 2008).
[14] Un classement par quartile est également proposé à partir du JIF, dans un nombre plus restreint de catégories.
[15] « C’est moins compliqué de classer en Q1 à Q4 alors qu’avec l’impact factor, avant, on exigeait plus de 1 ou 1,5… C’était plus compliqué, là c’est des quartiles, c’est plus simple » (entretien, psychologue siégeant au sein de la 16ème section du CNU).
[16] « Scimago fait la loi (…) C’est devenu une règle, une norme, pour l’instant encore un peu accompagnée de Psycinfo, mais Scimago a gagné la bataille (…) Scimago couronne l’évaluation » (entretien, psychologue siégeant au sein de la 16ème section du CNU).
[17] Selon un membre siégeant au sein de la 16ème section du CNU, « les gens parlent comme ça, en termes de quartiles, Q1, Q2, la supposée excellence. Ce type de vocabulaire passe dans le langage commun de nos collègues. C’est un Q1, c’est un Q2 ».
[18] Liste établie en 2009 puis révisée en 2012 au terme de délibérations collectives.
[19] De nombreuses revues voient leur classement varier au moins à trois reprises entre 2010 et 2016. Certaines changent presque chaque année de classement sur la période considérée.
[20] Ces changements sont toujours à la hausse pour les revues anglophones, et systématiquement à la baisse pour les titres francophones ou germanophones.
[21] Ce constat, déjà dressé au sein de la section des STAPS (Soulé, 2021), peut être étendu à la 16ème section du CNU. « Bien sûr que non, les gens ne savent pas comment Scimago calcule. Ils ne cherchent pas, par économie cognitive, par manque de temps, je n’en sais rien. Il y a une sorte de soumission à ce qui devient la norme dans la communauté » (entretien, psychologue siégeant au sein de la 16ème section du CNU). « Non, 3 fois, 4 fois non (…) franchement, des gens qui sauraient vous dire comment on calcule le ranking dans Scimago, je pense que j’en connais pas… Vraiment. Autant l’impact factor, un certain nombre de collègues s’en sont préoccupés (…) mais sur les quartiles, pfff… » (entretien, psychologue siégeant au sein de la 16ème section du CNU). Un interviewé pourtant convaincu des effets positifs du SJR a ainsi conclu : « c’est vrai que c’est dommage d’utiliser un outil qu’on ne connaît pas ».
[i] « Les collègues, dans un esprit utilitaire, ne font presque plus que ça, publier leurs petits papiers, majoritairement en anglais, sans parler anglais… Des petits articles de 5 pages hyperspécialisés, avec une partie théorique minimaliste, calibrés pour viser les bons quartiles. Ils délaissent le reste, pourtant c’est ce qui est lu, les revues francophones, les ouvrages, les chapitres » (entretien avec un membre de la 16ème section du CNU).
[22] « Très vite ça s’est développé : parce que facile d’accès, avec cette logique de simplicité, et puis ça permet d’éviter des échanges houleux et complexes, pouvant réveiller de vieilles lunes sous-disciplinaires. Du coup ça a permis de rendre la prise de décision, la logique d’évaluation, assez sereine, apaisée. Ça permet en fait d’externaliser la prise de décision de l’évaluation, d’éviter les débats de fond, quelque part ! » (Rires) (entretien avec un membre de la 16ème section du CNU).
[23] Source : https://www.ouvrirlascience.fr/appel-de-paris-sur-levaluation-de-la-recherche/
Soulé Bastien, « Promesses et appropriations d’une innovation bibliométrique : le recours au Scimago Journal Ranking au sein des Sciences Humaines et Sociales », dans revue ¿ Interrogations ?, N° 36. Les Mythes au XXIe siècle, juin 2023 [en ligne], https://www.revue-interrogations.org/Promesses-et-appropriations-d-une (Consulté le 27 avril 2024).
