Guide de l'évaluateur des IRSC pour les bourses d'études supérieures en recherche du Canada au niveau du doctorat

Table des matières

Introduction

Au nom des Instituts de recherche en santé du Canada (IRSC), nous remercions les évaluateurs d' accepté de siéger à l'un des comités d'évaluation par les pairs. Le succès du processus d'évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir de l'information sur les politiques, les procédures et le processus de l'évaluation par les pairs des demandes présentées au programme Bourses d'études supérieures en recherche du Canada au niveau du doctorat (BESRC D).

Évaluation par les pairs aux IRSC

Le Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC contient des renseignements sur les objectifs, la gouvernance et les politiques des IRSC et décrit les rôles et les responsabilités des membres des comités d'évaluation par les pairs de même que les politiques, les principes et les procédures d'évaluation par les pairs. Il est important que les évaluateurs se familiarisent avec ce guide, de même qu'avec le présent document, avant d'entamer leurs évaluations.

Résumé du processus d'évaluation par les pairs

Dans le cadre de votre participation au processus, les IRSC vous demandent de prendre quelques instants pour remplir ou modifier votre profil d'évaluateur dans RechercheNet. Le profil d'évaluateur a été créé comme outil pour faciliter la gestion de l'expertise des évaluateurs.

Pour ce faire, veuillez ouvrir une session dans RechercheNet puis cliquer sur l'onglet « Mon profil d'évaluateur » dans la barre de navigation à gauche. Lorsque vous remplissez votre profil, dans la section « Type d'évaluateur », sous le groupe de chercheurs, choisissez « Autre », puis indiquez « Boursier postdoctoral ». Prière de ne remplir que les parties qui s'appliquent à vous, selon votre expérience, vos compétences ainsi que votre intérêt. Pour plus de précisions sur la façon de remplir votre profil, veuillez consulter le court module d'apprentissage à ce sujet. Le programme BESRC D a recours à un processus d'évaluation structuré et intégré à la plateforme en ligne RechercheNet. Le processus d'évaluation comporte une étape, qui consiste à évaluer individuellement et à coter les demandes assignées (il n'y a pas de réunion du comité). Toutes les demandes admissibles sont assignées à deux (2) évaluateurs.

Dans le cadre de ce programme sont formés deux (2) comités d'évaluation par les pairs. Chaque demande est attribuée au comité qui cadre le mieux avec les activités de recherche proposées selon le domaine scientifique indiqué par les candidats.

On demande aux évaluateurs de suivre les étapes suivantes afin de bien effectuer chacune des tâches de l'évaluation par les pairs :

Instructions étape par étape

Étape 1 : Lire les documents pertinents

Le présent document décrit le processus d'évaluation par les pairs pour les possibilités de financement du programme. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il importe également de remplir ou de mettre à jour le profil d'évaluateur dans RechercheNet, de suivre le module d'apprentissage sur l'évaluation des demandes de BESRC D et de prendre connaissance des ressources suivantes :

Étape 2 : Signaler les conflits d'intérêts

Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d'intérêts dans l'évaluation des demandes :

Remarques :

  1. Les IRSC attribueront les demandes de BESRC D à l'un des deux comités d'évaluation par les pairs selon le domaine scientifique indiqué par la personne candidate et non selon l'expertise de l'évaluateur, ce qui explique pourquoi des demandes qui ne correspondent pas nécessairement à votre domaine d'expertise pourraient vous être attribuées. Aucun conflit ne devrait être déclaré en raison d'un manque d'expertise de votre part; les IRSC vous demandent d'évaluer les demandes du point de vue d'un généraliste, même si le domaine ne vous est pas forcément familier.
  2. Comme les autres évaluateurs de votre comité déclareront également leurs conflits d'intérêts, il est possible que des demandes additionnelles vous soient assignées. On veillera à ce que la charge de travail des évaluateurs soit répartie adéquatement pour assurer l'équité du processus d'évaluation par les pairs.

Étape 3 : Analyser attentivement les demandes

Lorsque les conflits d'intérêts sont déclarés, les évaluateurs peuvent accéder à l'intégralité du contenu des demandes qui leur sont attribuées en ouvrant la tâche Effectuer des évaluations. Ils doivent ensuite suivre les étapes ci-dessous.

3.1 Examiner les critères de sélection

Les évaluateurs doivent tout d'abord se familiariser avec les critères de sélection qui se trouvent à l'annexe A du présent document. L'annexe fournit une interprétation des critères et énumère les éléments à évaluer pour chacun d'entre eux.

Les IRSC ont signé la Déclaration de San Francisco sur l'évaluation de la recherche (DORA), qui reconnaît que les résultats de recherche ne se limitent pas à la publication d'articles dans les revues et qu'ils peuvent comprendre un large éventail de contributions. Les évaluateurs doivent donc tenir compte :

Les évaluateurs devraient se garder d'accorder trop d'importance au nombre de contributions; ils devraient plutôt mettre l'accent sur l'incidence et l'importance de ces contributions. Ils doivent ainsi éviter de se servir d'indicateurs bibliométriques, tels que les facteurs d'impact, comme succédané d'appréciation de la qualité ou de l'excellence, car de tels indicateurs peuvent nuire à l'objectivité de l'évaluation par les pairs. De plus, les taux de citation varient selon les disciplines et les contextes; les membres doivent en tenir compte dans leur évaluation. Les indicateurs comme le nombre de publications et de citations ou la valeur et le nombre de subventions et de bourses reçues ne devraient pas être examinés hors contexte pour évaluer les réalisations, les contributions et les activités des candidats.

Comme l'indique la DORA, « le contenu scientifique d'un article est beaucoup plus important que les indicateurs de publication ou l'image de marque de la revue dans laquelle il a été publié ». On demande aux candidats de fournir des détails sur leur rôle dans les contributions scientifiques citées ainsi que sur les retombées et la portée de ces contributions.

3.2 Lire les demandes

On conseille aux évaluateurs de lire attentivement l'ensemble des demandes qui leur sont assignées avant de commencer à attribuer les cotes, et de prendre en note leurs réflexions. À cette fin, une feuille de travail de l'évaluateur est fournie comme modèle à l'annexe B. Ce document est réservé à un usage personnel et ne sera pas soumis aux IRSC.

Les évaluateurs doivent étudier chaque demande du point de vue d'un généraliste et évaluer sa qualité globale, notamment les objectifs de carrière, le profil et les attentes de la personne candidate ainsi que la proposition de recherche, à l'aide des critères de sélection appropriés. Il importe de noter que de nombreux candidats mèneront probablement des recherches ne relevant pas de l'expertise scientifique de l'évaluateur.

De plus, les évaluateurs doivent reconnaître l'importance de l'intégration du sexe et du genre dans les propositions de recherche et en évaluer la pertinence dans les demandes qui leur sont assignées. Pour de plus amples renseignements sur la prise en compte du sexe et du genre en recherche, les évaluateurs sont invités à suivre les modules de formation suivants :

Pour évaluer les demandes faisant intervenir des membres des Premières Nations, des Inuits et des Métis, les évaluateurs sont fortement encouragés à consulter le module de formation et les ressources qui suivent :

Les trois organismes sont signataires de la Déclaration de San Francisco sur l'évaluation de la recherche (DORA), une initiative mondiale visant à soutenir l'établissement et la promotion de pratiques exemplaires en évaluation de la recherche universitaire et qui reconnaît la nécessité d'améliorer les méthodes d'évaluation de la recherche au-delà des indicateurs bibliométriques. En tant que signataires, les IRSC reconnaissent l'existence et la valeur de diverses formes de contributions à la recherche et mettent en relief leur qualité et leur incidence. De même, ils encouragent vivement les évaluateurs à passer en revue la liste des ressources à leur disposition.

Pour que toutes les demandes reçoivent le même traitement, on demande aux évaluateurs de fonder leur évaluation seulement sur le contenu de la demande, et de ne pas faire d'autres recherches (p. ex. publications sur PubMed).

L'utilisation de l'IA dans le cadre de l'évaluation par les pairs constitue une violation de la confidentialité, car les évaluateurs manqueraient ainsi à leur engagement de protéger les documents des candidats (voir l'énoncé de politique des IRSC).

3.3 Formations à l'intention des participants à l'évaluation par les pairs

Les IRSC offrent plusieurs modules pour vous permettre d'acquérir une connaissance approfondie de leurs programmes, processus et outils. Ces modules visent à assurer une même connaissance des processus et politiques nécessaires à la réalisation d'une évaluation juste et efficace par les participants.

Surmonter les préjugés

En lisant les demandes, les évaluateurs doivent être aux aguets et agir concrètement pour atténuer les préjugés liés au genre, à l'origine ethnique, à la situation de handicap, à l'identité autochtone, aux systèmes de connaissances autochtones, à la taille de l'établissement d'affiliation, à la région, à l'âge, à la langue (dont les préjugés relatifs aux langues officielles et aux communautés linguistiques en situation minoritaire) et aux méthodes de recherche interdisciplinaire. Par exemple, il est important d'être conscient que :

Pour en apprendre davantage à ce sujet, les évaluateurs sont invités à suivre le module de formation obligatoire correspondant.

Le sexe et le genre dans la recherche en santé

Les évaluateurs doivent suivre l'un des trois modules en ligne sur le sexe et le genre dans la recherche en santé selon leur domaine d'expertise :

3.4 Attribuer une cote aux demandes

On demande aux évaluateurs de coter les demandes qui leur sont assignées selon chacun des critères de sélection décrits à l'annexe A, en utilisant l'échelle de cotation habituelle des IRSC (ci dessous). Il est essentiel d'utiliser toute l'échelle.

Les demandes (y compris celles s'inscrivant dans un partenariat financier ou une annonce de priorités) dont la cote globale pondérée est inférieure à 3,5 ne sont pas admissibles au financement des IRSC.

Descripteur Intervalle Définition Résultat
Exceptionnel 4,5 – 4,9 La demande fait preuve d'excellence à l'égard de la plupart ou de la totalité des aspects pertinents. Il peut y avoir des lacunes minimes. Subventionnable
Excellent 4,0 – 4,4 La demande fait preuve d'excellence à l'égard d'une bonne partie des aspects pertinents et se révèle acceptable à l'égard de tous les autres. Des améliorations sont possibles.
Très bon 3,5 – 3,9 La demande fait preuve d'excellence à l'égard de quelques aspects pertinents et se révèle acceptable à l'égard de tous les autres. Des améliorations s'imposent.
Bon 3,0 – 3,4 La demande traite des aspects pertinents d'une manière générale. Des améliorations importantes s'imposent. Non subventionnable
Moyen 2,0 – 2,9 La demande ne présente pas d'arguments suffisamment convaincants ou présente des lacunes ou des failles importantes.
Médiocre 1,0 – 1,9
Inacceptable 0,0 – 0,9

3.5 Rédiger une évaluation pour chaque demande

On encourage fortement les évaluateurs à rédiger une courte évaluation (d'au plus 4 000 caractères) venant appuyer la cote attribuée à chacune des demandes qui leur sont assignées. Les évaluations doivent fournir des remarques constructives aux candidats pour les aider à améliorer la qualité et l'efficacité de la formation proposée.

Les évaluateurs doivent axer leurs commentaires sur les forces et les faiblesses de la demande par rapport à chaque critère de sélection.

Les candidats recevront l'évaluation telle qu'elle est soumise par les évaluateurs. Ces derniers doivent donc s'abstenir d'y indiquer leur nom et la cote attribuée afin de préserver la confidentialité du processus d'évaluation.

Pour d'autres directives sur la réalisation d'évaluations de qualité, passez en revue la page sur les attentes quant à la qualité de l'évaluation des IRSC et le module Effectuer des évaluations de qualité.

3.6 Relever toute question devant être portée à l'attention des IRSC

Toute préoccupation liée à la demande, notamment à l'admissibilité, à l'éthique et aux cellules souches humaines, doit immédiatement être portée à l'attention du personnel des IRSC à des fins de suivi et ne devrait pas faire l'objet de commentaires écrits, sauf si elle a une incidence sur la qualité scientifique de la demande.

Pour obtenir la liste complète des questions possibles, veuillez consulter le Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC.

De même, si vous croyez qu'une demande contient de fausses informations ou qu'une des politiques des IRSC a été enfreinte, prière de nous en informer immédiatement pour que nous puissions déterminer si la question relève de la conduite responsable de la recherche. Pour une liste des violations potentielles, veuillez consulter le Cadre de référence des trois organismes sur la conduite responsable de la recherche.

Étape 4 : Soumettre les commentaires écrits et les cotes dans RechercheNet

Pour des raisons de sécurité, les sessions dans RechercheNet sont interrompues après un certain délai, et les IRSC ne peuvent pas récupérer l'information perdue. C'est pourquoi les évaluateurs devraient enregistrer leur travail régulièrement. Par ailleurs, les évaluateurs peuvent écrire leurs commentaires hors ligne dans un document Word et les copier-coller directement dans les champs appropriés de RechercheNet lorsqu'ils sont prêts à le faire.

Au fil de leur travail, les évaluateurs peuvent enregistrer une version provisoire de leurs évaluations en cliquant sur Sauvegarder l'ébauche dans RechercheNet, ce qui leur permet d'apporter des changements ultérieurement. Toutefois, pour soumettre en bonne et due forme leurs commentaires écrits et les cotes aux IRSC, ils doivent cliquer sur Soumettre l'évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.

Les évaluateurs doivent respecter l'échéance fixée et soumettre leurs commentaires écrits et les cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC. Tout retard dans le processus d'évaluation par les pairs pourrait empêcher les IRSC de faire part de leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu'il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Étape 5 : Être prêt à procéder à une réévaluation

Une fois que toutes les cotes globales pondérées sont soumises, les IRSC évaluent l'écart entre celles-ci en calculant la cote finale de chaque demande. Ils déterminent ensuite les demandes susceptibles de faire l'objet d'une décision injuste du fait d'un important écart entre les cotes des deux évaluateurs. Dans un tel cas, ils demandent aux deux évaluateurs de discuter ensemble afin de revoir leur évaluation initiale et de présenter une nouvelle cote. Cette deuxième évaluation ramène habituellement l'écart entre les cotes globales à un niveau acceptable. Si l'écart persiste, les IRSC exigeront une troisième évaluation (à moins que l'écart qui persiste n'ait aucune incidence sur les demandes les mieux classées).

Ainsi, on recommande aux évaluateurs de conserver leurs notes de travail dans leurs dossiers jusqu'à quelques semaines après l'annonce des résultats du concours. Ils doivent ensuite supprimer ou détruire toutes les copies des demandes qu'ils ont imprimées, téléchargées ou enregistrées.

Pour obtenir des instructions sur le traitement adéquat de ces documents, veuillez consulter le Guide sur le traitement des documents utilisés dans le cadre de l'évaluation par les pairs.

Classement des demandes

Au terme de l'évaluation par les pairs, les IRSC établissent un classement des demandes. Il arrive souvent que des demandes arrivent à égalité dans le classement final. Si plus de demandes sont admissibles au financement que ne le permet le budget du concours en raison de demandes ex æquo, les IRSC procéderont à un bris d'égalité en accordant la priorité à certaines demandes selon les cotes globales reçues par rapport à chacun des deux critères de sélection, dans cet ordre : 1. Expérience et réalisations pertinentes au sein et à l'extérieur du milieu universitaire, 2. Potentiel en recherche.

Rétroaction

Un élément important de toute évaluation par les pairs est l'examen de l'efficacité des comités, ainsi que les commentaires sur les questions stratégiques soulevées lors du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres des comités et de consigner la rétroaction relative au processus d'évaluation par les pairs dans le cadre des efforts soutenus des IRSC pour maintenir un système d'évaluation par les pairs efficace et de grande qualité.

Puisqu'aucune réunion en personne ou par téléconférence n'est tenue, les évaluateurs doivent envoyer leur rétroaction par courriel au coordonnateur de leur comité.

Annexe A — Critères de sélection

Les critères suivants doivent être utilisés pour évaluer les demandes :

Description Source d'information Notes/conseils aux évaluateurs
Potentiel en recherche (valeur/cote globale : 50 %)
Remarque : Ce critère s'appellera « Aptitudes et potentiel en recherche » dans RechercheNet.

Indicateurs de potentiel en recherche :

  • Qualité du projet de recherche
    • questions et objectifs de recherche précis, ciblés et réalisables
    • description claire et bien-fondé de la méthodologie proposée
    • importantes contributions prévues à la recherche
  • Démonstration de la capacité de mener la recherche proposée et du potentiel en la matière par rapport aux attentes pour une personne ayant une expérience universitaire semblable
  • Qualité des contributions et mesure dans laquelle elles font avancer le domaine de recherche. Ces contributions peuvent comprendre : des publications, des brevets, des rapports, des affiches, des résumés, des monographies, des présentations, des réalisations artistiques, des résultats en matière d'application des connaissances, des produits communautaires
  • Exercice d'un bon jugement et d'une pensée critique
  • Conduite responsable et éthique de la recherche, par exemple : études honnêtes et sérieuses, analyse rigoureuse, engagement en matière de sécurité et de diffusion des résultats de la recherche, et respect de normes professionnelles
  • Démonstration d'originalité, d'initiative et d'autonomie en recherche, et participation et sensibilisation communautaires pertinentes
  • Capacité de communiquer clairement et logiquement, par écrit et oralement, des concepts théoriques, techniques ou scientifiques
  • Attentes en matière de formation
  • Résumé du projet de recherche
  • CV commun
  • Pièce jointe « Liste des publications », s'il y a lieu
  • Évaluations des répondants (en gardant à l'esprit que les candidats n'ont pas la possibilité de justifier leur choix de répondant dans la demande)
  • Section « Congés et incidence sur les activités de recherche » du CV commun, s'il y a lieu
  • Document « Circonstances spéciales » (s'il y a lieu)
  • La plupart des candidats mèneront des recherches en dehors de votre expertise scientifique. Du point de vue d'un non-spécialiste, évaluez le défi intellectuel que représente la recherche proposée et l'enthousiasme qu'elle suscite.
  • Examinez les attentes en matière de formation et le résumé du projet de recherche, ainsi que les expériences et les réalisations en recherche.
  • Examinez la liste des articles, présentations et autres publications de la personne candidate, et évaluez ces éléments par rapport à vos attentes à l'égard d'une personne possédant pareille expérience universitaire.
  • Considérez l'ampleur des sujets scientifiques traités et la fréquence des publications. Gardez à l'esprit que la production en matière de publication varie d'une discipline des sciences de la santé à l'autre.
  • En examinant l'apport aux publications, tenez compte du nombre de coauteurs de chaque article et de la proéminence du nom de la personne candidate dans la liste des auteurs. Ne tenez pas compte des publications marquées « Soumises », à moins qu'elles ne soient disponibles dans un système d'archivage public reconnu.
  • Examinez les évaluations des répondants, en tenant compte du fait que les commentaires positifs sont courants, contrairement aux commentaires négatifs. Donnez une cote selon votre impression globale (p. ex. adéquation entre les cotes dans les cases et les commentaires narratifs, temps depuis lequel le répondant connaît la personne candidate, relation du répondant avec cette dernière).
Expérience et réalisations pertinentes au sein et à l'extérieur du milieu universitaire (valeur/cote globale : 50 %)

Indicateurs d'expérience et de réalisations pertinentes au sein et à l'extérieur du milieu universitaire :

  • Formation pertinente, comme des études universitaires, une expérience concrète et de l'enseignement traditionnel
  • Bourses, prix et distinctions (montant, durée et prestige)
  • Dossier universitaire :
    • les relevés de notes
    • la durée des études antérieures
    • les exigences des programmes et les cours suivis
    • la charge de cours
    • le classement relatif dans le programme (si cette information est connue)
  • Activités professionnelles, universitaires et parauniversitaires et collaboration avec des superviseurs, des collègues, des pairs, des étudiants et des membres de la communauté, p. ex. :
    • enseignement, mentorat, encadrement ou supervision
    • gestion de projets
    • participation à la promotion des sciences ou de la recherche
    • sensibilisation communautaire, bénévolat ou participation citoyenne
    • présidence de comités ou organisation de conférences et de réunions
    • participation à des organisations, associations, sociétés ou clubs de département ou de l'établissement
  • CV commun
  • Relevés de notes
  • Attentes en matière de formation
  • Évaluations des répondants (en gardant à l'esprit que les candidats n'ont pas la possibilité de justifier leur choix de répondant dans la demande)
  • Section « Congés et incidence sur les activités de recherche » du CV commun, s'il y a lieu
  • Document « Circonstances spéciales » (s'il y a lieu)
  • Examinez les renseignements au sujet des présentations, des prix de recherche et des autres indicateurs de la productivité en recherche de la personne candidate.
  • Examinez ses relevés de notes du premier cycle et des cycles supérieurs.
  • Évaluez ses autres activités de recherche par rapport à vos attentes pour quelqu'un qui possède une telle expérience universitaire.
  • Évaluez les activités professionnelles, universitaires et parauniversitaires par rapport à vos attentes à l'égard d'une personne possédant pareille expérience.
  • Prenez en compte l'ampleur des sujets scientifiques traités, l'importance des réunions en question et le nombre de participants, la fréquence des présentations lors de conférences et les distinctions ou prix en recherche, en gardant à l'esprit que ces éléments peuvent varier d'une discipline des sciences de la santé à l'autre.

Annexe B — Feuille de travail de l'évaluateur

Le tableau suivant sert de guide pour l'évaluation des demandes. Il ne devrait être utilisé que pour les notes de travail et ne sera pas soumis aux IRSC.

Nom de la personne candidate :

No de demande :

Critère Cote Commentaires
1. Potentiel en recherche (50 %)  

Forces :

  •  
  •  

Faiblesses :

  •  
  •  
2. Expérience et réalisations pertinentes au sein et à l'extérieur du milieu universitaire (50 %)  

Forces :

  •  
  •  

Faiblesses :

  •  
  •  
Date de modification :