Résumé de l’évaluation du programme de maintien du certificat

Phase II

Février 2014

Préparé pour :

Dr. Craig Campbell
Directeur, Développement professionnel continu,
Bureau de l’éducation spécialisée

Préparé par :

Dre. Tanya Horsley
Directrice associée, Recherche, et chercheuse principale
Unité de la recherche, Innovation des systèmes de santé et relations externes

En collaboration avec :

Dre. Katherine Moreau
Centre hospitalier pour enfants de l'est de l’Ontario, Institut de recherche

Mme Jeanie Zeiter
Unité de la recherche, Innovation des systèmes de santé et relations externes

Dre. Jocelyn Lockyer
Formation médicale et développement professionnel continus, Université de Calgary

Dre. Lara Varpio
Uniformed Services University of the Health Sciences

Contexte

En mai 2011, s'appuyant sur la rétroaction des Associés et l'examen des recherches sur le DPC, le Collège royal des médecins et chirurgiens du Canada a remanié le cadre et le système de crédits du programme de Maintien du certificat (MDC), et lancé un portfolio électronique (MAINPORT). Le nouveau cadre du programme de MDC compte maintenant trois sections au lieu de six, afin de mieux tenir compte de l’apprentissage des médecins et d'accommoder le nombre accru d'activités d'apprentissage proposées par les Associés.

Le nouveau système de crédits a été élaboré dans le but d’offrir davantage d'incitatifs à participer à certaines activités d'auto-apprentissage et aux activités d'évaluation. Les modifications avaient pour but de permettre aux Associés et aux professionnels de la santé de vivre une expérience plus conviviale, et ce, dans un cadre simplifié.

Ainsi, l’évaluation du programme visait les objectifs suivants :

décrire dans quelle mesure les changements apportés au cadre du programme de MDC, au système de crédits et à l'application MAINPORT remaniés correspondent aux thèmes cernés aux étapes précédentes de l'évaluation du programme (phase I, 2008–2009);
examiner les objectifs établis du programme de MDC et étudier les répercussions de ce dernier sur l'apprentissage continu et l'amélioration de la pratique au moyen d’une évaluation critique et complète (phase III).

Le présent rapport résume les réponses aux questions ouvertes et fermées d’un sondage sur les perceptions et les expériences des participants au programme de MDC remanié. Les questions ont été rédigées à partir des thèmes généraux qui, selon le Comité directeur de l'évaluation du programme, sont prioritaires.

Aide et démarche relatives à l’évaluation du programme

Les membres du Comité du développement professionnel ont entrepris les premières étapes de l’élaboration du modèle d’évaluation du programme à leur réunion du 4 avril 2012. Suite aux échanges avec ce dernier, une démarche en deux phases (phases II et III) a été élaborée. On a estimé que cette démarche permettrait une évaluation à moyen et à long terme (étant donné que le lancement du nouveau programme de MDC a eu lieu environ un an avant la tenue de l’évaluation du programme). Dans le but de soutenir et d’enrichir le projet, un groupe de travail consultatif sur les communications a été créé afin de trouver une façon d’intensifier la participation au sondage.

Méthodes

Un sondage en ligne et sur papier a été conçu à partir des questions d’évaluation élaborées conjointement avec le Comité directeur de l'évaluation du programme. Nous avons réutilisé plusieurs questions tirées du sondage d'évaluation du programme de MDC de 2008 aux fins de comparaison, et nous avons ajouté des questions propres aux thèmes actuels de l’évaluation de programme.

À l’aide de statistiques descriptives, nous avons employé le logiciel SPSS (version 16.0) afin de générer des fréquences pour chaque point. Les résultats sont présentés sous forme de tableaux, en valeurs absolues et en pourcentages. Les moyennes et les écarts-types (M, ET) ont aussi été calculés pour chaque facteur, et ils sont indiqués le cas échéant. Les valeurs absolues et les pourcentages se sont avéré la meilleure méthode de déclaration compte tenu des problèmes liés au « regroupement » des catégories ou des valeurs (p. ex., Tout à fait d’accord et D’accord) sur une échelle de 5.

Caractéristiques démographiques des répondants

Parmi les répondants du sondage, on dénombre 1793 femmes (34,1 %) et 3466 hommes (65,9 %). Outre le Canada, les trois principaux pays d’origine des répondants étaient les États-Unis (174, 3,3), l’Arabie saoudite (24, 0,5) et l’Oman (8, 0,2). L’âge des répondants (en années) variait de (min-max) 28 à 90 ans, la moyenne étant de 52,1 ans (ET 11,8). Les spécialités les plus représentées dans notre échantillonnage étaient la psychiatrie (616, 11,7), l’anesthésiologie (502, 9,5), la pédiatrie (391), la radiologie diagnostique (357, 6,8), l’obstétrique et gynécologie (258, 4,9) et la chirurgie générale (255, 4,8). L’échantillonnage du sondage, soit la proportion de femmes et d’hommes, est similaire à celui des membres (34 % de femmes et 66 % d’hommes; selon le nombre total de personnes ayant soumis au moins une activité entre le 1er janvier et le 31 décembre 2012, N=31,158).

Résumé des constats

Dans l’ensemble, les répondants se sont dits satisfaits des changements apportés au programme. Ils ont notamment trouvé que le nouveau programme est moins complexe maintenant que le nombre de catégories est passé de six à trois (53,9 %). De plus, nombre d’entre eux ont indiqué que le cadre est un excellent mécanisme de consignation des activités et des crédits qui y sont associés; cependant, les données révèlent que certains participants ont toujours de la difficulté à cet égard parce qu’ils ne connaissent pas le cadre, ni les activités qui peuvent y être consignées.

Les changements apportés au programme de MDC ont eu une incidence modeste, bien qu’importante, sur la volonté des participants de consigner leurs activités plus souvent. Bien que le programme de MDC soit perçu comme étant obligatoire à certains égards, le quart des répondants (26,5 %) affirme les avoir consignées plus souvent depuis la refonte du programme. Nous n’avons pas pu déterminer l’ampleur des changements à partir des données.

Les deux tiers des répondants étaient d’accord avec les objectifs provisoires du programme de MDC. Près du tiers des répondants pensaient que les objectifs serviraient éventuellement de guide pour élaborer un programme de MDC comme il se doit, mais ils ont souligné le fait que le système actuel ne répondait pas à ces objectifs. Parmi le peu de répondants qui n’ont pas compris en quoi consistent vraiment les objectifs du programme, la plupart ont indiqué qu’il s’agissait d’un « simple outil de consignation » ou d’une « perte de temps ».

D’autres constats reflètent le phénomène de « détachement » entre le programme de MDC et la réalité de la pratique médicale. Les répondants ont qualifié le programme de MDC de « tâche supplémentaire » et d’activité ayant peu d’incidence sur leur engagement à l’égard du développement professionnel continu.

Les obstacles à la participation au programme de MDC demeurent une préoccupation réelle. Le premier obstacle cité est le manque de temps pour examiner divers moyens d'accroître l'efficacité et de favoriser une meilleure intégration entre le programme de MDC et l’apprentissage des médecins. Les conclusions sont les mêmes que celles dégagées en 2008, soit la charge de travail (3,75) et le manque de temps (3,74).

Recommandations futures

Les répondants étaient tout à fait d’accord avec la création et le déploiement de stratégies d’auto-évaluation; ces conclusions vont dans le même sens que celles du rapport de 2008. Les efforts visant à inclure les programmes d’auto-évaluation élaborés ailleurs qu’au Canada devraient demeurer une priorité. On semble peu s’entendre sur d’autres domaines d’évaluation malgré la perception du manque d’accès à ces types de programmes d’évaluation.

Les participants au programme de MDC veulent obtenir des crédits pour les gestes qu’ils posent dans la pratique. Les résultats n’ont pas changé par rapport à 2008 en ce qui concerne les crédits accordés pour le préceptorat, l’enseignement ou la supervision de résidents ou d’étudiants. Notre propre réflexion doit nous amener à bien faire comprendre l’objectif du programme de MDC, à savoir qu’il ne se limite pas à « obtenir des crédits ce qu’on fait ».

Selon les répondants, il ne faut plus considérer la consignation des activités et des crédits comme un fardeau et recourir à l’automatisation. L’intérêt à l’égard des futurs développements technologiques demeure très élevé malgré les récents investissements liés au lancement de l’application pour iPhone en septembre 2012. Les développements et les investissements futurs doivent miser sur une plus grande automatisation du système et une plus grande facilité d’intégration des activités d’apprentissage dans MAINPORT.

L’un des constats qui revient le plus souvent porte sur un meilleur soutien à la formation dans le cadre du programme de MDC. En dépit des investissements consentis à un programme national d’enseignants du DPC, les tutoriels associés à MAINPORT et le soutien offert par le Centre des services du Collège royal ont augmenté de 20 % (par rapport à 2008). Il nous faudra surveiller ces données au fil du temps et les interpréter en fonction des changements en cours et prévus au programme de MDC et à l’application MAINPORT.

Conclusions

Les résultats de l’évaluation du programme sont à la fois positifs et négatifs. Il est clair que le programme de MDC ne fait pas l’unanimité chez les participants; certains affirment qu’il est « plus simple », « amélioré » et « important », alors que d’autres le qualifient de « complexe », « long », « source de confusion » et « exigeant ».

Compte tenu du fait qu’il faut participer au programme de MDC pour maintenir le titre d’Associé, il n’est pas étonnant de constater que les répondants le perçoivent comme étant « obligatoire ». Toutefois, les stratégies visant à améliorer la valeur ou la pertinence du programme de MDC demeurent une priorité, plus particulièrement si l’on tient compte du « détachement » perçu entre le programme de MDC et la réalité de la pratique.

La refonte du programme de MDC a entraîné une baisse de la complexité perçue du cadre. Nous n’avons pas (encore) pu changer la perception du programme de MDC en tant que tâche supplémentaire exigeant la consignation d’un apprentissage qui se produit déjà, d’où cette impression de « détachement » de la réalité de la pratique. Bon nombre de répondants sont encore d’avis que le programme n’est qu’un simple mécanisme de consignation; un changement de culture s’impose donc chez les participants.

Les répondants souhaitent que l’on automatise davantage le programme et que l’on simplifie MAINPORT. Les prochains développements devraient être davantage axés sur l’automatisation, le soutien à la formation et la simplicité, particulièrement en ce qui a trait à la consignation des activités et des crédits qui s’ensuivent.

Malgré les commentaires positifs recueillis concernant la refonte du programme de MDC, il sera primordial de tenir notre promesse afin que « le programme de MDC place l’apprentissage au cœur de la pratique », et ce, pour tous les participants.

Comment citer le présent document : Horsley T, Moreau K, Zeiter J, Varpio L, Lockyer J. Le Collège royal des médecins et chirurgiens du Canada : Rapport d’évaluation du programme de Maintien du certificat. Membres du Comité directeur de l'évaluation du programme de Maintien du certificat; 2014.

Publié par : Les membres du Comité directeur de l'évaluation du programme de Maintien du certificat du Collège royal des médecins et chirurgiens du Canada