1. Introduction

Dans le but de refonder l’école française, le gouvernement a fait voter en 2013 la loi d’orientation et de programmation pour la refondation de l’école de la République. Cette loi vise en partie la réduction du nombre de sorties scolaires, qui passe par une refondation pédagogique. Dans cette perspective, à l’issue des appels à projets, les Campus des Métiers et des Qualifications (CMQ) ont été créés.

1.1. Le label Campus des Métiers et des Qualifications (CMQ)

Les Campus des Métiers et des Qualifications (CMQ) sont un label attribué par l’État français en 2016, pour une durée d’un à cinq ans maximum (renouvelable). Leur mission est d’identifier et de fédérer des lycées (généraux, technologiques et professionnels), des établissements d’enseignement supérieur (universités, écoles, etc.), des organismes de formation initiale ou continue, des laboratoires de recherche, des entreprises et des associations, autour de secteurs d’activité (industrielle ou tertiaire) considérés à forts enjeux économiques au niveau national ou régional. Les CMQ visent ainsi à développer la formation (initiale et continue) pour soutenir le développement économique dans des domaines stratégiques (par exemple, Industrie, Aéronautique), en proposant une large gamme d’actions¹. Celles-ci sont menées pour maintenir des compétences dans un territoire et améliorer l’excellence de la formation (ministère de l’Éducation Nationale et de la Jeunesse, 2023). Douze filières d’activités dynamiques et porteuses d’emploi sont concernées et 77 CMQ ont été créés (Bloch et al., 2023). Nouveautés dans le système éducatif français, les CMQ engendrent de nombreuses réflexions sur les bonnes pratiques pour leur mise en œuvre, leur fonctionnement et leur pilotage. Néanmoins, leur évaluation est encore peu documentée. Dans cette perspective, cette contribution partage les réflexions en cours sur l’évaluation d’un CMQ en particulier : le Campus des Métiers et des Qualifications « Industrie Technologique Innovante et Performante » (CMQ-ITIP).

1.2. Le CMQ-ITIP

Le CMQ-ITIP est né en 2017 de la volonté conjointe de la région Bourgogne-Franche-Comté (BFC) et de l’université de Bourgogne (uB). Sa principale mission est de contribuer à l’évolution de l’offre de formation sur le territoire régional, en réunissant les acteurs éducatifs et économiques autour des métiers de l’industrie 4.0². Ce campus porte le projet Village Ressource Apprenant International (VRAI) dans le cadre du Plan d’Investissement d’Avenir (PIA) « Territoire d’Innovation Pédagogique » (cf. encadré 1). Il est basé à l’IUT du Creusot, partie intégrante de l’université de Bourgogne. Parmi les CMQ, il se distingue par sa labellisation « Excellence » obtenue par ailleurs par 32 CMQ. Cette labellisation vise deux objectifs : 1) le développement et la visibilité à l’international, qui est portée par un tiers-lieu avec des collaborations industrielles internationales (entreprises et laboratoires académiques) ; 2) l’élaboration d’une démarche de qualité effective menée en partenariat avec un laboratoire de recherche en sciences de l’éducation et de la formation (Institut de Recherches sur l’Éducation : IRÉDU). C’est dans le cadre de cette démarche de qualité effective que s’inscrit l’évaluation des actions du CMQ-ITIP.

2. Approche évaluative du CMQ-ITIP

L’évaluation du CMQ-ITIP est réalisée par un laboratoire de recherche en sciences de l’éducation et de la formation. Elle s’inscrit dans une logique de recours aux chercheurs considérés comme des experts à double titre : spécialistes d’un domaine de recherche par leurs travaux de recherche ; usage de la méthode scientifique pour faire de l’expertise (Annoot, 2021). Ici, cette collaboration est matérialisée par le financement d’un contrat postdoctoral encadré par des membres de l’IRÉDU. Le processus évaluatif du CMQ-ITIP est mené dans le cadre d’une démarche plurielle entre l’équipe opérationnelle et l’IRÉDU. Cette démarche plurielle repose sur des interactions entre tous les acteurs depuis le recueil des données jusqu’à la discussion des résultats. Au-delà des constats descriptifs réalisés par les chercheurs sur le projet, la dimension originale de cette démarche évaluative est celle de l’accompagnement des acteurs du CMQ-ITIP. Cet accompagnement consiste, d’une part, à élaborer un diagnostic sur les actions mises en place (nombre d’actions menées, nombre de publics touchés, type de publics concernés et offres de service concernées), dans une logique de co-évaluation, et d’autre part, à construire un outil de pilotage du projet pour éclairer l’équipe gouvernante dans sa prise de décisions. L’approche évaluative proposée dans cet article se décline donc en quatre phases.

2.1. Cartographie des actions du CMQ-ITIP

La procédure de l’évaluation du CMQ-ITIP repose sur l’étude de ses objectifs à travers l’analyse de chacune des actions réalisées, prévues et/ou abandonnées. Pour ce faire, la première phase consiste à cartographier les actions du CMQ-ITIP. Cette cartographie permet de faire une description synthétique du CMQ-ITIP, et pour cela, elle est utilisée pour faire un état des lieux des actions, qui servira de base de discussion avec l’équipe opérationnelle et l’équipe de gouvernance. Cette discussion permet de donner une première série de conclusions sous forme d’un SWOT³ qui reflète un jugement sur le CMQ-ITIP. Ainsi, dans cette phase de construction du jugement, la posture originale des chercheurs est celle de médiateur entre l’équipe opérationnelle et l’équipe gouvernante, en leur fournissant les constats issus de cette cartographie, pour alimenter la discussion. Ce positionnement renvoie aux logiques du chercheur-expert présenté par De Ketele (2022). Cette étape permet également d’impliquer les acteurs du CMQ sur la question de l’évaluation par une approche simple, consistant à leur demander des informations sur le fonctionnement du CMQ-ITIP. Dès lors, de premières conclusions sont également potentiellement réalisées conjointement par les équipes et les chercheurs sur l’accessibilité des informations et leur suivi avant de s’engager dans la phase de construction et de recueil d’informations originales pour faire de l’évaluation, ce qui constitue la deuxième phase.

2.2. Construction et recueil de données

Dans la phase de construction et recueil de données, les chercheurs vont collecter des informations sur chacune des actions avec l’aide de l’équipe opérationnelle (public, type, temporalité, fréquence, intervenants, contenu…) via les documents de travail du CMQ et les données publiques disponibles. Ces informations sont conservées dans une base de données créée par les chercheurs et alimentée par l’équipe opérationnelle.

2.3. Traitement de données

Dans une troisième phase, la base de données est traitée par les chercheurs grâce au recours à des outils d’analyses statistiques et qualitatives. Les analyses permettent de faire émerger une photographie des différentes actions entreprises et de croiser des variables d’intérêt permettant à l’équipe opérationnelle de s’affranchir du simple comptage pour avoir un pilotage plus pointu (par exemple, croisement entre le nombre de participants et les actions ; entre les cibles touchées et les actions ; entre le nombre d’actions en fonction des offres de services du CMQ ; ou encore entre les objectifs stratégiques, les offres de service et le public). De plus, des analyses plus poussées permettent de regrouper les offres de services et les actions qui y sont rattachées sous forme de catégories pour avoir une cartographie, sous forme d’arborescence.

2.4. Interprétation et discussion des résultats

Enfin, dans la quatrième et dernière phase, les chercheurs mettent en balance les résultats et les objectifs initiaux affichés. Les discussions portent ainsi sur les objectifs déclarés par les membres du projet et les objectifs tels qu’ils sont perçus par les chercheurs à la lumière des résultats obtenus. Dès lors, la triangulation (cf. Illustration 2) de ces objectifs permettra de porter plusieurs constats sur le CMQ-ITIP, que ce soit pour chaque action ou à l’échelle du projet, avant même de se poser la question des impacts des actions et du projet, qui obéit à une autre démarche évaluative. Prenons par exemple l’action job dating inversé, qui consiste à inviter des élèves et des étudiants à créer des fiches de postes pour les soumettre à des entreprises, afin que celles-ci voient comment écrire une fiche de poste pour qu’elle soit comprise par les jeunes chercheurs d’emplois. La triangulation des objectifs permettra de voir si les résultats de cette action sont cohérents avec les objectifs envisagés par chacun des acteurs.

Les différences mises en valeur (par exemple, l’analyse descriptive des données montre qu’une action réalisée une fois touche plus de publics qu’une action réalisée plusieurs fois) par ce travail de triangulation constituent le socle des nouveaux échanges menés par les chercheurs avec le CMQ-ITIP (équipe opérationnelle et équipe de gouvernance). Comment expliquer ces différences ? Quels enseignements tirer de ces différences à l’échelle du projet et pas seulement de chacune des actions ? Dès lors, il est possible d’enrichir la première série de conclusions de l’évaluation et ensuite d’aborder la discussion sur les orientations nouvelles ou non à donner au projet et sur des actions envisageables ou impossibles au niveau du CMQ-ITIP. Dans cette phase de discussion des orientations, les chercheurs deviennent des accompagnateurs des décisions. En effet, il s’agit précisément d’engager un dialogue visant à confronter les points de vue des différentes parties (équipe opérationnelle, équipe gouvernante et équipe de recherche) sur les objectifs pour une adhésion commune aux résultats obtenus.

Conclusion

Finalement, cette manière de concevoir l’évaluation du CMQ-ITIP permet de mieux appréhender son fonctionnement et les actions menées, en allant au-delà d’un compte-rendu d’activités uniquement basé sur un listing d’indicateurs. Cette évaluation est une action à part entière du CMQ-ITIP, avec une implication de ses acteurs internes où les chercheurs conservent une posture d’évaluateur externe. Les conclusions apportées par une logique de co-construction s’inscrivent dans une démarche évaluative facilitant les réflexions sur les orientations du projet en vue de prises de décision par les équipes opérationnelle et de gouvernance. Ce centrage sur la prise de décision à l’échelle locale est un point qui distingue la démarche évaluative exposée dans cet article des bilans réalisés à l’échelle nationale par des organes publics d’évaluation des politiques publiques (e.g., Caraglio et al., 2017). Cette démarche permet d’aborder plus rapidement l’évaluation d’un programme pluri-actions, en n’attendant pas la fin de ce programme. Toutefois, elle n’apporte pas encore une étude des effets d’un CMQ. En effet, l’évaluation des impacts d’un CMQ est une autre étape de la démarche évaluative d’un CMQ ayant aussi des spécificités singulières par rapport à une approche évaluative nationale, qui est en cours de réalisation par le Céreq à la demande du Secrétariat général pour l’investissement concernant le plan France 2030 (Bouvet et al., 2023).