1. Bref rappel du contexte de l’enquête

En 2019 et 2020, l’université de Bordeaux a participé à une enquête, baptisée EVA2020, dont l’un des objectifs était de connaître l’opinion des étudiants et des enseignants sur les processus d’évaluation réalisés au cours de leurs cursus.

Un questionnaire a été diffusé auprès des étudiants de l’université de Bordeaux, de 1^er et 2^e cycle universitaire. Le recueil des données s’est effectué entre février et mars 2019. 6076 étudiants ont répondu au questionnaire composé de 53 items répartis selon trois thématiques (représentations et ressentis ; expériences ; participations). Les premiers résultats de cette enquête ont été publiés dans un premier article publié dans la revue Études & Pédagogies (Roiné, 2023) : https://doi.org/10.20870/eep.2023.7543. On y trouvera les éléments de contexte, la méthodologie et les résultats issus du traitement des réponses des étudiants aux questions fermées du questionnaire.

La question 53 permettait aux étudiants de laisser un commentaire libre : « Pour conclure, avez-vous autre chose à dire ou à faire savoir sur le sujet de l’évaluation des acquis d’apprentissage à l’université ? » Ce deuxième article concerne donc le traitement des réponses des étudiants à cette question ouverte, traitement réalisé par l’Open Lab In’Pact de l’université de Bordeaux.

L’Open Lab proposera une troisième publication qui portera cette fois-ci sur les entretiens menés auprès des enseignants (nouveau rapport de recherche à venir dans la revue Études & Pédagogies).

2. Commentaires libres des étudiants en réponse à la question ouverte

2.1. Traitement lexicométrique et analyse de contenu

Comme expliqué précédemment, une dernière question incitait les étudiants à déposer un commentaire libre : « Pour conclure, avez-vous autre chose à dire ou à faire savoir sur le sujet de l’évaluation des acquis d’apprentissage à l’université ? ». 1281 commentaires ont été recensés.

Après les avoir paramétrés selon les variables contextuelles suivantes :

• num_ pour numéro du commentaire ;
• sex_ pour sexe (var.2 = homme /femme) ;
• reg_ pour régime d’étude (var.4 = formation initiale / formation continue / apprentissage ou contrat professionnel / auditeur libre ou Erasmus) ;
• sni_ pour structure de niveau intermédiaire – collège d’enseignement (var.7 = Droit_Économie_Gestion / Santé / Sciences de l’homme / Sciences et Technologie / IUT / INSPE / Institut supérieur de la vigne et du vin) ;
• comp_ pour composante d’enseignement (var.33 = l’ensemble des composantes appartenant pour chacune à l’un des collèges précités) ;
• dip_ pour diplôme (var.8 = licence / master / licence professionnelle / diplôme universitaire / externat santé / diplôme classes préparatoires / diplôme d’études supérieures santé / diplôme d’état santé médical et paramédical) ;

ann_ pour années passées à l’UB depuis la première inscription (var.13) ;

nous avons soumis l’ensemble de ces commentaires à un traitement lexicométrique sous le logiciel IRaMuTeQ puis procédé à une analyse de contenu classique qui prend appui sur les conceptualisations et méthodes de la sémiotique textuelle (Roiné, 2018).

Selon la méthode Reinert (étude statistique de la distribution des formes lemmatisées analysables – noms, verbes, adjectifs et adverbes), la classification descendante hiérarchique réalisée différencie 5 classes ou « mondes lexicaux ».

Deux sous-ensembles se distinguent : les classes 3 et 4 d’une part, et les classes 1, 2 et 5 de l’autre.

2.2. Interprétation des classes

Classe 4 – Au cœur de l’acte d’apprentissage

La classe 4 peut représenter les « ressentis » et « expériences » liées à l’évaluation au cœur même de l’acte d’apprentissage. On trouve associés des verbes liés à l’acte d’apprentissage (« apprendre », « réfléchir », « acquérir », « approfondir », « assimiler » « oublier », « synthétiser ») et des formes plus spécifiques liées aux modalités concrètes d’évaluation pratiquées à l’UB (« cœur » [pour « apprendre par cœur »], « gavage », « mémoire », « restituer », « retranscrire », « recracher », « théorique », « qcm », etc.) auxquelles s’associent des références thymiques « superficiel », « méchant », « piège ». Cette classe est très explicitement représentée par des étudiants du collège Sciences de l’Homme (SNI_3) et plus particulièrement de la faculté de psychologie (Comp_32).

Classe 4 : Tout se passe comme si était mis en exergue dans cette classe la prégnance d’un « apprentissage par cœur », « théorique » et qui ne « reflète » pas bien les « connaissances » et les « capacités » développées lors de l’apprentissage.

Classe 3 – Évaluation et destin professionnel

La classe 3 laisse apparaître le lien entre évaluation et destin professionnel. Les occurrences « professionnel », « monde » [pour monde professionnel], « futur », « filière », « marché », « métier », mais aussi « réalité », « vie », « société » donnent consistance à cet axe. Les étudiants de l’ESPE (École Supérieure du Professorat et de l’Éducation), mais aussi ceux du collège Santé contribuent fortement au poids de cette classe, c’est aussi le cas des diplômes professionnalisants notamment des diplômes d’enseignement supérieur en santé (Dip_7) et des master (Dip_2).

Classe 3 : Les étudiants inscrits dans des secteurs d’enseignement orientés directement vers des diplômes professionnalisants (Santé, ESPE) privilégient dans les évaluations le lien potentiel avec les métiers et la vie professionnelle future.

Classe 5 – Organisation des évaluations

La classe 5 qu’aucune structure de formation ne contribue plus fortement que d’autres à former semble plus orientée par la question de l’organisation des évaluations au cours de l’année universitaire. Deux mondes lexicaux semblent coexister et susceptibles d’être mis en corrélation :

• celui du temps avec des occurrences telles que « contrôle continu », « partiel », « semestre », « semaine », « mois », « heure », « dernier », « janvier » , « février », « Noël », « terminal », « régulièrement », « vacances », « session », « temps », « date », « étaler », « veille », « nuit » ;
• celui du registre thymique, associé au « stress », à la « fatigue », à « l’inadmissible », au « coup »

Classe 5 : Cette double caractéristique inhérente à la classe 5 confirme une hypothèse que nous avancions plus haut – le stress et la fatigue associés aux évaluations semblent directement conséquents d’une organisation des évaluations qui privilégie le contrôle terminal écrit, unique et où les étudiants jouent tout leur semestre, en une seule fois. L’indigence des contrôles continus multiplie le caractère stressant des évaluations. On retrouve cette articulation temporalité – caractère unique et terminal des évaluations – stress, sur des occurrences comme « révision », « rattrapage », « rater ».

Classe 2 – Évaluation et équité

La classe 2 est fortement représentée par le collège Droit_Économie_Gestion et, à l’intérieur de ce collège, par la faculté de Droit qui concourt pour une large part à la constitution de cette classe.

Ici, ce qui semble marquer le plus la thématique est la question de l’ équité avec des occurrences telles que « pénaliser », « inégalitaire », « subjectif », « injuste », « impartial ». Sans doute associés au caractère inégalitaire, on trouve les occurrences de « critères », « notation », « noter », « moyenne », « classement ». Deux valeurs centrales pèsent dans la constitution de la classe 2 : celle du « professeur » et celle du « td ». Existe une impression d’ « aléatoire », de « décalage », d’ « écart », de « différence » entre quelque chose d’attendu et quelque chose de réalisé.

La classe 2 témoigne du lien entre le sentiment d’injustice et d’inégalité (repéré plus haut) et les critères appliqués pour la notation des épreuves. En l’absence de critères formels, explicites et visibles, on fait porter la responsabilité des injustices plus particulièrement lors des évaluations réalisées en travaux dirigés.

Classe 1 – Évaluation formative

La classe 1 est caractéristique du champ lexical lié au caractère formatif des évaluations. Les termes « améliorer », « comprendre », « progresser », « évoluer » sont associés aux occurrences « annotation », « commenter », « correction », « retour ». Lorsqu’on relie ces termes à ceux d’« erreur », « échouer », « lacune », « difficulté », « faiblesse », on comprend que la « réussite » est pleinement associée aux feedbacks reçus lors des évaluations.

Un autre champ lexical présent dans cette classe confirme une hypothèse que nous annoncions plus haut : l’accès aux copies est problématisé par les étudiants depuis le caractère formatif des évaluations (on trouve les termes « accès », « disponible », « consulter », « récupérer », « obtenir »).

Notons enfin que les collèges IUT (Sni_5) et Sciences et Technologie (Sni_4) représentent particulièrement cette classe.

La classe 1 montre l’intérêt des feedbacks professoraux lors des évaluations dans le sentiment de réussite des étudiants, notamment par la capacité à comprendre les erreurs et surmonter les lacunes. L’accès aux copies et aux annotations semble décisif à ce niveau.

2.3. Analyse factorielle de correspondance (AFC)

Spécifier les axes de l’AFC nous conduit à faire l’hypothèse d’une opposition sur l’axe horizontal séparant les classes 4 et 3 des classes 5, 2, 1 depuis le caractère respectivement sommatif – formatif des évaluations. Les classes 4 et 3 se positionnent sur les aspects sommatifs : « validation », « réussite », « filière » (et concomitamment « apprentissages théoriques », « apprendre par cœur », « mémoriser ») tandis que les classes 5, 2 et 1 spécifient les aspects formatifs des évaluations : « contrôles continus », « feedbacks », « équité ».

La spécification de l’axe vertical (classe 5 /vs/ classes 2 et 1) repose respectivement sur les aspects organisationnels et les aspects pédagogiques inhérents au caractère formatif des évaluations. La classe 5 privilégie les caractéristiques temporelles liées à ce type d’évaluations, tandis que les classes 2 et 1 insistent sur le lien réussite / accès aux copies et feedbacks pédagogiques.

L’AFC nous conduit à postuler l’importance massive pour les étudiants du caractère formatif des évaluations (/vs/ sommatif-certificatif). Cette opposition semble structurer les commentaires des étudiants. Précisons. Ce qui est en jeu est bel et bien la possibilité pour les étudiants d’élargir les fonctionnalités des évaluations au bénéfice de leur caractère formatif. Ainsi, pour eux, sortir de l’évaluation finale, unique, certificative et « où l’on joue son va-tout » pour des évaluations au long cours, informatives sur les échecs et les progrès en cours, plus explicites sur les attendus permettrait de grandement améliorer le dispositif d’EAA tout en réduisant les sensations de stress, de fatigue (réviser sur une période courte) et les sentiments d’inéquité.

2.4. Analyse sémiotique et thématique

Absence ou rareté des feedbacks

Comme nous l’évoquions, la question de l’aspect formatif des évaluations est récurrente. Elle domine très largement l’ensemble des commentaires avec plus de 460 occurrences. Faire référence à l’ensemble des contributions serait ici impossible tant les références sont nombreuses.

En résumé, les étudiants écrivent : « les évaluations ne sont pas du tout formatives pour les étudiants, des retours sur ces évaluations sont rarement faits. Quand je demande ce que je peux améliorer ou comment corriger mes fautes pour ne pas les refaire, je n'ai pas de réponse. » ; ou bien « Pas assez de retour constructifs (juste des notes) pour savoir comment changer/améliorer son travail ». Ainsi : « Le principal problème avec les évaluations (particulièrement écrites) c'est qu'on n'a pas de retour. Ni de corrigé, ni de conseil, ni rien ».

Cette absence (ou rareté) de retours conduit inéluctablement aux constats suivants « Impossible donc de s'auto-évaluer pour s'améliorer », « C'est difficile de progresser si on n'a pas d'évaluation permanente de son travail ».

Certains s’énervent : « Je trouve SCANDALEUX (majuscules dans le texte) que les professeurs ne publient jamais de correction officielle, DONNEZ-NOUS LES CORRECTIONS !!!! » pendant que d’autres se désolent : « On se sent abandonné ».

Deux commentaires résument bien cette entrée : « A l'université, l'évaluation ne cherche qu'à "valider" les étudiants dans l'enseignement supérieur. Elle n'est pas réalisée afin de donner du sens aux apprentissages et permettre à l'étudiant de se situer dans son parcours au niveau de ses qualités et ses lacunes. »

« Aucun, mais absolument aucun retour pédagogique sur les résultats des évaluations, il devrait y avoir des corrections pédagogiques, on a l’impression que l’examen ne sert qu’à mettre une note ou un classement et faire passer à l’année suivante ou faire redoubler, aucun intérêt pédagogique. »

Notons que certains donnent des idées « rédiger des annales », « faire des corrections en groupe », « faire un cours spécialement dédié aux corrections ».

Appel aux contrôles continus

Le recours au contrôles continus est plébiscité : « Le contrôle continu est très important pour l'apprentissage » ; « Un par mois minimum dans chaque matière : ceci nous permettrait d’apprendre réellement nos cours et de connaître nos lacunes » ; « Il devrait y avoir plus de contrôles continus » ; « Il faudrait instaurer des devoirs écrit réguliers - un par mois minimum dans chaque matière - ceci nous permettrait d’apprendre réellement nos cours et de connaître nos lacunes »...

Accès aux copies

Et comme nous l’évoquions plus haut, l’accès aux copies dans des temporalités rapides est justifié précisément depuis ces intentionnalités formatives. « Rendez-nous les évaluations !!! » s’exclame un étudiant, pendant qu’un autre constate : « Pour visualiser sa copie c'est la croix et la bannière ». Il est ainsi remarqué qu’il est « impossible de consulter nos copies ». Les termes choisis sont assez parlants : « pour aller chercher notre copie, c'est un enfer » ; « Je tenais à rappeler ici le calvaire pour accéder aux résultats ».

Retenons enfin sur cette question ce commentaire : « Les étudiants doivent se débrouiller, contacter les enseignants en fonction de leurs dispositions... Il pourrait y avoir des consultations communes des copies afin de consulter toutes ses copies en une seule fois, ce qui permettrait de connaître les fautes et erreurs que l'on a fait sur les épreuves effectuées, ce qui nous permettrait d'améliorer notre méthodologie pour les examens futurs. »

Un étudiant résume : « Toute ma scolarité j'ai eu des notes sans savoir pourquoi ».

Rejet important des QCM

Plus de 180 occurrences concernent les QCM. Dans la très grande majorité des cas, les étudiants vilipendent cette forme d’examen : « le QCM est très pénalisant pour un bon nombre d’étudiants et ne reflète pas vraiment les capacités et les aptitudes réelles des étudiants » ; « Les QCM sont un très mauvais choix d'évaluation » ; ils « ne reflètent pas l'intégration des compétences ». Le « QCM n'est pas représentatif des connaissances » semble donc être un leitmotiv. Il est jugé « non pertinent », « peu judicieux », « injuste ».

Le système par points négatifs est particulièrement visé : « Les points négatifs pour les QCM sont injustes et ne valorisent pas ce que nous savons mais évaluent seulement ce que nous ne savons pas ».

Apprendre par cœur

Les étudiants regrettent massivement des épreuves qui se cantonnent à un apprentissage par cœur de notions essentiellement théoriques : « Beaucoup trop de théorique. Ce qui ne permet pas de former les élèves à la recherche ou au monde professionnel. Pratiquement aucune mise en application concrète même en travaux pratiques », « On évalue trop nos capacités à APPRENDRE et non à COMPRENDRE ! Le par coeur est la clé de réussite, je trouve cela dommage », « écoute, apprends par coeur, recrache à l'examen et t'as ton diplôme »…

Esprit critique

Dans la même veine, ce qui accompagne ces jugements dépréciatifs est l’indigence des sollicitations à la réflexion et à l’esprit critique « la critique n'est pas assez présente et valorisée, ce qui est dommage puisque les juristes se retrouvent sans opinion propre » déclare un étudiant en droit. Un autre est plus radical dans son appréciation : « Pour utiliser des mots forts, on pourrait presque parler de déshumanisation, ce qui est choquant, car il ne s'agit pas de développer son sens critique mais d'apprendre et de copier sans réfléchir comme pourrait le faire une machine, et cela jusqu'à la fin des partielles ».

Compétences professionnelles

C’est plus généralement une critique sur l’inadéquation des attendus de l’évaluation avec la vie réelle et notamment professionnelle : « on ne nous évalue pas forcément sur nos savoir-faire, sur des réflexions, ni même sur le sens critique, alors que c'est ce que l'on nous demandera plus tard dans la vie active » ; « À l'image de notre apprentissage, c'est a dire totalement incohérente par rapport aux connaissances nécessaires a l'exercice de notre future profession ». Un étudiant se fait porte-parole : « Nous sommes nombreux à considérer que les examens sont le moyen d'écrémer la masse d'étudiants et pas du tout un outil de formation qui nous apprend à gérer notre futur métier ».

Ressentiments

Ce qui domine aussi dans les commentaires est de l’ordre de la déception, de la colère ou de la frustration : « Je pensais que l'université était une vraie source de liberté. Je suis assez déçue, car l'image que mes parents me donnaient de l'université d'avant à aujourd’hui est différente […] Je trouve que cela nous infantilise ! ». Une étudiante exprime sa colère de n’avoir jamais eu de feedback « ce qui fait que je me suis présentée à l’examen dans le flou total. Le chargé de TD n’a jamais daigné me rendre ma copie. Je n’ai jamais vu ça. Je suis très en colère qu’il n’ait pas fait son travail. ». Un autre se désole du manque de travaux pratiques : « Beaucoup plus de pratique serait la clé d'un apprentissage clair et appliqué qui se ressentirait dans le moral des étudiants. Être sans cesse noté sur un apprentissage théorique est ennuyant, angoissant et terriblement frustrant. ».

Faire un compte-rendu exhaustif de ces commentaires nécessiterait une place que ne peut contenir l’espace de cet article. Ici, nous ne faisons qu’évoquer les lignes forces des expressions étudiantes. La lecture de l’ensemble des commentaires laisse toutefois un sentiment général où domine le mécontentement des étudiants qu’il soit manifesté par les isotopies discursives du « stress », du « sentiment d’injustice », ou de la « colère » ou par nombre de contre-arguments pour « changer la donne ». Certains étudiants vont même par faire des propositions de changements : « Pourquoi ne pas mettre en place des épreuves toujours encadrées, toujours en temps limité, mais qui dureraient par exemple 5 ou 6h00, voire une journée. Avec possibilité de sortir, de manger, sous la forme d'un travail commun peut-être. » ; « Il faudrait des travaux à la maison durant lesquels nous pourrions consulter nos sources (cours, bibliographie personnelle, etc.) afin de pouvoir appliquer à la fois nos connaissances théoriques acquises en cours et à la fois la démarche de recherche » ; « Il devrait être obligatoire d'envoyer au moins un scan des copies corrigées aux étudiants, avec commentaires ».

Discussion

Depuis sa création en 2014, l’université de Bordeaux s’est engagée dans un processus résolu de transformation pédagogique. Nous pensons que ces transformations ne peuvent se faire sans les étudiants – c’est-à-dire sans a) prendre en compte leurs avis et b) co-construire des propositions de transformations. Il s’agit aussi dans le même temps de réaliser un processus identique avec les collègues enseignants (deuxième volet de l’enquête EVA 2020 qui fera l’objet d’une prochaine publication).

D’une certaine manière, la transformation pédagogique à l’université résulte d’un processus complet d’ « enquête » au sens de Dewey (2006) – examen de l’existant ; recherche d’éléments problématiques à investiguer ; formulation d’hypothèses ; expérimentations ; décisions d’implémentation. Il s’agit d'engager l’ensemble des acteurs (étudiants, professeurs, ingénieurs pédagogiques, services supports) dans ce processus afin d’assurer deux aspects qui nous semblent incontournables à la transformation : son caractère « démocratique » (Dewey, 2011) et sa pertinence contextuelle (adaptée au contexte).

Nous l’avons vu, l’enquête auprès des étudiants sur l’EAA à l’université de Bordeaux incite à repenser les dispositifs mis en place, qu’il s’agisse de questions technico-adminsitratives (publication des résultats et mise à disposition des travaux plus rapide – déploiement d’outils à l’élaboration de syllabus rapidement consultables), ou plus fondamentalement pédagogiques (alignement pédagogique, participation des étudiants au processus, augmentation des rétroactions). Les résultats que nous publions ne sont pas en soi surprenants : ils témoignent d’une difficulté à changer une « culture » de l’évaluation centrée sur les critères académiques (au détriment du développement des compétences) et sur les arrière-plans privilégiant la sélection (et donc la mesure) et la certification. Si les étudiants sont unanimes pour considérer les évaluations comme un dispositif essentiel à leur parcours de formation, ils aimeraient majoritairement que celles-ci soient plus formatives, plus dévolues au développement des compétences (professionnelles, transversales ou de type soft skills), moins rares et plus distribuées dans la temporalité du parcours de formation (et dès lors moins stressantes), plus transparentes et faisant mieux appel à leur participation.

Il reste à entendre le point de vue des enseignants qui, dans un contexte français de massification et d’appauvrissement constant des ressources d’État consacrées aux universités, sont habilités à compléter le diagnostic et proposer des pistes d’action. Cela fera l’objet d’une troisième publication sur la question de l’évaluation. Par ailleurs, depuis la diffusion des résultats de l’enquête au sein de l’établissement, des expérimentations sont en cours pour tester de nouvelles modalités d’évaluation : projet EQAE (Évaluation Qualitative des Acquis d’Apprentissage des Étudiants) à l’initiative d’une équipe d’enseignants ; projet Plateforme en Ligne Banque de devoirs à l’initiative d’étudiants. L’enquête continue.