SIEGFRIED LEWARK
Université de Fribourg, Allemagne
Coordinateur du groupe d'enseignement de l'IUFRO
Si vous interrogez un professeur à propos de son expérience de l'évaluation, il est fort probable qu'il ou elle vous parlera des réactions des étudiants après un cours ou une unité de formation. Si vous posez la même question au doyen d'une faculté universitaire ou d'une école, il ou elle pourrait vous renseigner sur un audit externe récent, peut-être après le remaniement d'un programme d'enseignement. Mais je suppose que la plupart des professeurs ou doyens que vous interrogerez commenceront à réfléchir, si vous les questionnez sur le suivi.
Ainsi, nous devons d'abord clarifier les concepts d'évaluation et de suivi des processus d'apprentissage et d'enseignement. Nous devons nous demander pourquoi cela est fait, dans quel but, pour qui, par qui. Quelles sont les conditions préalables, qui paye? Et enfin, et probablement le plus important, qu'évalue-t-on, à quel niveau et comment?
Je vais tenter de donner quelques réponses à cet ensemble de questions, telles que je les comprends, sur la base de ma propre expérience et celle de la documentation; puis je donnerai quelques exemples d'évaluations de l'enseignement supérieur en foresterie en Allemagne, et j'exposerai les méthodes utilisées en les commentant.
L'objectif général des évaluations de l'enseignement dans les universités est de réunir des informations à propos de la réussite de la formation, des détails sur les processus d'apprentissage et d'enseignement, les conditions dans lesquelles ces processus se déroulent, les contributions et les résultats. Cela semble assez complexe et doit être structuré et décomposé. Une structure utile a été développée par Schomburg, 1997, et est présentée en Figure 1.
L'évaluation est le processus d'évaluation de l'information importante pour les questions devant être résolues et pour l'interprétation et l'estimation de cette information. Si cette évaluation est répétée régulièrement ou effectuée de manière continue ou selon les besoins avec le but de contrôler les processus, je l'appellerai «suivi». Ainsi, il ne s'agit pas d'un concept à coté de l'évaluation, mais d'un type particulier d'évaluations.
Les évaluations particulières, et surtout les évaluations régulières ou continues, peuvent être perçues comme des composantes de la direction ou de la gestion de la formation, qui est effectuée du niveau des ministères nationaux de l'éducation jusqu'aux institutions enseignantes particulières, aux écoles et même partiellement aux enseignants. Si des systèmes de gestion modernes sont appliqués, les évaluations peuvent être considérées comme des éléments de la gestion (globale) de la qualité ou encore du développement ou de l'assurance de la qualité. Elles peuvent même être lancées, auditées et certifiées par des agences externes.
Figure 1: Structure de l'évaluation de l'enseignement supérieur (schomburg 1997)
Alors que l'accréditation est traditionnellement une pratique commune aux États-Unis, il s'agit en Allemagne d'une initiative totalement nouvelle de ces dernières années. Cela a commencé en lien avec la transformation du programme d'enseignement traditionnel à diplôme unique en programmes de licence et maîtrise, suite aux déclarations de la Sorbonne et de Bologne.
Un Conseil allemand d'accréditation (Akkreditierungsrat) a été créé par la «Conférence permanente des Ministres de l'enseignement et des affaires culturelles des Länder en République fédéraled'Allemagne»(Kulturminister-konferenz - KMK) et l'«Association des universités et autres institutions de l'enseignement supérieur en Allemagne» (Hochschulrektorenkonferenz - HRK). Sous l'égide de cet organe fédérateur, des agences d'accréditation ont été créées, qui accréditent un nombre en rapide augmentation de programmes d'enseignement, principalement nouveaux ou remaniési Ces agences, ainsi que des agences d'évaluation privées et étatiques, débutent normalement leur travail en formulant et en publiant des normes de qualitéii Ainsi, une discussion a été entamée sur des normes de qualité des formations inconnues jusqu'à présent, ce qui pourrait conduire à une standardisation des critères, des indicateurs et des méthodes d'évaluation.
L'évaluation des processus d'enseignement sert le contrôle de l'enseignement ainsi que la recherche en enseignement, qui ont donc beaucoup en commun mais diffèrent à d'autres égards.
Les points communs sont certaines approches, certains objectifs et certaines méthodes. Mais la recherche en enseignement sera effectuée par des chercheurs ayant pour but premier d'acquérir des connaissances, qui bien entendu pourront être mises en application plus tard. Le contrôle de l'enseignement d'autre part vise à gérer les processus d'enseignement et repose, au moins en partie, sur les résultats et les méthodes respectivement trouvés et développées par la science.
Chaque professeur d'université, en tant qu'enseignant, sera actif dans le suivi de son enseignement et dans les processus d'apprentissage de ses étudiants, et aura donc besoin d'une connaissance et d'une compétence méthodique. Il ou elle peut être impliqué(e) dans le contrôle comme membre d'une commission de la faculté ou du programme d'enseignement, ou encore de la gestion de l'université. Et la recherche en enseignement peut être une composante de ses activités scientifiques. Je me vois dans ces trois rôles comme cela est certainement le cas pour de nombreux professeurs. Néanmoins, je me concentrerai ici sur les aspects généraux et le contrôle de l'enseignement.
Dans les pays et les systèmes d'enseignement sans assurance et accréditation qualité, l'institution enseignante décidait de l'initiation d'une évaluation, de son cadre et des manières de traiter les résultats. Les exemples exposés plus loin montrent qu'une telle situation existait en Allemagne.
Naturellement, il existe une longue tradition d'évaluations au niveau de chaque unité de formation particulière, effectuées par l'enseignant lui-même. Elles avaient souvent été réclamées par les étudiants et encouragées par l'institution enseignante. Les résultats étaient destinés à une utilisation immédiate, en particulier dans la préparation d'un suivi de l'unité de formation.
Puis des questionnaires standardisés ont pu être proposés, même pour être évalué par une unité centrale de service. Une question cruciale est de savoir si l'institution enseignante ou même le Ministère de l'éducation recevra les résultats, ce qui a été contesté comme étant contraire à la liberté pédagogique de l'enseignant.
Une approche moderne consiste aujourd'hui souvent en une évaluation en deux étapes. Premièrement, par le biais d'une évaluation interne, la faculté «va préparer une auto-évaluation, rendant compte de la situation des salles de classe/séminaires/laboratoire, de l'organisation de l'évaluation et des examens des étudiants, du travail et des réussites des étudiants, du programme d'enseignement et de la manière dont il correspond aux exigences d'examen, du personnel et du développement des ressources humaines, de la situation des étudiantes/chercheuses, de l'application des ressources (bibliothèque, technologie de l'information, équipement), ainsi que de l'appui et des conseils aux étudiants» (voir note de bas de page No. 2). Une seconde étape peut être une évaluation externe par ceux qu'on appelle les pairs, ou par une agence ou un consultant mandaté (Ocde 1996).
Bien entendu, le premier acteur est la société dans son ensemble, ce qui revêt une importance particulière pour l'enseignement des forestiers. Les autres acteurs du processus d'enseignement sont les étudiants, les anciens diplômés, avec leurs besoins et leurs opinions, et les enseignants. Enfin, le groupe des employeurs potentiels ou avérés, qui n'étaient impliqués jusqu'à présent qu'à titre exceptionnel dans la plupart des pays.
Selon le stade de développement des programmes («curriculum as a program», Mutz, 2001, Rossi/Freeman/Hofmann, 1988, nous pouvons faire la distinction entre des évaluations de programmes d'enseignement ou de formation innovateurs, des évaluations visant à adapter et ajuster les programmes d'enseignement, et des évaluations de programmes d'enseignement établis.
La consultation d'expert étant centrée sur les programmes d'enseignement innovateurs en enseignement forestier, l'évaluation du programme selon Rossi/Freeman/Hoffmann, 1988, recevra dans ce contexte une attention particulière. Ainsi, à travers mes exemples, je vais traiter une évaluation de processus innovateurs, la mise en œuvre et son premier succès, plutôt que des questions de suivi ou d'assurance qualité sur le long terme.
Selon la hiérarchie et la structure de l'évaluation, il y a également une hiérarchie des objectifs, liés aux niveaux d'évaluation, comme souligné plus haut. Il est sans doute peu utile d'insister sur le fait que les objectifs devraient être clairs et posés avant de commencer le processus d'évaluation.
Par le passé, les activités d'évaluation avaient très souvent un cadre limité, se concentrant sur certains points: l'évaluation d'une unité de formation spécifique, l'évaluation d'une étape innovatrice. Ce type d'activités demeurera justifié et nécessaire.
Mais de plus en plus d'efforts pour une gestion intégrée et complète peuvent être observés. Cela pourrait interférer avec l'indépendance (traditionnelle) des institutions éducatives, qui a été forte par exemple en Allemagne, et peut-être même plus encore en Suède. Par contraste (selon ma propre expérience limitée), en Europe de l'est ou en Asie de l'est, les décisions sur les systèmes et les programmes d'enseignement ont été prises de manière plus centralisée. Ainsi, en procédant à la consultation, nous devons décider de ce que nous couvrons, à savoir des évaluations dans un cadre restreint (auxquelles mes exemples se rapportent) ou des processus d'évaluation et de suivi plus complets.
Si nous nous concentrons sur l'évaluation de programmes d'enseignement innovateurs comme supposé plus haut, il s'agit d'évaluation de programme. La question globale est celle de la pertinence et du succès du programme d'enseignement.
A partir de là, vous pouvez déduire les critères centraux suivants:
Les critères pour une évaluation spécifique doivent être classés, pesés et sélectionnés selon les objectifs de l'évaluation, selon le programme spécifique et également selon la praticabilité (ressources disponibles). C'est seulement après qu'il est raisonnable de choisir des méthodes incluant des indicateurs.
Ce qui est évalué dépendra des objectifs de l'évaluation. La décision à propos des objectifs et de la définition des critères est cruciale pour les résultats accessibles de l'évaluation, et présente donc un intérêt fondamental pour les acteurs. Cela peut être abordé dans un processus participatif, sujet qui ne sera pas traité ici.
Une évaluation complète inclura toutes les variables (critères) nommés par Schomburg, 1997 (Figure 1). En principe, leur évaluation appartient au champ de la recherche sociale empirique (appliquée) (Rossi, Freeman, Hofmann, 1988). Conformément, les méthodes classiques d'évaluation sont les analyses de documents, l'observation et les enquêtes. Une analyse très généralisante de documents produira des données statistiques, une observation de l'information sur la performance et une enquête d'opinions, de significations ou d'attitudes, se rapportant ainsi au champ et aux méthodes classiques des sciences sociales (Schnell, Hill, Esser). Il existe une immense réserve de documentation méthodique dans ce domaine, et il ne semble pas nécessaire d'entrer dans les détails ici. Certaines informations vont cependant ressortir de la présentation des exemples.
La description générale des structures et des processus d'évaluation de l'enseignement supérieur en foresterie sera faite par des exemples sélectionnés et organisés selon la structure de Schomburg, 1997 (Figure 1).
Il est évident que l'on ne peut rendre justice à la majorité des résultats de l'évaluation que si les données élémentaires de contribution sont prises en compte. Celles-ci comprennent les informations sur l'âge et le sexe des étudiants, leur milieu social, leurs qualifications formelles, leurs notes aux examens de lycée, mais aussi sur leur motivation, leurs buts professionnels et de carrière ainsi que leurs attitudes élémentaires. Certaines de ces informations sont incluses dans les rapports réguliers d'enseignement que les facultés du Bade-Württemberg doivent préparer pour le Ministère de l'éducation. De plus, la faculté des sciences forestières de Fribourg a récemment évalué des données sur le choix d'étudier la foresterie à Fribourg.
Pour les étudiants allemands en foresterie, il n'existe qu'une étude complète effectuée par Oesten, 1978, sans suivi, à partir de laquelle le Tableau 1 est construit. Cela fait partie bien entendu de la recherche en enseignement. Oesten a trouvé que les attitudes des étudiants en foresterie diffèrent de celles des lycéens et les a décrites en détail.
Tableau 1: Attitudes générales des étudiants de première année en foresterie (n = 104, Fribourg) et des lycéens (n = 74) (d'après oesten,1978)
Étudiants en foresterie |
Lycéens | |||
Moyenne |
st.dev. |
Moyenne |
st.dev. | |
Ma profession doit être aussi rémunératrice que possible |
3,3 |
0,8 |
2,1 |
1,1 |
Ma profession doit être diversifiée et offrir de nombreuses expériences intéressantes |
1,6 |
0,5 |
1,4 |
0,7 |
Dans ma profession, je veux avoir beaucoup de contacts avec d'autres personnes |
2,5 |
0,8 |
2,0 |
1,1 |
Ma profession doit me donner une chance de rendre service à d'autres personnes |
2,2 |
0,9 |
2,7 |
1,3 |
Ma profession doit me donner une chance de participer activement aux évolutions des conditions sociales |
3,5 |
1,5 |
3,1 |
1,2 |
Le rapport d'enseignement non publié susmentionné révèle quelques données statistiques élémentaires sur les ressources (telles que décrites plus haut dans l'évaluation interne). En 1999 par exemple, il y avait 10 étudiants pour un scientifique et 27 étudiants pour un professeur. Ces chiffres ont augmenté avec le nombre croissant d'étudiants au cours des 30 dernières années.
Ces données n'ont pas été systématiquement suivies, et elles ne sont pas facilement accessibles. Cet exemple montre que l'intérêt était limité par le passé, au moins dans le Bade-Württemberg.
Le niveau du programme d'enseignement
Les Tableaux 2 et 3 proviennent d'une évaluation externe assez large de la situation de l'enseignement à la Faculté des sciences forestières de Fribourg cinq ans après le «remaniement radical» du programme d'enseignement (Lewark, 1996). L'évaluation incluait des enquêtes auprès des enseignants (Tableau 2) et des étudiants (Tableau 3) selon une procédure standardisée et souvent utilisée (Webler et. al. 2000), conduisant ainsi à des résultats qui sont comparables à ceux d'autres programmes d'enseignement. Ils ont été exposés dans un rapport complet, qui est fourni au public intéressé, mais qui n'est pas encore formellement publié. Le principal objet était de servir de base pour le développement du programme d'enseignement.
Tableau 2: Satisfaction des professeurs et des conférenciers (n = 50) à propos de la performance des étudiants dans les copies et les comptes-rendus, après un examen préliminaire
(Webler et al. 2000) Échelle résumée en 4 étapes
satisfaction |
insatisfaction | |
utilisation de la documentation |
24 |
76 |
structuration |
46 |
54 |
contenus |
54 |
46 |
présentation |
42 |
58 |
techniques de travail |
22 |
78 |
diligence |
20 |
80 |
maîtrise de la langue |
40 |
60 |
développement indépendant du sujet |
11 |
89 |
utilisation indépendante du matériel |
34 |
66 |
Tableau 3: Problèmes au début de l'étude (n = 202 étudiants) (webler et al. 2000)
Echelle résumée en 5 étapes
pas ou peu de problèmes (%) |
gros ou très gros problèmes (%) | |
Travail en auto-organisation |
66 |
14 |
Contacts sociaux / communication |
83 |
8 |
Coopération dans les groupes de travail |
68 |
12 |
Compréhension de nouveaux contenus d'étude |
58 |
16 |
Discours libre dans les discussions |
36 |
32 |
Compréhension des enseignants |
34 |
22 |
Difficultés d'auto-motivation |
54 |
22 |
Orientation dans un nouvel environnement |
76 |
7 |
Exigences d'apprentissage |
54 |
19 |
Acquisition d'une idée générale sur le programme d'enseignement |
44 |
27 |
Compréhension de textes dans des langues étrangères |
39 |
22 |
Connaissance des techniques scientifiques de travail |
47 |
22 |
Organisation du temps / organisation des études |
50 |
22 |
Il y a quelques années, une évaluation interne a déjà étudié l'acceptation et la phase de démarrage du programme d'enseignement à Fribourg (Lewark/Mutz 1996; Mutz, 2001 donne un large cadre théorique). Cette évaluation interne incluait des évaluations complètes au niveau des modules d'enseignement clés, pour lesquels des méthodes standardisées et testées ont été utilisées (Tableau 4). L'évaluation a également été utilisée comme base pour des discussions fondamentales dans la faculté, ce qui a conduit à un meilleur accord général sur les principes du programme d'enseignement remanié et sur les améliorations des pratiques pédagogiques actuelles.
Tableau 4: Évaluation au niveau de l'unité de formation -
statistiques descriptives: 5 critères sélectionnés parmi 18, sur la base de 15 indicateurs parmi 40; n = 11 modules évalués, valeurs de modules données, nombre total de questionnaires -; instrument d'évaluation standardisé et testé HILVE-Inventar (mutz, 2001)
Échelle: 1 faux - 7: vrai
moyenne |
st.dev. |
min. |
max. | |
Structure: (indicateurs: structure logique; organisation) |
5.07 |
0.88 |
2.77 |
5.74 |
Trop exigeant (indicateurs: trop de matériel; trop rapide; pas compréhensible; niveau d'exigence: moyenne = 4) |
4.36 |
0.72 |
2.85 |
5.11 |
Réussite de l'apprentissage: (indicateurs: beaucoup appris; choses importantes apprises) |
3.06 |
0.71 |
1.90 |
4.42 |
Compétence d'enseignement (indicateurs: information complexe compréhensible; bonne préparation; discours motivant) |
5.06 |
0.81 |
3.15 |
5.77 |
Jugement général (indicateurs: attentes satisfaites; contenu; visite valant la peine; motivant) |
4.16 |
0.89 |
2.65 |
5.05 |
Figure 2: Formulaire d'évaluation au niveau d'une unité de formation basée sur une représentation pictographique de satisfaction (développée par dr. artur hornung)
Par comparaison, la Figure 2 présente un instrument d'évaluation d'une page devant être utilisé dans une unité de formation particulière par l'enseignant. La présentation sous forme de représentation pictographique a été motivante pour les étudiants. L'évaluation est constituée de distributions des fréquences et d'énumérations de commentaires et suggestions formulés librement. Bien entendu, cette méthode d'évaluation ainsi que toutes les autres enquêtes doivent être suivies par un retour d'information à la population interrogée.
Certains des résultats du processus d'enseignement sont déjà inclus dans les rapports d'enseignement sous la forme de données statistiques. D'autres informations très importantes sont évaluées par l'analyse des diplômes. La Figure 3 montre un résultat caractéristique de la seule enquête auprès des diplômés effectuée jusqu'à présent pour les diplômés des quatre facultés allemandes de sciences forestières (Gerecke, 1997).
Figure 3: Situation de l'emploi en 1996 pour les diplômés femmes et hommes (Diplomforstwirtinnen / Diplomforstwirte)
ayant obtenu leur diplôme entre 1991 et 1994 dans les quatre facultés allemandes de sciences forestières, n = 821
(elsbeth gerecke 1997)
Une liste d'enquêtes effectuées auprès de diplômés en Europe est donnée en Figure 4. L'information limitée déjà énumérée montre une variété d'approches considérable.
La consultation d'expert se concentre sur des programmes d'enseignement innovateurs en enseignement forestier. Dans ce contexte, le but premier des évaluations sera une évaluation du programme selon Mutz, 2001, et Rossi/Freeman/Hofmann, 1988, une évaluation des processus innovateurs, la mise en œuvre et son premier succès, plutôt que des questions d'assurance qualité ou de suivi sur le long terme.
Figure 4: Quelques caractéristiques d'enquêtes
effectuées auprès de diplômés en Europe (Lewark, 1998)
| ||||||
GROUPES ÉTUDIÉS | ||||||
Auteur(s) |
Année de l'enquête |
Fréquence des enquêtes |
Année(s) obtention du diplôme |
Année(s) après obtention du diplôme |
Nombre de diplômes |
Retours |
Evers |
1992 |
regulièrement |
1988-1992 |
0-4 |
143 |
59% |
Gerecke |
1996 |
1ère fois |
1991-1994 |
de 2 à 5 |
1125 |
75% |
Lanfranchi Schmithüsen |
1993 |
répétée |
1986-1992 |
de 1 à 7 |
190 |
73% |
Pettenella |
1993 |
répétée |
1981-1991 |
de 2 à 12 |
154 |
94% |
Klein |
1990 |
répétée |
1950-1990 |
0-40 |
738 |
79% |
Bischoff |
1994 |
1ère fois |
1984-1993 |
de 1 à 10 |
1602 |
64% |
Tout comme (et même plus que) le fait de questionner les participants sur le succès d'un cours spécifique est nécessaire au progrès de l'apprentissage et de l'enseignement, la même question doit nécessairement être posée au niveau des programmes d'enseignement. Cela est essentiel pour le développement de la qualité, pour une justification et une documentation externe et pour l'assurance des financements futurs, peut-être même pour que les institutions enseignantes continuent d'exister.
L'évaluation et le suivi devraient être effectués d'une manière systématique et méthodiquement solide, qui amène à des résultats comparables et, si des questionnaires avec des codes personnels sont utilisés, à la révélation d'évolutions. Le but global n'est bien entendu pas la transparence de l'enseignant ou de l'étudiant, mais le développement et l'assurance de la qualité de l'enseignement et de l'apprentissage, servant ainsi le progrès personneletsocial.
Anon. 1996. Evaluating and Reforming Education Systems. Paris: Publication OCDE 91 96 04 1, 83 p.
Gerecke,Elsbeth.1997. BerufsaussichtenfürDiplomForstwirte/ innen.Schluchsee: Étude du DeutscherForstverein,Rapportfinal, 81p.
Lewark, Siegfried. 1996. The radical revision of the forestry curriculum at the Freiburg forestry faculty. Exposé à la 18ème session du Comité de conseil de la FAO sur l'enseignement forestier, Santiago, Chili
Lewark, Siegfried. 1998. What do we want to know about our graduates?. Joensuu: Exposé à la réunion Silvanet, juillet 1998.
Lewark, Siegfried Mutz, Rüdiger. 1996. Evaluation des Kernstudiums im Sommersemester 1996 - Vorläufiger Bericht an den Fakultätsrat der Forstwissenschaftlichen Fakultät. Fribourg: Rapport, 77 p.
Lewark, Siegfried; Pettenella, Davide; Saastamoinen, Olli. 1998. Labour markets for university educated foresters: recent developments and new perspectives. Wageningen: Proc. Workshop «New Requirements for University Forestry Education» 30.7.-3.8.1997. Séries DEMETER 1, 69-88.
Mutz, Rüdiger. 2001. Studienreform als Programm. Programmevaluation zur Akzeptanz des reformierten Studiengangs "Forstwissenschaft" bei Lehrenden und Studierenden in Freiburg. Landau: Verlag Empirische Pädagogik (Psychologie, Bd. 38), 311 p.
Oesten, G.. 1978. Untersuchungen zur Sozialisation von Nachwuchsmitgliedern für die Forstverwaltung. Freiburg, Univ., Forstl. Dissertation.
Rossi, P.H.; Freeman, H.E.; Hofman, G. 1988. Programm-Evaluation. Einführung in die Methoden angewandter Sozialforschung. Stuttgart: Enke.
Schnell, Rainer; Hill, Paul B.; Esser, Elke. 1993. Methoden der empirischen Sozialforschung. 4. überarb. Aufl. München, Oldenbourg, 504 p.
Schomburg, Harald. 1997. Standard Instrument for Graduate and Employer Studies. Kassel & Eschborn: Wiss. Zentr. Berufs- Hochschulforsch. Univ. Gesamthochsch. Kassel & GTZ.
Webler, Wolff-Dietrich; Scharlau, Ingrid; Schiebel, Bernd. 2000. Evaluationsbericht zur Situation von Lehre und Studium der Forstwissenschaftlichen Fakultät der Albert-Ludwigs-Universität Freiburg. Bielefeld: 2000. Kooperationsprojekt zwischen der Forstwissenschaftlichen Fakultät der Albert-Ludwigs-Universität und der Projektgruppe Hochschulevaluation des IZHD Bielefeld. 124 S. + Anh..
i http://www.accreditation-council.de http://www.fibaa.de http://sun.vdi-online.de
ii Par exemple "Evaluationsagentur Baden-Württemberg": http://www.evalag.de
Exemples d'enquêtes effectuées auprès de diplômés en sciences forestières