PC 82/4 |
Quatre-vingt-deuxième session |
Rome, 13-17 septembre 1999 |
Évaluation du Programme dans le contexte du Cadre stratégique et du nouveau modèle de programmation |
II. INCIDENCES SUR L'ÉVALUATION DE LA NOUVELLE APPROCHE DE PLANIFICATION ET DE PROGRAMMATION
III. AMÉLIORATIONS POSSIBLES DES RAPPORTS D'ÉVALUATION DESTINÉS AUX ORGANES DIRECTEURS
1. Lorsque la Conférence décida, en 1997, de poursuivre l'introduction d'une procédure révisée de planification, de programmation et de budgétisation (comme il ressort du document JM 97/1) et qu'elle demanda à la FAO de préparer un Cadre stratégique, la nécessité d'apporter des modifications substantielles au système d'évaluation de l'Organisation avait déjà été pressentie. Par conséquent, dans le contexte du Cadre stratégique et du nouveau modèle de programmation, le Comité de programme demanda au Secrétariat d'avancer des propositions sur la nature et la portée de ce nouveau système d'évaluation. Le présent document constitue une réponse à cette requête. Les propositions qui y sont décrites sont soumises au Comité du programme pour examen; elles décrivent dans les grandes lignes la future démarche préconisée par les organes directeurs pour l'évaluation et la présentation de rapports.
2. La FAO a été l'un des premiers organismes des Nations Unies à institutionnaliser l'évaluation, avec la mise en place, dès 1968, d'une unité d'évaluation, chargée alors d'examiner les projets de terrain. En 1979, le mandat du Service de l'évaluation a été élargi au Programme de terrain et au Programme ordinaire. Les résultats de l'évaluation ont été communiqués de façon systématique aux organes directeurs, d'abord dans des examens distincts du Programme de terrain et du Programme ordinaire et, depuis 1993, par le biais du Rapport d'évaluation du programme.
3. Aujourd'hui, l'évaluation fait partie intégrante du système global de contrôle de la FAO et est du ressort du Bureau du programme, du budget et de l'évaluation. Les autres composantes de ce système de contrôle sont les suivantes: vérification extérieure et intérieure des comptes, inspection et enquêtes. Le commissaire aux comptes, nommé par le Conseil, est responsable de la vérification extérieure des comptes tandis que les autres fonctions de contrôle relèvent de la compétence de l'Inspecteur Général avec lequel le Service de l'évaluation collabore étroitement.
4. L'évaluation est aussi bien un outil de gestion que de responsabilisation. Elle permet aux directeurs, à tous les niveaux, de disposer d'une base de connaissances améliorée et d'une appréciation critique des programmes dont ils sont responsables. Ses principaux objectifs sont les suivants: i) jouer le rôle de catalyseur en vue de l'amélioration de la planification en général et de la sélection et conception des programmes en termes d'utilité, d'efficacité, d'efficience et d'impact; ii) aider les responsables à prendre des décisions sur d'éventuelles mesures correctives durant la réalisation des programmes et en vue d'une meilleure exécution; iii) contribuer aux décisions relatives à la poursuite éventuelle des programmes au terme de leur période de mise en oeuvre; iv) favoriser la connaissance des questions critiques au sein de l'Organisation; et v) contribuer à une amélioration globale des responsabilités de gestion et à une plus grande transparence des rapports adressés aux organes directeurs et aux autres parties prenantes.
5. Pour qu'elle réponde à une préoccupation exprimée par la direction et par les organes directeurs, une évaluation de qualité doit se concentrer sur les résultats des programmes et plus particulièrement sur les avantages obtenus par les utilisateurs des services de la FAO. En outre, elle doit prévoir une analyse rigoureuse, un examen indépendant, un processus consultatif et des rapports transparents. L'évaluation passe donc nécessairement par une analyse critique et par un examen des performances au niveau des réalisations de l'Organisation, dans ses programmes et projets. Les critères permettant d'évaluer les programmes incluent:
Cette analyse permet de relever les problèmes importants et de tirer des enseignements pour l'avenir.
6. L'évaluation fait appel à différentes techniques, dont une analyse s'appuyant sur des critères spécifiques, tels que ceux présentés ci-dessus, et la comparaison des performances avec d'autres programmes analogues. Diverses méthodes de consultation avec les parties prenantes sont également employées, ainsi que des informations en retour, recueillies notamment par le biais de questionnaires, d'enquêtes partielles sur les résultats obtenus et d'entretiens avec des groupes cibles et des informateurs clés. Dans tous les cas, l'évaluation doit reposer sur des opinions fondées sur la connaissance des faits et données par des experts, ainsi que sur l'application d'une analyse rigoureuse des fins et des moyens mettant en relation causes et effets.
7. Grâce au nouveau modèle de programmation, les programmes de la FAO devraient être dotés d'une structure plus stratégique et plus cohérente. Dans le contexte du Cadre stratégique, le Plan à moyen terme d'une durée totale de six ans, sera un plan chenille qui sera mis à jour tous les deux ans. Celui-ci inclura, pour tous les programmes de la FAO, un plan consolidé orienté vers les résultats, faisant état des produits escomptés en fonction d'échéances précises et des indicateurs permettant de mesurer la réalisation à moyen terme des objectifs du Cadre stratégique. Les programmes seront élaborés en fonction d'entités spécifiques de programmes: projets techniques; activités de programme continues et accords de services techniques. Le Programme de travail et budget présentera le plan de travail biennal pour la mise en oeuvre des programmes et les ressources requises à cet effet. En conséquence, l'exécution des programmes sera explicitement centrée sur les résultats devant être obtenus conformément au Cadre stratégique et au Plan à moyen terme. Ce dernier devra comporter une planification rigoureuse, un suivi systématique et un examen en vue d'éventuelles corrections en cours de réalisation, ainsi qu'une mise à jour biennale.
8. Si l'on s'en tient à la définition générale de l'évaluation énoncée au paragraphe 4, il sera essentiel d'établir dans les prochaines années un système d'évaluation approprié pour aider les responsables à passer progressivement et de façon efficace au nouveau modèle de programmation.
9. Pour apprécier les progrès généraux accomplis dans la réalisation des objectifs du Cadre stratégique, le nouveau système d'évaluation devra passer en revue les résultats des programmes, ou des groupes d'entités de programme, qui contribuent à atteindre ces objectifs, ainsi que les performances de chaque entité de programme. En outre, il sera nécessaire d'évaluer la mise en oeuvre des stratégies afin de traiter les questions intersectorielles. Le cadre de référence principal sera le Plan à moyen terme et une série d'approches sera appliquée:
10. L'approche passe nécessairement par une évaluation plus détaillée et systématique, qui doit couvrir tous les programmes de la FAO; elle demande aussi un renforcement de l'ensemble du système de suivi, d'examen et d'évaluation de l'Organisation. Néanmoins, il n'est pas possible d'évaluer tous les programmes en même temps. En revanche, le cycle de l'évaluation sera généralement le même que celui du plan chenille à moyen terme sur six ans; il se concentrera notamment sur les entités de programmes achevées ou sur le point de se terminer. En particulier, les efforts déployés au sein des divisions et des départements en vue du suivi, de l'examen et de l'auto-évaluation devraient jouer un rôle important. Les éléments suivants devront être mis en place:
11. Une évolution constante et des améliorations s'imposent si l'on veut garantir la réussite du renforcement du système d'évaluation. Cela sera particulièrement vrai dans les années de transition à venir, jusqu'à ce que la nouvelle approche de programmation soit bien établie. Vu l'impossibilité de parvenir à une amélioration dans tous les domaines, compte tenu des ressources à disposition, un dialogue devra s'engager avec le Comité de programme sur les domaines prioritaires. Les grandes composantes d'un système optimal d'évaluation devraient inclure :
12. Comme il ressort des composantes du nouveau système d'évaluation décrit ci-dessus, plusieurs modalités sont envisagées:
13. Si le système décrit ci-dessus est accepté, il devra être ultérieurement développé et perfectionné dans les années à venir et s'accompagner de modifications significatives dans le processus de planification et de gestion des programmes, ainsi que de ressources adéquates. Les problèmes méthodologiques devront être surmontés et un juste équilibre devra être maintenu entre le souhait de disposer d'évaluations plus nombreuses et de meilleure qualité et la contribution effective des évaluations à un plus grand impact des activités de l'Organisation. Dans cette perspective, les questions à traiter incluent:
Une série de critères sont nécessaires pour s'assurer que les résultats spécifiques ont été atteints et pour déterminer si les réalisations découlent véritablement du programme ou si elles sont le produit d'autres facteurs. Le nombre de maillons de la chaîne et les autres contributions éventuelles donnant lieu à des avantages sont autant d'éléments qui rendent normalement la vérification soit extrêmement coûteuse soit impossible. Il est possible de passer en revue des indicateurs rentables pour comprendre si les utilisateurs ont bénéficié des résultats obtenus et s'ils sont satisfaits des résultats du programme. De plus, on peut apprécier l'emploi qui est fait des produits et vérifier les relations de causalité entre les avantages ultimes et la mise en oeuvre. En bref, l'impact potentiel peut certes être identifié, mais la vérification du véritable impact final risque d'être exagérément coûteuse et de ne fournir que rarement des réponses sûres;
Toutes les améliorations visées ne pourront cependant pas être obtenues avec les ressources à disposition. Pour augmenter les contributions externes aux évaluations, comme certains États membres le préconisent, un accroissement important des ressources s'impose. Étant donné l'existence de cette contrainte liée aux ressources, il est important d'obtenir l'avis du Comité concernant l'équilibre à rechercher en matière d'évaluation entre les éléments suivants:
- la mise en place de fondements plus solides pour l'évaluation, notamment l'établissement effectif du nouveau modèle de programmation et la mise sur pied d'un processus fonctionnel de suivi et d'examen (auto-évaluation) ;
- la garantie d'un retour efficace d'informations émanant de l'évaluation aux utilisateurs et la large disponibilité des résultats de l'évaluation ; et
- la conduite d'études sur l'évaluation, en particulier en vue de la présentation de rapports de gestion aux organes directeurs.
14. Parmi les rapports de gestion émanant du Secrétariat, les rapports d'évaluation offrent une analyse approfondie qui servira de base aux organes directeurs pour la prise de décision sur les programmes. Par conséquent, les rapports doivent répondre aux besoins des organes directeurs, dans le cycle biennal de planification et de budgétisation. Dans ce cycle, le Comité du programme et le Conseil effectuent, avec l'avis des comités techniques, les travaux préparatoires fondamentaux en vue de la prise de décision finale par la Conférence. Des suggestions sont présentées ci-après pour aider à répondre aux besoins des organes directeurs. Ces suggestions concernent les éléments suivants: i) le niveau d'information requis par les organes directeurs; ii) le contenu et la présentation des rapports; et iii) le calendrier de présentation des rapports.
15. Le niveau d'information : les comités requièrent habituellement des informations plus détaillées que celles nécessaires en séance plénière. Le Comité du programme et les comités techniques du Conseil sont les premiers responsables pour ce qui a trait à l'examen des programmes. C'est le Comité du programme qui est devenu, dans la pratique, le premier utilisateur visé du Rapport d'évaluation du programme, dans le sens où il consacre plus de temps à son examen que n'importe quel autre organe. Il serait donc logique de cibler les rapports d'évaluation sur le Comité du programme. De même, tant le Conseil que la Conférence doivent continuer à recevoir un rapport sur l'évaluation des programmes pour des raisons d'obligation redditionnelle et pour mieux appréhender la fonction de l'évaluation. Celui-ci pourrait cependant être présenté de façon plus synthétique.
16. La teneur des rapports adressés au Comité du programme: A la lumière du Cadre stratégique et du nouveau modèle de programmation, le Comité pourrait souhaiter proposer des changements dans la façon dont est abordé l'examen des programmes. Les programmes sélectionnés pour une évaluation approfondie pourraient se concentrer, dans la mesure du possible, sur les programmes compris dans le cycle d'examen du Comité.
17. Les rapports d'évaluation approfondie des programmes de la FAO continuent à être sélectifs, non seulement par manque de temps du Comité du programme, mais aussi à cause des ressources limitées disponibles pour l'évaluation. Il y a une contradiction entre la profondeur de l'analyse, en particulier en ce qui concerne l'évaluation de l'impact et l'ampleur de la couverture (voir le texte ci-dessus sur l'impact). Le Comité devrait continuer à être consulté sur les sujets retenus pour l'évaluation lors du prochain exercice biennal. Conformément à ce qui a été présenté plus haut sur le système d'évaluation, les produits à faire parvenir au Comité du programme incluent:
18. La période de mise en oeuvre à couvrir pourrait varier selon les types d'évaluation. En général, dans le cas d'une évaluation de programme ou d'une évaluation thématique, une période suffisamment longue (trois exercices biennaux) sera cependant nécessaire pour permettre d'évaluer les effets et l'impact.
19. Étant donné les ressources actuelles du Service de l'évaluation, le nombre total maximum de rapports d'évaluation biennale adressés au Comité du programme ne doit pas dépasser quatre à cinq rapports suivant les différentes combinaisons présentées ci-dessus. Il est probable que lorsqu'un examen demandera un effort d'enquête extrêmement important, comme dans le cas de « a) une évaluation des progrès globaux accomplis dans la réalisation de certains objectifs stratégiques», les autres sujets devront être limités à deux ou trois.
20. Contenu et présentation des rapports: Chaque rapport d'évaluation pourrait être fourni au Comité du programme sous forme de résumé (5-8 pages) alors que les documents de travail d'appui aux rapports seront mis à la disposition des membres intéressés du Comité pour consultation. Les rapports d'évaluation du Comité du programme pourraient également être affichés sur Internet pour que tous les membres puissent en prendre connaissance. Même si la présentation peut varier d'un rapport à l'autre (selon qu'il s'agit d'une évaluation du programme de terrain, d'un programme ou d'un thème général), l'actuel cadre d'analyse présenté pourrait être conservé; cela pourra se faire par rapport aux critères présentés au paragraphe 5 du présent document.
21. Comme c'est le cas encore aujourd'hui, le Comité recevra, en plus des rapports proprement dits, des observations de la direction concernant les résultats et recommandations présentés. Lorsque le rapport a été essentiellement préparé par le Service de l'évaluation sans apport externe indépendant d'importance, il recevra également des commentaires d'examinateurs externes.
22. Rapports d'évaluation adressés aux organes directeurs: cela pourrait concerner:
23. Calendrier de la présentation des rapports: étant donné les éléments présentés ci-dessus, il s'ensuit que:
24. Passage aux nouveaux arrangements: Étant donné que les rapports d'évaluation ne pourront pas traduire les résultats des arrangements de la nouvelle programmation et du Cadre stratégique approuvé avant au moins deux exercices biennaux, à savoir en 2004, le Comité du programme pourrait souhaiter considérer un volume moindre de rapports d'évaluation au cours de la période intérimaire, d'autant plus que le Service de l'évaluation est sollicité pour appuyer l'introduction du nouveau modèle de programmation, qui doit jeter les bases voulues en vue de l'apprentissage et de la responsabilisation au sein de l'Organisation. Entre temps, les rapports d'évaluation devraient inclure un mélange d'évaluations par discipline technique et par thème. Pour le prochain exercice biennal 2000-2001, il est suggéré que le Comité du programme examine les rapports d'évaluation lors de ses sessions du printemps et d'automne, ce qui constituera la base du rapport d'évaluation du programme 2001. Les sujets possibles sont présentés au Comité du programme dans un document distinct.
25. Rapport sur l'exécution du programme - en plus des rapports d'évaluation proposés ci-dessus, un rapport sur l'exécution du programme au cours de l'exercice précédent pourrait continuer à être produit. Étant donné la nature fondamentalement sélective des rapports d'évaluation, axés sur les effets et sur l'impact, le rapport sur l'exécution du programme devra rester détaillé afin de faire partie intégrante des rapports de gestion. Néanmoins, dans l'esprit de la nouvelle approche de programmation et vu les réserves exprimées par les organes directeurs sur le contenu de ce rapport, des efforts supplémentaires devront être déployés, en consultation avec le Comité du programme, pour parvenir à un format plus satisfaisant. Étant donné que le nouveau format de ce rapport ne pourra pas être appliqué afin la fin de premier cycle complet (soit en 2006 au plus tôt), le Secrétariat a l'intention de continuer à avancer des propositions au Comité sur ce sujet à une date ultérieure.
26. Ce document est soumis au Comité dans le cadre du processus de concertation en cours. Pour faciliter le dialogue, certaines des questions qui y sont identifiées ont été mises en évidence ci-après pour que le Comité fournisse des avis sur les points suivants :
ANNEXE 1
L'ÉVALUATION DES PETITS PROJETS
1. A sa quatre-vingtième session, en septembre 1998, le Comité du programme a pris note de l'une des tendances qui consiste à privilégier, plus que par le passé, les projets de petite dimension et de courte durée et a estimé qu'il fallait donc élaborer des méthodes d'évaluation rentables appropriées (paragraphe 34 du document CL 115/8).
2. En principe, tous les projets de fonds fiduciaires et tous les projets du PNUD dont le budget est supérieur à un million de dollars E.-U. sont sujets à une évaluation formelle. Il est généralement reconnu que les évaluations individuelles ne constituent pas une solution rentable pour les petits projets inférieurs à un million de dollars E.-U. Les coûts pourraient facilement excéder 5 pour cent de la valeur du projet et pour des projets de très petite dimension, par exemple d'une valeur de 100 000 dollars E.-U., une évaluation standard telle que celle appliquée aux projets plus importants, même si quelque peu réduite proportionnellement, pourrait représenter 15 pour cent du budget.
3. Il n'est pas aisé de classifier les petits projets (budget inférieur à 1 million de dollars E.-U.). Selon la source de financement, pour 1997-1997, les résultats obtenus par nombre de projets étaient les suivants: 45 pour cent de projets du Programme de coopération technique PCT- FAO; 40 pour cent sur des fonds fiduciaires (dont 9 pour cent sur des Fonds fiduciaires unilatéraux); 14 pour cent sur des fonds des Nations Unies (principalement du Programme des Nations Unies pour le développement - PNUD) et 1 pour cent de source variée.
4. Depuis le Programme de travail et budget 1996-97, une sélection de projets du Programme de coopération technique ont été évalués sur une base thématique. L'évaluation a porté sur des projets en cours de réalisation et sur des projets déjà terminés. La séquence normale est la suivante:
5. Aussi bien les études théoriques préliminaires que les missions de terrain utilisent des listes de contrôle standard pour garantir la prise en compte de tous les aspects principaux (voir paragraphe 5 du document principal). Les missions de terrain accordent une attention spéciale à l'évaluation de l'emploi qui est fait des produits des projets et donc aux effets et à l'impact. L'inclusion d'un nombre considérable de projets déjà achevés facilite cette analyse.
6. Les trois évaluations thématiques des PCT entreprises jusqu'à ce jour examinent quelque 80 projets dont 65 font l'objet de visites de terrain. Cela représente environ 5 pour cent du portfolio total du Programme de coopération technique sur la période 1992-98, pourcentage qui est destiné à augmenter progressivement dans la mesure où davantage d'évaluations thématiques seront conduites. Le financement de l'évaluation a été favorisé par l'incorporation au document de projet standard et au budget du Programme de coopération technique, d'un apport de 500 dollars E.-U. comme contribution aux frais d'évaluation.
7. Dans les petits projets du PNUD, les travaux de la FAO représentent généralement un apport à un projet de plus grande envergure (c'est également souvent le cas des fonds fiduciaires unilatéraux). Les contributions techniques à des projets plus importants sont normalement examinées dans le contexte de l'évaluation globale du projet. La FAO s'efforce de s'assurer que les termes de référence couvrent l'évaluation de la pertinence, de la qualité et des résultats des contributions techniques et cherche à être représentée autant que possible dans les missions d'évaluation, cela afin d'optimiser le retour d'informations. Lorsque la FAO est représentée dans les missions, le questionnaire d'évaluation standard est complété. Ce mécanisme s'est révélé approprié jusqu'à ce jour, mais l'ensemble des aspects des projets par les missions d'évaluation sera aussi examiné. En effet, les organismes de financement ne sont pas toujours en mesure d'apprécier le besoin d'associer la FAO aux évaluations ou la valeur d'un examen spécifique des contributions techniques.
8. Parmi les petits projets de fonds fiduciaires, les projets d'urgence représentent 13 pour cent du total et les projets normatifs connexes quelque 27 pour cent. Les projets restants ont consisté en un mélange d'activités, mais les apports en termes de politiques, les études pilotes et les études de faisabilité ont été importantes. Dans ces études, l'examen approfondi constitue un élément du processus de formulation et d'évaluation qui est essentiel pour une possible action complémentaire. En outre, les projets normatifs sont généralement évalués dans le contexte du système d'évaluation du Programme ordinaire qui est présenté dans la partie principale de ce document.
9. Il est en outre suggéré que tous les petits projets de fonds fiduciaires, y compris ceux d'urgence, fassent l'objet d'une évaluation thématique, comme ceux relevant du Programme de coopération technique, et qu'il devienne pratique courante d'inclure à cet effet une petite dépense directe dans le budget.
1 A sa quatre-vingtième session, en septembre 1998, le Comité de programme a pris note de l'une des tendances qui consiste à « privilégier, plus que par le passé, les projets de petite dimension et de courte durée et qu'il fallait donc élaborer des méthodes d'évaluation rentables appropriées » (paragraphe 34 du document CL 115/8). L'annexe 1 aborde cette question.