1. Lorsque la Conférence décida, en 1997, de poursuivre l'introduction d'une procédure révisée de planification, de programmation et de budgétisation (comme il ressort du document JM 97/1) et qu'elle demanda à la FAO de préparer un Cadre stratégique, la nécessité d'apporter des modifications substantielles au système d'évaluation de l'Organisation avait déjà été pressentie. Par conséquent, dans le contexte du Cadre stratégique et du nouveau modèle de programmation, le Comité de programme demanda au Secrétariat d'avancer des propositions sur la nature et la portée de ce nouveau système d'évaluation. Le présent document constitue une réponse à cette requête. Les propositions qui y sont décrites sont soumises au Comité du programme pour examen; elles décrivent dans les grandes lignes la future démarche préconisée par les organes directeurs pour l'évaluation et la présentation de rapports.

2. La FAO a été l'un des premiers organismes des Nations Unies à institutionnaliser l'évaluation, avec la mise en place, dès 1968, d'une unité d'évaluation, chargée alors d'examiner les projets de terrain. En 1979, le mandat du Service de l'évaluation a été élargi au Programme de terrain et au Programme ordinaire. Les résultats de l'évaluation ont été communiqués de façon systématique aux organes directeurs, d'abord dans des examens distincts du Programme de terrain et du Programme ordinaire et, depuis 1993, par le biais du Rapport d'évaluation du programme.

3. Aujourd'hui, l'évaluation fait partie intégrante du système global de contrôle de la FAO et est du ressort du Bureau du programme, du budget et de l'évaluation. Les autres composantes de ce système de contrôle sont les suivantes: vérification extérieure et intérieure des comptes, inspection et enquêtes. Le commissaire aux comptes, nommé par le Conseil, est responsable de la vérification extérieure des comptes tandis que les autres fonctions de contrôle relèvent de la compétence de l'Inspecteur Général avec lequel le Service de l'évaluation collabore étroitement.

Évaluation - Objectifs et définition

4. L'évaluation est aussi bien un outil de gestion que de responsabilisation. Elle permet aux directeurs, à tous les niveaux, de disposer d'une base de connaissances améliorée et d'une appréciation critique des programmes dont ils sont responsables. Ses principaux objectifs sont les suivants: i) jouer le rôle de catalyseur en vue de l'amélioration de la planification en général et de la sélection et conception des programmes en termes d'utilité, d'efficacité, d'efficience et d'impact; ii) aider les responsables à prendre des décisions sur d'éventuelles mesures correctives durant la réalisation des programmes et en vue d'une meilleure exécution; iii) contribuer aux décisions relatives à la poursuite éventuelle des programmes au terme de leur période de mise en oeuvre; iv) favoriser la connaissance des questions critiques au sein de l'Organisation; et v) contribuer à une amélioration globale des responsabilités de gestion et à une plus grande transparence des rapports adressés aux organes directeurs et aux autres parties prenantes.

5. Pour qu'elle réponde à une préoccupation exprimée par la direction et par les organes directeurs, une évaluation de qualité doit se concentrer sur les résultats des programmes et plus particulièrement sur les avantages obtenus par les utilisateurs des services de la FAO. En outre, elle doit prévoir une analyse rigoureuse, un examen indépendant, un processus consultatif et des rapports transparents. L'évaluation passe donc nécessairement par une analyse critique et par un examen des performances au niveau des réalisations de l'Organisation, dans ses programmes et projets. Les critères permettant d'évaluer les programmes incluent:

la conformité aux objectifs stratégiques de l'Organisation;
la pertinence par rapport aux besoins des pays, de la communauté internationale et des autres utilisateurs des services de la FAO;
la qualité et la cohérence de l'approche utilisée et de la conception des programmes;
les performances globales, en particulier par rapport à la qualité et à la quantité recherchées pour les produits et les objectifs;
l'efficacité et le rapport coût-efficacité, notamment l'impact des processus administratifs;
le degré de probabilité de voir se pérenniser les avantages et les améliorations obtenus;
les facteurs ayant contribué de façon positive ou négative aux réalisations des programmes; et
les mesures prises, et leur efficacité, par rapport à des thèmes clés, tels que celui de la parité hommes-femmes.

Cette analyse permet de relever les problèmes importants et de tirer des enseignements pour l'avenir.

6. L'évaluation fait appel à différentes techniques, dont une analyse s'appuyant sur des critères spécifiques, tels que ceux présentés ci-dessus, et la comparaison des performances avec d'autres programmes analogues. Diverses méthodes de consultation avec les parties prenantes sont également employées, ainsi que des informations en retour, recueillies notamment par le biais de questionnaires, d'enquêtes partielles sur les résultats obtenus et d'entretiens avec des groupes cibles et des informateurs clés. Dans tous les cas, l'évaluation doit reposer sur des opinions fondées sur la connaissance des faits et données par des experts, ainsi que sur l'application d'une analyse rigoureuse des fins et des moyens mettant en relation causes et effets.

II. INCIDENCES SUR L'ÉVALUATION DE LA NOUVELLE APPROCHE DE PLANIFICATION ET DE PROGRAMMATION

La nouvelle approche de programmation

7. Grâce au nouveau modèle de programmation, les programmes de la FAO devraient être dotés d'une structure plus stratégique et plus cohérente. Dans le contexte du Cadre stratégique, le Plan à moyen terme d'une durée totale de six ans, sera un plan chenille qui sera mis à jour tous les deux ans. Celui-ci inclura, pour tous les programmes de la FAO, un plan consolidé orienté vers les résultats, faisant état des produits escomptés en fonction d'échéances précises et des indicateurs permettant de mesurer la réalisation à moyen terme des objectifs du Cadre stratégique. Les programmes seront élaborés en fonction d'entités spécifiques de programmes: projets techniques; activités de programme continues et accords de services techniques. Le Programme de travail et budget présentera le plan de travail biennal pour la mise en oeuvre des programmes et les ressources requises à cet effet. En conséquence, l'exécution des programmes sera explicitement centrée sur les résultats devant être obtenus conformément au Cadre stratégique et au Plan à moyen terme. Ce dernier devra comporter une planification rigoureuse, un suivi systématique et un examen en vue d'éventuelles corrections en cours de réalisation, ainsi qu'une mise à jour biennale.

Incidences de la nouvelle approche de programmation sur l'évaluation

8. Si l'on s'en tient à la définition générale de l'évaluation énoncée au paragraphe 4, il sera essentiel d'établir dans les prochaines années un système d'évaluation approprié pour aider les responsables à passer progressivement et de façon efficace au nouveau modèle de programmation.

9. Pour apprécier les progrès généraux accomplis dans la réalisation des objectifs du Cadre stratégique, le nouveau système d'évaluation devra passer en revue les résultats des programmes, ou des groupes d'entités de programme, qui contribuent à atteindre ces objectifs, ainsi que les performances de chaque entité de programme. En outre, il sera nécessaire d'évaluer la mise en oeuvre des stratégies afin de traiter les questions intersectorielles. Le cadre de référence principal sera le Plan à moyen terme et une série d'approches sera appliquée:

une évaluation des performances de chaque entité de programme, en particulier au terme de leur période de mise en oeuvre;
une évaluation des performances des groupes d'entités de programme en ce qui concerne leur contribution à la réalisation des objectifs stratégiques;
une analyse de l'efficacité et de la validité des stratégies intersectorielles, notamment celles visant à garantir l'excellence, à améliorer l'interdisciplinarité, à élargir les partenariats et les alliances; et
la réalisation d'études rassemblant les informations relatives aux progrès globaux accomplis pour atteindre les objectifs stratégiques.

10. L'approche passe nécessairement par une évaluation plus détaillée et systématique, qui doit couvrir tous les programmes de la FAO; elle demande aussi un renforcement de l'ensemble du système de suivi, d'examen et d'évaluation de l'Organisation. Néanmoins, il n'est pas possible d'évaluer tous les programmes en même temps. En revanche, le cycle de l'évaluation sera généralement le même que celui du plan chenille à moyen terme sur six ans; il se concentrera notamment sur les entités de programmes achevées ou sur le point de se terminer. En particulier, les efforts déployés au sein des divisions et des départements en vue du suivi, de l'examen et de l'auto-évaluation devraient jouer un rôle important. Les éléments suivants devront être mis en place:

un processus de suivi et d'examen (auto-évaluation), considéré comme un élément bien ancré dans la gestion des programmes de l'Organisation, notamment au niveau des divisions et des départements. Ce processus devra aider les directeurs de programmes à introduire d'éventuelles corrections en cours d'exécution et à décider du futur des programmes au terme de leur période de mise en oeuvre;
des mécanismes et des méthodologies pour le nouveau système d'évaluation, y compris ceux permettant d'effectuer un examen efficient des résultats des programmes, d'utiliser des techniques améliorées d'analyse et d'accroître l'objectivité;
un système de rapports garantissant une plus grande transparence, une meilleure utilité et accessibilité de ces rapports à la fois pour les utilisateurs internes et externes, notamment par le biais de sites Web internes et externes; et
un processus d'apprentissage dans toute l'organisation, pour encourager un état d'esprit favorisant la recherche d'améliorations et la responsabilisation autocritiques et pour renforcer les bases de la planification, en particulier en vue de la formulation du Plan chenille à moyen terme.

Éléments pouvant être inclus dans un système d'évaluation amélioré

11. Une évolution constante et des améliorations s'imposent si l'on veut garantir la réussite du renforcement du système d'évaluation. Cela sera particulièrement vrai dans les années de transition à venir, jusqu'à ce que la nouvelle approche de programmation soit bien établie. Vu l'impossibilité de parvenir à une amélioration dans tous les domaines, compte tenu des ressources à disposition, un dialogue devra s'engager avec le Comité de programme sur les domaines prioritaires. Les grandes composantes d'un système optimal d'évaluation devraient inclure :

des évaluations des projets de terrain: l'approche en vigueur, laquelle prévoit des évaluations indépendantes pour les projets exécutés par la FAO, devrait continuer à faire partie du mandat, aussi bien des projets de terrain financés par des ressources extrabudgétaires que de ceux relevant du Programme ordinaire. Des évaluations individuelles seront dorénavant organisées par les unités opérationnelles en suivant les instructions du Service de l'évaluation; elles seront conduites par des équipes de consultants externes représentant les pays, les donateurs et la FAO. Le système sera ultérieurement consolidé pour garantir que l'évaluation contribue de façon efficiente aux améliorations en cours, à l'identification des leçons pouvant être tirées et à la responsabilisation. Outre l'évaluation thématique du Programme de coopération technique, des dispositions seront prises pour évaluer d'autres petits projets¹. En ce qui concerne le Programme de terrain dans son ensemble, l'accent sera placé, au niveau de l'Organisation (surtout du ressort du Service de l'évaluation) sur les éléments suivants: i) une synthèse plus détaillée des expériences de terrain dans les domaines prioritaires; ii) la diffusion des résultats des évaluations par la formation, par Intranet au niveau interne et par Internet au niveau externe; et iii) un plus grand recours à l'évaluation à postériori et à l'évaluation de l'impact, en particulier par le biais d'exercices conjoints avec les donateurs intéressés et les autres partenaires;
l'auto-évaluation: pour tous les programmes de la FAO: cela devrait consister, pour les responsables de programme, en une évaluation systématique de toutes les opérations axées sur les réalisations de leur programme. Cette auto-évaluation sera conduite en fonction d'un calendrier approprié pour garantir un bon rapport coût-efficacité. Les fondements de l'évaluation seront grandement renforcés si l'on intègre des indicateurs d'efficacité et des critères de réussite dans la conception des nouvelles entités de programme. Au minimum, l'auto-évaluation devrait être basée sur un contrôle systématique de ces indicateurs et sur un examen formel périodique. Au niveau des divisions et des départements, ce processus sera appuyé par le Service de l'évaluation, qui fournira aux responsables de programmes des directives méthodologiques accompagnées de commentaires sur les évaluations internes et qui adressera des rapports de synthèse périodiques à la direction. Au moment de réintroduire l'auto-évaluation, on devra s'assurer que celle-ci n'entraîne pas une charge de travail supplémentaire stérile. Le Service de l'évaluation devrait également contrôler la qualité du processus par sondage détaillé. Un effort de collaboration avec le Bureau de l'inspecteur général pourrait s'avérer utile pour mieux appréhender les aspects financiers et de gestion;
des évaluations des programmes: celles-ci permettront d'apprécier en détail la pertinence, l'efficacité (dont l'impact) et l'efficience des différentes entités de programme ou, plus probablement encore, de chaque groupe d'entités de programme connexes (projets techniques, etc.). En ce qui concerne les objectifs stratégiques (énoncés dans le Cadre stratégique), l'évaluation devrait être effectuée en regroupant les entités de programme qui y contribuent, conformément aux indications du Plan à moyen terme. Cette évaluation prendra en considération les programmes normatifs et de terrain dans leur ensemble et accordera toute l'attention voulue aux processus de programmation et de gestion. Cela devrait permettre d'évaluer les réalisations, d'une part, par rapport aux objectifs pour chaque entité et, de l'autre, par rapport aux stratégies de niveau supérieur de l'Organisation. Les évaluations de programme seront essentiellement effectuées par le Service de l'évaluation qui fera appel à l'expertise externe de manière judicieuse tout en exploitant les appréciations et les examens produits lors de l'auto-évaluation;
des évaluations thématiques: similaires à bien des égards aux évaluations des programmes, les évaluations thématiques devraient se concentrer sur un groupe d'entités de programme, sur des activités de terrain ou d'autres activités qui relèvent de certains domaines thématiques que l'on retrouve dans différents programmes et objectifs stratégiques (par ex., démarches participatives, intégration de la parité hommes-femmes, etc.). Elles pourraient également couvrir des thèmes orientés vers les processus, tels que la mise en oeuvre de stratégies à l'échelle du système dans le contexte du Cadre Stratégique ou encore les résultats des réformes au sein de l'Organisation. Est aussi concerné par ce type d'évaluation le travail de l'Organisation orienté vers les services (par ex., les publications). Ces évaluations seront conduites essentiellement par le Service de l'évaluation, en collaboration, selon les cas, avec le Bureau de l'inspecteur général ou avec l'appui d'une expertise externe indépendante; et
des synthèses périodiques des évaluations: il ne s'agit pas d'évaluations proprement dites, mais d'un produit résultant de différentes évaluations et comprenant une analyse et une appréciation à un niveau plus général (par ex., aujourd'hui, une base de données informatisée inclut les résultats de plus de mille évaluations de projets de terrain). Ces synthèses sont un distillat des leçons tirées et des questions intéressant l'institution, qu'il s'agisse d'objectifs stratégiques, de questions techniques ou de stratégies de gestion de l'Organisation. Comme par le passé, ces évaluations devraient être principalement produites par le Service de l'évaluation, mais des efforts supplémentaires devront être déployés pour diffuser largement les principaux résultats au sein de la FAO et à l'extérieur de celle-ci, notamment par la formation et par l'utilisation d'Intranet et d'Internet.

Modalités de l'évaluation

12. Comme il ressort des composantes du nouveau système d'évaluation décrit ci-dessus, plusieurs modalités sont envisagées:

Le personnel des programmes - l'essentiel du suivi et de l'évaluation sera assuré par les directeurs des programmes eux-mêmes. Cela permettra de garantir l'exploitation optimale dans les programmes des leçons apprises. Toutefois, un certain manque d'indépendance pourrait se faire sentir, faiblesse qui sera surmontée, au moins en partie, en appliquant des normes de planification rigoureuses. Cela demandera une définition explicite des critères d'efficacité et des objectifs à atteindre. De plus, il faudra que des méthodologies standard soient adoptées et mises en oeuvre à l'échelle du système en vue de l'examen et de l'évaluation;
Le personnel du Service de l'évaluation - la gestion du nouveau système sera du ressort du Service de l'évaluation. Ce service s'occupera surtout de garantir la qualité et la cohérence du système dans son ensemble et des évaluations au niveau de l'institution. En outre, il sera associé aux évaluations de projets et de programmes individuels, selon les ressources disponibles;
Le Bureau de l'inspecteur général (AUD) - Ce Bureau est responsable de la vérification intérieure des comptes, de l'inspection et des enquêtes ; il doit ainsi garantir l'efficacité, au sein de l'Organisation, du système de contrôle intérieur, de la gestion financière et de l'utilisation des avoirs. Au moment de développer leurs plans de travail respectifs, l'AUD et le Service d'évaluation se concertent pour éviter les doubles emplois et pour identifier les domaines dans lesquels des efforts communs pourraient se traduire par une coopération fructueuse. Notons ici qu'il est possible que l'AUD assure souvent la fonction de chef de file quand il s'agit d'évaluer l'efficacité de la mise en oeuvre de certaines stratégies à l'échelle du système (par ex., l'amélioration du processus de gestion, le dégagement de ressources).
Des évaluations externes - il pourrait s'avérer utile de compléter les évaluations internes par des évaluations externes indépendantes. Celles-ci devraient être conduites par des équipes de consultants externes, avec l'appui du Service de l'évaluation. La décision relative à la conduite d'une évaluation externe devra tenir compte de critères tels que: i) l'importance particulière pour l'évaluation du caractère d'indépendance et de l'objectivité; ii) la disponibilité de ressources; iii) la présence ou non d'experts appropriés au sein de l'Organisation; iv) une requête pour ce type d'évaluation avancée par les organes directeurs ou éventuellement par l'organisme donateur sur un sujet particulier; et v) le partenariat avec un organisme et/ou donateur intéressé disposé à partager les coûts de l'évaluation ; et
D'autres contributions externes à l'évaluation - il est également possible d'exploiter d'autres formes d'apports externes à l'évaluation interne en faisant davantage appel à des consultants et à des examens collectifs plus structurés, notamment l'utilisation de groupes d'experts et de questionnaires systématiques pour obtenir une réponse collective d'examinateurs aux rapports d'évaluation. Certaines de ces techniques peuvent être particulièrement rentables et seront employées par le Service de l'évaluation dans la mesure du possible.

Contraintes à la réalisation des améliorations visées

13. Si le système décrit ci-dessus est accepté, il devra être ultérieurement développé et perfectionné dans les années à venir et s'accompagner de modifications significatives dans le processus de planification et de gestion des programmes, ainsi que de ressources adéquates. Les problèmes méthodologiques devront être surmontés et un juste équilibre devra être maintenu entre le souhait de disposer d'évaluations plus nombreuses et de meilleure qualité et la contribution effective des évaluations à un plus grand impact des activités de l'Organisation. Dans cette perspective, les questions à traiter incluent:

l'intégration des résultats de l'évaluation dans le processus de programmation, à tous les échelons de la gestion, tout en préservant le caractère d'indépendance de l'évaluation. Cela passe par: i) l'institutionnalisation de l'examen et de l'évaluation de l'institution à tous les niveaux, notamment l'examen collectif interne réalisé par des confrères dans toute la structure de gestion, conformément à la structure des stratégies de l'institution et de ses objectifs stratégiques; et ii) la poursuite du renforcement de l'esprit d'ouverture et de l'apprentissage continu au sein de l'institution, notamment en intégrant les leçons apprises dans la formation du personnel ;
l'évaluation de l'impact: la FAO peut se faire une idée de ce que les États membres considèrent comme utile et déterminer si les résultats obtenus contribuent ou non au processus de développement. Néanmoins, l'évaluation de l'impact final d'un programme passe obligatoirement par plusieurs étapes:

assurer un suivi systématique visant à déterminer si les produits principaux (manuels, directives, nouvelles compétences, connaissances partagées dans des réunions, etc.) ont été reçus et s'ils sont mis à profit par les utilisateurs comme le programme l'a prévu;
déterminer si ces utilisateurs profitent des avantages escomptés et des autres améliorations visées dans les objectifs du programme; et
garantir que le programme contribue à un processus d'amélioration du bien-être humain, de l'environnement, etc., processus auquel sont associés de nombreux autres acteurs.

Une série de critères sont nécessaires pour s'assurer que les résultats spécifiques ont été atteints et pour déterminer si les réalisations découlent véritablement du programme ou si elles sont le produit d'autres facteurs. Le nombre de maillons de la chaîne et les autres contributions éventuelles donnant lieu à des avantages sont autant d'éléments qui rendent normalement la vérification soit extrêmement coûteuse soit impossible. Il est possible de passer en revue des indicateurs rentables pour comprendre si les utilisateurs ont bénéficié des résultats obtenus et s'ils sont satisfaits des résultats du programme. De plus, on peut apprécier l'emploi qui est fait des produits et vérifier les relations de causalité entre les avantages ultimes et la mise en oeuvre. En bref, l'impact potentiel peut certes être identifié, mais la vérification du véritable impact final risque d'être exagérément coûteuse et de ne fournir que rarement des réponses sûres;

L'agrégation des évaluations pour apprécier les progrès accomplis dans la réalisation de l'objectif stratégique pose un problème méthodologique. Il est relativement aisé d'estimer dans quelle mesure les résultats obtenus par l'Organisation contribuent à un objectif stratégique donné. En revanche, il s'avère difficile d'évaluer l'efficacité de l'ensemble des résultats. Il sera par conséquent nécessaire d'élaborer des méthodologies afin d'effectuer une vérification en recourant à une combinaison des résultats émanant du suivi de la gestion et d'une évaluation sélective approfondie;
Conditions à réunir pour améliorer l'évaluation: un certain réalisme s'impose quant au degré d'amélioration pouvant être obtenu en appliquant le nouveau modèle de programmation aux entités de programme et en confiant l'auto-évaluation et le suivi aux directeurs de programmes. L'évaluation ne peut apprécier que les progrès accomplis par rapport à des objectifs et à des résultats pour les bénéficiaires lorsque ceux-ci ont été clairement identifiés et qu'ils s'accompagnent d'indicateurs efficaces. Le personnel est très sollicité pour l'introduction du nouveau modèle de programmation et la réponse a généralement été positive. Néanmoins, les compétences en matière de programmation et le temps à disposition entravent la rapidité des changements. De même, l'évaluation reposera grandement sur le suivi effectué par les responsables des programmes concernant l'emploi qui est fait des produits obtenus et sur les indicateurs se rapportant aux objectifs, autant d'initiatives ne pouvant être entreprises sans ressources considérables. Il faut également reconnaître que les résultats des entités de programmes formulées conformément au Cadre stratégique et au nouveau modèle de programmation ne commenceront à être perceptibles qu'après deux exercices biennaux;
Ressources pour l'évaluation: l'évaluation repose sur de grandes quantités d'informations et elle est donc généralement coûteuse, en particulier dans le cas de l'évaluation de l'impact. Comme tous les outils de gestion, l'évaluation doit absolument être efficiente. En outre, une partie importante du temps dont dispose le Service de l'évaluation est consacrée à l'amélioration de la gestion interne, notamment celle relative au Programme de terrain, en plus des rapports de gestion adressés aux organes directeurs. Les ressources destinées à l'évaluation pourraient être étoffées en mettant à profit de façon judicieuse les partenariats externes et les évaluations conjointes avec les Nations Unies et avec d'autres organismes, en particulier dans le cas des évaluations à postériori et des évaluations d'impact. Néanmoins, par le passé, ce genre d'initiative s'est concentrée sur des sujets qui ne rentraient pas dans les priorités de la FAO. L'auto-évaluation requise statutairement peut être assurée, du moins partiellement, en allouant les ressources nécessaires à chaque entité de programme comme dans le cas des programmes de terrain.

Toutes les améliorations visées ne pourront cependant pas être obtenues avec les ressources à disposition. Pour augmenter les contributions externes aux évaluations, comme certains États membres le préconisent, un accroissement important des ressources s'impose. Étant donné l'existence de cette contrainte liée aux ressources, il est important d'obtenir l'avis du Comité concernant l'équilibre à rechercher en matière d'évaluation entre les éléments suivants:

la mise en place de fondements plus solides pour l'évaluation, notamment l'établissement effectif du nouveau modèle de programmation et la mise sur pied d'un processus fonctionnel de suivi et d'examen (auto-évaluation) ;

la garantie d'un retour efficace d'informations émanant de l'évaluation aux utilisateurs et la large disponibilité des résultats de l'évaluation ; et

la conduite d'études sur l'évaluation, en particulier en vue de la présentation de rapports de gestion aux organes directeurs.

III. AMÉLIORATIONS POSSIBLES DES RAPPORTS D'ÉVALUATION DESTINÉS AUX ORGANES DIRECTEURS

14. Parmi les rapports de gestion émanant du Secrétariat, les rapports d'évaluation offrent une analyse approfondie qui servira de base aux organes directeurs pour la prise de décision sur les programmes. Par conséquent, les rapports doivent répondre aux besoins des organes directeurs, dans le cycle biennal de planification et de budgétisation. Dans ce cycle, le Comité du programme et le Conseil effectuent, avec l'avis des comités techniques, les travaux préparatoires fondamentaux en vue de la prise de décision finale par la Conférence. Des suggestions sont présentées ci-après pour aider à répondre aux besoins des organes directeurs. Ces suggestions concernent les éléments suivants: i) le niveau d'information requis par les organes directeurs; ii) le contenu et la présentation des rapports; et iii) le calendrier de présentation des rapports.

15. Le niveau d'information : les comités requièrent habituellement des informations plus détaillées que celles nécessaires en séance plénière. Le Comité du programme et les comités techniques du Conseil sont les premiers responsables pour ce qui a trait à l'examen des programmes. C'est le Comité du programme qui est devenu, dans la pratique, le premier utilisateur visé du Rapport d'évaluation du programme, dans le sens où il consacre plus de temps à son examen que n'importe quel autre organe. Il serait donc logique de cibler les rapports d'évaluation sur le Comité du programme. De même, tant le Conseil que la Conférence doivent continuer à recevoir un rapport sur l'évaluation des programmes pour des raisons d'obligation redditionnelle et pour mieux appréhender la fonction de l'évaluation. Celui-ci pourrait cependant être présenté de façon plus synthétique.

16. La teneur des rapports adressés au Comité du programme: A la lumière du Cadre stratégique et du nouveau modèle de programmation, le Comité pourrait souhaiter proposer des changements dans la façon dont est abordé l'examen des programmes. Les programmes sélectionnés pour une évaluation approfondie pourraient se concentrer, dans la mesure du possible, sur les programmes compris dans le cycle d'examen du Comité.

17. Les rapports d'évaluation approfondie des programmes de la FAO continuent à être sélectifs, non seulement par manque de temps du Comité du programme, mais aussi à cause des ressources limitées disponibles pour l'évaluation. Il y a une contradiction entre la profondeur de l'analyse, en particulier en ce qui concerne l'évaluation de l'impact et l'ampleur de la couverture (voir le texte ci-dessus sur l'impact). Le Comité devrait continuer à être consulté sur les sujets retenus pour l'évaluation lors du prochain exercice biennal. Conformément à ce qui a été présenté plus haut sur le système d'évaluation, les produits à faire parvenir au Comité du programme incluent:

une évaluation des progrès globaux accomplis dans la réalisation de certains objectifs stratégiques;
une évaluation de programmes sélectionnés (par ex., un groupe d'entités de programme) et/ou de questions thématiques;
des examens des aspects de la gestion des programmes, notamment ceux identifiés dans les stratégies intersectorielles; et
un rapport sur les résultats de l'évaluation du Programme de terrain.

18. La période de mise en oeuvre à couvrir pourrait varier selon les types d'évaluation. En général, dans le cas d'une évaluation de programme ou d'une évaluation thématique, une période suffisamment longue (trois exercices biennaux) sera cependant nécessaire pour permettre d'évaluer les effets et l'impact.

19. Étant donné les ressources actuelles du Service de l'évaluation, le nombre total maximum de rapports d'évaluation biennale adressés au Comité du programme ne doit pas dépasser quatre à cinq rapports suivant les différentes combinaisons présentées ci-dessus. Il est probable que lorsqu'un examen demandera un effort d'enquête extrêmement important, comme dans le cas de « a) une évaluation des progrès globaux accomplis dans la réalisation de certains objectifs stratégiques», les autres sujets devront être limités à deux ou trois.

20. Contenu et présentation des rapports: Chaque rapport d'évaluation pourrait être fourni au Comité du programme sous forme de résumé (5-8 pages) alors que les documents de travail d'appui aux rapports seront mis à la disposition des membres intéressés du Comité pour consultation. Les rapports d'évaluation du Comité du programme pourraient également être affichés sur Internet pour que tous les membres puissent en prendre connaissance. Même si la présentation peut varier d'un rapport à l'autre (selon qu'il s'agit d'une évaluation du programme de terrain, d'un programme ou d'un thème général), l'actuel cadre d'analyse présenté pourrait être conservé; cela pourra se faire par rapport aux critères présentés au paragraphe 5 du présent document.

21. Comme c'est le cas encore aujourd'hui, le Comité recevra, en plus des rapports proprement dits, des observations de la direction concernant les résultats et recommandations présentés. Lorsque le rapport a été essentiellement préparé par le Service de l'évaluation sans apport externe indépendant d'importance, il recevra également des commentaires d'examinateurs externes.

22. Rapports d'évaluation adressés aux organes directeurs: cela pourrait concerner:

le Comité du programme - une série d'évaluations de programme et d'évaluations thématiques sur certains programmes d'intérêt spécial pour les organes directeurs, en particulier pour les programmes examinés lors du cycle biennal de ce Comité;
les Comités techniques du Conseil - le Comité du programme tient compte de ces rapports qui relèvent du mandat des différents comités techniques et de leur ordre du jour; et
le Conseil et la Conférence - une nouvelle forme de Rapport d'évaluation du programme s'accompagnant d'une synthèse biennale des rapports d'évaluation basée sur les rapports examinés par le Comité du programme et qui inclut:
un résumé de quatre à cinq pages de chaque évaluation ;
un résumé d'une page des commentaires faits par des spécialistes externes;
des extraits de la réponse de la direction;
des sections du rapport du Comité de programme relatif aux évaluations ;
des commentaires des comités techniques du Conseil sur chaque évaluation, selon les besoins.

23. Calendrier de la présentation des rapports: étant donné les éléments présentés ci-dessus, il s'ensuit que:

si, pour l'examen du programme, le Comité du programme doit exploiter au mieux les informations de retour émanant de l'évaluation, l'essentiel de l'élaboration des rapports devra se faire parallèlement aux examens du Comité. Pour cela, il faudra que les différents rapports d'évaluation soient soumis aux deux sessions de la première année de l'exercice biennal;
la communication d'informations au Conseil et à la Conférence par le biais du rapport d'évaluation du programme aurait donc lieu au cours de la deuxième année de l'exercice.

24. Passage aux nouveaux arrangements: Étant donné que les rapports d'évaluation ne pourront pas traduire les résultats des arrangements de la nouvelle programmation et du Cadre stratégique approuvé avant au moins deux exercices biennaux, à savoir en 2004, le Comité du programme pourrait souhaiter considérer un volume moindre de rapports d'évaluation au cours de la période intérimaire, d'autant plus que le Service de l'évaluation est sollicité pour appuyer l'introduction du nouveau modèle de programmation, qui doit jeter les bases voulues en vue de l'apprentissage et de la responsabilisation au sein de l'Organisation. Entre temps, les rapports d'évaluation devraient inclure un mélange d'évaluations par discipline technique et par thème. Pour le prochain exercice biennal 2000-2001, il est suggéré que le Comité du programme examine les rapports d'évaluation lors de ses sessions du printemps et d'automne, ce qui constituera la base du rapport d'évaluation du programme 2001. Les sujets possibles sont présentés au Comité du programme dans un document distinct.

25. Rapport sur l'exécution du programme - en plus des rapports d'évaluation proposés ci-dessus, un rapport sur l'exécution du programme au cours de l'exercice précédent pourrait continuer à être produit. Étant donné la nature fondamentalement sélective des rapports d'évaluation, axés sur les effets et sur l'impact, le rapport sur l'exécution du programme devra rester détaillé afin de faire partie intégrante des rapports de gestion. Néanmoins, dans l'esprit de la nouvelle approche de programmation et vu les réserves exprimées par les organes directeurs sur le contenu de ce rapport, des efforts supplémentaires devront être déployés, en consultation avec le Comité du programme, pour parvenir à un format plus satisfaisant. Étant donné que le nouveau format de ce rapport ne pourra pas être appliqué afin la fin de premier cycle complet (soit en 2006 au plus tôt), le Secrétariat a l'intention de continuer à avancer des propositions au Comité sur ce sujet à une date ultérieure.

IV. RÉSUMÉ DES QUESTIONS D'INTÉRÊT

26. Ce document est soumis au Comité dans le cadre du processus de concertation en cours. Pour faciliter le dialogue, certaines des questions qui y sont identifiées ont été mises en évidence ci-après pour que le Comité fournisse des avis sur les points suivants :

l'acceptabilité des critères d'évaluation présentés au paragraphe 5;
la pertinence du nouveau système d'évaluation proposé, tel qu'il est décrit au paragraphe 11, notamment les propositions relatives à l'évaluation des projets de terrain, à l'auto-évaluation, à l'évaluation des programmes, à l'évaluation thématique et à la synthèse des évaluations;
la reconnaissance des contraintes rencontrées (paragraphe 13), notamment l'intégration des résultats de l'évaluation dans le processus de programmation, l'évaluation de l'impact, les conditions à réunir pour l'évaluation et le rythme possible d'amélioration, ainsi que les ressources nécessaires pour l'évaluation et les choix que cela implique en matière de priorités de travail; et
les arrangements proposés pour les rapports, tels qu'ils sont détaillés dans les paragraphes 15-25, notamment le niveau d'information et le contenu requis, le calendrier pour la présentation des informations au Comité du programme et à la Conférence, ainsi que les mesures transitoires.

ANNEXE 1

L'ÉVALUATION DES PETITS PROJETS

Introduction

1. A sa quatre-vingtième session, en septembre 1998, le Comité du programme a pris note de l'une des tendances qui consiste à privilégier, plus que par le passé, les projets de petite dimension et de courte durée et a estimé qu'il fallait donc élaborer des méthodes d'évaluation rentables appropriées (paragraphe 34 du document CL 115/8).

2. En principe, tous les projets de fonds fiduciaires et tous les projets du PNUD dont le budget est supérieur à un million de dollars E.-U. sont sujets à une évaluation formelle. Il est généralement reconnu que les évaluations individuelles ne constituent pas une solution rentable pour les petits projets inférieurs à un million de dollars E.-U. Les coûts pourraient facilement excéder 5 pour cent de la valeur du projet et pour des projets de très petite dimension, par exemple d'une valeur de 100 000 dollars E.-U., une évaluation standard telle que celle appliquée aux projets plus importants, même si quelque peu réduite proportionnellement, pourrait représenter 15 pour cent du budget.

3. Il n'est pas aisé de classifier les petits projets (budget inférieur à 1 million de dollars E.-U.). Selon la source de financement, pour 1997-1997, les résultats obtenus par nombre de projets étaient les suivants: 45 pour cent de projets du Programme de coopération technique PCT- FAO; 40 pour cent sur des fonds fiduciaires (dont 9 pour cent sur des Fonds fiduciaires unilatéraux); 14 pour cent sur des fonds des Nations Unies (principalement du Programme des Nations Unies pour le développement - PNUD) et 1 pour cent de source variée.

FAO - Programme de coopération technique

4. Depuis le Programme de travail et budget 1996-97, une sélection de projets du Programme de coopération technique ont été évalués sur une base thématique. L'évaluation a porté sur des projets en cours de réalisation et sur des projets déjà terminés. La séquence normale est la suivante:

une étude théorique préliminaire des projets entrepris au cours des dernières 6-8 années;
des visites à un large échantillon de projets (normalement un minimum de 50 pour cent) par des missions de consultants externes et d'effectifs du Service de l'évaluation;
des rapports d'évaluation pour chaque projet;
un rapport de synthèse tirant des conclusions générales et des leçons en vue d'améliorations futures;
une discussion approfondie du rapport avec les responsables et les techniciens concernés pour valider les conclusions et renforcer le retour d'informations; et
la préparation d'un résumé mettant en exergue les enseignements tirés afin de faciliter l'apprentissage à l'échelle du système.

5. Aussi bien les études théoriques préliminaires que les missions de terrain utilisent des listes de contrôle standard pour garantir la prise en compte de tous les aspects principaux (voir paragraphe 5 du document principal). Les missions de terrain accordent une attention spéciale à l'évaluation de l'emploi qui est fait des produits des projets et donc aux effets et à l'impact. L'inclusion d'un nombre considérable de projets déjà achevés facilite cette analyse.

6. Les trois évaluations thématiques des PCT entreprises jusqu'à ce jour examinent quelque 80 projets dont 65 font l'objet de visites de terrain. Cela représente environ 5 pour cent du portfolio total du Programme de coopération technique sur la période 1992-98, pourcentage qui est destiné à augmenter progressivement dans la mesure où davantage d'évaluations thématiques seront conduites. Le financement de l'évaluation a été favorisé par l'incorporation au document de projet standard et au budget du Programme de coopération technique, d'un apport de 500 dollars E.-U. comme contribution aux frais d'évaluation.

Fonds des Nations Unies - principalement PNUD

7. Dans les petits projets du PNUD, les travaux de la FAO représentent généralement un apport à un projet de plus grande envergure (c'est également souvent le cas des fonds fiduciaires unilatéraux). Les contributions techniques à des projets plus importants sont normalement examinées dans le contexte de l'évaluation globale du projet. La FAO s'efforce de s'assurer que les termes de référence couvrent l'évaluation de la pertinence, de la qualité et des résultats des contributions techniques et cherche à être représentée autant que possible dans les missions d'évaluation, cela afin d'optimiser le retour d'informations. Lorsque la FAO est représentée dans les missions, le questionnaire d'évaluation standard est complété. Ce mécanisme s'est révélé approprié jusqu'à ce jour, mais l'ensemble des aspects des projets par les missions d'évaluation sera aussi examiné. En effet, les organismes de financement ne sont pas toujours en mesure d'apprécier le besoin d'associer la FAO aux évaluations ou la valeur d'un examen spécifique des contributions techniques.

Fonds fiduciaires

8. Parmi les petits projets de fonds fiduciaires, les projets d'urgence représentent 13 pour cent du total et les projets normatifs connexes quelque 27 pour cent. Les projets restants ont consisté en un mélange d'activités, mais les apports en termes de politiques, les études pilotes et les études de faisabilité ont été importantes. Dans ces études, l'examen approfondi constitue un élément du processus de formulation et d'évaluation qui est essentiel pour une possible action complémentaire. En outre, les projets normatifs sont généralement évalués dans le contexte du système d'évaluation du Programme ordinaire qui est présenté dans la partie principale de ce document.

9. Il est en outre suggéré que tous les petits projets de fonds fiduciaires, y compris ceux d'urgence, fassent l'objet d'une évaluation thématique, comme ceux relevant du Programme de coopération technique, et qu'il devienne pratique courante d'inclure à cet effet une petite dépense directe dans le budget.

1 A sa quatre-vingtième session, en septembre 1998, le Comité de programme a pris note de l'une des tendances qui consiste à « privilégier, plus que par le passé, les projets de petite dimension et de courte durée et qu'il fallait donc élaborer des méthodes d'évaluation rentables appropriées » (paragraphe 34 du document CL 115/8). L'annexe 1 aborde cette question.