4. Tous les programmes et activités de la FAO financés soit par le budget ordinaire de l'Organisation (comprenant les contributions obligatoires mises en recouvrement), soit par des ressources extrabudgétaires fournies à titre volontaire peuvent faire l'objet d'une évaluation. Les principes applicables à l'évaluation de ces programmes ont été fixés par les États Membres par l'intermédiaire des Organes directeurs et par le Directeur général. L'évaluation vise à:
5. L'accent mis sur les enseignements à tirer, à partir de données concrètes, concernant la validité, la pertinence et l’amélioration future du contenu technique des activités de la FAO distingue l'évaluation de la vérification des comptes et assure leur complémentarité.
6. Lorsqu'il décide de la politique à suivre en matière d'évaluation, le Conseil s'adresse en priorité au Comité du Programme. Le Directeur général est conseillé par le Comité d'évaluation interne, présidé par le Directeur général adjoint, qui a été créé en 2004. Trois documents principaux ont servi de base à l'élaboration de la politique de l'Organisation en matière d'évaluation, à savoir:
7. Importante également a été l'approbation, en avril 2005, d'un ensemble de normes et de règles pour l'évaluation applicables dans le système des Nations Unies4 par le Groupe des Nations Unies pour l'évaluation (composé des chefs des services responsables de l'évaluation de tous les organismes du système des Nations Unies). Ces normes et règles sont alignées en grande partie sur les normes du CA de l'OCDE et leur objet est résumé comme suit dans un préambule: « Pour un système des Nations Unies servant mieux les peuples du monde; vaincre les faiblesses et bâtir en se fondant sur des preuves solides ». Ces normes servent désormais de référence à toutes les organisations et à tous les programmes du système des Nations Unies qui souhaitent évaluer leur performance.
8. Les évaluations effectuées à la FAO sont de plusieurs types, qui sont complémentaires, comme suit:
9. Le Comité du Programme reçoit les principaux rapports d'évaluation destinés aux Organes directeurs. Ses fonctions consistent à donner des avis au Conseil sur les politiques et procédures générales à appliquer en matière d'évaluation ainsi qu'à:
Le Service de l'évaluation
10. Le Service de l'évaluation est chargé d'assurer la pertinence, la qualité et l'indépendance de toutes les évaluations effectuées à la FAO. Il est situé à des fins administratives dans le Bureau du Programme, du budget et de l'évaluation, qui fait partie de la direction générale5. Le Service reçoit des orientations du Comité du Programme et du Comité d'évaluation interne. Il est le seul responsable de l'exécution des principales évaluations destinées aux Organes directeurs et d'autres grandes évaluations, y compris de la sélection des évaluateurs et du cadre de référence des évaluations. Il jouit par conséquent d'une grande indépendance au sein de l'Organisation. Outre ses responsabilités en matière de conduite des évaluations, le Service:
11. Contrairement aux unités chargées de l'évaluation dans d'autres organismes des Nations Unies, le Service de l'évaluation appuie les autoévaluations réalisées par les gestionnaires, mais n'exerce pas de responsabilités supplémentaires dans le cadre de la gestion fondée sur les résultats afin de garantir un plus haut degré d’indépendance de ses évaluations. Il n'est pas impliqué non plus dans le renforcement des capacités d'évaluation des États Membres. En matière de formation du personnel, il communique des observations sur les besoins dans ce domaine à la Division des ressources humaines.
12. Pour l'exercice biennal 2004-05, on constate une augmentation réelle de 27 pour cent du budget alloué à l’évaluation, qui s'est élevé à quelque 4,6 millions de dollars EU6 pour l’exercice biennal (soit environ 0,5 pour cent des ressources disponibles pour le Programme de travail ordinaire). Les ressources disponibles pour l'évaluation des activités extrabudgétaires sont actuellement de l'ordre de 1,3 million de dollars EU par exercice biennal (soit environ 0,25 pour cent des dépenses du fonds fiduciaire). La traduction et la reproduction des documents d’évaluation destinés aux organes directeurs et certains coûts indirects comme les locaux à usage de bureaux ne sont pas couverts par le budget de l’évaluation.
13. Les évaluations destinées aux Organes directeurs couvrent normalement un objectif stratégique ou une stratégie horizontale de l'Organisation, tels que définis dans le Cadre stratégique de la FAO, un programme ou une unité organisationnelle. Ces dernières années, ces évaluations ont porté le plus souvent sur des blocs d'activités importants au niveau d'un programme ou d'une stratégie, l'objectif étant qu'elles soient le plus utiles possible aux Organes directeurs et à la direction.
14. Sélection des domaines à évaluer: En proposant des domaines à évaluer au Comité du Programme dans le plan d'évaluation à évolution continue, le Service de l'évaluation tient compte des avis exprimés par les Organes directeurs et par les directeurs de la FAO. En effet, l'évaluation doit être axée sur les domaines où les Organes directeurs et la direction ont le plus besoin de disposer d'informations fondées sur les données probantes en ce qui concerne les processus, les arrangements institutionnels, les résultats et les impacts. Afin de parvenir à une couverture équilibrée et progressive des stratégies et programmes de l'Organisation, les propositions seront formulées en gardant présents à l'esprit les facteurs clés ci-après: a) la couverture des évaluations des six dernières années; b) la couverture des autoévaluations et d'autres études. Les critères incluent également: la taille du programme ou du domaine de travail; la demande émanant des États Membres; et les domaines de travail dont l'expansion est envisagée en raison de leur pertinence ou de leur utilité, ou, au contraire, dont la suppression ou la réduction est prévisible. Lorsque la direction et les Organes directeurs sont d'accord pour penser qu'une activité particulière n'a plus à être considérée comme prioritaire, il est rare qu'une évaluation soit effectuée, dans la mesure où, tout en étant pertinente sur le plan des responsabilités, elle ne fournirait sans doute pas d'enseignements pour l'avenir. Le Comité du Programme décide des priorités en matière d'évaluation à partir d'une liste de domaines possibles et peut en introduire d'autres qu'il considère comme importants. Il peut aussi demander des évaluations qui ne sont pas prévues dans le cycle ordinaire des évaluations, mais qu'il juge opportunes; dans ces conditions, le plan est modifié pour intégrer ces évaluations.
15. Cadre de référence pour l'Évaluation: Le Service de l'évaluation rédige un document d'orientation pour chaque évaluation en consultation avec les unités les plus étroitement impliquées dans l'exécution de la stratégie ou du programme. De plus en plus souvent, un chef d'équipe est ensuite sélectionné et participe à la mise au point définitive du cadre de référence.
16. L'Équipe chargée de l'évaluation: Dans le passé, la plupart des évaluations étaient dirigées par des fonctionnaires du Service de l'évaluation, mais depuis deux ans, on constate que de plus en plus souvent, les évaluations sont confiées à des consultants externes et que l'équipe chargée de l'évaluation est elle-même composée de consultants externes, le Service de l'évaluation assurant le soutien technique et l'assurance de qualité. Les consultants chargés de l'évaluation7 sont sélectionnés en fonction de leurs compétences, dans le respect de l'équilibre géographique et de la parité hommes-femmes. Chaque fois que possible, les chefs d'équipe sont consultés sur la composition de leur équipe. La dimension des équipes est liée à l'échelle et à la complexité de l'évaluation, avec une moyenne de trois à quatre consultants principaux par équipe.
17. Portée et méthodologie de l'évaluation: Les méthodes utilisées sont adaptées aux circonstances particulières de chaque évaluation. Toutefois, certaines caractéristiques sont communes à toutes les évaluations. Le critère ultime de la valeur d’un programme, d'une stratégie ou d'un processus est le profit qu'en tireront le gouvernement et la population du pays membre de la FAO. Les aspects clés à évaluer sont les suivants:
18. Les évaluations doivent fournir des enseignements pour l'avenir. Il importe donc d'identifier les atouts et les faiblesses des programmes, approches et structures de la FAO tournés vers l'avenir. En examinant l'efficacité et l'impact des programmes, on constate généralement qu'il est plus productif de prendre en compte les résultats et l'impact des travaux achevés ou en cours depuis quatre à six ans (pour des périodes plus longues, il devient difficile de trouver des renseignements détaillés et d'établir les liens de cause à effet). S'agissant de questions institutionnelles, les évaluations sont en général plus centrées sur l'efficience et l'efficacité des pratiques actuelles, plutôt que des pratiques passées, ainsi que sur les avantages potentiels des réformes en cours.
19. Des études théoriques préliminaires et une analyse FFPM8 sont jugées indispensables au stade de la conception des évaluations et de l'identification des questions nécessitant une étude approfondie. L'introduction en 2000 d'un nouveau modèle de planification fondée sur les résultats a facilité l'identification des résultats et des impacts (objectifs) poursuivis, mais il demeure essentiel de préciser la logique du programme dans une première étape du processus d'évaluation, et de définir des indicateurs de vérification appropriés.
20. Les évaluations passent en revue le travail d'autres institutions comparables à la FAO, notamment dans le système multilatéral. Ceci est important pour avoir des repères en matière de processus, de qualité du travail, etc. Dans la mesure où la performance de la FAO ne peut être jugée indépendamment de ses partenaires et concurrents, il est aussi indispensable de porter un jugement sur les domaines où la FAO possède un avantage comparatif, ou pâtit au contraire d'une relative faiblesse.
21. En ce qui concerne la méthodologie:
22. Le rapport d'évaluation: La méthodologie exige que l'équipe chargée de l'évaluation consulte les parties prenantes, dont la direction de la FAO, bien que l'équipe soit seule responsable de son rapport, y compris des conclusions et recommandations. Le rôle du Service de l'évaluation est d'assurer le respect du cadre de référence et du calendrier et de fournir un appui technique à l'évaluation. Il n'a pas à intervenir dans la formulation des conclusions et recommandations. De plus en plus souvent, les chefs des équipes d'évaluation indépendante externe assistent aux séances où le Comité du Programme examine les rapports.
23. Tous les rapports d'évaluation sont disponibles dans toutes les langues de l'Organisation et affichés sur le site web consacré à l'évaluation. Le rapport doit présenter les recommandations sous une forme opérationnelle et inclure des recommandations concernant les améliorations à apporter qui ne supposent pas de ressources budgétaires accrues (on constate, en effet, que les équipes chargées de l'évaluation formulent presque toujours des propositions impliquant des activités et des ressources supplémentaires dans le domaine évalué, ce qui n'est pas toujours réaliste).
24. Suivi: Le Comité du Programme demande à la direction d'indiquer pour chaque évaluation quelles sont les conclusions et recommandations qu'elle accepte et celles qu'elle rejette, et pourquoi. Il demande également à la direction, dans le cadre de la réponse de la direction, de fournir un plan opérationnel pour la suite qu'elle prévoit de donner à l'évaluation. Il s'agit d'un domaine qui a considérablement progressé au cours des dernières années et le Comité du Programme a souligné qu'il souhaitait obtenir des réponses formulées de manière plus opérationnelle. Le Comité du Programme demande également un rapport de situation sur la suite donnée aux recommandations de l'évaluation après deux ans.
25. L'Organisation a pour politique de faire évaluer tous les programmes, y compris ceux financés par des ressources extrabudgétaires, mais dans ce domaine la règle généralement acceptée est que les programmes consacrent 1 à 2 pour cent du montant total de leurs ressources à une évaluation indépendante9. Les Organes directeurs ont aussi indiqué qu'ils ne souhaitaient pas que le Programme ordinaire subventionne l'évaluation d'activités extrabudgétaires. Soixante et un pour cent des projets de terrain de fonds fiduciaires bilatéraux d'un montant supérieur à 2 millions de dollars EU (à l'exclusion des projets de secours d'urgence) qui se sont achevés pendant la période 2000-04 ont été évalués. Le pourcentage correspondant pour les projets du PNUD est de 27 pour cent (du fait que le PNUD évalue désormais les programmes par pays au lieu de projets individuels), tandis qu'aucun des 14 projets de fonds fiduciaires unilatéraux financés par les pays eux-mêmes n'a été évalué. Comme on peut s'y attendre, les chiffres sont bien inférieurs pour les projets d'un montant de 1 à 2 millions de dollars EU. Sur 53 projets de secours d'urgence d'un montant supérieur à 1 million de dollars EU, deux seulement ont été évalués séparément.
26. Des projets extrabudgétaires ont été évalués par des missions d'évaluation tripartites, normalement vers la fin du projet, au moment où on envisageait des mesures de suivi. Ces missions comprenaient trois ou quatre évaluateurs indépendants désignés respectivement par la source de financement, le ou les pays bénéficiaires et la FAO. Toutefois, vu l'évolution de la situation au cours des dernières années, ce modèle n'est plus vraiment applicable. Il existe, en effet, de plus en plus de projets de terrain relativement modestes et, dans ce cas, une mission comme celle décrite ci-dessus n'est plus rentable. Par ailleurs, les programmes de secours d'urgence, de remise en état et de redressement se sont multipliés, avec des ressources provenant de divers donateurs, pour répondre aux situations de crise. Les projets non traditionnels à l'appui des activités du siège, ou comportant un ensemble d'activités normatives et de terrain au niveau du pays, se multiplient aussi.
27. Projets de développement national et régional de 2 millions de dollars EU ou plus: Il est entendu désormais que ce type de projet doit continuer à faire l'objet d'une évaluation individuelle par une équipe indépendante. Cette modalité inclut toujours une visite dans le pays de la part de l'équipe chargée de l'évaluation et l'évaluation est programmée de façon à apporter une contribution maximale aux activités appuyées par le projet. Le Service de l'évaluation approuve le cadre de référence de l'évaluation et la composition de l'équipe qui en est chargée et valide le rapport d'évaluation qui doit répondre à des normes de qualité.
28. Projets de développement de terrain d'un montant inférieur à 2 millions de dollars EU: Pour ce type de projet, des consultations ont lieu en ce moment avec des donateurs individuels, afin de les convaincre de mettre de côté une somme modeste pour chaque projet et de la placer dans un fonds fiduciaire pour l'évaluation spécifique à chaque donateur. En consultation avec le donateur, des groupes de projets seraient ainsi évalués par des équipes indépendantes, éventuellement dans le cadre d'évaluations plus vastes, par pays ou par thème10. L'évaluation des projets relevant du Programme de coopération technique de la FAO est déjà soumise à ce régime, ce qui facilite l'évaluation a posteriori, ainsi que l'évaluation des projets en cours.
29. Projets d'urgence de grande ampleur: Pour ce type d'opération, la FAO a besoin d'évaluer de manière intégrée la pertinence, l'efficience et la durabilité de sa réaction à l'ensemble des problèmes liés à cette situation. À ce jour, on utilise un financement ad hoc11, mais la direction a décidé d'introduire désormais dans les budgets de projet une composante évaluation qui permettra de disposer de ressources pour évaluer la réaction de la FAO tant durant la fourniture de l'assistance qu'après. Bien que les premières évaluations des opérations d'urgence de grande ampleur n'aient pas été effectuées en consultation, à proprement parler, avec les donateurs ou les pays touchés, il est prévu que chaque fois que possible, les évaluations soient menées en partenariat, tout en continuant à être gérées par le Service de l'évaluation. L'évaluation multilatérale indépendante de la campagne 2003-05 contre le criquet pèlerin, qui porte sur la réaction de la FAO, des programmes nationaux et des donateurs et qui est supervisée par un comité directeur composé de représentants de tous les partenaires, pourrait fournir des enseignements utiles à ce sujet.
30. Pour le financement de programmes extrabudgétaires à l'appui de domaines de travail relevant du Programme ordinaire, ou lorsque des activités normatives et de développement sur le terrain sont associées, des mécanismes d'évaluation adaptés à chaque programme sont en cours d'élaboration, en collaboration avec les donateurs individuels.
31. Une réponse de la Direction générale et un suivi de la mise en œuvre des recommandations sont nécessaires pour l’évaluation des programmes extrabudgétaires, de même que pour les activités du Programme ordinaire, mais on reconnaît généralement qu’il s’agit d’un point faible et que l’utilisation effective des conclusions et recommandations dépend en grande partie de la mesure dans laquelle les différents partenaires de l’évaluation acquièrent la conviction de leur validité, et, par conséquent, les appliquent.
32. Équipes d'évaluation: Pour toutes les évaluations d’activités extrabudgétaires, on fait appel à des équipes indépendantes. Il leur est demandé d’adopter une approche consultative afin d'avoir accès au maximum d'informations et de favoriser à la fois le réalisme et l'attachement des partenaires à l'évaluation, mais elles ont l'entière responsabilité des conclusions et recommandations qui figurent dans leur rapport. Par le passé, pour les évaluations d’activités financées par des fonds extrabudgétaires, les membres des équipes étaient généralement nommés séparément par les sources de financement, les pays bénéficiaires et la FAO. On préfère maintenant que toutes les parties s’accordent sur la composition de l’équipe d’évaluation, sans que les divers membres de celle-ci en soient les représentants particuliers.
33. Avec un appui financier du Département du développement international du Royaume-Uni, l'autoévaluation a été adoptée à la FAO en 2003 dans le cadre de la gestion axée sur les résultats. Les autoévaluations sont menées par les directeurs de programmes avec des consultants externes. Les principes de base et directives, l’assurance de la qualité et l’appui technique aux responsables sont dispensés par le Service de l’évaluation12. Le gestionnaire chargé de l’entité de programme est en dernier ressort responsable du rapport d’autoévaluation. Les supérieurs auxquels ils rendent compte, d’ordinaire un directeur de division ou un sous-directeur général, sont tenus d’apporter une réponse officielle à l’autoévaluation, bien que ce stade ultime du processus n’ait pas été pleinement opérationnel. Les autoévaluations doivent maintenant être communiquées sous forme résumée par l’intermédiaire du Rapport sur l'exécution du Programme et les résumés peuvent être consultés sur le site Web de l'évaluation de la FAO.
34. À partir de 2005, l'autoévaluation a été étendue aux Domaines prioritaires pour une action interdisciplinaire (DPAI) et, à titre pilote, aux domaines administratifs. Dix-neuf autoévaluations, portant sur 28 entités de programme, ont été entreprises en 2004. Pour 2005, 16 autoévaluations ont été décidées pour les programmes techniques. Un DPAI et un programme non technique font l’objet d’autoévaluations à titre d’études pilotes.
35. Le principe est que toutes les entités de programme devraient faire l’objet soit d’une évaluation externe indépendante, soit d’une autoévaluation pendant leur durée d’activités et que les entités de programme ayant une durée déterminée devraient, en règle générale, être évaluées peu avant leur achèvement afin de favoriser la planification des activités futures. Néanmoins, en raison des changements de priorités et de contraintes budgétaires permanentes, des questions se posent quant à savoir s’il faut étoffer certains domaines d’activités et en réduire d’autres, quelle que soit la durée prévue des entités de programme. Un accent considérable est donc mis sur la sélection des activités devant faire l’objet d’une autoévaluation lorsque des changements d’orientation majeurs sont envisagés, qu’il s’agisse d’une expansion ou d’une réduction.
36. Le Service de l’évaluation a analysé les données d’expériences issues de la première série d’autoévaluations, notamment en distribuant un questionnaire aux intéressés. Le diagramme 2 récapitule les réponses relatives à l’utilité de l’autoévaluation telle qu’elle est perçue. On peut constater que tous les sous-directeurs généraux l’ont considérée comme utile. Quant aux directeurs, 33 pour cent l'ont jugée très utile, 58 pour cent utile et 8 pour cent seulement ont estimé qu'elle n’apportait pas d'avantages significatifs. Dans l'ensemble, les responsables de tous niveaux ont estimé que le processus d'autoévaluation était soit utile, soit très utile.
Diagramme 2: Utilité de l’autoévaluation aux yeux des gestionnaires
37. Étant donné que les autoévaluations relèvent de la responsabilité des directeurs directement concernés, il est assez rare qu'elles soient très critiques. Il est apparu aussi que les conclusions sont prises en compte par les responsables des entités de programme durant l'autoévaluation, mais ne sont pas nécessairement reflétées dans les rapports. Les rapports d'autoévaluation établissent cependant si les entités ont été en mesure de contribuer de façon significative aux résultats et aux effets, ce qui, en soi, est une information utile pour les directeurs de haut niveau. En cas de consultation directe des partenaires et des utilisateurs durant le processus d'autoévaluation, l'examen critique et parfois la vérification des avantages étaient mieux assurés que lorsque le processus de consultation était essentiellement interne. On a également constaté que le recours à des consultants ou des experts extérieurs améliorait à la fois l’objectivité et le sens critique durant le processus d’évaluation.
38. Il est encore trop tôt pour analyser l’incidence de l’autoévaluation sur la planification effective des entités de programme et il sera toujours difficile de déterminer dans quelle mesure les responsables ont apporté des changements en réponse aux autoévaluations ou bien dans quelle mesure les autoévaluations traduisent des changements qui avaient été décidés de manière indépendante. Un grand nombre de responsables concernés ont conclu dans leur autoévaluation que la conception des entités de programme et leur mise en application effective devaient être améliorées grâce à l’indication des résultats attendus et des bénéficiaires visés. Beaucoup d’entre eux ont estimé qu’une plus grande proportion des ressources devait être utilisée pour diffuser les produits, en particulier les publications, plutôt que consacrée à leur seule production. En outre, on a beaucoup insisté sur la nécessité d’améliorer les possibilités d’accès par le site Web de la FAO.
39. Le Service de l’évaluation est en train de parachever son propre rapport d’autoévaluation de l’évaluation à la FAO, portant en particulier sur le fonctionnement du Service proprement dit. Dans le cadre de cette autoévaluation, un examen a été entrepris par des pairs d’autres institutions du système des Nations Unies et d’organisations bilatérales de développement. Des entretiens structurés ont été organisés avec des groupes de parties prenantes internes et certains représentants des gouvernements. Un échantillon représentatif de rapports d’évaluation a été envoyé aux pairs pour examen selon leurs propres critères. Les principales conclusions auxquelles a abouti le processus d’autoévaluation ont été les suivantes:
5 Les effectifs du Service sont composés d'un chef, de huit fonctionnaires du cadre organique (dont un financé par des ressources extrabudgétaires) et de trois agents assurant le soutien.
6 Soit 4,1 millions de dollars EU au titre du Programme ordinaire et quelque 0,5 million de dollars EU supplémentaires pour l'évaluation du Programme de coopération technique (PCT).
7 Les avis de recrutement sont affichés sur le web.
8 Analyse des forces, faiblesses, possibilités et menaces.
9 La coopération technique et le travail analytique justifient le chiffre supérieur, compte tenu de leur complexité relative et du bénéfice considérable à en tirer.
10 Pour lesquels des rapports spécifiques à chaque donateur seraient établis, ainsi qu'un rapport général sur le travail de la FAO.
11 Inondations au Mozambique, Balkans, Afghanistan, Afrique australe et zones touchées par le Tsunami.
12 Le Service de l’évaluation fournit également les fonds correspondants nécessaires pour mener les évaluations.
13 Il faut noter à cet égard que l'emplacement administratif du Service de l’évaluation avait été examiné par le Comité financier et le Comité du Programme à leur Réunion conjointe de septembre 2003 et qu’ils étaient convenus que « l’indépendance du Service de l’évaluation, à son emplacement actuel à PBE, devrait être renforcée ... ».