JM 03.2/3 |
| JM 03.2/3 |
RÉUNION CONJOINTE DE LA QUATRE-VINGT-DIXIÈME SESSION DU COMITÉ DU PROGRAMME ET DE LA CENT QUATRIÈME SESSION DU COMITÉ FINANCIER |
Rome, 17 septembre 2003 |
Indépendance et emplacement du Service d'évaluation – Analyse plus approfondie des options |
FONCTIONS ACTUELLES DU SERVICE DE L'ÉVALUATION
AUTRES POSSIBILITÉS D'EMPLACEMENT DU SERVICE DE L'ÉVALUATION AU SEIN DE L'ORGANISATION
1. Au cours de leur session conjointe de mai 2003, le Comité du Programme et le Comité financier ont examiné un document soumis par le Secrétariat, intitulé: «Indépendance et emplacement du Service d'évaluation» (JM 03. 1/3). Le rapport des Comités1 stipule que «Les Comités…sont convenus, à l'unanimité, de l'importance de la fonction d'évaluation en tant qu'outil de gestion, qui permet de garantir l'efficacité générale des programmes de l'Organisation et de renforcer la transparence de sa gouvernance.»…«S'agissant de la proposition du commissaire aux comptes visant à fusionner le Bureau de l'Inspecteur général et le Service de l'évaluation, la plupart des intervenants se sont déclarés contre une telle fusion. Toutefois, les Comités ont estimé que les informations fournies ne leur permettaient pas d'arrêter une position définitive sur cette question au cours de la session»…….«S'agissant de l'indépendance, les membres des comités s'accordent largement à dire que l'évaluation devrait être un exercice indépendant et qu'il est fondamental qu'elle contribue au processus d'apprentissage et d'amélioration organisationnels et qu'elle confirme le principe de l'obligation redditionnelle»…………….«Les Comités…ont demandé au Secrétariat d'élaborer un document…» «Ce document devrait apporter un supplément d'information sur les différents éléments susmentionnés et identifier d'autres options permettant de garantir le renforcement de l'indépendance, notamment sous forme d'unité entièrement autonome, ainsi que de renforcer l'indépendance au sein du Service de l'évaluation actuel. Ce document devrait également prendre en compte les pratiques établies et l'expérience d'organisations internationales sélectionnées lors de l'examen des options permettant d'assurer l'indépendance.»
2. Le présent document répond à la demande des Comités. Ses auteurs ont consulté la Banque mondiale et certaines institutions des Nations Unies sur leurs dispositifs en matière d'évaluation, notamment par le biais d'un questionnaire2.
3. Les Nations Unies et les autres organisations internationales de développement s'accordent largement sur les fonctions de l'évaluation, à savoir que:
4. Les qualités suivantes de l'évaluation garantissent, le cas échéant, sa crédibilité au sein des organisations et auprès des organes directeurs et des autres parties prenantes:
5. L'évaluation doit aussi être rentable en ce sens qu'elle améliore de façon tangible l'adéquation des programmes aux besoins des membres et l'efficacité de ces programmes. Il est donc très utile d'associer les directeurs de programme et les agents chargés d'exécuter les programmes au processus d'évaluation, pour garantir la pertinence, la faisabilité et l'acceptabilité des recommandations. Si l'approbation des recommandations de l'évaluation par les organes directeurs peut, dans une certaine mesure, encourager leur mise en pratique, les résultats obtenus de la sorte sont rarement aussi satisfaisants que lorsque les directeurs eux-mêmes sont convaincus de la nécessité du changement et appuient les solutions qu'ils ont contribué à mettre au point. On admet généralement qu'il n'existe pas de solution toute faite pour ce qui est de pondérer l'obligation redditionnelle avec l'apprentissage, mais qu'il «conviendrait de rechercher une solution optimale pour équilibrer l'ensemble de ces impératifs» et que «les arrangements et procédures organisationnels devraient faciliter l'exploitation des conclusions de l'évaluation dans la programmation et l'élaboration des politiques»4.
6. Comme l'indique le document JM 03.1/3, l'analyse la plus exhaustive de l'indépendance de l'évaluation est celle qui a été effectuée par le Groupe de travail du Comité d'aide au développement (CAD) de l'OCDE sur l'évaluation de l'aide publique5. Il s'avère que les aspects essentiels des conditions propres à garantir l'indépendance incluent: a) une structure organisationnelle séparant l'évaluation des fonctions techniques, l'unité d'évaluation rendant compte directement à la direction de l'Organisation ou à un organe directeur; b) l'accès aux ressources nécessaires pour le travail d'évaluation et droit de regard sur ces ressources (budget et personnel); c) l'autorité sur la planification et la conduite de l'évaluation ainsi que sur le processus (notamment la manière dont les opinions de la direction sont reprises dans les rapports finaux); et d) le lien entre les conclusions et des enseignements de l'évaluation et la prise de décisions concernant les programmes et politiques.
7. Le Service de l'évaluation (PBEE) de la FAO se trouve au Bureau du programme, du budget et de l'évaluation (PBE), qui relève de la Direction générale (ODG). Le Directeur du PBE, qui fournit un appui administratif au PBEE et supervise sa gestion, assure la liaison indispensable entre l'évaluation et les processus internes de planification, programmation et budgétisation. Le PBEE est chargé de faire fonctionner un système d'évaluation approprié à l'Organisation et d'en établir les méthodes et les procédures; il est séparé de la structure hiérarchique des programmes. Les fonctions essentielles du PBEE et ses principaux clients (usagers des évaluations) peuvent être regroupés comme décrit ci-dessous. Essentielles à l'Organisation, ces fonctions sont synergiques à plus d'un titre.
8. Ces évaluations qui portent sur les stratégies, les programmes et d'autres thèmes transversaux de l'Organisation, comme la décentralisation dans le contexte des activités générales de la FAO, sont planifiées en consultation avec le Comité du Programme, et sont gérées et conduites par le Service de l'évaluation. Outre les organes directeurs et la direction, les principaux usagers des évaluations sont les Sous-Directeurs généraux et Directeurs concernés, pour ce qui est de la substance du programme, et le Directeur du PBE et le Sous-Directeur général du Département de la coopération technique (TC) en ce qui concerne l'utilisation des ressources. Cette fonction mobilise environ 40 pour cent du temps du Service de l'évaluation.`
9. Le Service de l'évaluation établit les procédures et gère le système nécessaire à l'évaluation des projets et programmes de l'Organisation financés par des ressources extrabudgétaires. Les évaluations proprement dites sont normalement intégrées au Programme de travail et budget des programmes ou projets et sont conduites par des équipes de consultants et/ou par des membres du personnel du Service de l'évaluation désignés conjointement par le donateur, le pays bénéficiaire et la FAO. Les principaux clients incluent le pays bénéficiaire et les représentants des bailleurs de fonds, mais aussi le personnel du projet et, à un plus haut niveau, les directeurs du programme. Cette fonction occupe environ 30 pour cent du temps du Service de l'évaluation.
10. Le PBEE conduit des évaluations ad hoc à la demande individuelle des directeurs. Une nouvelle fonction importante du Service consiste à développer et gérer le nouveau système d'autoévaluation interne qui impose aux directeurs d'évaluer toutes les entités de programme au moins tous les six ans. La fonction d'appui à l'autoévaluation est intégrée au Système d'appui à la planification et à l'évaluation du programme ainsi qu'à la présentation de rapports sur son exécution – PIRES, soutenu par le PBE. Cette fonction devrait prendre environ 20 pour cent du temps du Service de l'évaluation.
11. Cette fonction, qui sert la Direction du PBE, fournit à la fois une partie du retour d'information et un élément indispensable pour améliorer la base de l'évaluation par rapport aux objectifs du programme et aux indicateurs. Certaines contributions visent aussi à améliorer la planification et la formulation des projets et programmes du Département de la coopération technique financés par des ressources extrabudgétaires. Il existe d'autres activités de retour d'information telles que la diffusion des résultats et des enseignements de l'évaluation, et l'appui à la conception de la formation du personnel. Ces fonctions mobilisent environ 10 pour cent du temps du Service de l'évaluation.
12. L'état actuel de l'indépendance de l'évaluation au sein de l'Organisation a été exposé à la réunion conjointe précédente (voir les paragraphes 23-29 du document JM 03.1/3). Cette section pousse l'analyse jusqu'au niveau de chacune des fonctions d'évaluation essentielles.
13. Le PBEE prépare, en consultant les directeurs de département, un plan biennal continu pour ces évaluations, qui sera soumis à l'approbation du Directeur Général. Le plan proposé est soumis au Comité du Programme afin qu'il émette un avis sur ce plan et des conseils. Dans la pratique, le Directeur Général a toujours respecté les suggestions du Comité sur le programme de travail.
14. Le Service de l'évaluation arrête les méthodes générales et le mandat de l'équipe pour les évaluations individuelles, mais il consulte abondamment les unités de la FAO concernées au cours de ce processus, en vue de parfaire le mandat et de faire en sorte que l'évaluation soit prise en charge par les directeurs de programme.
15. Toutes les évaluations font appel à des experts extérieurs. Le Service de l'évaluation se prononce sur la nécessité de ces contributions extérieures comprenant le recrutement d'un responsable et d'un groupe de pairs examinateurs et la constitution de l'équipe, en fonction des compétences requises, de l'importance stratégique de l'évaluation et de considérations budgétaires. Toutes les évaluations qui ne sont pas dirigées par des experts extérieurs sont soumises à un groupe d'examinateurs extérieurs, qui prépare son propre rapport en vue de le présenter à la direction pour examen et au Comité du Programme.
16. Les projets de rapports d'évaluation sont examinés et commentés par les directeurs de programme concernés et par la direction. Le Service de l'évaluation a tout le loisir d'accepter ou de rejeter les suggestions de changement. Les observations de la direction, qui peuvent être en désaccord avec le rapport d'évaluation, sont présentées séparément au Comité du Programme. Si le Service de l'évaluation rend compte au Directeur Général par l'entremise du Directeur du PBE, ce dernier facilite la communication avec les autres directeurs principaux et ses observations importantes sur les rapports d'évaluation sont incluses dans la réponse de la direction.
17. De même, le PBEE interagit avec le Comité du Programme par le biais de la direction, mais en pratique, le Service de l'évaluation traite directement et régulièrement (deux fois par an) avec le Comité du Programme, lequel a une influence considérable sur des questions telles que la politique et les méthodes d'évaluation. Une relation de travail aussi étroite avec le Comité a amélioré l'état de l'évaluation au Secrétariat. En particulier, le retour d'information aux organes directeurs sur le suivi des recommandations des évaluations, qui ont été acceptées par la direction et les organes directeurs, est désormais transmis régulièrement au Comité du Programme.
18. Tous les rapports d'évaluation figurant dans cette catégorie sont non confidentiels et facilement accessibles sur le site Web de la FAO.
19. Le Service de l'évaluation établit les méthodes et procédures appliquées à l'évaluation des projets et programmes financés par des ressources extrabudgétaires, en consultant le Département de la coopération technique et en tenant compte des besoins des bailleurs de fonds. La démarche de la FAO s'aligne sur celle des institutions des Nations Unies, puisqu'elle s'appuie sur les principes de l'évaluation indépendante (par des consultants extérieurs) et de la participation tripartite (pays bénéficiaire, donateur et FAO). Les principaux clients sont les représentants des pays bénéficiaires, les donateurs et la FAO, notamment les directeurs et le personnel de projet, qui s'appuient sur les résultats de l'évaluation pour modifier des activités et prendre des décisions relatives à l'avenir des projets.
20. Les projets dotés d'un budget supérieur à 1 million de dollars EU doivent normalement être évalués au moins une fois au cours de leur déroulement et la décision de savoir quand cette évaluation doit avoir lieu appartient en premier à l'unité opérationnelle, qui consulte à cette fin le donateur et le pays bénéficiaire. Les équipes d'évaluation rendent leurs conclusions et formulent leurs recommandations en toute indépendance et les participants à la mission sont désignés séparément par les trois parties au projet. Le Service de l'évaluation exerce une fonction d'assurance qualité en contrôlant les projets de mandats, la composition de l'équipe d'évaluation et en examinant les rapports individuels. Il tient aussi une base de données pour l'analyse des résultats et des enseignements de l'évaluation.
21. La publication des évaluations des projets ou programmes financés par des ressources extrabudgétaires est soumise aux règles de divulgation de l'Organisation. En pratique, cela signifie que les premiers intéressés à qui les évaluateurs sont tenus de rendre compte sont les donateurs, les pays bénéficiaires et la FAO et le personnel concerné par l'amélioration immédiate du programme. Par conséquent:
22. Les évaluations internes pratiquées par le Service de l'évaluation sont conduites à la demande des directeurs de programme, principalement dans le but d'améliorer le programme. Récemment, c'est surtout le Département de la coopération technique qui a fait appel au Service de l'évaluation, dont le chef communique directement avec le Sous-Directeur général du Département de la coopération technique. Ces évaluations étant commandées par un département, ce dernier approuve tout naturellement le mandat de l'équipe d'évaluation. Le Service de l'évaluation est entièrement libre d'accepter ce qu'il veut et indique sur quels aspects s'exercera sa décision finale en ce qui concerne la sélection de l'équipe d'évaluation, la conduite de l'évaluation et le contenu du rapport final de l'évaluation. Le rapport devient ensuite la propriété du département demandeur, mais en pratique, la diffusion interne de ces rapports n'est pas restreinte.
23. Les procédures de base de l'autoévaluation ont été spécifiées par le Directeur général, à l'issue d'un long débat. Les premières évaluations viennent tout juste d'être lancées et les évaluations individuelles seront organisées par les responsables compétents. En consultation avec les départements techniques, le Service de l'évaluation établit les procédures de base et les conditions minimales auxquelles doivent satisfaire les experts extérieurs, notamment le groupe de pairs qui sera chargé d'examiner l'évaluation, le cas échéant. Les rapports visent avant tout à répondre au besoin interne d'obligation redditionnelle et à la nécessité de tirer les leçons de l'expérience au profit de l'Organisation. Cependant, le Comité du Programme préparera une synthèse à l'intention des organes directeurs et le Service de l'évaluation préparera ses évaluations en s'inspirant des rapports d'autoévaluation.
24. L'analyse exposée ci-dessus montre, comme stipulé au paragraphe 28 du document JM 03.1/3 que, dans le cadre des dispositions organisationnelles existantes, les principales fonctions de l'évaluation sont accomplies de façon indépendante. Cette indépendance est aisément vérifiable au regard des critères essentiels de l'indépendance mentionnés au paragraphe 6 ci-dessus: l'autorité du Service de l'évaluation sur la planification et la conduite de l'évaluation, y compris sur le traitement des observations des directeurs de programme et de la direction, la transparence du processus et le lien entre les conclusions et les enseignements de l'évaluation et la prise de décisions concernant les programmes et les politiques. Les aspects des dispositions actuelles qui satisfont le moins aux critères d'indépendance sont: a) la nécessité d'avoir un accès plus prévisible au financement des évaluations du grand programme et des évaluations thématiques et b) une codification plus explicite des pratiques en vigueur de façon à les institutionnaliser.
25. Afin de répondre correctement à l'instruction des Comités, à savoir d'étudier les autres possibilités d'emplacement du Service de l'évaluation en appréciant les avantages et les inconvénients de chaque option, l'analyse exposée ci-dessous s'appuie sur l'expérience de la Banque mondiale et de plusieurs autres institutions des Nations Unies et précise même les implications des autres possibilités sur les fonctions actuelles de l'évaluation. L'annexe 1 livre une description synthétique et une analyse tabulée de l'évaluation pratiquée dans neuf de ces institutions (y compris la FAO).
26. Cet arrangement est exemplifié par le FIDA et la Banque mondiale. Les unités d'évaluation (Département de l'évaluation des opérations, dirigé par un directeur général à la Banque mondiale et Bureau de l'évaluation, dirigé par un directeur au FIDA) occupent une place séparée au sein du secrétariat de l'Organisation et rendent compte directement aux conseils exécutifs (pas aux présidents). Les conseils exécutifs ont établi des sous-comités chargés de superviser l'évaluation. Les chefs de l'évaluation sont nommés (pour une durée déterminée) et ne peuvent être directement démis de leur fonction que par le conseil (Banque mondiale) ou seulement avec l'aval explicite du conseil (FIDA). Les unités d'évaluation sont séparées des autres unités de contrôle et leurs budgets sont examinés séparément dans le programme et les processus budgétaires. Cette disposition est établie de longue date à la Banque mondiale, mais n'a été introduite que cette année au FIDA.
27. L'avantage de cette disposition est que l'évaluation remplit clairement une fonction d'obligation redditionnelle au service des États membres. La séparation dans l'organisation et la gouvernance de la fonction d'évaluation lui confèrent un statut et une indépendance difficilement comparables à ceux d'autres arrangements. Il appartient à la direction de répondre expressément aux conclusions et recommandations de l'évaluation en s'adressant directement aux conseils exécutifs. D'autre part, cette forme de séparation de l'unité d'évaluation amène les directeurs à considérer les évaluateurs comme des contrôleurs plutôt que comme des partenaires. Les informations relatives à l'évaluation sont largement diffusées au sein de la Banque mondiale, néanmoins, le personnel de la Banque risque d'éprouver le sentiment de ne pas prendre en charge les résultats. Au FIDA, le fonctionnement du système doit encore être mis à l'épreuve, mais il est d'usage au Fonds que les pratiques d'évaluation soient plus participatives en ce qui concerne le retour d'information et l'apprentissage, puisqu'elles y associent les parties prenantes au niveau du pays et au sein du Fonds (Core Learning Partnership). On a également constaté que plus l'unité d'évaluation est considérée comme séparée et exerçant une relation de contrôle, plus il lui est difficile d'obtenir des renseignements informels et une coopération volontaire.
28. Pour que ce type d'arrangement soit efficace, il est indispensable que les organes directeurs jouent un rôle actif, ce qui a d'évidentes implications financières. Le Comité d'évaluation du FIDA se réunit cinq à six fois par an, tandis que le comité de la Banque mondiale sur l'efficacité du développement se réunit une vingtaine de fois par an. Un tel comité d'évaluation séparé n'existe pas à la FAO et le Comité du Programme ne se réunit que deux fois par an.
29. Cet arrangement peut convenir à un système d'évaluation axé sur l'obligation redditionnelle, autrement dit, dans le contexte de la FAO, aux évaluations du grand programme et aux évaluations thématiques destinées en premier lieu aux organes directeurs et à la direction – la première des fonctions énumérées ci-dessus. Il ne conviendrait pas aux autres fonctions remplies actuellement par le Service de l'évaluation. Ces fonctions répondent tout d'abord aux besoins de la direction du Secrétariat en matière d'amélioration du programme et d'apprentissage et ensuite à l'obligation redditionnelle. Cependant, ces fonctions de l'évaluation répondent à des besoins essentiels de la direction interne et, si l'option A était retenue, il faudrait prendre d'autres dispositions pour les combler. À la Banque mondiale, par exemple, la direction a mis en place un système d'examen/évaluation interne des projets, séparé du Département de l'évaluation des opérations, les directeurs hiérarchiques étant responsables des rapports sur l'achèvement des projets (une forme d'évaluation terminale).
30. Cet arrangement est exemplifié par le PNUD, où l'unité d'évaluation rend compte directement à l'administrateur. À l'UNICEF, l'unité d'évaluation rend compte au Directeur Exécutif adjoint responsable de la planification des programmes et de la planification stratégique (une situation comparable à celle de la FAO, mais où la fonction de planification stratégique et des programmes occupe un rang plus élevé dans la hiérarchie de l'Organisation). Dans ces deux organisations, l'unité d'évaluation est séparée des autres unités de contrôle interne et, en dehors de leur position hiérarchique, l'organisation du travail est proche de celle de la FAO, bien qu'au PNUD, les organes directeurs jouent probablement un rôle moins actif que le Comité du Programme de la FAO pour ce qui est de définir le programme de travail. L'UNICEF, où le Conseil trace la politique d'évaluation, a décidé récemment d'établir un Comité d'évaluation interne composé de cadres de haut niveau, afin de resserrer le lien entre l'évaluation et les programmes – le Comité examinera les plans d'évaluation et les rapports individuels. Au PNUD, les avis de la direction accompagnent les rapports d'évaluation, tandis qu'à l'UNICEF, il sont communiqués séparément au Conseil. À l'UNICEF, la diffusion des conclusions et enseignements de l'évaluation s'effectue par le biais d'ateliers et par l'exploitation du retour d'information dans la formation du personnel, notamment à la formulation des programmes et projets.
31. Si l'option B était appliquée au Service de l'évaluation de la FAO, ce changement pourrait peut-être, en un sens, rehausser son statut et son autorité. Les fonctions exposées plus haut pourraient probablement être maintenues, sauf «l'appui direct aux processus de planification à moyen terme et de planification stratégique et le retour d'information vers ces processus», où le Service apporterait une contribution plus formelle et extérieure au processus de planification du PBE.
32. Un bureau d'évaluation séparé et indépendant du PBE perdrait l'avantage associé aux liens internes qu'il entretient actuellement et qui ont débouché, par exemple, sur une étroite collaboration autour du modèle conceptuel de la budgétisation axée sur les résultats, du système informatique commun incarné par PIRES (où les lettres «ES» se réfèrent à l'appui à l'évaluation), de la mise en oeuvre et du suivi (c'est-à-dire l'évaluation annuelle) et du retour d'information des évaluations susceptible de modifier l'affectation des ressources.
33. À l'AIEA, à l'ONU et à l'Unesco, l'unité d'évaluation se trouve dans un bureau du contrôle interne dont le directeur rend compte directement au chef de Secrétariat6. Les unités d'évaluation sont séparées et l'indépendance des activités d'évaluation est généralement reconnue, bien que leurs programmes de travail et leurs méthodes tendent à être influencés par la fonction de contrôle. Le programme de travail et les rapports de l'évaluation font partie des activités de contrôle, dont le principal utilisateur est le chef de Secrétariat. C'est particulièrement le cas à l'AIEA et à l'Unesco, où l'évaluation est considérée comme un outil de gestion interne et où les rapports d'évaluation ne sont transmis au Conseil que sous une forme abrégée (une ou deux fois par an). L'ONU et l'Unesco publient généralement leurs rapports individuels, tandis que l'AIEA les traite comme des documents confidentiels.
34. L'expérience de l'AIEA, de l'ONU et de l'Unesco indique que l'intégration de l'évaluation dans un bureau réunissant les fonctions de contrôle, souvent dirigé par un directeur de haut niveau rendant compte directement au chef de Secrétariat, a eu l'avantage d'accroître le statut de l'évaluation et son autorité, notamment sur la suite donnée aux recommandations. En même temps, elle a eu tendance à abaisser l'importance de l'évaluation par rapport à d'autres fonctions de contrôle. Cela tient au fait que, d'une part, le bureau est principalement tourné vers des fonctions de vérification des comptes et d'inspection et que, d'autre part, ces bureaux de contrôle interne sont généralement placés sous l'autorité d'experts en matière de vérification des comptes et de comptabilité. Dans certains cas, semble-t-il, les ressources allouées à l'évaluation auraient même été réduites.
35. De même, la fusion a souvent donné lieu à une séparation relative entre le personnel d'évaluation et le personnel et les processus du programme, en partie à cause du mandat du nouveau bureau et en partie à cause de la perception du personnel de programme. Il est également difficile d'obtenir des renseignements officieux et une pleine coopération. Dans certains cas, le bureau du contrôle insiste sur la confidentialité de l'information et des rapports, ce qui rend les méthodes de travail de l'unité d'évaluation moins transparentes que lorsqu'elle était séparée. S'il est possible d'améliorer le retour d'information sur la suite donnée aux recommandations, la contribution aux aspects liés à l'apprentissage est difficile, la fonction de vérification des comptes et la culture de l'apprentissage en commun étant difficilement compatibles.
36. Comme pour l'option B décrite plus haut (paragraphes 31 et 32), ce changement d'emplacement au sein de l'institution aurait comme conséquence que le Service de l'évaluation ne pourrait plus exercer les fonctions d'appui à l'élaboration des stratégies et aux processus de planification à moyen terme ainsi qu'à l'autoévaluation et que ces fonctions devraient être transférées ailleurs.
37. La plupart des institutions de l'ONU ont opté pour l'implantation de l'unité d'évaluation dans un plus grand bureau au Secrétariat. En dehors de l'option C, il existe deux arrangements obéissant chacun à une priorité distincte: le premier consiste à placer l'unité d'évaluation dans un bureau chargé de la coopération technique (par exemple à l'ONUDI et à l'OMC); et le deuxième dans un bureau chargé de la planification et de la gestion des programmes (BIT, PAM et OMS). Ce dernier arrangement correspond aux dispositions de la FAO qui s'attache à exploiter les enseignements tirés de l'évaluation pour améliorer les programmes et à faire en sorte que l'évaluation soit la plus indépendante possible. La FAO pourrait s'inspirer de leur expérience pour améliorer ses dispositions, néanmoins, les arrangements du PAM et de l'OMS sont très récents (datant de 2003) et les principales fonctions d'évaluation du BIT sont encore en cours d'élaboration. Cela étant, l'expérience de ces institutions, y compris le PAM, indique que leurs activités d'évaluation sont largement indépendantes, en particulier vis-à-vis de la structure hiérarchique, bien qu'il y ait des différences dans la façon dont les avis de la direction sont communiqués aux organes directeurs.
38. Cet emplacement du Service de l'évaluation au sein de la FAO peut présenter des inconvénients concernant son statut et sa visibilité dans l'Organisation et l'accès au chef de Secrétariat. Cependant, comme nous l'avons déjà vu plus haut (paragraphes 12 à 24), les activités d'évaluation du Service, en particulier les évaluations du grand programme et les évaluations thématiques destinées aux organes directeurs et à la direction sont en fait conduites de façon indépendante. Aussi, les inconvénients potentiels liés aux arrangements organisationnels sont-ils plus théoriques que réels et pourraient être levés grâce à certaines mesures correctrices spécifiques, comme exposé ci-après.
39. D'autre part, l'extraction du Service de l'évaluation de sa structure affaiblirait l'appui à l'élaboration des stratégies et l'apport conceptuel aux procédures de planification à moyen terme dans le contexte de la démarche axée sur les résultats qu'applique la FAO à la programmation et à la budgétisation. Elle amoindrirait aussi l'efficacité de l'exploitation directe du retour d'information dans la planification des programmes et l'allocation des ressources. Le transfert des fonctions actuelles du Service de l'évaluation vers une autre unité, qui se produirait à divers degrés avec chacune des options susmentionnées, réduirait les synergies entre les différents types d'activités d'évaluation menées actuellement par le Service. Le transfert de personnel parallèlement à celui des fonctions tendrait aussi à réduire la masse critique.
40. Dans toutes les organisations étudiées, le mandat du personnel est édicté par le règlement de l'Organisation. Les seules grandes exceptions à ce dispositif sont la Banque mondiale et le FIDA, où le chef du bureau de l'évaluation est directement nommé par le Conseil d'administration (Banque mondiale) ou nommé avec l'aval explicite du Conseil (FIDA): dans ces deux organisations, le chef de l'évaluation est habilité à sélectionner le personnel. Cette pratique est la plus compatible avec l'option A. Dans toutes les autres organisations, y compris à la FAO, le chef de l'unité d'évaluation est nommé par le chef de Secrétariat de l'organisation et, s'agissant du personnel d'évaluation, le chef de l'évaluation avance des propositions pour la sélection des candidats appelés à occuper les postes libres, qui seront choisis conformément aux procédures normales de sélection du personnel.
41. Les allocations de crédits à l’évaluation, qui sont entièrement inscrits dans le budget ordinaire de la FAO, sont demeurés plus ou moins stables au cours des derniers exercices biennaux, à hauteur de quelque 2,1 millions de dollars EU De plus, le Service obtient le remboursement d’une partie de ses dépenses de personnel en faisant payer les services qu'il fournit, par exemple, au Programme de terrain. Il convient cependant de noter que des remaniements structurels sont en cours qui pourraient diminuer le niveau global des ressources disponibles pour l'évaluation. Ces changements sont les suivants:
42. Ainsi, si le financement des évaluations n'a généralement pas posé de problème jusqu'à présent, les évaluations stratégiques et thématiques donneront de moins en moins lieu à des remboursements par d'autres programmes. Si l'on ajoute à cela le recours croissant à des experts extérieurs, en qualité de consultants ou de membres d'un groupe de pairs examinateurs, les ressources risquent de limiter sensiblement le processus d'évaluation. C'est pourquoi un complément de 250 000 dollars EU a été prévu dans le scénario de croissance réelle pour couvrir le coût du recrutement fréquent de groupes d'examinateurs externes.
43. En attirant l'attention des Comités sur les points exposés ci-dessus, on risque de donner une fausse impression de l'importance relative du budget de l'évaluation à la FAO par rapport à celle d'autres institutions. Si des données comparatives récentes font défaut, le dernier examen de cette question par le Corps commun d'inspection (CCI) a montré que la FAO disposait de la plus grande unité d'évaluation et qu'elle dépensait le plus de ressources financières parmi les institutions de l'ONU spécialisées en évaluation7.
44. La description ci-dessus s'applique à la situation courante, mais il convient de remarquer qu'un changement de l'emplacement de la fonction d'évaluation au sein de l'Organisation affecterait, selon toute vraisemblance, la structure du Service et la répartition des fonctions. Ainsi, par exemple, l'évaluation des projets financés par des ressources extrabudgétaires et les évaluations internes sollicitées par la direction ou le processus d'autoévaluation ne pourraient sans doute plus être confiés à un service totalement indépendant rendant compte aux organes directeurs. Ces fonctions seraient transférées vers d'autres unités internes, parallèlement aux ressources nécessaires qui sont susceptibles d'être assez importantes (plusieurs postes). Il est impossible de se faire une idée plus précise de l'impact tant que la direction vers laquelle évoluera l'institution ne sera pas plus claire, mais cet aspect doit être gardé à l'esprit.
45. Le système et les processus actuels d'évaluation de la FAO peuvent être considérés comme indépendants, si l'on en juge par les faits. Il est conforme aux principes du CAD et aux pratiques observées par les institutions des Nations Unies et d'autres organisations internationales. Le Service de l'évaluation est séparé de la structure hiérarchique, il est en mesure de choisir les sujets à évaluer et libre d'exprimer son opinion. Il est protégé des pressions par la direction qui est tenue d'exprimer séparément sa propre réponse aux rapports d'évaluation et à leurs recommandations. Il peut établir des méthodes et procédures d'évaluation appropriées. Le Comité du Programme a aussi reconnu l'efficacité du système d'évaluation et s'est félicité de la qualité, de la rigueur, de la transparence et de l'indépendance des rapports d'évaluation, appréciant notamment leur franchise, y compris celle des critiques formulées dans les évaluations dirigées par le Service de l'évaluation. La décision de la direction d'adopter une gestion plus stratégique et fondée sur les résultats et les initiatives prises par le Comité du Programme pour étayer cette tendance ont permis d'accomplir des progrès considérables.
46. Ceci indique que l'indépendance au sens fonctionnel dépend de bien d'autres facteurs que la structure de l'Organisation. Facteurs qui incluent la confiance dans l'intégrité et la qualité professionnelle des évaluateurs, l'interaction coopérative avec les organes directeurs (spécialement le Comité du Programme) et l'attitude générale de la direction, autrement dit, si elle s'efforce ou non d'apporter des changements de nature à améliorer les choses et d'instaurer des conditions dans lesquelles l'unité d'évaluation est libre d'effectuer son travail dans le meilleur intérêt des programmes de l'Organisation.
47. L'analyse qui précède peut se résumer en ces termes:
48. La question de l'indépendance doit cependant être traitée abstraction faite de l'emplacement au sein de l'institution et plusieurs changements sont susceptibles d'améliorer cet aspect. Ceux-ci consisteraient à formaliser les pratiques courantes, parfaire les processus de consultation interne et à accorder une indépendance budgétaire à la conduite des évaluations. En conséquence, les recommandations ci-après sont soumises à l'examen des Comités:
Arrangement dans l'Organisation |
Politique et plans d'évaluation |
Rapports d'évaluation |
Budget et ressources |
Retour d'information et apprentissage | |
FIDA |
• Bureau séparé de la direction du FIDA rendant compte directement au Conseil d'administration (CA) • Directeur du bureau nommé par le Président avec l'aval du CA • Directeur de grade D-1/2 nommé pour une durée maximale de 10 ans |
• La politique doit être spécifiquement approuvée par le CA • Les plans doivent être directement approuvés par le CA |
• Soumis simultanément au CA et au Président • Observations de la direction présentées séparément au CA |
• Approuvés directement par le CA et le Conseil des gouverneurs • Budget annuel de 3,6 millions de dollars EU • Effectifs d'encadrement: six personnes (plus 2 ou 3 cadres associés), nommés par le Directeur du bureau |
• Retour d'information sur les observations du CA émis par le Président • Compte rendu annuel au CA de la mise en oeuvre des mesures donnant suite à l'évaluation • Apprentissage institutionnel au moyen de mesures spéciales telles que ACP, CLP et publication des enseignements et des thèmes issus de l'évaluation |
Banque mondiale |
• Bureau séparé de la direction de la Banque, rendant compte directement au Conseil d'administration (CA) • Directeur du bureau (Directeur général) nommé directement par le CA pour une durée déterminée |
• Politique spécifiquement approuvée par le CA • Plans d'évaluation directement approuvés par le CA |
• Soumis directement au CA (sans que le Président en ait vu préalablement le projet) • Observations de la direction présentées séparément au CA |
• Approuvés spécifiquement par le CA • Budget annuel de 20 millions de dollars EU plus ressources extrabudgétaires • Effectifs d'encadrement de 60 personnes plus 120 consultants, désignés directement par le Directeur du Département de l'évaluation des opérations |
• Retour d'information sur les rapports d'évaluation et sur les observations du CA émis par le Président • Suite donnée à l'évaluation rapportée au CA • Apprentissage par le biais d'ateliers internes, par la publication des enseignements et par les contributions à la formation du personnel |
PNUD |
• Bureau séparé au sein du Secrétariat du PNUD • Rendant compte directement à l'Administrateur • Chef de bureau (D-2) nommé par l'Administrateur |
• Politique soumise au CA pour examen • Plans soumis au CA |
• Rapports individuels soumis à l'Administrateur et leurs résumés présentés annuellement au CA • Observations de la direction généralement incorporées au résumé final (rarement présentées séparément) |
• Approuvés par le CA en tant que partie du budget de l'Organisation • Budget annuel de 3,5 millions de dollars EU • Effectifs d'encadrement: 10 personnes |
• Retour d'information par le biais des observations de l'Administrateur et du CA • Apprentissage grâce à des ateliers et par la diffusion d'informations sur le site Web |
UNICEF |
• Bureau séparé au sein du Secrétariat rendant compte directement Directeur exécutif adjoint et au Directeur exécutif • Nomination du chef de bureau (D-1) par le Directeur exécutif |
• Politique soumise au CA pour approbation • Plans soumis au CA |
• Rapports soumis annuellement au CA par le Directeur exécutif (sans modifications) • Observations de la direction présentées séparément, s'il y a lieu |
• Approuvés par l'organe directeur en tant que partie du budget de l'Organisation • Budget annuel de 2,5 millions de dollars EU • Effectifs d'encadrement: 8 personnes (4 au siège et 4 dans les bureaux régionaux) |
• Retour d'information par le biais des observations du Directeur exécutif et du CA • Apprentissage grâce à des ateliers, par des contributions à la formation du personnel et par la diffusion d'informations sur le site Web |
AIEA |
• L'unité d'évaluation fait partie du Bureau des Services de contrôle interne (OIOS) implanté au Secrétariat • Rend compte directement au chef de l'OIOS et, par son truchement, au Directeur général (DG) et à l'organe directeur • Chef de l'unité d'évaluation nommé par le DG |
• Politique largement modelée par le DG dans le cadre des fonctions de l'OIOS • Plans définis à l'instar de ceux de l'OIOS et soumis à l'organe directeur pour examen |
• Rapports soumis en tant que rapports de l'OIOS par le chef de l'OIOS au DG sous le sceau de la confidentialité • Résumés des rapports présentés annuellement à l'organe directeur • Observations de la direction incorporées au rapport final, et non présentées séparément |
• Approuvés en tant que partie du budget de l'OIOS au cours du processus d'établissement du budget de l'Organisation • Budget annuel de 1 million de dollars EU et complément de 0,7 millions pour l'évaluation des activités de coopération technique • Effectifs d'encadrement: 6 personnes |
• Retour d'information par le biais des observations et des instructions de la direction • Suite donnée aux rapports d'évaluation soumise à l'organe directeur pour information • Apprentissage: aucune mesure particulière |
ONU (Bureau des Services de contrôle interne – OIOS) |
• L'unité d'évaluation fait partie de l'OIOS, lui-même implanté au Secrétariat, rend compte directement au Sous-Secrétaire général (chef de l'OIOS) et, par son truchement, au Secrétaire général • Chef de l'unité d'évaluation nommé par le Secrétaire général conformément à la politique en matière de personnel |
• Politique spécifiquement approuvée par l'Assemblée générale (Comité du programme et de la coordination – CPC) • Plans spécifiquement approuvés par le CPC |
• Rapports traités comme ceux de l'OIOS à l'égard du Secrétaire général • Rapports soumis à l'Assemblée générale par le biais du CPC, les observations de la direction étant séparées |
• Approuvés en tant que partie du budget de l'OIOS • Budget annuel de 0,7 million de dollars EU • Effectifs d'encadrement: 4 personnes |
• Retour d'information par le biais des observations du Secrétaire général et de l'Assemblée générale • Suite donnée aux recommandations de l'évaluation suivie et rapportée à l'Assemblée générale • Apprentissage: aucun effort particulier |
Unesco |
• L'unité d'évaluation fait partie de l'OIOS, rend compte au Directeur général par le truchement du chef de l'OIOS • Chef de l'unité d'évaluation (P-5) nommé par le Directeur général |
• Politique décidée en grande partie par le Directeur général et rapportée à l'organe directeur dans le cadre de la politique visant l'OIOS • Plans arrêtés par le Directeur général en tant que plans à moyen terme de l'OIOS et présentés à l'organe directeur |
• Rapports autorisés par le chef de l'OIOS en tant que rapports de l'OIOS à l'usage de la direction • Rapports soumis périodiquement à l'organe directeur sous une forme abrégée, accompagnés des observations de la direction |
• Budget approuvé en tant que partie du budget de l'OIOS • Budget annuel de 2,5 millions de dollars EU • Effectifs d'encadrement: 7 personnes |
• Retour d'information par le biais des instructions de la direction et des observations de l'organe directeur • Apprentissage: en dehors de la diffusion des résultats de l'évaluation sur le site Web, aucune mesure particulière |
PAM |
• L'unité d'évaluation fait partie de la Division de la gestion axée sur les résultats (OEDR), rend compte au Directeur exécutif par le truchement du chef de l'OEDR • Chef de l'unité d'évaluation (D-1) nommé par le Directeur exécutif |
• Changements politiques notables soumis au Conseil d'administration pour approbation • Plans annuels formulés par le Bureau de l'évaluation et communiqués au Conseil d'administration pour information |
• Rapports soumis sans modification au Conseil d'administration par le Directeur exécutif • Les observations de la direction sont normalement incorporées aux rapports, mais peuvent être émises séparément |
• Budget approuvé dans le cadre du processus budgétaire de l'Organisation • Budget annuel de 1,4 millions de dollars EU complété par les dépenses de l'appui aux opérations • Effectifs d'encadrement de 7 personnes |
• Retour d'information par le biais de consultations internes et des observations du Conseil d'administration • Mise en oeuvre des mesures donnant suite aux recommandations de l'évaluation suivie et rapportée au Conseil d'administration • Apprentissage par le biais d'ateliers et de bulletins d'information périodiques |
FAO |
• L'unité d'évaluation fait partie du PBE, rend compte au Directeur général (DG) par le truchement du Directeur du PBE • Chef du service d'évaluation (D-1) nommé par le DG |
• Politique formulée par le DG en consultation avec les organes directeurs (Comité du Programme – CP) • Plans biennaux continus pour les évaluations du grand programme élaborés en consultation avec le CP |
• Rapports parachevés par le Service de l'évaluation après que ceux-ci aient fait l'objet d'examens internes et externes • Observations de la Direction (y compris celles du Directeur du PBE) émises séparément • Rapports soumis au CP par l'intermédiaire du DG • Rapport d'évaluation du programme biennal accompagné des résumés des évaluations individuelles soumis à la Conférence par l'intermédiaire du Conseil |
• Budget approuvé dans le cadre du processus budgétaire de l'Organisation • Budget annuel de 1,3 million de dollars EU étoffé par des ressources supplémentaires, si nécessaire • Effectifs d'encadrement: 8 personnes et un cadre associé |
• Retour d'information intégré au processus d'évaluation et par la réponse de la direction et du CP • Mise en oeuvre des mesures donnant suite aux recommandations de l'évaluation rapportée au CP • Apprentissage par le biais d'ateliers et par la diffusion des résultats sur le site Web et d'études de synthèse périodiques |
____________________________________
1 CL 124/4, paragraphes 13-16
2 Les institutions sélectionnées illustrent les principaux types de dispositifs d'évaluation et comprennent, outre la Banque mondiale, l'AIEA, le FIDA, le PNUD, l'Unesco, l'UNICEF, l'ONU (Bureau des services de contrôle interne - OIOS) et le PAM.
3 Voir le paragraphe 5 du document intitulé «Principles for Evaluation of Development Assistance» (pas de version française), Groupe de travail du CAD sur l'évaluation de l'aide publique (CAD), OCDE, 1991
4 Principles for Evaluation of Development Assistance, CAD, OCDE, paragraphe 466.
5 Voir le rapport du CAD: «Review of the DAC Principles for Evaluation of Development Assistance», OCDE, 1998.
6 Dans ce contexte, on notera que le PAM a décidé récemment de transférer l'évaluation du bureau du contrôle interne à la Division de la gestion axée sur les résultats (une fonction incombant au PBE à la FAO).
7 Obligation redditionnelle, amélioration de la gestion et contrôle dans le système des Nations Unies JIU/REP/95/2