JM 03.1/3 |
RÉUNION CONJOINTE DE LA QUATRE-VINGT-NEUVIÈME SESSION DU COMITÉ DU PROGRAMME ET DE LA CENT DEUXIÈME SESSION DU COMITÉ FINANCIER |
Rome, 7 mai 2003 |
Indépendance et emplacement du Service d’évaluation |
Introduction:
Principes généraux en matière d’évaluation et
leur application à la FAO
Proposition de fusion des fonctions d’évaluation et de contrôle interne
Justification de la recommandation
Avantages et inconvénients d’une fusion entre AUD et PBEE
État actuel des mécanismes d’évaluation – Aspects concernant l’indépendance
Autres options concernant l’emplacement du Service PBEE – Analyse préliminaire
1. Le Comité financier a examiné à sa centième session (septembre 2002) le rapport du Commissaire aux comptes sur l’Examen des contrôles internes de l’Organisation, dans lequel il recommande que “l’Organisation étudie la possibilité de réunir le Bureau de l’Inspecteur général (AUD) et le Service de l’évaluation (PBEE) en un bureau ou une division unique chargé du contrôle”1. À cet égard, le Secrétariat s’est engagé à soumettre un document avançant des propositions détaillées pour examen par la Réunion conjointe du Comité financier et du Comité du Programme en mai 2003. Le Comité financier a souligné que la réponse du Secrétariat devrait tenir pleinement compte des préoccupations du Comité concernant l’indépendance de la fonction d’évaluation.
2. Le présent document donne suite à l’initiative du Secrétariat dont il est question ci-dessus, offrant une réponse détaillée à la recommandation du Commissaire aux comptes, ainsi qu’à la question plus ample de l’indépendance de la fonction d’évaluation. Cette préoccupation avait déjà été soulignée par la Conférence à sa trente et unième session (novembre 2001), qui à l’occasion de l’examen du Rapport d’évaluation du Programme 2001, avait affirmé qu’“il serait indiqué d’envisager la création d’un service d’évaluation indépendant.”(par. 82 du Rapport). Compte tenu de ces diverses suggestions, un examen de l’indépendance et des mécanismes institutionnels des fonctions d’évaluation au sein de l’Organisation s’impose.
3. Au cours des trois dernières décennies, les organismes des Nations Unies et les organisations internationales de développement ont intégré les fonctions d’évaluation et un vaste consensus se dégage désormais sur les principes et pratiques à appliquer dans ce domaine. Pour l’examen des aspects clés des fonctions d’évaluation de l’Organisation, les principes énoncés par le Comité d’aide au développement (CAD) de l’OCDE servent de référence légitime, car ils constituent le cadre le plus complet et autorisé2 des meilleures pratiques observées parmi les organisations internationales, notamment en ce qui concerne l’indépendance de l’évaluation.
4. L’évaluation y est définie comme “une estimation, aussi systématique et objective que possible, d’un projet, d’un programme ou d’une politique en cours d’exécution ou achevés, de leur conception, de leur mise en œuvre et de leurs résultats. Le but est de déterminer la pertinence et l’accomplissement des objectifs, la productivité en termes de développement, l’efficacité, l’impact et la viabilité. Une évaluation devrait fournir des informations crédibles et utiles, permettant d’incorporer les leçons apprises dans le processus décisionnel des bénéficiaires comme des bailleurs de fonds”.3 L’évaluation a pour buts principaux de: a) “améliorer les politiques, programmes et projets d’aide futurs grâce aux enseignements tirés” et b) “ servir de base pour l’obligation redditionnelle, y compris la transmission d’informations au public”. En particulier, il note que “la notion de mise en jeu de la responsabilité dans l’évaluation dont il est question ici se réfère aux résultats de développement et à l’impact de l’aide au développement, qui diffère de la responsabilité pour l’utilisation des fonds publics au sens comptable et juridique, généralement confiée à une institution de vérification extérieure des comptes”.4
5. Les principes d’évaluation du CAD sont les suivants: a) mise en place d’une politique d’évaluation claire au niveau de l’Organisation, avec définition des rôles et responsabilités et du siège institutionnel; b) impartialité et indépendance de l’évaluation par rapport aux processus d’élaboration des politiques et de prestation et gestion de l’aide au développement; c) transparence du processus d’évaluation, y compris la diffusion à grande échelle des résultats de l’évaluation ; d) application et utilisation des résultats de l’évaluation grâce à un retour d’information vers les processus décisionnels et opérationnels; e) partenariat et participation des parties prenantes à l’utilisation des résultats de l’évaluation; et f) intégration de l’évaluation dans le processus de planification.
6. Par rapport à ces principes la pratique actuelle de l’Organisation peut être résumée comme suit:
7. On peut donc conclure que les pratiques d’évaluation de la FAO concordent généralement avec les grands principes en la matière.
8. Toutefois, il est intéressant de noter ici que les deux principaux éléments, à savoir, l’indépendance, notamment du point de vue des mécanismes organisationnels, et l’influence de l’évaluation sur les décisions, par le biais de l’expérience notamment, entrent parfois en conflit, tout en se contrebalançant. Ainsi, certains types de mécanismes organisationnels tendent à renforcer un aspect aux dépens de l’autre. On reconnaît donc généralement qu’il n’existe pas de solution unique et universelle – mais plutôt “qu’il faut rechercher une solution optimale pour équilibrer l’ensemble de ces impératifs ”.5 À cet égard, les deux points principaux sont soulignés indépendamment des arrangements spécifiques utilisés: “tous les efforts devraient être accomplis pour éviter de compromettre le processus d’évaluation”, et “les arrangements et procédures organisationnels devraient faciliter la liaison entre les résultats de l’évaluation et la programmation et l’élaboration des politiques”.
9. La recommandation du Commissaire aux comptes semble être fondée sur ses conclusions selon lesquelles:
10. Chacune des trois conclusions est examinée ci-dessous.
i) Chevauchement entre AUD et Service PBEE dans la fonction d’évaluation:
11. Si cette conclusion semble constituer un motif central de la recommandation, elle se fonde sur une appréciation plutôt superficielle et stricte de l’audit et de l’évaluation, sur les plans aussi bien théoriques qu’opérationnels. Le Rapport du Commissaire aux comptes fonde son argumentation, dans le paragraphe 17, sur le terme “évaluation”qui figure parmi les fonctions définies à l’Article 1 de la Charte du Bureau de l’Inspecteur général. Il cite parmi les fonctions de ce Bureau “ la surveillance et l’évaluation de l’adéquation et de l’efficacité du système de contrôles internes, de gestion financière et d’utilisation des actifs de l’Organisation”. Ainsi, “l’évaluation” dans ce contexte a une acception plutôt étroite qui met l’accent sur la gestion et l’utilisation des ressources, point reconnu par le Commissaire aux comptes, qui affirme que “la responsabilité de l’évaluation confiée au Bureau de l’Inspecteur général est plutôt limitée dans sa portée, tandis que celle du Service PBEE est davantage axée sur l’évaluation des résultats du Programme ordinaire et des programmes de terrain.” Ceci dénote des différences fondamentales entre les travaux du Bureau de l’Inspecteur général et ceux du Service PBEE.
12. Si l’évaluation fait partie des mécanismes de supervision, elle comporte certaines fonctions très distinctes des autres instruments de supervision, notamment celles axées sur le contrôle interne et la gestion financière. Comme il est indiqué plus haut (par. 4), la définition généralement admise de l’évaluation fait ressortir une distinction nette entre les fonctions d’évaluation et d’audit, la fonction principale et unique de l’évaluation étant l’apprentissage et l’amélioration. Les différences s’étendent également aux critères d’évaluation et aux méthodologies correspondantes. La distinction s’étend aux obligations redditionnelles: si tous deux rendent compte au Directeur général, les questions d’audit sont traitées par le Comité financier, celles relatives à l’évaluation par le Comité du Programme. Autrement dit, il n’existe pas de véritable chevauchement entre les fonctions du Bureau de l’Inspecteur général et celles du Service PBEE, qui en réalité sont complémentaires.
ii) Liaison entre AUD et PBEE:
13. Les mécanismes institutionnels actuels mettent en évidence ces différences fondamentales entre les fonctions de contrôle des deux unités. Néanmoins, une certaine liaison entre les deux unités est indispensable, afin de limiter au minimum les effets négatifs potentiels d’une mauvaise coordination et d’assurer les synergies découlant de la complémentarité des deux fonctions lorsqu’elles traitent les mêmes questions ou des questions analogues.
14. Les deux unités le reconnaissent dans leurs déclarations fonctionnelles: “Assure la liaison avec l’Inspecteur général [ou avec le Chef du Service d’évaluation, PBE selon le cas], afin d’éviter tout chevauchement éventuel et de garantir la complémentarité des programmes de travail, en particulier ceux portant sur l’évaluation de l’efficacité des programmes de fond de la FAO menés sur le terrain et au siège.”
15. En conséquence, les deux unités se consultent fréquemment sur leurs plans de travail respectifs, s’inspirent souvent des travaux de l’autre sur des sujets du même ordre et disposent des mêmes possibilités de formation du personnel. Toutefois, il est toujours possible d’améliorer la coopération entre les deux unités, notamment le partage périodique des leçons apprises et des problèmes à régler dans des domaines d’intérêt commun. Le principal obstacle est le temps disponible, plutôt que la localisation des deux unités au sein de l’Organisation.
iii) Orientation vers une structure unifiée pour les unités de contrôle:
16. Comme indiqué dans le rapport du Commissaire aux comptes, plusieurs organismes des Nations Unies (UNESCO, AIEA, PNUE, FNUAP, ICAO, OMI et OMPI par exemple) ont adopté une structure institutionnelle unifiée pour leurs tâches de contrôle interne, sur le modèle de l’UN/OIOS. Le PAM disposait de cette structure au moment du rapport du Commissaire aux comptes, mais l’unité d’évaluation a récemment été séparée du bureau s’occupant de l’audit interne et de l’inspection. Parallèlement, toutefois, de nombreuses autres organisations des Nations Unies ont choisi des mécanismes différents: dans certaines, le service d’évaluation est un bureau autonome qui rend généralement compte au chef du Secrétariat de l’organisme (FIDA6, PNUD, UNICEF, UNCHS/Habitat et ONUSIDA); dans d’autres, comme la FAO, l’unité d’évaluation fait partie d’un plus grand service, qui remplit souvent des tâches de planification et de programmation (OIT, OMS, HCR, CNUCED, OCHA, UIT et UNV); dans d’autres organismes encore, l’évaluation est insérée dans des services s’occupant des activités de coopération technique (par exemple, ONUDI, PNUCID et OMC). La Banque mondiale et le FMI, ainsi que la plupart des banques de développement régionales, conservent des bureaux d’évaluation distincts rendant compte directement à leurs organes directeurs respectifs. De même, le schéma le plus courant parmi les organismes d’aide bilatérale comme US/AID et UK/DFID est de disposer d’un service d’évaluation distinct. Il n’existe donc pas de tendance claire à la création d’une structure unifiée réunissant l’évaluation et les autres fonctions de supervision.
17. Si les raisons exposées dans le rapport du Commissaire aux comptes ne sont pas particulièrement convaincantes, on peut aussi s’interroger sur les effets de la recommandation à l’échelle de l’Organisation, auquel cas la fusion des deux unités semblerait présenter les avantages suivants:
18. En ce qui concerne le premier point, la cohérence est une propriété indéfinissable, dont l’intérêt est difficile à quantifier dans ce cas particulier. L’argument le plus convaincant pourrait être le deuxième point. Toutefois, la synergie dépendrait, en dernière analyse, des buts et des questions sur lesquels devraient se concentrer le Bureau de l’Inspecteur général et le Service PBEE, ainsi que de la manière dont leurs fonctions seraient organisées et exécutées. Ne pourrait-on, toutefois, atteindre le même but en renforçant davantage la liaison AUD-PBEE? Sur le troisième point, on remarque que là où l’évaluation est intégrée dans un bureau général de supervision interne, elle conserve généralement son identité distincte, principalement à cause de la différence entre les fonctions, les qualifications et l’expertise du personnel chargé de ces tâches. Ainsi, en partant du principe que leurs niveaux de performance doivent être maintenus, les possibilités d’économie sont limitées.
19. Par ailleurs, des inconvénients et des difficultés apparaissent clairement:
20. En conclusion, la direction ne voit aucune valeur ajoutée dans la fusion conseillée du Bureau de l’Inspecteur général et du Service PBEE. Celle-ci comporterait, en revanche, certains risques qui pourraient compromettre les progrès accomplis jusqu’à présent dans le système de contrôle de l’Organisation. La direction estime qu’il existe des moyens plus commodes d’améliorer la coordination entre les deux fonctions.
21. La direction estime que pour renforcer la fonction de l’évaluation au sein de l’Organisation il faut accorder une importance primordiale à son indépendance, comme souligné dans le Bulletin du Directeur général 2001/33. De par sa nature, l’évaluation implique l’émission de jugements de valeur sur la base d’un examen attentif et impartial des informations disponibles et des avis des diverses parties prenantes. Dans ce contexte, indépendance et objectivité s’imposent pour rendre l’évaluation légitime et crédible, en particulier aux yeux des personnes faisant l’objet de l’évaluation, et atténuer les conflits d’intérêt et les éventuels partis pris. En ce sens, l’indépendance contribue également à renforcer l’efficacité de l’évaluation en conférant à la fonction une certaine crédibilité et en encourageant les personnes concernées à réagir positivement et à prendre des initiatives pour faire mieux la prochaine fois.
22. La question de l’indépendance de l'évaluation est traitée de manière systématique dans un rapport du CAD7, qui appelle l’attention, en dehors de la déclaration de principes de l’organisation, sur les considérations suivantes: a) structure organisationnelle pour séparer l’évaluation des fonctions techniques, l’unité d’évaluation rendant compte directement à la direction de l’Organisation ou, de préférence, au chef de Secrétariat ou à un organe directeur; b) accès aux ressources nécessaires pour le travail d’évaluation et droit de regard sur ces ressources (budget et personnel); c) autorité sur la planification et la conduite de l’évaluation (sélection des questions soumises à évaluation et des mandats) ainsi que sur le processus (examen et révision des rapports d’évaluation); et d) lien entre les conclusions de l’évaluation et la prise de décisions concernant les programmes et politiques. Telles sont les considérations qui ont guidé l’examen ci-après de l’indépendance de l’évaluation au sein de Organisation.
23. Structure organisationnelle et mécanismes de transmission des rapports. L’enjeu central consiste à séparer la fonction d’évaluation de la structure hiérarchique afin d’atténuer les conflits d’intérêt potentiels et d’autres distorsions, ce qui implique pour la FAO que le Service PBEE rende compte directement au Directeur général ou au Conseil (par l’entremise du Comité du Programme). Le Service PBEE se trouve au Bureau du programme, du budget et de l’évaluation (PBE) qui relève de la Direction générale. Le chef du Service PBEE rend compte au Directeur général (ODG) par l’intermédiaire du Directeur du PBE et, par le biais du Directeur général, au Conseil et à la Conférence via le Comité du Programme, qui est l’interlocuteur principal du Conseil pour les questions d’évaluation. Comme noté au paragraphe 14 ci-dessus, la localisation interne du Service PBEE est chose courante parmi les organismes des Nations Unies, où les unités centrales d’évaluation sont internes.
24. À cet égard, on peut faire les observations suivantes:
25. Accès aux ressources et contrôle des ressources. Il s’agit là d’un facteur primordial pour favoriser l’indépendance de la planification et du travail d’évaluation. Compte tenu de la tendance à multiplier les évaluations de programme et les évaluations thématiques et de la nécessité de recourir davantage à des experts externes, le coût des exercices d’évaluation ne cesse d’augmenter: les principales évaluations effectuées au cours des dernières années ont requis de gros budgets (200 000 – 500 000 dollars EU chacune). Or, le budget ordinaire du Service PBEE n’a pas évolué en conséquence, vu notamment le coût des consultations externes qui s’ajoute à celui du travail d’évaluation proprement dit, sans compter le processus d’examen externe par les pairs. Des ressources additionnelles doivent donc être mobilisées au cas par cas et, si les besoins ont été satisfaits jusqu’à présent, ceci ne favorise guère une planification ordonnée des évaluations, y compris celles sollicitées par les organes directeurs. Autrement dit, la question des ressources demeure un point faible, au détriment de l’indépendance, mais aussi de la qualité et de la transparence du travail d’évaluation. Rien ne fait obstacle, en revanche, à l’autorité du Service PBEE en matière de recrutement de personnel et de consultants.
26. Autorité sur la planification et la conduite de l’évaluation, y compris le processus d’évaluation. Le critère CAD implique que le Service PBEE devrait avoir le pouvoir et la liberté de choisir les questions à évaluer et de décider des moyens à utiliser. Le programme de travail du Service PBEE en matière d’évaluation est subordonné à l’approbation du Directeur général et ses rapports sont régis par les procédures normales d’autorisation. Toutefois, quelques éclaircissements s’imposent:
27. Lier les conclusions de l’évaluation aux décisions concernant les programmes et les politiques. Ce critère implique que le Service PBEE devrait jouir d’une autorité et d’un statut tels qu’il puisse exprimer son propre jugement et avoir accès au processus décisionnel afin d’infléchir les mesures de suivi prises au vu des résultats de l’évaluation. Il s’agit là d’un véritable défi pour chaque évaluation, qui va bien au-delà de la simple indépendance. Toutefois, on peut dire que le travail du Service PBEE est généralement respecté et accepté dans l’Organisation, même lorsque ses rapports critiquent tel ou tel aspect. À cet égard, le Comité du Programme s’est félicité d’une tendance à des critiques plus franches dans les récents rapports d’évaluation. Si ces rapports font autorité, c’est grâce à la transparence et à la qualité de l’évaluation, notamment à la rigueur et à l’objectivité de l’analyse, ainsi qu’à l’équilibre et à la pertinence des conclusions et des recommandations. En ce qui concerne l’influence du Service PBEE sur les décisions prises en matière de suivi, elle s’exerce, au niveau du Secrétariat, par le biais de la réponse de la direction. Enfin, l’examen par le Comité du Programme des rapports d’évaluation et de la réponse de la direction va dans le même sens. En fait, le Service PBEE intervient souvent dans la planification détaillée des mesures de suivi par les directeurs de programme.
28. Selon l’analyse qui précède, le processus d’évaluation à la FAO, en dépit de l’emplacement interne du Service PBEE, peut être considéré comme foncièrement indépendant du point de vue des critères principaux, même si la question des ressources subsiste. Le Conseil, par exemple, a reconnu “les améliorations notables apportées par l’Organisation au système d’évaluation, non seulement en ce qui concernait le volume et la qualité des rapports, mais aussi pour donner une suite plus constructive à des recommandations…”8. Ainsi, il semble que l’indépendance vis-à-vis de l’Organisation per se pourrait ne pas être forcément le facteur le plus décisif dans la mise au point d’un système d’évaluation bien conçu et fonctionnel.
29. En fait, l’expérience de la FAO indique qu’un système d’évaluation fonctionnel dépend pour beaucoup de facteurs autres que l’indépendance de l’Organisation. Parmi ces facteurs, citons: i) la présence de mécanismes institutionnels visant à assurer la transparence, ii) la crédibilité et la qualité des travaux d’évaluation liées à une analyse objective et à un jugement équilibré, iii) la qualité de l’équipe d’évaluation, qui impose respect et confiance, et iv) l’attitude générale de la direction, ouverte aux suggestions. À cet égard, il est important de reconnaître les avantages offerts par la situation du Service PBEE à l’intérieur de l’Organisation. Comme indiqué plus haut, elle facilite l’interface avec la planification et la gestion du programme au niveau de toute l’Organisation. De même, en tant qu’unité interne, l’équipe du Service PBEE connaît bien les travaux de l’Organisation et son personnel, non seulement grâce à l’évaluation, mais grâce à sa collaboration avec d’autres fonctionnaires sur des problèmes communs. Ceci aide à instaurer un climat de confiance et d’acceptation du personnel du Service PBEE et de son travail, qui favorise un processus consultatif avec divers partenaires, tout en laissant au Service PBEE la liberté de ses conclusions et recommandations. L’ensemble de ces facteurs permet à l’évaluation de jouer un rôle positif, peut-être plus encore qu’une situation où les résultats de l’évaluation seraient perçus comme imposés faute d’une confiance suffisante entre les évaluateurs et les directeurs de programme.
30. Néanmoins, compte tenu des préoccupations exprimées par les organes directeurs, diverses possibilités sont examinées ici pour renforcer l’indépendance du Service PBEE vis-à-vis de l’Organisation, en le transférant ailleurs. En particulier, deux scénarios possibles sont examinés, avec une brève évaluation des avantages et des inconvénients probables:
31. L’analyse qui précède indique que les mesures visant à rendre le Service PBEE plus indépendant de l’Organisation pourraient se révéler très coûteuses et nuire à l’efficacité de l’évaluation. Hormis les coûts liés aux changements organisationnels, cette solution empêcherait très probablement l’évaluation de déboucher sur des changements et des améliorations grâce aux leçons tirées par l’Organisation. En fait, les praticiens sont loin de prôner l’indépendance à tout prix: il importe, selon eux, de trouver un compromis entre l’indépendance et la nécessité de tirer des leçons de l’évaluation. En 1998, le CAD, à propos de l’utilisation de ses Principes, a souligné: “Le principe de l’indépendance peut aller trop loin. Comme l’ont fait remarquer les utilisateurs des évaluations, trop d’indépendance, en pratique, peut aller à l’encontre du but recherché, avec pour résultat que les recommandations et les leçons des évaluations ne sont pas prises au sérieux. …Pondérer l’impartialité et l’indépendance avec l’importance de promouvoir la prise en charge est un art qui ne peut être prescrit… “.9
32. À propos de l’indépendance, nos conclusions sont les suivantes:
33. Le système d’évaluation actuel, dans son ensemble, est conforme aux principes et pratiques observés par les institutions des Nations Unies et les organisations internationales. Le système d’évaluation de la FAO a évolué vers une plus grande indépendance, et des améliorations globales y ont été apportées, notamment en ce qui concerne le retour d’information, comme l’ont reconnu les organes directeurs. Dans ce processus, la collaboration des organes directeurs, en particulier celle du Comité du Programme, a constitué un facteur important.
34. Les recommandations ci-après sont soumises à l’examen du Comité:
______________________
1 Rapport présenté au Directeur général sous lettre explicative du 12 juillet 2002.
2 Si les principes du CAD s’appliquent plus particulièrement à l’évaluation dans le cadre de l’aide au développement, ils sont considérés comme pertinents pour l’évaluation en général et représentent la déclaration de principes la plus complète sur l’utilisation de l’évaluation aux fins de la gestion des activités de développement.
3 Par. 5, Principes pour l’évaluation de l’aide au développement, Comité d’aide au développement (CAD), OCDE 1991.
4 Par. 8, Ibid.
5 Par. 466, Ibid.
6 Au moment de la rédaction de ce document, il semble que le FIDA soit sur le point d’adopter un système de soumission de rapports au Conseil exécutif, indépendamment de la direction.
7 Rapport du Comité d’aide au développement “Review of the DAC Principles for Evaluation of Development Assistance”, OCDE, 1998.
8 Rapport du Conseil de la FAO, cent vingt-troisième session, 2002 (CL 123/REP), paragraphe 76.
9 Rapport CAD sur l’examen de 1998, Ibid.