JM 03.1/3

Table des matières

Généralités

Introduction:
Principes généraux en matière d’évaluation et leur application à la FAO

Proposition de fusion des fonctions d’évaluation et de contrôle interne

Justification de la recommandation
Avantages et inconvénients d’une fusion entre AUD et PBEE

Renforcer l’indépendance de l’évaluation à la FAO

État actuel des mécanismes d’évaluation – Aspects concernant l’indépendance
Autres options concernant l’emplacement du Service PBEE – Analyse préliminaire

Recommandations

Généralités

1. Le Comité financier a examiné à sa centième session (septembre 2002) le rapport du Commissaire aux comptes sur l’Examen des contrôles internes de l’Organisation, dans lequel il recommande que “l’Organisation étudie la possibilité de réunir le Bureau de l’Inspecteur général (AUD) et le Service de l’évaluation (PBEE) en un bureau ou une division unique chargé du contrôle”¹. À cet égard, le Secrétariat s’est engagé à soumettre un document avançant des propositions détaillées pour examen par la Réunion conjointe du Comité financier et du Comité du Programme en mai 2003. Le Comité financier a souligné que la réponse du Secrétariat devrait tenir pleinement compte des préoccupations du Comité concernant l’indépendance de la fonction d’évaluation.

2. Le présent document donne suite à l’initiative du Secrétariat dont il est question ci-dessus, offrant une réponse détaillée à la recommandation du Commissaire aux comptes, ainsi qu’à la question plus ample de l’indépendance de la fonction d’évaluation. Cette préoccupation avait déjà été soulignée par la Conférence à sa trente et unième session (novembre 2001), qui à l’occasion de l’examen du Rapport d’évaluation du Programme 2001, avait affirmé qu’“il serait indiqué d’envisager la création d’un service d’évaluation indépendant.”(par. 82 du Rapport). Compte tenu de ces diverses suggestions, un examen de l’indépendance et des mécanismes institutionnels des fonctions d’évaluation au sein de l’Organisation s’impose.

Introduction:
Principes généraux en matière d’évaluation et leur application à la FAO

3. Au cours des trois dernières décennies, les organismes des Nations Unies et les organisations internationales de développement ont intégré les fonctions d’évaluation et un vaste consensus se dégage désormais sur les principes et pratiques à appliquer dans ce domaine. Pour l’examen des aspects clés des fonctions d’évaluation de l’Organisation, les principes énoncés par le Comité d’aide au développement (CAD) de l’OCDE servent de référence légitime, car ils constituent le cadre le plus complet et autorisé² des meilleures pratiques observées parmi les organisations internationales, notamment en ce qui concerne l’indépendance de l’évaluation.

4. L’évaluation y est définie comme “une estimation, aussi systématique et objective que possible, d’un projet, d’un programme ou d’une politique en cours d’exécution ou achevés, de leur conception, de leur mise en œuvre et de leurs résultats. Le but est de déterminer la pertinence et l’accomplissement des objectifs, la productivité en termes de développement, l’efficacité, l’impact et la viabilité. Une évaluation devrait fournir des informations crédibles et utiles, permettant d’incorporer les leçons apprises dans le processus décisionnel des bénéficiaires comme des bailleurs de fonds”.³ L’évaluation a pour buts principaux de: a) “améliorer les politiques, programmes et projets d’aide futurs grâce aux enseignements tirés” et b) “ servir de base pour l’obligation redditionnelle, y compris la transmission d’informations au public”. En particulier, il note que “la notion de mise en jeu de la responsabilité dans l’évaluation dont il est question ici se réfère aux résultats de développement et à l’impact de l’aide au développement, qui diffère de la responsabilité pour l’utilisation des fonds publics au sens comptable et juridique, généralement confiée à une institution de vérification extérieure des comptes”.⁴

5. Les principes d’évaluation du CAD sont les suivants: a) mise en place d’une politique d’évaluation claire au niveau de l’Organisation, avec définition des rôles et responsabilités et du siège institutionnel; b) impartialité et indépendance de l’évaluation par rapport aux processus d’élaboration des politiques et de prestation et gestion de l’aide au développement; c) transparence du processus d’évaluation, y compris la diffusion à grande échelle des résultats de l’évaluation ; d) application et utilisation des résultats de l’évaluation grâce à un retour d’information vers les processus décisionnels et opérationnels; e) partenariat et participation des parties prenantes à l’utilisation des résultats de l’évaluation; et f) intégration de l’évaluation dans le processus de planification.

6. Par rapport à ces principes la pratique actuelle de l’Organisation peut être résumée comme suit:

1. Politique de l’Organisation en matière d’évaluation – celle-ci est consignée dans le Bulletin du Directeur général (BDG) 2001/33 (Renforcement du système d’évaluation de la FAO – copie jointe en annexe), qui reprend un bulletin similaire publié en 1984 et fait état des résultats de l’examen par le Comité du Programme, en 1999, du document du Secrétariat intitulé Évaluation dans le contexte du Cadre stratégique et du Nouveau modèle de programmation (PC 82/4). Le Bulletin définit les fonctions clés de l’évaluation dans le cadre des efforts faits par l’Organisation pour définir des stratégies et adopter une gestion axée sur les résultats. Il énonce les objectifs et les fonctions principales de l’évaluation à la FAO, le Service de l’évaluation (PBEE) étant l’unité centrale d’évaluation, ainsi que le processus institutionnel, y compris les rapports adressés au Directeur général et aux organes directeurs par le biais du Comité du Programme. Il souligne, entre autres, l’indépendance et l’objectivité de l’évaluation ainsi que son intégration dans le processus de planification et de gestion du programme qui a pour but de tirer le meilleur parti possible des conclusions de l’évaluation. On notera que le système d’évaluation associe l’autoestimation et l’autoévaluation au niveau de la gestion du programme et des évaluations indépendantes effectuées par le Service PBEE;
2. Impartialité et indépendance – les évaluations sont effectuées, dans le cadre d’un mandat spécifique, par des équipes indépendantes qui ne participent pas directement à la gestion et à l’exécution des programmes et des projets. En particulier, le Service PBEE est chargé d’effectuer des évaluations indépendantes, notamment des évaluations de programme et des évaluations thématiques, qu’il exécute ou dont il supervise l’exécution – il veille également à l’indépendance et à l’objectivité des évaluations confiées à des équipes de consultants dans le cas des projets de terrain et d’autres projets financés par des sources extrabudgétaires. Les évaluations de programme et les évaluations thématiques sont caractérisées par des mesures propres à assurer leur indépendance et leur transparence, parfois avec le concours d’une expertise externe, mais plus souvent grâce à un examen indépendant des rapports d’évaluation par des équipes externes de contrôle par les pairs. L’indépendance de l’équipe d’évaluation est encore renforcée par la présentation de ses conclusions et recommandations séparément de la réponse de la direction. Dans le cas des autoévaluations, supervisées par le Service cette année, on fera appel à des experts externes, qui seront intégrés dans les équipes d’évaluation, ou procéderont à des examens par les pairs, pour garantir leur indépendance et leur objectivité. Des méthodologies et des procédures claires garantissant objectivité et rigueur analytique, y compris des mandats pour les évaluations individuelles, viennent renforcer l’indépendance du processus;
3. Transparence du processus, y compris la diffusion des résultats – nombre des mesures citées plus haut contribuent directement à améliorer la transparence, qui va de pair avec l’indépendance. En outre, les parties prenantes participent aux phases clés de l’évaluation, de la planification – qui inclut l’établissement des mandats, à l’examen du projet de rapport d’évaluation et aux observations à son sujet. Tous les rapports d’évaluation de programme et d’évaluation thématique ainsi que les Rapports d’évaluation du Programme biennal sont affichés sur le site web de l’évaluation (http://www.fao.org/pbe/index_fr.htm) accessible au public. De même, pour les évaluations des projets de terrain, le site publie des résumés des rapports d’évaluation individuels;
4. Utilisation des résultats de l’évaluation – ce principe est intégré dans le processus. Pour les évaluations de programme et les évaluations thématiques, le processus consultatif facilite le dialogue entre les responsables de programme, le personnel et les équipes d’évaluation, culminant dans la réponse de la direction aux résultats de l’évaluation. En outre, l’examen de ces évaluations par le Comité du Programme, qui sollicite régulièrement des rapports intérimaires sur les mesures prises par le Secrétariat pour donner suite aux recommandations, renforce le processus de retour d’information. Pour les évaluations des projets de terrain, les rapports individuels sont analysés et suivis par les gouvernements bénéficiaires, les bailleurs de fonds et la FAO par le biais des processus de gestion des projets, souvent au niveau des pays. Par ailleurs, les questions clés et les enseignements à tirer des évaluations sont diffusés par le biais de synthèses périodiques établies par le Service PBEE. Par exemple, le Comité du Programme suit les mesures correctives prises par le Secrétariat pour améliorer la qualité de la conception des projets, thème mis en relief dans la synthèse des évaluations de projets examinée par le Comité en mai 2000;
5. Partenariat et participation des principaux partenaires – cette question est déjà traitée dans le paragraphe précédent. Ce type de partenariat s’étend également à la suite donnée à l’évaluation, étape où les responsables de programme et le personnel examinent les problèmes mis en lumière par les évaluations, souvent avec la participation du personnel du Service PBEE. On peut citer quelques exemples récents: i) examen par le groupe de travail interdivisions informel sur la participation de problèmes identifiés par l’évaluation thématique des méthodes participatives; ii) application des recommandations découlant de l’évaluation du programme Services d’appui à l’agriculture à la restructuration de la division AGS; et iii) suite donnée par l’équipe interdépartementale spéciale pour la formation aux recommandations découlant de l’examen thématique des activités de formation; et
6. Intégration au processus de planification – comme l’indiquent les paragraphes précédents, l’évaluation est liée aux processus de planification et de gestion. En particulier, les évaluations de programme et les évaluations thématiques sont de plus en plus conduites dans le contexte du Cadre stratégique et du Plan à moyen terme (PMT) et leurs résultats sont intégrés dans le processus de planification du Programme de travail de l’Organisation (PMT et PTB). Le fait que le Service relève du Bureau du programme, du budget et de l’évaluation (PBE) facilite cette synergie planification-évaluation au sein de l’Organisation. En fait, ces modèles de planification élaborés pour le PMT, en particulier le Nouveau modèle de programmation axé sur les résultats, s’inspirent des leçons tirées des évaluations.

7. On peut donc conclure que les pratiques d’évaluation de la FAO concordent généralement avec les grands principes en la matière.

8. Toutefois, il est intéressant de noter ici que les deux principaux éléments, à savoir, l’indépendance, notamment du point de vue des mécanismes organisationnels, et l’influence de l’évaluation sur les décisions, par le biais de l’expérience notamment, entrent parfois en conflit, tout en se contrebalançant. Ainsi, certains types de mécanismes organisationnels tendent à renforcer un aspect aux dépens de l’autre. On reconnaît donc généralement qu’il n’existe pas de solution unique et universelle – mais plutôt “qu’il faut rechercher une solution optimale pour équilibrer l’ensemble de ces impératifs ”.⁵ À cet égard, les deux points principaux sont soulignés indépendamment des arrangements spécifiques utilisés: “tous les efforts devraient être accomplis pour éviter de compromettre le processus d’évaluation”, et “les arrangements et procédures organisationnels devraient faciliter la liaison entre les résultats de l’évaluation et la programmation et l’élaboration des politiques”.

Proposition de fusion des fonctions d’évaluation et de contrôle interne

Justification de la recommandation

9. La recommandation du Commissaire aux comptes semble être fondée sur ses conclusions selon lesquelles:

1. “il y a un chevauchement entre le Bureau de l’Inspecteur général (AUD) et le Service de l’évaluation (PBEE) pour l’une des fonctions de contrôle”, à savoir « l’évaluation » (par. 17 du Rapport);
2. la liaison nécessaire entre les deux unités n’est pas inscrite dans la structure de l’Organisation, mais elle est assurée uniquement de manière informelle. Elle devrait, de toute façon, être renforcée (par. 18 et 19);
3. la tendance générale au sein du système des Nations Unies est d’avoir un bureau unique chargé de toutes les fonctions principales de supervision (suivi, audit interne, inspection, investigation et évaluation) comme c’est le cas à l’ONU, qui dispose d’un bureau des services de contrôle interne (OIOS) (par. 20 et 21).

10. Chacune des trois conclusions est examinée ci-dessous.

i) Chevauchement entre AUD et Service PBEE dans la fonction d’évaluation:

11. Si cette conclusion semble constituer un motif central de la recommandation, elle se fonde sur une appréciation plutôt superficielle et stricte de l’audit et de l’évaluation, sur les plans aussi bien théoriques qu’opérationnels. Le Rapport du Commissaire aux comptes fonde son argumentation, dans le paragraphe 17, sur le terme “évaluation”qui figure parmi les fonctions définies à l’Article 1 de la Charte du Bureau de l’Inspecteur général. Il cite parmi les fonctions de ce Bureau “ la surveillance et l’évaluation de l’adéquation et de l’efficacité du système de contrôles internes, de gestion financière et d’utilisation des actifs de l’Organisation”. Ainsi, “l’évaluation” dans ce contexte a une acception plutôt étroite qui met l’accent sur la gestion et l’utilisation des ressources, point reconnu par le Commissaire aux comptes, qui affirme que “la responsabilité de l’évaluation confiée au Bureau de l’Inspecteur général est plutôt limitée dans sa portée, tandis que celle du Service PBEE est davantage axée sur l’évaluation des résultats du Programme ordinaire et des programmes de terrain.” Ceci dénote des différences fondamentales entre les travaux du Bureau de l’Inspecteur général et ceux du Service PBEE.

12. Si l’évaluation fait partie des mécanismes de supervision, elle comporte certaines fonctions très distinctes des autres instruments de supervision, notamment celles axées sur le contrôle interne et la gestion financière. Comme il est indiqué plus haut (par. 4), la définition généralement admise de l’évaluation fait ressortir une distinction nette entre les fonctions d’évaluation et d’audit, la fonction principale et unique de l’évaluation étant l’apprentissage et l’amélioration. Les différences s’étendent également aux critères d’évaluation et aux méthodologies correspondantes. La distinction s’étend aux obligations redditionnelles: si tous deux rendent compte au Directeur général, les questions d’audit sont traitées par le Comité financier, celles relatives à l’évaluation par le Comité du Programme. Autrement dit, il n’existe pas de véritable chevauchement entre les fonctions du Bureau de l’Inspecteur général et celles du Service PBEE, qui en réalité sont complémentaires.

ii) Liaison entre AUD et PBEE:

13. Les mécanismes institutionnels actuels mettent en évidence ces différences fondamentales entre les fonctions de contrôle des deux unités. Néanmoins, une certaine liaison entre les deux unités est indispensable, afin de limiter au minimum les effets négatifs potentiels d’une mauvaise coordination et d’assurer les synergies découlant de la complémentarité des deux fonctions lorsqu’elles traitent les mêmes questions ou des questions analogues.

14. Les deux unités le reconnaissent dans leurs déclarations fonctionnelles: “Assure la liaison avec l’Inspecteur général [ou avec le Chef du Service d’évaluation, PBE selon le cas], afin d’éviter tout chevauchement éventuel et de garantir la complémentarité des programmes de travail, en particulier ceux portant sur l’évaluation de l’efficacité des programmes de fond de la FAO menés sur le terrain et au siège.”

15. En conséquence, les deux unités se consultent fréquemment sur leurs plans de travail respectifs, s’inspirent souvent des travaux de l’autre sur des sujets du même ordre et disposent des mêmes possibilités de formation du personnel. Toutefois, il est toujours possible d’améliorer la coopération entre les deux unités, notamment le partage périodique des leçons apprises et des problèmes à régler dans des domaines d’intérêt commun. Le principal obstacle est le temps disponible, plutôt que la localisation des deux unités au sein de l’Organisation.

iii) Orientation vers une structure unifiée pour les unités de contrôle:

16. Comme indiqué dans le rapport du Commissaire aux comptes, plusieurs organismes des Nations Unies (UNESCO, AIEA, PNUE, FNUAP, ICAO, OMI et OMPI par exemple) ont adopté une structure institutionnelle unifiée pour leurs tâches de contrôle interne, sur le modèle de l’UN/OIOS. Le PAM disposait de cette structure au moment du rapport du Commissaire aux comptes, mais l’unité d’évaluation a récemment été séparée du bureau s’occupant de l’audit interne et de l’inspection. Parallèlement, toutefois, de nombreuses autres organisations des Nations Unies ont choisi des mécanismes différents: dans certaines, le service d’évaluation est un bureau autonome qui rend généralement compte au chef du Secrétariat de l’organisme (FIDA⁶, PNUD, UNICEF, UNCHS/Habitat et ONUSIDA); dans d’autres, comme la FAO, l’unité d’évaluation fait partie d’un plus grand service, qui remplit souvent des tâches de planification et de programmation (OIT, OMS, HCR, CNUCED, OCHA, UIT et UNV); dans d’autres organismes encore, l’évaluation est insérée dans des services s’occupant des activités de coopération technique (par exemple, ONUDI, PNUCID et OMC). La Banque mondiale et le FMI, ainsi que la plupart des banques de développement régionales, conservent des bureaux d’évaluation distincts rendant compte directement à leurs organes directeurs respectifs. De même, le schéma le plus courant parmi les organismes d’aide bilatérale comme US/AID et UK/DFID est de disposer d’un service d’évaluation distinct. Il n’existe donc pas de tendance claire à la création d’une structure unifiée réunissant l’évaluation et les autres fonctions de supervision.

Avantages et inconvénients d’une fusion entre AUD et PBEE

17. Si les raisons exposées dans le rapport du Commissaire aux comptes ne sont pas particulièrement convaincantes, on peut aussi s’interroger sur les effets de la recommandation à l’échelle de l’Organisation, auquel cas la fusion des deux unités semblerait présenter les avantages suivants:

1. une structure apparemment cohérente pour les fonctions de contrôle interne;
2. une plus grande synergie entre les fonctions d’évaluation et celles du Bureau de l’Inspecteur général; et
3. une éventuelle contribution à la réduction des ressources totales allouées aux deux unités.

18. En ce qui concerne le premier point, la cohérence est une propriété indéfinissable, dont l’intérêt est difficile à quantifier dans ce cas particulier. L’argument le plus convaincant pourrait être le deuxième point. Toutefois, la synergie dépendrait, en dernière analyse, des buts et des questions sur lesquels devraient se concentrer le Bureau de l’Inspecteur général et le Service PBEE, ainsi que de la manière dont leurs fonctions seraient organisées et exécutées. Ne pourrait-on, toutefois, atteindre le même but en renforçant davantage la liaison AUD-PBEE? Sur le troisième point, on remarque que là où l’évaluation est intégrée dans un bureau général de supervision interne, elle conserve généralement son identité distincte, principalement à cause de la différence entre les fonctions, les qualifications et l’expertise du personnel chargé de ces tâches. Ainsi, en partant du principe que leurs niveaux de performance doivent être maintenus, les possibilités d’économie sont limitées.

19. Par ailleurs, des inconvénients et des difficultés apparaissent clairement:

1. La première difficulté naît du fait que le but et la nature des fonctions des deux unités sont intrinsèquement différents et qu’une fusion risquerait de compromettre l’accomplissement efficace des fonctions les plus importantes de chacune d’entre elles. Le but premier de l’évaluation est de suggérer des améliorations et d’instruire les responsables de programme et le personnel. Il est essentiel que le travail d’évaluation soit considéré par les cadres et le personnel de la FAO comme une fonction constructive, fondée sur une analyse et une évaluation objectives et rigoureuses, ainsi que sur la capacité reconnue de l’évaluateur d’apprécier la substance des programmes et des projets concernés. Ces facteurs sont difficiles à concilier avec le but et les fonctions, tant réels que perçus, de l’audit, de l’inspection et de l’investigation, qui sont plus centrés sur le respect des obligations financières et les aspects opérationnels;
2. Deuxièmement, la fusion proposée supprimerait la possibilité offerte par la structure actuelle d’un retour d’information efficace aux fins de la planification et de la gestion du programme. La synergie entre la planification du programme et l’évaluation permet depuis toujours à l’Organisation de renforcer la planification stratégique et d’améliorer la qualité des programmes et des opérations;
3. Troisièmement, la séparation actuelle des rapports au Conseil (par le biais du Comité du Programme pour les rapports d’évaluation, et du Comité financier pour les rapports de l’Inspecteur général) traduit bien la différence de rôle et de fonctions des deux unités et des Comités susmentionnés. Toutefois, la fusion du Bureau de l’Inspecteur général et du Service PBEE rendrait problématique la soumission par le même bureau de rapports simultanés aux deux Comités.

20. En conclusion, la direction ne voit aucune valeur ajoutée dans la fusion conseillée du Bureau de l’Inspecteur général et du Service PBEE. Celle-ci comporterait, en revanche, certains risques qui pourraient compromettre les progrès accomplis jusqu’à présent dans le système de contrôle de l’Organisation. La direction estime qu’il existe des moyens plus commodes d’améliorer la coordination entre les deux fonctions.

Renforcer l’indépendance de l’évaluation à la FAO

21. La direction estime que pour renforcer la fonction de l’évaluation au sein de l’Organisation il faut accorder une importance primordiale à son indépendance, comme souligné dans le Bulletin du Directeur général 2001/33. De par sa nature, l’évaluation implique l’émission de jugements de valeur sur la base d’un examen attentif et impartial des informations disponibles et des avis des diverses parties prenantes. Dans ce contexte, indépendance et objectivité s’imposent pour rendre l’évaluation légitime et crédible, en particulier aux yeux des personnes faisant l’objet de l’évaluation, et atténuer les conflits d’intérêt et les éventuels partis pris. En ce sens, l’indépendance contribue également à renforcer l’efficacité de l’évaluation en conférant à la fonction une certaine crédibilité et en encourageant les personnes concernées à réagir positivement et à prendre des initiatives pour faire mieux la prochaine fois.

22. La question de l’indépendance de l'évaluation est traitée de manière systématique dans un rapport du CAD⁷, qui appelle l’attention, en dehors de la déclaration de principes de l’organisation, sur les considérations suivantes: a) structure organisationnelle pour séparer l’évaluation des fonctions techniques, l’unité d’évaluation rendant compte directement à la direction de l’Organisation ou, de préférence, au chef de Secrétariat ou à un organe directeur; b) accès aux ressources nécessaires pour le travail d’évaluation et droit de regard sur ces ressources (budget et personnel); c) autorité sur la planification et la conduite de l’évaluation (sélection des questions soumises à évaluation et des mandats) ainsi que sur le processus (examen et révision des rapports d’évaluation); et d) lien entre les conclusions de l’évaluation et la prise de décisions concernant les programmes et politiques. Telles sont les considérations qui ont guidé l’examen ci-après de l’indépendance de l’évaluation au sein de Organisation.

État actuel des mécanismes d’évaluation – Aspects concernant l’indépendance

23. Structure organisationnelle et mécanismes de transmission des rapports. L’enjeu central consiste à séparer la fonction d’évaluation de la structure hiérarchique afin d’atténuer les conflits d’intérêt potentiels et d’autres distorsions, ce qui implique pour la FAO que le Service PBEE rende compte directement au Directeur général ou au Conseil (par l’entremise du Comité du Programme). Le Service PBEE se trouve au Bureau du programme, du budget et de l’évaluation (PBE) qui relève de la Direction générale. Le chef du Service PBEE rend compte au Directeur général (ODG) par l’intermédiaire du Directeur du PBE et, par le biais du Directeur général, au Conseil et à la Conférence via le Comité du Programme, qui est l’interlocuteur principal du Conseil pour les questions d’évaluation. Comme noté au paragraphe 14 ci-dessus, la localisation interne du Service PBEE est chose courante parmi les organismes des Nations Unies, où les unités centrales d’évaluation sont internes.

24. À cet égard, on peut faire les observations suivantes:

1. Si le Service PBEE est soumis aux mêmes règles que les autres éléments de la structure hiérarchique du Secrétariat, il jouit d’une grande autonomie dans l’accomplissement de sa fonction d’évaluation, y compris pour la notification de ses conclusions et recommandations (voir c) ci-dessous). La transmission de rapports par l’entremise du Directeur du PBE correspond à la voie hiérarchique normale en matière d’administration et de gestion. Cependant, pour ce qui est des travaux d’évaluation proprement dits, le rôle principal de cette filière est d’assurer une liaison adéquate entre les travaux d’évaluation et la planification et la gestion du programme au niveau de l’Organisation, d’une part, et de faciliter la communication avec la direction, d’autre part. En particulier, si le Directeur du PBE examine les projets de rapports d’évaluation, ce n’est pas pour contrôler l’avis et le jugement des équipes d’évaluation – en fait, ses opinions sont exprimées dans le cadre de la réponse de la Direction aux rapports d’évaluation. De façon plus générale, de nouvelles mesures introduites ces dernières années, comme l’examen externe par les pairs et la réponse séparée de la direction, ont servi à établir une distinction plus claire entre la fonction d’évaluation et la hiérarchie au sein du Secrétariat;
2. Comme mentionné plus haut, le Service PBEE interagit déjà avec le Comité du Programme sur les questions d’évaluation par le biais de la direction, notamment pour la préparation de plans d’évaluation biennaux, ainsi que pour des évaluations individuelles et l’élaboration de méthodologies. En fait, cette interaction, ainsi que l’intérêt du Comité pour l’évaluation et les mesures prises par le Secrétariat pour donner suite aux recommandations en découlant, contribuent à renforcer le statut du PBEE ainsi que l’indépendance et la transparence du processus d’évaluation;
3. Ainsi, les dispositions actuelles confèrent-elles au Service PBEE un degré satisfaisant d’indépendance dans la gestion des évaluations. Sa localisation au sein du PBE permet également de lier l’évaluation à la planification, au suivi et à la coordination du programme de l’Organisation, et d’obtenir un retour d’information sur les leçons tirées et sur les améliorations envisagées.

25. Accès aux ressources et contrôle des ressources. Il s’agit là d’un facteur primordial pour favoriser l’indépendance de la planification et du travail d’évaluation. Compte tenu de la tendance à multiplier les évaluations de programme et les évaluations thématiques et de la nécessité de recourir davantage à des experts externes, le coût des exercices d’évaluation ne cesse d’augmenter: les principales évaluations effectuées au cours des dernières années ont requis de gros budgets (200 000 – 500 000 dollars EU chacune). Or, le budget ordinaire du Service PBEE n’a pas évolué en conséquence, vu notamment le coût des consultations externes qui s’ajoute à celui du travail d’évaluation proprement dit, sans compter le processus d’examen externe par les pairs. Des ressources additionnelles doivent donc être mobilisées au cas par cas et, si les besoins ont été satisfaits jusqu’à présent, ceci ne favorise guère une planification ordonnée des évaluations, y compris celles sollicitées par les organes directeurs. Autrement dit, la question des ressources demeure un point faible, au détriment de l’indépendance, mais aussi de la qualité et de la transparence du travail d’évaluation. Rien ne fait obstacle, en revanche, à l’autorité du Service PBEE en matière de recrutement de personnel et de consultants.

26. Autorité sur la planification et la conduite de l’évaluation, y compris le processus d’évaluation. Le critère CAD implique que le Service PBEE devrait avoir le pouvoir et la liberté de choisir les questions à évaluer et de décider des moyens à utiliser. Le programme de travail du Service PBEE en matière d’évaluation est subordonné à l’approbation du Directeur général et ses rapports sont régis par les procédures normales d’autorisation. Toutefois, quelques éclaircissements s’imposent:

1. En réalité, le Service PBEE jouit d’une liberté beaucoup plus grande que cette situation n’implique. Si les plans d’évaluation biennaux continus sont soumis à l’approbation de la direction, c’est le Service PBEE qui lance le processus en consultation avec les directeurs de département, en tenant compte de l’intérêt manifesté par les cadres supérieurs et/ou les organes directeurs. Les plans lancés par le Service PBEE sont normalement approuvés, sans amendements, par le Directeur général, qui consulte le Comité du Programme avant d’arrêter la liste des sujets à inclure dans le plan d’évaluation;
2. De même, le Service PBEE est en mesure de formuler ses méthodes et mandats pour les évaluations individuelles, en consultation avec les directeurs des départements et des divisions concernés. Les projets de rapports d’évaluation sont commentés, souvent sur plusieurs versions, par les directeurs compétents. Si des négociations ont lieu durant le processus, ce n’est jamais au point de compromettre l’intégrité d’une évaluation indépendante et objective. Le Service PBEE conserve le droit de consigner toute observation dans ses rapports. Les responsables et les cadres supérieurs expriment leur opinion dans la réponse de la direction, qui est publiée séparément;
3. Dans la mesure, toutefois, où nombre des phases décrites ci-dessus ont évolué au cours des dernières années, il y a lieu désormais d’institutionnaliser le processus d’évaluation en transformant les pratiques en directives officielles.

27. Lier les conclusions de l’évaluation aux décisions concernant les programmes et les politiques. Ce critère implique que le Service PBEE devrait jouir d’une autorité et d’un statut tels qu’il puisse exprimer son propre jugement et avoir accès au processus décisionnel afin d’infléchir les mesures de suivi prises au vu des résultats de l’évaluation. Il s’agit là d’un véritable défi pour chaque évaluation, qui va bien au-delà de la simple indépendance. Toutefois, on peut dire que le travail du Service PBEE est généralement respecté et accepté dans l’Organisation, même lorsque ses rapports critiquent tel ou tel aspect. À cet égard, le Comité du Programme s’est félicité d’une tendance à des critiques plus franches dans les récents rapports d’évaluation. Si ces rapports font autorité, c’est grâce à la transparence et à la qualité de l’évaluation, notamment à la rigueur et à l’objectivité de l’analyse, ainsi qu’à l’équilibre et à la pertinence des conclusions et des recommandations. En ce qui concerne l’influence du Service PBEE sur les décisions prises en matière de suivi, elle s’exerce, au niveau du Secrétariat, par le biais de la réponse de la direction. Enfin, l’examen par le Comité du Programme des rapports d’évaluation et de la réponse de la direction va dans le même sens. En fait, le Service PBEE intervient souvent dans la planification détaillée des mesures de suivi par les directeurs de programme.

28. Selon l’analyse qui précède, le processus d’évaluation à la FAO, en dépit de l’emplacement interne du Service PBEE, peut être considéré comme foncièrement indépendant du point de vue des critères principaux, même si la question des ressources subsiste. Le Conseil, par exemple, a reconnu “les améliorations notables apportées par l’Organisation au système d’évaluation, non seulement en ce qui concernait le volume et la qualité des rapports, mais aussi pour donner une suite plus constructive à des recommandations…”⁸. Ainsi, il semble que l’indépendance vis-à-vis de l’Organisation per se pourrait ne pas être forcément le facteur le plus décisif dans la mise au point d’un système d’évaluation bien conçu et fonctionnel.

29. En fait, l’expérience de la FAO indique qu’un système d’évaluation fonctionnel dépend pour beaucoup de facteurs autres que l’indépendance de l’Organisation. Parmi ces facteurs, citons: i) la présence de mécanismes institutionnels visant à assurer la transparence, ii) la crédibilité et la qualité des travaux d’évaluation liées à une analyse objective et à un jugement équilibré, iii) la qualité de l’équipe d’évaluation, qui impose respect et confiance, et iv) l’attitude générale de la direction, ouverte aux suggestions. À cet égard, il est important de reconnaître les avantages offerts par la situation du Service PBEE à l’intérieur de l’Organisation. Comme indiqué plus haut, elle facilite l’interface avec la planification et la gestion du programme au niveau de toute l’Organisation. De même, en tant qu’unité interne, l’équipe du Service PBEE connaît bien les travaux de l’Organisation et son personnel, non seulement grâce à l’évaluation, mais grâce à sa collaboration avec d’autres fonctionnaires sur des problèmes communs. Ceci aide à instaurer un climat de confiance et d’acceptation du personnel du Service PBEE et de son travail, qui favorise un processus consultatif avec divers partenaires, tout en laissant au Service PBEE la liberté de ses conclusions et recommandations. L’ensemble de ces facteurs permet à l’évaluation de jouer un rôle positif, peut-être plus encore qu’une situation où les résultats de l’évaluation seraient perçus comme imposés faute d’une confiance suffisante entre les évaluateurs et les directeurs de programme.

Autres options concernant l’emplacement du Service PBEE – Analyse préliminaire

30. Néanmoins, compte tenu des préoccupations exprimées par les organes directeurs, diverses possibilités sont examinées ici pour renforcer l’indépendance du Service PBEE vis-à-vis de l’Organisation, en le transférant ailleurs. En particulier, deux scénarios possibles sont examinés, avec une brève évaluation des avantages et des inconvénients probables:

1. Service PBEE situé au sein du Secrétariat mais rendant compte directement au Directeur général. Ceci éviterait d’avoir à adresser des rapports au Directeur du PBE et se traduirait par une plus grande indépendance organisationnelle. Le profil du Service PBEE et du travail d’évaluation dans l’Organisation s’en trouverait relevé. En même temps, les considérations suivantes s’imposent:
1. le mécanisme actuel de retour d’information émanant de l’évaluation à la planification et à la programmation de l’Organisation serait affaibli et devrait être remplacé par un autre mécanisme. En outre, la contribution de l’expertise et de l’expérience découlant de l’évaluation à l’amélioration du processus de planification et de programmation, comme on l’a observé ces dernières années, serait affaiblie;
2. cet arrangement comporterait certaines dépenses sous diverses formes. Il nécessiterait naturellement un interlocuteur au sein du Bureau du Directeur général capable de superviser et de coordonner le travail d’évaluation;
2. Service PBEE implanté hors du Secrétariat, qui rendrait compte directement à l’organe directeur (Comité du Programme). Cette solution qui est celle adoptée par la Banque mondiale représenterait le cas le plus extrême d’indépendance. Le Service PBEE serait indépendant du Secrétariat et travaillerait directement avec le Comité du Programme sur toutes les questions relatives à la réévaluation. Ceci aurait en outre les conséquences suivantes:
1. cet arrangement séparerait le Service PBEE du Secrétariat et le retour d’information émanant de l’évaluation au processus de planification et de gestion du programme ferait de plus en plus appel à l’autorité des organes directeurs plutôt qu’à la consultation et à la prise en charge par les responsables compétents. Il est probable que cela nuirait à l’efficacité de l’évaluation.
2. comme dans le premier scénario l’autonomie administrative et financière du Service PBEE devrait être renforcée, probablement de façon significative par rapport à son statut actuel. Il faudrait également un mécanisme semi-permanent du Comité de Programme pour superviser l’ensemble des travaux d’évaluation, y compris une interaction permanente avec le Service PBEE durant tout le processus. À titre d’exemple, le Conseil exécutif de la Banque mondiale, qui se réunit très fréquemment (deux fois par mois ou plus) et qui dispose d’un personnel étoffé, est en mesure d’exercer cette supervision de façon adéquate.

31. L’analyse qui précède indique que les mesures visant à rendre le Service PBEE plus indépendant de l’Organisation pourraient se révéler très coûteuses et nuire à l’efficacité de l’évaluation. Hormis les coûts liés aux changements organisationnels, cette solution empêcherait très probablement l’évaluation de déboucher sur des changements et des améliorations grâce aux leçons tirées par l’Organisation. En fait, les praticiens sont loin de prôner l’indépendance à tout prix: il importe, selon eux, de trouver un compromis entre l’indépendance et la nécessité de tirer des leçons de l’évaluation. En 1998, le CAD, à propos de l’utilisation de ses Principes, a souligné: “Le principe de l’indépendance peut aller trop loin. Comme l’ont fait remarquer les utilisateurs des évaluations, trop d’indépendance, en pratique, peut aller à l’encontre du but recherché, avec pour résultat que les recommandations et les leçons des évaluations ne sont pas prises au sérieux. …Pondérer l’impartialité et l’indépendance avec l’importance de promouvoir la prise en charge est un art qui ne peut être prescrit… “.⁹

32. À propos de l’indépendance, nos conclusions sont les suivantes:

1. Le principe de l’indépendance est pris très au sérieux par la direction et des progrès considérables ont été récemment accomplis pour renforcer l’indépendance des fonctions d’évaluation au sein du mécanisme actuel. Le vif intérêt manifesté par les organes directeurs, en particulier le Comité du Programme, ainsi que la reconnaissance de cette nécessité par l’équipe de direction, ont contribué aux améliorations apportées à ce jour;
2. Si l’on envisage de modifier l’emplacement actuel du Service PBEE, on tiendra compte du compromis nécessaire entre l’exigence d’indépendance du Service d’évaluation et la nécessité d’assurer à l’exercice d’évaluation une efficacité maximale grâce au retour d’information et aux améliorations qui en découleront. Compte tenu du statut actuel du système d’évaluation de l’Organisation et des incidences de ces changements, il faudrait voir si les arrangements organisationnels actuels constituent une base satisfaisante pour renforcer l’indépendance des fonctions d’évaluation, ou si cela nécessiterait une modification de l’emplacement du Service PBEE au sein de l’Organisation.

Recommandations

33. Le système d’évaluation actuel, dans son ensemble, est conforme aux principes et pratiques observés par les institutions des Nations Unies et les organisations internationales. Le système d’évaluation de la FAO a évolué vers une plus grande indépendance, et des améliorations globales y ont été apportées, notamment en ce qui concerne le retour d’information, comme l’ont reconnu les organes directeurs. Dans ce processus, la collaboration des organes directeurs, en particulier celle du Comité du Programme, a constitué un facteur important.

34. Les recommandations ci-après sont soumises à l’examen du Comité:

1. Sur la base de l’analyse présentée ci-dessus, les Comités pourront souhaiter se prononcer sur la proposition du Commissaire aux comptes relative à une éventuelle fusion entre le Bureau de l’Inspecteur général (AUD) et le Service PBEE;
2. Si les Comités décidaient de ne pas se prononcer pour l’instant à ce sujet, des mesures pourraient être prises pour renforcer l’indépendance et l’efficacité de l’évaluation au sein de la structure actuelle, comme indiqué ci-après:
1. ressources pour le travail d’évaluation – le principe devrait être de prévoir des ressources suffisantes, en particulier pour les évaluations thématiques et les évaluations de programme. Ceci s’applique en particulier aux ressources nécessaires pour pouvoir disposer d’une expertise externe adéquate aux fins des principales évaluations, y compris des examens indépendants des rapports d’évaluation par des groupes de pairs externes. À cette fin, les ressources nécessaires devraient être identifiées lors de la formulation du plan d’évaluation et incluses dans le PMT et le PTB;
2. systématisation des procédures d’évaluation – les processus et pratiques qui ont évolué au cours des dernières années devraient être récapitulés dans les directives pour les évaluations thématiques et de programme. Ces matériels devraient être affichés sur le site web de l’évaluation et examinés à l’occasion d’ateliers internes avec le personnel de la FAO. Ceci contribuerait à accroître la transparence du processus d’évaluation pour toutes les parties prenantes et permettrait de mieux faire connaître les pratiques de l’Organisation en matière d’évaluation;
3. plus larges partage et diffusion des principales leçons et questions découlant de l’évaluation – si certains efforts ont été accomplis dans ce domaine, essentiellement pour les évaluations de projets de terrain, des efforts plus concertés pour dégager et synthétiser les leçons s’imposent, en particulier pour les évaluations thématiques et de programme. Le Service PBEE aura besoin pour cette tâche de ressources supplémentaires.

______________________

¹ Rapport présenté au Directeur général sous lettre explicative du 12 juillet 2002.

² Si les principes du CAD s’appliquent plus particulièrement à l’évaluation dans le cadre de l’aide au développement, ils sont considérés comme pertinents pour l’évaluation en général et représentent la déclaration de principes la plus complète sur l’utilisation de l’évaluation aux fins de la gestion des activités de développement.

³ Par. 5, Principes pour l’évaluation de l’aide au développement, Comité d’aide au développement (CAD), OCDE 1991.

⁴ Par. 8, Ibid.

⁵ Par. 466, Ibid.

⁶ Au moment de la rédaction de ce document, il semble que le FIDA soit sur le point d’adopter un système de soumission de rapports au Conseil exécutif, indépendamment de la direction.

⁷ Rapport du Comité d’aide au développement “Review of the DAC Principles for Evaluation of Development Assistance”, OCDE, 1998.

⁸ Rapport du Conseil de la FAO, cent vingt-troisième session, 2002 (CL 123/REP), paragraphe 76.

⁹ Rapport CAD sur l’examen de 1998, Ibid.