PC 93/4 a) |
|
PC 93/4 a) |
Quatre-vingt-treizième session |
Rome, 9 – 13 mai 2005 |
Autoévaluation dans le contexte de la définition des priorités - |
CRITÈRES POUR LA DÉFINITION DES PRIORITÉS
1. Le Comité a entamé l’examen de la définition des priorités dans le cadre de la préparation des programmes à sa quatre-vingt-neuvième session en mai 2003. À cette réunion, il était convenu que l'amélioration de la définition des priorités nécessitait:
2. En septembre 2003, le Comité a centré ses débats sur le point b) ci-dessus, à savoir sur la façon dont il pourrait améliorer sa propre contribution à ce processus. Il a conclu que sa contribution serait renforcée par une analyse de l'équilibre dans l'affectation des ressources entre les objectifs stratégiques; une analyse de l'évolution des facteurs extérieurs qui pourrait rendre nécessaire une modification de cet équilibre et aussi un résumé des préférences concernant les domaines prioritaires spécifiques exprimées par les membres dans la réunions de la FAO, en mentionnant également les programmes pour lesquels aucune priorité n’a été indiquée. En mai 2004, après avoir examiné l’analyse du Secrétariat1, le Comité a noté qu'en général il était préférable qu'il examine les priorités au niveau global, ce qui n'excluait pas une évaluation au niveau des entités de programme, si nécessaire.
3. À sa dernière session, en septembre 2004, le Comité a conclu que l’application des critères détaillés dans le Plan à moyen terme 2006-2011 dans l’analyse des priorités pour les entités de programme permettait de donner aux membres l'assurance que les priorités incluses dans le Plan à moyen terme reflétaient bien les besoins de l'ensemble des membres. Le Comité a reconnu la validité des trois critères appliqués par la Direction de la FAO pour aider à établir l’ordre de priorité des entités de programme:
4. Par ailleurs, il a noté ce qui suit:
Il était important, notamment, de déterminer si les ressources étaient trop dispersées entre diverses activités et si les entités actuelles bénéficiaient d'une masse critique suffisante pour obtenir des résultats concluants.
5. Un indicateur simple de ces facteurs pourrait être le niveau absolu des ressources affectées à une entité de programme donnée. Si ce montant est faible, toutes choses étant égales par ailleurs, ce facteur aura moins de chance de produire le niveau de ressources nécessaire pour avoir un impact important que si ce montant est supérieur. Il n'est pas aisé de définir la « masse critique suffisante » car elle dépend de la relation entre le volume des ressources (humaines et autres) et un certain nombre de variables telles que la taille et la nature du problème examiné et le rôle de l'Organisation en ce qui concerne les contributions apportées par les autres partenaires. De plus, comme il existe une certaine marge de manoeuvre dans la définition des entités, il existe aussi une diversité des approches. Ainsi, pour un ensemble de tâches données, un gestionnaire pourra créer une entité englobant trois principaux produits, tandis qu’un autre pourra créer trois entités. En conclusion, on pourra dire qu’il est inutile d’essayer de mesurer une masse critique de manière simpliste et que cela pourrait même entraîner des réactions négatives de la part des gestionnaires de programme.
6. Vu la complexité de cette question et pour éviter toute conséquence imprévisible, le Secrétariat propose d’examiner le problème de la masse critique en identifiant les facteurs qui doivent être pris en compte pour quantifier ce que nous désignons par ce terme et en définissant les modalités d’application de ce critère au stade de la conception de l’entité. Les résultats de cette étude devraient être présentés au Comité du Programme à sa session de septembre 2005.
7. À sa session de septembre 2004, le Comité a également noté que l'examen de la définition des priorités serait facilité par l’étude d’un rapport sur le premier groupe d’autoévaluations qui viserait également à expliciter le processus appliqué. Il a souligné le rôle important que pourrait avoir l'autoévaluation pour décider des travaux futurs quand les entités de programme existantes arrivent à leur terme ou doivent être réexaminées après une période de six ans.
8. Le nouveau modèle de programme axé sur les résultats, mesurés en avantages pour les membres dans le contexte du Cadre stratégique de la FAO, a tout d'abord été appliqué à tous les programmes techniques de l'Organisation durant l'exercice biennal 2000-01. Depuis lors, le système n'a cessé d'être amélioré à la lumière de l'expérience acquise et le personnel et les responsables se sont familiarisés avec ce système et son orientation sur les résultats. Comme l’indique le Plan à moyen terme 2006-11, durant l’exercice biennal 2006-07, l’application du modèle de programme, dûment adaptée, sera étendue aux programmes de coopération technique et non technique. Pour cela, l'introduction de normes concernant la qualité du service et de mesures de l'amélioration du service, identifiées par les forces, les faiblesses, les possibilités et les menaces, a constitué une amélioration importante.
9. L’ensemble du système est facilité par le module de planification à moyen terme du système informatisé PIRES2. Il contient les documents des entités de programme qui sont très semblables aux documents de projet. Pour les programmes techniques et le programme de coopération technique, ils incluent la définition des résultats attendus en ce qui concerne les principaux bénéficiaires et la manière dont ils devraient contribuer à assurer des avantages durables aux pays membres.
10. Le présent document examine la contribution potentielle de l’autoévaluation au processus de définition des priorités et d’amélioration du programme à la lumière de la première année d’expérience de l’application de l'autoévaluation comme partie intégrante de la gestion et de la budgétisation axées sur les résultats dans les programmes techniques de l'Organisation.
11. Le document PC 93/4b) qui vient compléter le présent document contient un résumé des autoévaluations effectuées en 2004. L’autoévaluation a été introduite à la fin de 2001 dans le cadre de l’amélioration du processus de gestion basée sur les résultats (Bulletin du Directeur général 2001/33). La première année d’application s’est achevée, avec le soutien financier du Département du développement international du Royaume-Uni. En 2004, 19 autoévaluations ont été entreprises englobant 28 entités de programme. En 2005, il a été décidé d'entreprendre 25 autoévaluations pour les programmes techniques. Deux autoévaluations des DPAI3 et de trois à cinq autoévaluations de programmes non techniques seront entreprises en tant qu'études pilotes, élargissant ainsi progressivement l'autoévaluation à l'ensemble du Programme ordinaire de l'Organisation. L'objectif recherché est d'assurer pour toutes les entités de programme et tous les DPAI de l'Organisation soit une autoévaluation soit une évaluation indépendante entreprise par le Service de l'évaluation, une fois tous les six ans au moins. En règle générale, les entités de programme des projets techniques donneront lieu à une autoévaluation à l’approche de leur achèvement et l’autoévaluation devra être entreprise au moment où des changements seront envisagés pour l’avenir.
12. Le Service de l’évaluation a analysé l’expérience du premier cycle d'autoévaluations, notamment en distribuant un questionnaire aux responsables directement chargés des autoévaluations ainsi qu'aux cadres supérieurs concernés (sous-directeurs généraux et directeurs de division). Ces questionnaires devaient fournir des renseignements sur l’utilité perçue des autoévaluations et permettre de déterminer dans quelle mesure elles servaient de base à la prise de décisions.
13. Le diagramme 1 ci-après résume les réponses concernant l’utilité des questionnaires. On constate que tous les sous-directeurs généraux qui ont répondu ont jugé l'autoévaluation utile. Quant aux directeurs, 33 pour cent l'ont jugée très utile, 58 pour cent utile et 8 pour cent seulement ont estimé qu'elle n'avait pas d'avantages significatifs. Dans l'ensemble, les responsables de tous niveaux ont estimé que le processus d'autoévaluation était soit utile, soit très utile. Tous l'ont trouvé très utile ou utile pour améliorer la planification des entités de programme et déterminer les domaines d'amélioration.
Diagramme 1: Utilité de l’autoévaluation aux yeux des responsables et du personnel
14. Il est encore trop tôt pour analyser l’incidence de l’autoévaluation sur la planification effective des entités de programme et il sera toujours difficile de déterminer dans quelle mesure les responsables ont apporté des changements en réponse aux autoévaluations ou dans quelle mesure les autoévaluations traduisent des changements qui avaient été décidés de manière indépendante.
15. Voici quelques exemples des changements introduits à l'issue de l'autoévaluation:
16. Un grand nombre de responsables concernés ont conclu dans leur autoévaluation que la conception des entités de programme et leur mise en application effective devaient être améliorées en précisant les résultats attendus et les bénéficiaires visés. Beaucoup ont conclu qu'une part accrue des ressources devait être consacrée à la diffusion des résultats, en particulier aux publications, et non pas uniquement à leur production. En outre, les responsables se sont déclarés très préoccupés par la nécessité d'améliorer l'accès au site web de la FAO.
17. Il n’a pas été véritablement possible de fonder l’évaluation du processus d’autoévaluation sur la conception des entités de programme telles qu’elles figurent dans le Plan à moyen terme, car les indicateurs n’ont pas été d’une grande utilité, étant souvent trop difficile à mesurer. Cette difficulté a été aggravée par le fait que très peu d'unités avaient collecté les données nécessaires sur ces indicateurs avant l'autoévaluation. À quelques exceptions près (telles que le nombre d’utilisateurs des informations sur le web), les indicateurs pertinents sont mieux évalués dans des études spéciales. La conception des indicateurs et leurs moyens de vérification dans le Programme ordinaire sont des domaines qui devront être améliorés.
18. Étant donné que les autoévaluations relèvent de la responsabilité des directeurs directement concernés, il est assez rare qu'elles soient très critiques. L'expérience montre qu'en général, les responsables qui croient en l'utilité des entités de programme et en leurs résultats sont plus enclins à l’autocritique dans leurs conclusions et leurs recommandations que ceux dont les programmes sont moins valables. Toutefois, les rapports d'autoévaluation devraient montrer clairement si les entités ont apporté une contribution significative sur le plan des résultats et des incidences. Cette information en elle-même est déjà utile pour la direction. Il est apparu aussi que les conclusions utiles auxquelles parviennent les responsables des entités de programme durant l'autoévaluation ne sont pas nécessairement reflétées dans les rapports.
19. L’autoévaluation est un processus d'apprentissage qui contribue directement à améliorer les activités entreprises par les responsables des entités de programme. Le défi à relever est le suivant: la direction doit tirer le maximum d’avantages de l’autoévaluation pour décider des orientations et des priorités générales, sans perdre les connaissances internalisées par les jeunes cadres et les améliorations qui en résultent tout au long du processus d’autoévaluation. Les questionnaires ont montré que les autoévaluations peuvent être améliorées de plusieurs manières, mais que la plupart des fonctionnaires directement concernés, y compris les chefs de service, estimaient que l’intensité actuelle du processus d’autoévaluation était à peu près suffisante. Ces résultats, ainsi que ceux qui concernent l’utilité de l'autoévaluation, nous amènent à conclure qu’à l’avenir le processus d’autoévaluation devra maintenir le même niveau d'intensité qu'à l'heure actuelle.
20. L’expérience des premières années a permis de tirer les enseignements ci-après qui seront réexaminés lorsque l’on aura acquis davantage d’expérience en matière d’autoévaluation:
21. Par ailleurs, la complémentarité entre l’autoévaluation et l'évaluation indépendante sera renforcée. Il est généralement admis que les entités de programme qui ont fait l'objet d'une évaluation récente (menée de façon indépendante par le Service de l’évaluation) n'ont pas besoin d'être également autoévaluées.
22. Étant donné que l’autoévaluation porte généralement sur des entités de programme individuelles ou sur de petits groupes d’entités de programme, elle ne peut répondre aux exigences des organes directeurs sollicitant des informations de niveau général pour la définition des priorités centrales; au contraire, elle renforce le processus de décision interne. Les autoévaluations souffrent en outre d'un manque relatif d'objectivité car elles sont effectuées par les personnes directement responsables des entités de programme. L’utilité de l’autoévaluation est donc de renforcer la base interne pour permettre aux directeurs de tirer les enseignements de l’expérience et de prendre les décisions. En outre, si les organes directeurs devaient choisir d’utiliser les résultats des autoévaluations comme base pour leurs décisions en matière d’affectation des ressources, l’objectivité des responsables des programmes risquerait d’être menacée, ce qui compromettrait l’avantage essentiel du processus qui doit servir à tirer les enseignements de l’expérience.
23. La demande de rapports sur la mise en oeuvre de l’autoévaluation et la présentation des résumés des autoévaluations au Comité du Programme introduit une discipline qui n'existerait pas s'il s'agissait d'un processus purement interne au Secrétariat. Elle incite également les responsables à publier les résultats et la contribution de leurs activités aux objectifs, car la présentation des résumés au Comité du Programme les introduit dans le domaine public.
24. Le Comité devra donc décider s'il souhaite approuver le rôle de l'autoévaluation dans le système de gestion axé sur les résultats de la FAO et l'intégration officielle de l'autoévaluation dans le Programme de travail et budget ordinaire de l'Organisation4.
25. Le Comité est invité à examiner à sa session de septembre 2005, lorsqu'il étudiera la présentation et le contenu du Rapport sur l'exécution du programme et du Rapport d'évaluation du programme, la forme sous laquelle il souhaite continuer à recevoir les informations sur l’autoévaluation.
26. Pour finir, le Comité est invité à confirmer qu’il souhaite continuer à examiner la question de la définition des priorités et en particulier la manière dont le concept de masse critique pourrait être inclus dans les critères concernant la définition des priorités.
____________________
1 PC 91/7 Définition des priorités dans le cadre de la préparation des programmes.
2 Système d’appui à la planification et à l’évaluation du programme, ainsi qu’à la présentation de rapports sur son exécution.
3 Domaines prioritaires pour une action interdisciplinaire.
4 CL 128/3 Sommaire du Programme de travail et budget 2006-07 (par. 175).