CHAPITRE 4 - Evaluation et contrôle de l'efficacité du ciblage

Le succès d'un programme de ciblage repose sur une organisation minutieuse, une direction efficace et un contrôle et une évaluation continue, avec des résultats que l'on utilise pour améliorer l'organisation et la mise en œuvre du programme.

FAO/8089/C. Sanchez

Comprendre l'efficacité du ciblage

L'évaluation et le contrôle correspondent essentiellement à des processus d'apprentissage. Dans ce cas précis, ils peuvent aider les planificateurs, le personnel du programme et les communautés à mieux comprendre les points forts et les faiblesses du plan de ciblage adopté et à évaluer les changements nécessaires. Un mauvais ciblage peut avoir des résultats pires qu'une absence de ciblage. L'amélioration de l'efficacité du ciblage devrait donc être une préoccupation constante du personnel des programmes alimentaires et nutritionnels ciblés. L'efficacité du ciblage a une influence directe sur les résultats et l'impact du programme. Le degré de réalisation des objectifs du programme en dépend. L'évaluation de l'efficacité du ciblage devrait permettre de déterminer clairement les actions complémentaires à mettre en œuvre pour améliorer ou changer le dispositif de ciblage. Le contrôle correspond essentiellement à l'évaluation continue de l'efficacité du ciblage sachant que les déterminants de cette efficacité peuvent varier au fil du temps. De plus, selon les règles de sortie du programme, les participants changeront après une certaine période de temps et les critères d'éligibilité pourront également varier, par exemple, avec les changements dans les ressources du programme. La nécessité de contrôler l'efficacité du ciblage d'un programme est illustrée clairement par le cas du programme national d'alimentation scolaire au Chili où le contrôle a abouti à des modifications en matière de critères d'éligibilité et de méthode de ciblage (voir en Annexe l'étude de cas du Chili).

L'évaluation de l'efficacité du ciblage est essentielle quand le programme est ciblé administrativement ou quand le ciblage administratif fait partie d'un dispositif de ciblage à étapes multiples. Dans des plans d'auto-ciblage, il est possible l'évaluer l'efficacité, par échantillonnage, de la participation et de la situation du groupe cible parmi les personnes qui ont accès aux prestations du programme. Il est par contre bien plus difficile d'évaluer le nombre de personnes ou la proportion du groupe cible n'ayant pas accès aux prestations du programme.

Comment évalue-t-on l'efficacité d'un plan de ciblage? En premier lieu, il est important de définir ce que l'on entend par efficacité du ciblage. L'efficacité d'un plan de ciblage particulier sera mesurée par sa capacité à inclure le plus grand nombre possible de membres d'un groupe cible spécifié et à exclure de la participation les membres du groupe non ciblé. Les paramètres clefs de cette évaluation sont les erreurs d'inclusion et d'exclusion ainsi que les taux de non-participation et de perte (voir au Chapitre 1 l'encadré sur la Terminologie du ciblage).

Admettons qu'un programme particulier cherche à réduire l'insécurité alimentaire d'une population donnée et qu'elle cible les ménages victimes d'insécurité alimentaire dans cette population. On peut établir un tableau simple (voir ci-après) en divisant la population en ménages victimes d'insécurité alimentaire/ménages bénéficiant de sécurité alimentaire et en ménages participant/ne participant pas au programme. Par exemple, si 600 ménages sont catégorisés comme victimes d'insécurité alimentaire et 400 comme étant en sécurité alimentaire, un plan de ciblage parfait affichera A=600 et D=400. Les ménages victimes d'insécurité alimentaire ne participant pas au programme sont classés comme erreurs d'exclusion (B); les ménages en sécurité alimentaire et qui participent au programme sont classés comme erreurs d'inclusion (D). Le plan de ciblage le plus inefficace aura comme résultat B=600 et C=400, c'est à dire qu'aucun des ménages victimes d'insécurité alimentaire ne participera au programme et que tous les ménages qui participeront seront en sécurité alimentaire. En règle générale, les plans de ciblage ne sont pas parfaits et ils comportent une certaine marge d'erreurs d'inclusion et d'exclusion. Plus ces erreurs sont petites, plus grande sera l'efficacité du plan de ciblage.

Citons d'autres paramètres d'efficacité du ciblage de même type:

• Les taux de non-participation se réfèrent à la proportion de ménages victimes d'insécurité alimentaire qui sont exclus de la participation (B/A + B).

• Les taux de déperdition se réfèrent à la proportion de ménages participants qui sont en sécurité alimentaire (C/A + C).

• Dans un plan de ciblage parfait, les taux de non-participation et de perte sont égaux à zéro (parce que les erreurs d'inclusion et d'exclusion sont égales à zéro).

• Dans le plan de ciblage le plus inefficace, ils sont égaux à un.

Un autre concept associé d'efficacité du ciblage souvent appliqué dans les évaluations est la proportion de la population cible qui participe (A/A + B) moins la proportion de ménages participants qui n'appartient pas au groupe cible (C/A + C). Dans un plan de ciblage parfait, le résultat sera 1 et dans un plan de ciblage complètement erroné -1. Un résultat égal à zéro veut dire qu'il y a une absence complète de ciblage et que les ménages sont admis au hasard à participer au programme. L'objectif est donc d'obtenir un résultat aussi près de 1 que possible. Si le résultat de ce calcul ne se trouve pas entre 0 et 1, un ciblage explicite ne sert à rien.

Corriger les erreurs de ciblage

Au moment de l'évaluation et du contrôle de l'efficacité du ciblage, il est important de comprendre les facteurs qui peuvent provoquer des erreurs de ciblage. Des mesures de correction pourront ainsi être prises par les planificateurs et le personnel du programme.

Les taux de perte peuvent être élevés parce que les règles d'éligibilité et/ou de sortie sont mal définies, et/ou mal appliquées ou encore qu'elles ne sont pas appliquées par le personnel du programme. Si l'éligibilité au programme est établie sur la base d'un examen des ressources, il est possible que des candidats déclarent volontairement des ressources inférieures pour pouvoir être admis à participer. De même, des participants qui, selon les règles, devraient sortir du programme pourront faire la même chose.

Les mesures correctives suivantes peuvent faire baisser les taux de perte:

• s'assurer que les règles d'éligibilité et de sortie sont clairement définies et sont connues, comprises et acceptées aussi bien par l'ensemble de la population que par le personnel du programme;

• superviser l'application des règles par le personnel du programme; sensibiliser le personnel à ce problème et l'encourager à appliquer les règles correctement;

• vérifier et surveiller l'éligibilité des participants en effectuant des visites à domicile ou par d'autres moyens, lorsque c'est possible.

De multiples raisons peuvent expliquer un taux élevé de non-participation. Les ménages cibles peuvent ne pas être informés ou être mal informés de leur éligibilité et dans ce cas, beaucoup ne seront pas atteints par le programme. Il est possible qu'à sa conception, le programme n'ait pas anticipé de manière adéquate les contraintes que la participation impose aux ménages cibles, comme le manque de temps et de moyen de transport. Les ménages cibles évaluent les bénéfices que le programme peut leur apporter par rapport à leurs coûts de participation (y compris les coûts en temps) et ceux qui estiment que les bénéfices sont faibles ou qui ne leur accordent pas beaucoup de valeur, choisiront peut-être de ne pas participer. Si l'éligibilité au programme est établie par l'intermédiaire d'un examen des ressources nécessitant la fourniture de documents, les candidats à la participation peuvent être incapables de fournir les documents demandés ou, pour d'autres raisons, peuvent choisir de ne pas présenter ces documents ou ces informations. De plus, certains ménages cibles choisiront peut-être de ne pas participer si l'intégration au programme risque de les stigmatiser socialement.

Une ou plusieurs actions correctives seront normalement nécessaires pour diminuer un taux élevé de non-participation, selon les facteurs en cause. On pourra par exemple:

• entreprendre des actions de diffusion plus efficaces auprès des membres du groupe cible pour les informer des prestations du programme et des conditions d'éligibilité, en impliquant si possible la communauté tout entière;

• évaluer à nouveau la conception du programme pour voir quels changements introduire pour faire face aux difficultés des participants et augmenter à leurs yeux la valeur des prestations du programme, en utilisant des méthodes d'évaluation participatives;

• travailler étroitement avec les candidats au programme pour établir leur éligibilité en utilisant les examens de ressources, avec l'assurance d'une confidentialité totale des informations fournies;

• travailler étroitement avec les responsables de la communauté et la communauté dans son ensemble pour qu'ils deviennent partie prenante du programme et pour effacer l'image de stigmatisation sociale associée à la participation au programme.

Lorsque à la fois les taux de perte et de non-participation sont élevés, le personnel du programme devra peut-être définir les priorités dans la mise en œuvre des mesures de correction. Si le souci principal est l'efficience dans l'allocation des ressources du programme, ou encore si le programme est contraint à réduire son budget, il est probable que la priorité sera de réduire le taux de perte et d'améliorer l'efficience du programme (meilleur rapport coût/efficacité). Si la préoccupation principale est l'amélioration de l'impact du programme sur la population cible et l'augmentation de ses bénéfices sociaux, la priorité sera donnée à des mesures correctives visant à abaisser les taux de non-participation.

Améliorer le rapport coût/efficacité du ciblage

L'évaluation et le contrôle de l'efficacité du ciblage sont essentiels pour mesurer l'impact et le rapport coût/efficacité du programme. Des taux peu élevés de perte et de non-participation indiquent que les bénéfices sociaux du programme sont maximisés pour un groupe de population donné, en fonction du budget du programme. Les niveaux de participation peuvent varier au sein des ménages ou des personnes participant au programme, et cette variation influencera aussi l'impact global du programme. Les membres d'un groupe cible remplissant les conditions d'éligibilité peuvent participer à un programme à des degrés divers ou participer seulement à une partie des composantes du programme. Pour évaluer l'efficacité du ciblage, on devra définir un niveau minimum de participation ainsi qu'une intensité minimum de participation, en appliquant peut-être des indicateurs tels que le nombre de jours de distribution alimentaire par bénéficiaire et par mois. Ceci pourra également être utile dans l'évaluation de l'impact du programme.

L'accès physique et économique à des produits alimentaires de bonne qualité, sains et adéquats sur le plan nutritionnel pose souvent un problème aux populations urbaines pauvres.

FAO/17839/A. Conti

L'établissement d'un tableau de participation détaillé selon l'âge, le sexe ou d'autres critères est également utile pour évaluer l'impact du programme. Des programmes bien ciblés peuvent fournir des services à des groupes assez divers. Dans de nombreux programmes de sécurité alimentaire et nutritionnelle, les prestations peuvent être ciblées pour les femmes enceintes ou allaitantes et pour les enfants de moins de cinq ans. Bien que le taux de couverture total puisse être assez élevé, certains sous-groupes particulièrement vulnérables comme les enfants de moins de deux ans peuvent être sous représentés dans le groupe des participants. Il apparaît donc que des efforts de diffusion visant à augmenter la participation de sous-groupes particuliers renforceraient considérablement l'impact à long terme du programme.