Chapitre 12 : Evaluer

(Phase 4 d'évaluation)

12.1. Pourquoi et avec qui évaluer ?

Les buts de l'évaluation doivent être clairs aux yeux de tous les partenaires. On procède généralement à l'évaluation d'une intervention dans une double perspective :

• pour voir si les objectifs sont atteints,

• pour voir si les processus se déroulent conformément aux attentes de tous les partenaires.

Les acteurs de l'éducation nutritionnelle doivent perdre leurs complexes face à l'évaluation. Ce n'est pas nécessairement un travail de chercheur. Quel que soit le niveau de qualification des membres de l'équipe de planification, elle doit pouvoir relever le défi de la réponse aux deux questions posées ci-dessus.

Avec qui ?

Les acteurs de l'évaluation peuvent être répartis en quatre catégories (29) :

• La population concernée elle-même : elle doit être invitée à participer au processus d'évaluation, car les actions à évaluer la concernent directement. Elle est donc intéressée au premier chef par la réussite ou l'échec de ces activités.

• Les acteurs de l'intervention de communication, tant dans sa phase préparatoire que dans sa mise en oeuvre, vont jouer un rôle important dans le processus d'évaluation. Ils y seront d'autant plus impliqués que cette évaluation va les aider à améliorer leurs prestations.

• Les évaluateurs, spécialistes de la question, ou réputés tels, internes ou externes à l'équipe de planification, vont apporter leur concours technique à la réalisation de cette évaluation.

• Les commanditaires : généralement, les bailleurs de fonds ou les pouvoirs publics souhaitent obtenir les résultats de l'évaluation des actions qu'ils ont promues. Ils sont donc eux aussi des partenaires à part entiére.

12.2. A quel moment entreprendre une évaluation ?

L'idéal est d'envisager l'évaluation d'une intervention dans la communication sociale dès la phase de conception. Les premiers travaux - analyse causale et recherches préliminaires - se situent alors clairement dans le champ de l'évaluation (ce qu'on appelle l'évaluation ex ante). L'évaluation est alors un moyen de bâtir un projet sur des bases solides.

A défaut, l'évaluation peut cependant être entreprise pendant la phase de formulation d'une intervention de communication. A ce moment-là, il est encore temps de réfléchir, non seulement sur la pertinence de l'intervention, mais sur l'ordre dans lequel les opérations vont s'enchaîner, sur les résultats attendus de ces diverses opérations et sur les mesures qu'il serait bon de prendre avant toute action de communication avec la population. Ces mesures portent sur les connaissances, attitudes et pratiques des publics-cibles : elles ont cette fois pour but d'établir un point de comparaison avec d'autres mesures qui pourront être prises plus tard.

Il n'est jamais trop tard pour penser à l'évaluation : pendant la phase de mise en oeuvre de l'intervention , voire même à l'issue de celle-ci, on peut encore tirer des leçons d'une expérience de communication.

La population concernée doit être invitée au processus d'évaluation.

12.3. Comment construire une évaluation dynamique et participative?

LEFEVRE et BEGHIN (29) proposent une approche qui assure la participation de tous les acteurs au processus d'évaluation d'interventions nutritionnelles. Trois types d'outils seront utilisés : l'analyse causale, le tableau HIPPOPOC et le modèle dynamique de l'intervention.

1. L'analyse causale permet d'estimer la pertinence de l'intervention. Selon la démarche présentée plus haut (7), l'analyse causale consiste à construire, en équipe intersectorielle, un arbre des facteurs de l'état nutritionnel dans la population considérée. Le résultat obtenu est un outil pour le choix de l'intervention, un outil de communication entre les membres de l'équipe de planification et un outil d'évaluation de la pertinence de l'intervention. L'analyse causale permet aussi d'identifier les facteurs confondants, qui pourraient faire échouer une intervention (ou amplifier son succès) indépendamment des processus mis en oeuvre.

   ldéalement, l'analyse causale devrait être entreprise dans la phase de conception d'une intervention d'éducation nutritionnelle, mais il n'est jamais trop tard pour la réaliser (même après une intervention).

2. Le tableau HIPPOPOC permet de situer en colonnes les inputs, les processus, les outputs et les outcomes de l'intervention.

   Les inputs sont les éléments qui vont être transformés en outputs par les processus mis en oeuvre. Exemple : dans le cadre d'un programme d'éducation nutritionnelle à l'école, ce sont notamment les enseignants, les élèves, l'argent investi pour la réalisation du programme.

   Les processus sont les activités entreprises pour transformer les inputs en outputs. Exemple : la formation des enseignants, le programme d'enseignement réalisé avec les élèves, l'élaboration et la production des manuels scolaires, etc.

   Les outputs sont les résultats des activités menées dans le cadre de l'intervention. lls correspondent aux objectifs spécifiques de l'intervention. lls en sont les effets directs. Exemple : des enseignants mieux formés, des élèves plus instruits, se comportant différemment, des manuels scolaires de bonne qualité, etc.

   Les outcomes sont les changements qui sont induits par l'intervention, ce sont les effets, attendus (dans ce cas, ils correspondent aux objectifs généraux) ou inattendus (effets pervers ou bénéfiques) de l'intervention. Ces changements dépendent non seulement des résultats de l'intervention, mais aussi de l'action de facteurs confondants. Exemple : l'amélioration de l'état nutritionnel des enfants serait un outcome de l'intervention éducative évoquée ci-dessus : elle est influencée par cette intervention, mais pas uniquement par celle-ci.

   Les responsables de l'intervention ne sont donc pas redevables à des tiers de ces outcomes, mais ils sont redevables des outputs de l'intervention. Cette distinction entre outputs et outcomes est fondamentale si l'on établir une évaluation différenciée des impacts d'une intervention.

3. Le modèle dynamique est l'expression graphique des interactions entre inputs, processus, outputs et outcomes d'une intervention. Comme les deux autres outils évoqués ci-dessus il est élaboré en équipe. Ce troisième tableau présente de gauche à droite les liens attendus entre les inputs et les processus, entre les processus et les outputs, entre ceux-ci et les outcomes C'est un tableau fléché qui va aider tous les partenaires d'une intervention (la population, les commanditaires, les experts et les intervenants directs) à comprendre les liens de causalité internes et externes (puisqu'on prendra en compte les facteurs confondants dans ce modèle également).

12.4. Comment faire ?

L'analyse causale

Les personnes chargées de l'évaluation, disons les évaluateurs réunissent des représentants des autres acteurs de cette évaluation : la population-cible de l'intervention, les bailleurs de fonds et/ou pouvoirs publics et les acteurs de l'intervention de communication.

Si l'analyse causale n'a pas encore été réalisée, le groupe ainsi réuni y accorde une priorité absolue : ce travail lui prendra quelques demi-journées. Si l'analyse causale a déjà été réalisée, le groupe y revient, il améliore l'arbre des causes. Le travail prendra alors moins de temps.

Le tableau HIPPOPOC

Une fois que l'analyse des causes est terminée, le groupe se réunit à nouveau pour élaborer le tableau HIPPOPOC, c'est-à-dire le tableau des inputs, processus, outputs et outcomes. Les évaluateurs seront particulièrement attentifs à la présence dans le tableau des processus que nous avons décrits dans les pages qui précèdent. lls se poseront les questions suivantes :

• Le problème nutritionnel à résoudre a-t-il été clairement identifié ?
• A-t-on réalisé une analyse causale ?
• A-t-on procédé à des recherches préliminaires en vue de mieux comprendre les comportements en cause, en vue de mieux comprendre le système de communication au sein de la population-cible ?
• A-t-on défini des objectifs clairs en termes de modification des conduites liées à la nutrition, en termes d'acquisition d'attitudes, de savoirs et de savoir-faire.
• A-t-on élaboré les messages avec toute la rigueur souhaitable ?
• A-t-on formulé un plan de communication multimédia qui tienne compte des résultats des recherches préliminaires et de la spécificité des différents médias par rapport à la variété des objectifs poursuivis ?
• A-t-on prétesté les supports de communication avant de les produire sur une large échelle ?
• A-t-on formé ou recyclé les intervenants avant de les lancer dans des activités de communication avec la population ?
• Les actions entreprises correspondent-elles au plan préétabli ? Sinon, pourquoi des modifications ont-elles été apportées au plan ?

Les évaluateurs guideront le groupe dans la distinction à opérer entre les outputs et les outcomes.

Que peut-on attendre comme outputs d'une intervention dans la communication sociale?

1. L'accès du public-cible au message.
   Ex. : les femmes de 15 à 45 ans ont, dans telle proportion, été exposées au message par l'un des canaux de communication (ou par plusieurs d'entre eux).

2. La rétention du message par le public-cible.
   Ex. : telle proportion de ce groupe-cible a retenu le message : l'enfant de 6 à 12 mois doit prendre quatre repas par jour au moins, en plus du lait maternel.

3. La modification des connaissances, des attitudes, des valeurs du public-cible.
   Ex. : telle proportion de ce groupe-cible a pu expliquer les raisons de la prise minimale de quatre repas par jour et telle proportion a manifesté l'intention de se comporter dorénavant de la sorte.

4. L'essai des conduites préconisées.
   Ex. : telle proportion de ce groupe-cible a essayé de donner au moins quatre repas par jour à un enfant allaité de 6 à 12 mois.

5. L'adoption de ces conduites.
   Ex. : telle proportion de ce groupe-cible a adopté ce rythme alimentaire dans sa vie quotidienne.

   Notons en passant que l'exemple à lui seul permet de justifier la prise de mesures d'entrée auxquelles on pourra comparer les résultats obtenus à l'issue de l'intervention.

   Les outcomes d'une telle intervention, que pourraient-ils être ?

6. L'amélioration de l'état nutritionnel.
   Ex. : telle proportion d'enfants a vu son état nutritionnel s'améliorer par rapport à un groupe-contrôle (ou groupe de référence) du même âge.

7. L'amélioration de l'état de santé.
   Ex. : telle proportion d'enfants a évité plus souvent que le groupe-contrôle des maladies classiquement observées à cet âge.

Ces outcomes apparaissent bien comme les effets conjugués de l'intervention éducative et d'autres facteurs de l'environnement physique, social, économique et familial.

Seront considérés comme outputs non seulement les résultats terminaux de l'intervention, mais aussi des résultats intermédiaires. Ainsi, dans notre exemple : le nombre d'agents formés ou recyclés dans le cadre du programme, l'accroissement ainsi obtenu de leurs compétences ou encore le nombre d'affiches réalisées pour assurer la transmission des messages.

Le modèle dynamique

Dans un troisième temps, il s'agit d'organiser les relations entre ces inputs, processus, outputs et outcomes dans un modèle graphique cohérent.

Une telle figure va être utilisée par tous les acteurs de l'intervention et de l'évaluation pour communiquer sur le projet, pour en déterminer les succès et les échecs et pour lui apporter des améliorations.

Ainsi, plutôt que d'être une activité extérieure à l'intervention, l'évaluation se présente comme un moteur du développement des activités de communication avec la population. En cela, elle est une composante indispensable de toute action d'éducation nutritionnelle.