12.1 ¿Cómo y con quién?
La meta de la evaluación debe ser clara para todas las personas involucradas. La evaluación de una intervención se lleva a cabo desde dos perpectivas:
ver si se han logrado los objetivos,
determinar si los procedimientos se han realizado de acuerdo con lo esperado.
Los agentes de desarrollo en educación nutricional no deben colocarse en posición defensiva en lo que respecta a la evaluación. Cualquier miembro del equipo de planificación deberá estar en condiciones de responder las preguntas relacionadas con los dos puntos antes mencionados.
¿Con quién? Las personas relacionadas con la evaluación se pueden dividir en cuatro categorías:
La población objetivo de la intervención debe ser invitada a participar, ya que las acciones que se van a evaluar les atañen directamente.
Los agentes de desarrollo juegan un importante papel en la evaluación. Más aun, la evaluación les ayudará a mejorar su desempeño.
Los especialistas en evaluación, internos o externos al equipo de planificación, quienes aportan experiencia técnica.
La participación de los patrocinadores y los representantes gubernamentales permitirá a éstos apreciar el impacto de las actividades que han promovido y considerar una eventual expansión del programa.
12.2 ¿Cuándo se debe realizar la evaluación?
Lo ideal es planificar la evaluación de una intervención en comunicación social desde la fase de concepción. El análisis causal y la investigación preliminar son partes de la evaluación. También se puede abordar la evaluación durante la fase de formulación de una intervención en comunicación. En ese momento, aun hay tiempo para reflexionar, no sólo sobre la pertinencia de la intervención, sino también sobre el orden en el que se debieran desarrollar las actividades, los resultados esperados y las acciones necesarias de realizar antes de cualquier actividad de comunicación.
Los conocimientos, actitudes y prácticas de la población objetivo tienen que ser medidos antes de la intervención, para proporcionar una base de comparación posterior. Nunca es demasiado tarde para pensar en la evaluación; aun en la fase de ejecución se pueden aprender lecciones de la experiencia.
12.3 ¿Cómo realizar una evaluación dinámica y participativa?
Lefevre y Beghin, entre otros, proponen un método que garantiza la participación de todos en la evaluación de las intervenciones nutricionales. Se usarán tres tipos de instrumentos: el análisis causal, la tabla de Hippopoc y el modelo dinámico de intervención.
El análisis causal puede ayudar a determinar la pertinencia de la intervención. Como se explicó en el capítulo 4, éste consiste en crear una base intersectorial, una red de factores que afectan el estado nutricional de una población. El resultado es un instrumento para la selección de la intervención apropiada, para la comunicación entre los miembros del equipo de planificación y para evaluar la pertinencia de la intervención. El análisis causal también permite identificar factores que pueden influir sobre el éxito o fracaso de la intervención.
En la tabla de Hippopoc se colocan en celdas los insumos, los procesos (actividades), los productos y los resultados de la intervención. Los insumos son los elementos que se van a transformar en resultados con la intervención. Ejemplo: para la educación nutricional en la escuela, los insumos son los maestros, alumnos y el dinero invertido en la producción del programa.
Los procesos son las actividades emprendidas para transformar los insumos en productos o resultados. Por ejemplo: el programa de adiestramiento de los maestros, el programa de enseñanza producido conjuntamente con los alumnos, el diseño y producción de manuales escolares, etc.
Los productos son los resultados de las actividades desarrolladas en la intervención. Corresponden al logro de los objetivos específicos de ésta. Ejemplos: maestros capacitados; alumnos educados, cuya conducta es diferente; manuales escolares de buena calidad. Todos ellos debieran contribuir a los resultados de largo plazo de cualquier proyecto nutricional, que es el mejoramiento del estado nutricional de la población objetivo.
Ejemplo de Tabla HIPPOPOC
| Insumos | Actividades | Productos | Resultados |
|---|---|---|---|
| Taller de capacitación en alimentación y nutrición para agentes de desarrollo en la comunidad | • Preparación del taller • Implementación del taller • Actividades de aplicación práctica • Evaluación del taller | • 30 agentes de desarrollo capacitados: • 5 agentes de agricultura • 10 agentes de salud • 5 líderes comunitarios • 2 autoridades locales • 8 agentes de educación | • Planificación conjunta de las actividades para mejorar la nutrición • Inclusión de actividades de nutrición en todos los servicios de la comunidad • Mejor comunicación y coordinación entre los agentes de desarrollo |
El modelo dinámico es la representación gráfica de las interacciones entre los insumos, los procesos, los productos y los resultados de una intervención. De manera similar a los otros dos instrumentos, el modelo dinámico es elaborado por el equipo. Esta tabla presenta los vínculos esperados entre las insumos y los procesos, entre los procesos y los productos y entre los productos y los resultados. Utiliza flechas para ilustrar los vínculos. De esta manera, todos los participantes en una intervención (la población, los agentes de desarrollo, los especialistas) pueden entender las relaciones internas y externas.
12.4 ¿Cómo?
El análisis causal
Las personas a cargo de la evaluación: los «especialistas», los participantes (población objetivo), los patrocinadores y/o representantes gubernamentales y los agentes de comunicación, deben revisar el análisis causal.
Sino se ha hecho aun el análisis causal, el grupo debe dar prioridad a su elaboración. Esto implicará algunos días de trabajo. En el caso de que se hubiera realizado el análisis, el grupo deberá ocuparse de mejorarlo, necesitando poco tiempo para completar esta actividad.
La Tabla de Hippopoc
Una vez que se ha completado el análisis de las causas, el grupo se debe reunir para desarrollar la tabla de Hippopoc, con los insumos, procesos, productos y resultados. Los evaluadores deben estar particularmente atentos a esta tabla. Ellos deberán dar respuesta a las preguntas siguientes:
¿Ha sido claramente identificado el problema nutricional por resolver?
¿Se ha elaborado el análisis causal?
¿Se ha hecho la investigación preliminar para entender las conductas y los sistemas de comunicación de la población objetivo?
¿Se han definido claramente los objetivos en términos de la modificación de las conductas inadecuadas relacionadas con la nutrición y en términos de la adquisición de conocimientos, adopción de actitudes correctas y desarrollo de habilidades?
¿Se han desarrollados cuidadosamente los mensajes?
¿Ha tenido en cuenta el plan de multimedios los resultados de la investigación preliminar y la especificidad de los diversos medios en relación con los objetivos que se espera lograr?
¿Se han ensayado previamente los materiales de apoyo para la comunicación antes de producirlos en gran escala?
Han sido adiestrados adecuadamente los participantes antes de iniciar las actividades de comunicación?
¿Las actividades fueron desarrolladas de acuerdo con los planes originales?
Los resultados del análisis se compararán con los objetivos de la intervención. Esta comparación ayudará a determinar el éxito del programa.
¿Cuáles son los productos esperados de una intervención en comunicación social?
Accesibilidad de la población objetivo al mensaje
Ejemplo: ¿Han estado expuestas las mujeres de 15 a 45 años al mensaje por uno de los canales de comunicación (o por varios)?
Retención del mensaje
Ejemplo: El X por ciento del grupo objetivo ha retenido el mensaje: «El niño de 6 a 12 meses debe comer al menos cuatro comidas al dís, además de la leche materna».
Modificación de conocimientos, actitudes y valores de la población objetivo
Ejemplo: El X por ciento del grupo objetivo fue capaz de explicar las razones por las que el niño debe comer al menos cuatro comidas al día y han mostrado la intención de seguir este consejo.
Ensayo de la conducta propuesta
Ejemplo: El grupo objetivo ha tratado de dar al menos cuatro comidas por día a sus niños de seis a doce meses de edad alimentados al pecho.
Adopción de hábitos
Ejemplo: El X por ciento del grupo objetivo ha adoptado estos hábitos alimentarios y los ha integrado a su vida cotidiana.
Observar que los ejemplos contienen medidas para la comparación de los resultados después de la intervención.
• ¿Cuáles son los posibles resultados de largo plazo de la intervención?
Mejoramiento del estado nutricional
Ejemplo: Hubo un mejoramiento del estado nutricional del X por ciento de los niños (en comparación al grupo control).
Mejoramiento del estado de salud
Ejemplo: El X por ciento de los niños menores de 5 años tuvo menor frecuencia de las enfermedades clásicas de este grupo de edad (en comparación con un porcentaje más alto del grupo control).
Estos resultados a largo plazo parecen tener un efecto combinado de la intervención educativa y de otros factores del entorno social, económico y familiar.
En los resultados finales de la intervención deben ser considerados también los productos o resultados intermedios. En nuestro ejemplo, éstos son el número de trabajadores capacitados en el programa y el número de materiales de apoyo producidos para asegurar la transmisión de los mensajes.
El modelo dinámico
Es esencial ilustrar gráficamente las relaciones entre los insumos, los procesos y los resultados de la intervención.
Este gráfico podría ser usado por todos aquellos involucrados en la intervención, para proveer información básica sobre el proyecto, determinar sus éxitos y fracasos, y para planificar su mejoramiento.
La evaluación es como una fuente de energía esencial para el desarrollo de las actividades de comunicación participativa. La evaluación no es sencillamente una actividad externa con respecto a la intervención. Es un componente crucial de la educación nutricional.
Nota. Las personas interesadas en obtener mayor información sobre aspectos de evaluación pueden leer el capítulo 12 del documento: «Manejo de proyectos de alimentación y nutrición en comunidades. Guía didáctica», publicado por FAO en 1995 (Ver referencias).
