4. Todos los programas y actividades de la FAO, financiados con cargo al Programa Ordinario de la Organización (con cuotas fijadas obligatorias) o con recursos extrapresupuestarios voluntarios, son objeto de evaluación. Las políticas de evaluación de dichos programas han sido establecidas por los Estados Miembros en los órganos rectores y el Director General. La evaluación está destinada a:
5. El hincapié en la obtención de enseñanzas basadas en pruebas sobre el contenido técnico de la labor de la FAO, incluidas la validez, pertinencia y futura mejora, distingue el enfoque de la evaluación del de la auditoría y garantiza la complementariedad.
6. Al establecer políticas de evaluación, el Consejo consulta principalmente al Comité del Programa. El Director General recibe asesoramiento del Comité de Evaluación interna presidido por el Director General Adjunto, que se estableció en 2004. Tres documentos han sido particularmente importantes para codificar la política de evaluación:
7. Otra novedad importante fue la aprobación en abril de 2005 de un conjunto de normas y estándares para la evaluación en el sistema de las Naciones Unidas4 por el Grupo de Evaluación de las Naciones Unidas (compuesto por los jefes de evaluación de todo el sistema de las Naciones Unidas). Dichas normas y estándares se ajustan en gran medida a las normas del CAD de la OCDE, cuyo objetivo se refleja en el preámbulo: “Hacia un sistema de Naciones Unidas más dedicado al servicio de los pueblos del mundo; que venza las debilidades y capitalice las fortalezas desde una fuerte base de evidencia”. Constituyen una base sobre la cual todas las organizaciones y programas del sistema de las Naciones Unidas pueden evaluar sus resultados.
8. Actualmente las evaluaciones de la FAO se engloban en las siguientes categorías principales, que son complementarias:
9. El Comité del Programa es el destinatario de los informes de las principales evaluaciones para los órganos rectores. Sus funciones respecto a la evaluación consisten en asesorar al Consejo sobre las políticas y procedimientos generales de evaluación y en:
10. Incumbe al Servicio de Evaluación garantizar la pertinencia, calidad e independencia de la evaluación en la FAO. Radica a efectos administrativos en la Oficina del Programa, del Presupuesto y de Evaluación, que forma parte de la Oficina del Director General5. El Servicio recibe orientación del Comité del Programa y del Comité de Evaluación (interna). Es el único responsable de la realización de las principales evaluaciones para los órganos rectores y otras evaluaciones importantes, así como de seleccionar a los evaluadores y definir el mandato de evaluación. Por ello, goza de un alto nivel de independencia en la Organización. Además de sus funciones de realización de evaluaciones, el Servicio también:
11. Contrariamente a las dependencias de evaluación de algunas otras organizaciones de las Naciones Unidas, el Servicio de Evaluación apoya la autoevaluación por parte de los administradores pero carece de competencias más amplias de gestión basada en los resultados para garantizar un mayor grado de independencia en sus evaluaciones. El Servicio tampoco participa en el refuerzo de la capacidad en materia de evaluación en los Estados Miembros. Por lo que respecta a la capacitación del personal, formula observaciones sobre las necesidades de formación destinadas a la Dirección de Recursos Humanos.
12. Para el bienio en curso 2004-05, el presupuesto para la evaluación experimentó un crecimiento real del 27 por ciento, lo que representa aproximadamente 4,6 millones de dólares EE.UU.6 para el bienio (en total alrededor del 0,5 por ciento de los recursos disponibles para el Programa Ordinario de Labores). Actualmente los recursos para la evaluación de la labor extrapresupuestaria se sitúan en torno a 1,3 millones de dólares EE.UU. para el bienio (aproximadamente el 0,25 por ciento del gasto con cargo a fondos fiduciarios). La traducción y reproducción de los documentos de evaluación para los órganos rectores, y determinados costos indirectos de evaluación, tales como el espacio de oficinas, se financian al margen del presupuesto para la evaluación.
13. Las evaluaciones destinadas a los órganos rectores normalmente abarcan un objetivo estratégico o una estrategia para toda la Organización con arreglo a la definición del Marco Estratégico de la FAO, un programa o una dependencia de la Organización. En los últimos años, dichas evaluaciones han tendido a abarcar amplios conjuntos de trabajos a nivel de programa o estrategia con vistas a maximizar su utilidad para los órganos rectores y el personal directivo superior.
14. Selección de temas de evaluación: Al proponer temas de evaluación al Comité del Programa en el plan de evaluación progresivo, el Servicio de Evaluación tiene en cuenta los intereses manifestados por los órganos rectores y los administradores de la FAO. El objetivo es que la evaluación se centre en los ámbitos en que los órganos rectores y la Dirección tengan la mayor necesidad de información basada en pruebas sobre procesos, acuerdos institucionales, resultados e impacto. Con el fin de lograr una cobertura equilibrada y progresiva de las estrategias y programas de la Organización, los principales factores para decidir sobre las propuestas que se deban adoptar incluyen: a) el alcance de las evaluaciones en los seis últimos años, y b) el alcance de las autoevaluaciones y otros estudios. Los criterios también incluyen la envergadura del programa o ámbito de trabajo, la demanda de los Estados Miembros y los ámbitos de trabajo que se plantee ampliar (debido a la relevancia y utilidad que se considere tengan), eliminar o reducir. Cuando la Dirección y los órganos rectores ya estén de acuerdo en que una determinada labor no constituye una prioridad permanente, no es habitual realizar una evaluación, ya que puede permitir una rendición de cuentas pero es poco probable que revele enseñanzas de cara al futuro. El Comité del Programa decide sobre las prioridades en materia de evaluación sobre la base de una lista de posibles temas y puede añadir otros que considere importantes. Asimismo, puede solicitar, y solicita, evaluaciones en tiempo oportuno al margen del ciclo ordinario de evaluación, en cuyo caso se ajusta el plan para permitir su realización.
15. Mandato de la evaluación: El Servicio de Evaluación elabora un documento expositivo para cada evaluación sobre la base de un debate con las dependencias que participan más estrechamente en la ejecución de la estrategia del programa. Cada vez es más frecuente que se elija seguidamente a un jefe de equipo de evaluación, que participa en la ultimación del mandato.
16. Equipo de evaluación: En el pasado, la mayor parte de las evaluaciones eran llevadas a cabo por el personal del Servicio de Evaluación, pero la tendencia en los dos últimos años ha sido cada vez más que éstas corran a cargo de consultores externos, que el equipo de evaluación esté compuesto por consultores externos y que el Servicio de Evaluación asuma funciones de garantía de calidad y apoyo técnico. Los consultores para la evaluación7 se eligen sobre la base de su competencia, prestando atención asimismo al equilibrio regional y de género. En la medida de lo posible, se consulta a los jefes de los equipos de evaluación respecto a la composición del resto del equipo. El tamaño de los equipos guarda relación con la magnitud y complejidad de la evaluación, estando integrado habitualmente por tres o cuatro consultores principales.
17. Ámbito y método de evaluación: Los métodos utilizados se ajustan a cada evaluación. Determinadas características son comunes. El factor determinante fundamental del valor de un programa, estrategia o proceso es la ventaja que reporta a los gobiernos de los Estados Miembros de la FAO y sus poblaciones. Los aspectos fundamentales en materia de evaluación son los siguientes:
18. Las evaluaciones están orientadas al futuro. Por consiguiente, se trata principalmente de determinar los puntos fuertes y débiles de los programas, enfoques y estructuras de la FAO que tienen importancia para el futuro. Al examinar la eficacia e impacto de los programas, en general se ha considerado más útil examinar los resultados y el impacto de la labor terminada y en curso realizada en los cuatro a seis últimos años (para los períodos más largos es difícil hallar información detallada y determinar las líneas de causalidad en relación con el impacto). Para numerosas cuestiones institucionales, el interés esencial de las evaluaciones es la eficacia de las prácticas actuales, más que históricas, así como los beneficios probables de las reformas en curso.
19. Se ha considerado esencial realizar estudios teóricos preliminares y análisis de VIOD8 para diseñar las evaluaciones y determinar las cuestiones que requieren un estudio en profundidad. La introducción en 2000 de un modelo mejorado de planificación basado en los resultados para la FAO ha facilitado la determinación de resultados e impactos (objetivos) para cuya obtención se ejecutan los programas, pero habitualmente sigue siendo esencial clarificar la lógica de los mismos como fase inicial del proceso de evaluación y definir indicadores adecuados de verificación para su utilización en la evaluación.
20. En las evaluaciones se examina la labor de otras instituciones comparables con la FAO, especialmente en el sistema multilateral. Ello es importante para las valoraciones comparativas sobre procesos, calidad del trabajo, etc. Dado que los resultados de la FAO no se pueden juzgar de forma aislada, al margen de los de sus asociados y competidores, también es esencial formular juicios sobre los ámbitos en los que la FAO tiene puntos fuertes y débiles comparativos.
21. Por lo que respecta al método:
22. Informe de evaluación: El método requiere que el equipo de evaluación consulte a las partes interesadas, incluida la Dirección de la FAO, pero el equipo es el único responsable de su informe, incluidas las conclusiones y recomendaciones. La función del Servicio de Evaluación es garantizar el respeto del mandato y los plazos, así como prestar apoyo técnico a la evaluación, aunque no tiene la última palabra sobre las conclusiones y recomendaciones. Cada vez es más frecuente que los jefes de los equipos de evaluación externa independientes estén presentes cuando el Comité del Programa examina los informes.
23. Todos los informes de evaluación son documentos públicos que se pueden consultar en todos los idiomas de la Organización y se publican en el sitio web relativo a la evaluación. En el informe se deben presentar las recomendaciones de la evaluación de forma práctica e incluir recomendaciones de mejora sin incremento presupuestario (pues se ha observado que los equipos de evaluación formulaban casi sistemáticamente propuestas de aumento de trabajo y presupuestario en el ámbito evaluado, lo cual no siempre era realista).
24. Seguimiento: El Comité del Programa pide a la Dirección que dé una respuesta a cada evaluación sobre las conclusiones y recomendaciones que acepta o rechaza y por qué. Asimismo, pide a la Dirección que, en el marco de su respuesta, presente un plan viable sobre cómo tiene intención de efectuar el seguimiento. En este ámbito se han realizado progresos considerables en los últimos años y el Comité del Programa ha recalcado su deseo de obtener respuestas de modo más operativo. Asimismo, el Comité del Programa solicita un informe de seguimiento sobre los progresos realizados en la aplicación después de dos años.
25. La política de la Organización es que todos los programas deben ser objeto de evaluación, incluidos los que se financian con recursos extrapresupuestarios, y una regla de oro generalmente aceptada es que los programas deberían destinar del 1 al 2 por ciento de la totalidad de los recursos a una evaluación independiente9. Los órganos rectores han indicado igualmente que no desean que el Programa Ordinario financie la evaluación de actividades extrapresupuestarias. Se ha evaluado el 61 por ciento de los proyectos de campo financiados bilateralmente con fondos fiduciarios por un valor superior a 2 millones de dólares EE.UU. (excluidas las emergencias) que se terminaron de ejecutar en los años 2000-2004. La cifra correspondiente para los proyectos del PNUD fue del 27 por ciento (debido a que ahora el PNUD está evaluando generalmente programas a nivel de país más que proyectos determinados) y no se evaluó ninguno de los proyectos de fondos fiduciarios unilaterales pagados por los propios países. Como cabía esperar, las cifras son considerablemente inferiores para los proyectos cuyo presupuesto se sitúa entre 1 y 2 millones de dólares EE.UU. De los 53 proyectos de emergencia que superaban el millón de dólares EE.UU., sólo se evaluaron dos por separado.
26. Los proyectos extrapresupuestarios han estado sujetos a evaluaciones realizadas por misiones de evaluación tripartita, normalmente conforme se aproximaba la terminación del proyecto y se examinaban las medidas de seguimiento. Dichas misiones estaban integradas por tres o cuatro evaluadores independientes designados respectivamente por la fuente de financiación, el o los países beneficiarios y la FAO. Sin embargo, en la última década una serie de acontecimientos han acarreado una reducción de la aplicabilidad de este modelo. Ha aumentado el número de proyectos de campo relativamente pequeños, para los cuales una misión de envergadura de este tipo no supondría una utilización rentable de recursos. Asimismo, se ha producido un importante incremento de los programas de rehabilitación y respuesta a emergencias en los que los recursos, procedentes de varios donantes, son administrados con carácter global para responder a la crisis. También se ha producido un aumento importante de proyectos no tradicionales de apoyo a la labor de la Sede o que combinan de forma integrada el apoyo normativo y la labor de campo.
27. Proyectos de desarrollo regional y nacional por valor igual o superior a 2 millones de dólares EE.UU.: La política que se aplica actualmente consiste en que los proyectos de campo de desarrollo por un valor de 2 millones de dólares EE.UU. o superior deberían seguir siendo objeto de evaluación individual por un equipo independiente. Esta modalidad sigue incluyendo una visita al país por el equipo de evaluación y el calendario de la evaluación se elige en función del momento en el que puede aportar la máxima contribución a la labor a la que se presta ayuda con el proyecto. El Servicio de Evaluación autoriza el mandato y la composición del equipo y confirma asimismo que el informe de evaluación cumple los requisitos esenciales de calidad.
28. Proyectos de campo de desarrollo más pequeños: Para este tipo de proyectos, se están entablando actualmente conversaciones con los distintos donantes para que sigan estando dispuestos a destinar un pequeño importe a cada proyecto y a colocarlo en un fondo fiduciario de evaluación específico para cada donante. Previa consulta con el donante, los equipos independientes evaluarían entonces los grupos de proyectos, en algunos casos como parte de evaluaciones temáticas o de países más amplias10. La evaluación de los proyectos del Programa de Cooperación Técnica de la FAO ya se lleva a cabo de este modo, lo que facilita la evaluación a posteriori así como la de los proyectos en curso.
29. Emergencias más importantes: Para ese tipo de emergencias, la FAO debe evaluar de forma integrada la pertinencia, eficacia y beneficios sostenibles de su respuesta a la totalidad de la emergencia. Hasta la fecha, se ha utilizado financiación especial a tal efecto11 y la Dirección ha adoptado la decisión de introducir un componente de evaluación en los presupuestos para proyectos de los que se puedan extraer recursos para evaluar la respuesta de la FAO, tanto durante la prestación de asistencia como después de ésta. Aunque las primeras evaluaciones de las principales emergencias no se llevaron a cabo consultando plenamente a los donantes ni a los países afectados, se pretende, en la medida de lo posible, que exista una asociación plena y que el Servicio de Evaluación siga dirigiendo las evaluaciones. A este respecto, se pueden extraer algunas enseñanzas útiles de la evaluación multilateral independiente de la campaña contra la langosta del desierto de 2003-05, que está examinando la respuesta de la FAO, los programas nacionales y los donantes, y dispone de un comité directivo de todos los asociados para supervisar su labor.
30. Para la financiación extrapresupuestaria de programas de apoyo a ámbitos del Programa Ordinario, o una combinación de labor normativa y de desarrollo de campo, se están estableciendo mecanismos de evaluación adecuados para cada uno de los distintos programas con carácter flexible, previo debate con los distintos donantes.
31. Se requiere una respuesta de la Dirección y un seguimiento de la aplicación de las recomendaciones para la evaluación de los programas extrapresupuestarios, así como para la labor del Programa Ordinario, pero se reconoce en general que constituye un área deficitaria y que la utilización en la práctica de las conclusiones y recomendaciones depende ampliamente del grado en que los distintos asociados en la evaluación están convencidos de su validez y en que, por ende, las llevan a la práctica.
32. Equipos de evaluación: Para la totalidad de la evaluación de la labor extrapresupuestaria, se utilizan equipos independientes. Éstos deben adoptar un planteamiento consultivo con el fin de maximizar el acceso a la información y facilitar tanto el realismo como el dominio de los asociados en la evaluación, pero responden plenamente de las conclusiones y recomendaciones de sus informes. En el pasado, para las evaluaciones de la labor financiada con recursos extrapresupuestarios, los miembros de los equipos solían estar nombrados por separado por las fuentes de financiación, los países beneficiarios y la FAO. Actualmente, se prefiere que todas las partes convengan en la composición del equipo de evaluación sin que los miembros constituyan sus representantes particulares.
33. Con el apoyo financiero del DFID del Reino Unido, la autoevaluación se introdujo en la FAO en 2003 como parte de la gestión basada en los resultados. Las autoevaluaciones son llevadas a cabo por administradores de programas utilizando consultores externos y el Servicio de Evaluación proporciona a los administradores los principios y directrices básicos, la garantía de calidad y el apoyo técnico12. El administrador encargado de la entidad de programa asume la responsabilidad final del informe de autoevaluación. El administrador de más categoría al que dan cuenta, normalmente un Director de Dirección o un Subdirector General, debe dar entonces una respuesta formal a la autoevaluación (aunque esta última fase del proceso no se ha aplicado plenamente). Actualmente se debe dar cuenta de las autoevaluaciones en forma resumida por medio del informe sobre la ejecución del programa y los resúmenes se pueden consultar en el sitio web de la FAO relativo a la evaluación.
34. Desde 2005, la autoevaluación se ha ampliado a las esferas prioritarias para la acción interdisciplinaria (EPAI) y, con carácter experimental, a los ámbitos administrativos. En 2004 se llevaron a cabo 19 autoevaluaciones que abarcaban 28 entidades de programa. Para 2005, se ha acordado realizar 16 autoevaluaciones para los programas técnicos. Se están realizando autoevaluaciones sobre una EPAI y un programa no técnico en concepto de estudios piloto.
35. El principio es que todas las entidades de programa deberían ser objeto de una evaluación externa independiente o de una autoevaluación a lo largo de su existencia y que las entidades de programa con una duración determinada deberían ser evaluadas normalmente hacia el final de su ejecución con el fin de ayudar a planificar el futuro. Sin embargo, ha quedado claro que debido a los cambios introducidos en las prioridades y las continuas restricciones presupuestarias, se plantea la conveniencia de ampliar determinados ámbitos de trabajo y recortar otros independientemente de la duración prevista de las entidades de programas. Por consiguiente, se está haciendo un hincapié considerable en la selección de trabajos con vistas a la autoevaluación al considerar modificaciones importantes de orientación, ya sea en el sentido de una ampliación como de una reducción.
36. El Servicio de Evaluación ha analizado la experiencia de la primera tanda de autoevaluaciones, incluida la distribución de un cuestionario a los participantes. En el diagrama 2 se resumen las respuestas sobre la utilidad subjetiva de la autoevaluación. Se desprende que todos los subdirectores generales consideraron útil la autoevaluación. A nivel de directores, el 33 por ciento de los encuestados la consideraron muy útil, el 58 por ciento útil y sólo el ocho por ciento estimó que no reportaba beneficios significativos. En conjunto, a todos los niveles los administradores consideraron el proceso útil o muy útil.
Diagrama 2: Utilidad de la autoevaluación en opinión de los administradores
37. Dado que las autoevaluaciones competen a los administradores directamente afectados, es poco probable que sean muy críticas. Asimismo, quedó claro que los encargados de entidades de programas alcanzaron conclusiones útiles durante la autoevaluación, aunque no se reflejasen necesariamente en los informes. Sin embargo, los informes de autoevaluación demuestran si las entidades permitieron contribuir significativamente a los resultados y el impacto, lo que ya de por sí constituye una información valiosa para los administradores superiores. Cuando se consultó directamente a los asociados y usuarios en procesos de autoevaluación, el espíritu crítico y a veces la verificación de los beneficios fueron mayores que cuando las consultas eran esencialmente internas. Asimismo se constató que la utilización de consultores externos y/o revisores paritarios externos reforzaba tanto la objetividad como el sentido crítico en el proceso.
38. Es demasiado pronto aún para analizar el impacto que la autoevaluación ha tenido en la práctica en la planificación de las entidades de programas y siempre será difícil determinar hasta qué punto los administradores han introducido cambios a raíz de la autoevaluación y en qué medida las autoevaluaciones reflejan cambios que se habían decidido de forma independiente. Una gran parte de los administradores concernidos concluyeron en sus autoevaluaciones que era necesario mejorar la formulación de entidades de programas y su ejecución en la práctica aclarando qué resultados se esperaba para qué beneficiarios. Muchos de ellos llegaron a la conclusión de que se debía utilizar una mayor proporción de los recursos para la difusión de productos, en particular las publicaciones, en vez de limitarse a su producción. Además, existía un interés considerable respecto a la necesidad de mejorar la accesibilidad por medio del sitio web de la FAO.
39. El Servicio de Evaluación está ultimando el informe de su propia autoevaluación de la evaluación en la FAO, incluidos en particular los resultados del propio Servicio. En dicha autoevaluación, los especialistas de otras organizaciones del sistema de las Naciones Unidas y de organismos para el desarrollo a nivel bilateral llevaron a cabo un examen. Se celebraron entrevistas estructuradas con grupos de interesados internos y algunos representantes de gobierno. Se envió una muestra representativa de informes de evaluación a los especialistas para que los examinaran con arreglo a sus propios criterios. Las principales conclusiones que se desprenden del proceso de autoevaluación son las siguientes:
5 El personal de dicho Servicio está integrado por un Jefe, ocho profesionales (uno de los cuales costeado con recursos extrapresupuestarios) y tres miembros de personal de apoyo.
6 4,1 millones de dólares EE.UU. con cargo a la asignación del Programa Ordinario para el Servicio de Evaluación y aproximadamente 0,5 millones de dólares EE.UU. para la evaluación del Programa de Cooperación Técnica-PCT.
7 Actualmente las consultorías de evaluación se publican en la web.
8 Virtudes, insuficiencias, oportunidad y dificultades.
9 La cooperación técnica y la labor de análisis justifican la parte superior de esta horquilla debido a su relativa complejidad y elevado potencial de beneficios.
10 En dicho caso se elaborarían siempre informes específicos para los donantes así como un informe general sobre la labor de la FAO.
11 Inundaciones en Mozambique, Balcanes, Afghanistán, África austral y zonas afectadas por el tsunami.
12 El Servicio de Evaluación también proporciona los fondos correspondientes para apoyar las evaluaciones.
13 A este respecto, nótese que los Comités del Programa y de Finanzas examinaron la cuestión de la incardinación del Servicio de Evaluación en la Organización en su reunión conjunta celebrada en septiembre de 2003. “Estuvieron de acuerdo en que se debía potenciar aín más la independencia del PBEE dentro de su actual emplazamiento en la PBE…”