PC 82/4 |
82º período de sesiones |
Roma, 13-17 de septiembre de 1999 |
Evaluación en el contexto del Marco Estratégico y del nuevo modelo de programación |
II. REPERCUSIONES DEL NUEVO ENFOQUE DE LA PLANIFICACIÓN Y LA PROGRAMACIÓN PARA LA EVALUACIÓN
III. POSIBLES MEJORAS EN LA PRESENTACIÓN DE INFORMES SOBRE LA EVALUACIÓN A LOS ÓRGANOS RECTORES
Antecedentes
1. Cuando la Conferencia decidió en 1997 iniciar la introducción del proceso revisado de planificación, programación y presupuestación que se esboza en el documento JM 97/1, y pidió que se preparara un Marco Estratégico para la FAO, se estimó que sería también necesario modificar considerablemente el sistema de evaluación en la Organización. Por consiguiente, el Comité del Programa pidió que la Secretaría presentara propuestas sobre el carácter y ámbito de un sistema revisado de evaluación, en el contexto del Marco Estratégico y del nuevo modelo de programación. El presente documento responde a esa petición. Las propuestas que se esbozan a continuación se presentan para que el Comité del Programa examine la configuración del futuro enfoque de la evaluación y la presentación de informes que necesitan los Órganos Rectores.
2. La FAO fue uno de los primeros organismos de las Naciones Unidas en institucionalizar la evaluación, con la creación en 1968 de una dependencia de evaluación encargada inicialmente de evaluar proyectos de campo. En 1979, el mandato del Servicio de Evaluación se amplió para abarcar tanto el Programa de Campo como el Programa Ordinario. Los resultados de la evaluación se han comunicado sistemáticamente a los Órganos Rectores, al principio por medio de exámenes independientes de los Programas de Campo y Ordinario y, desde 1993, a través del Informe sobre la Evaluación del Programa (PER).
3. En la actualidad la evaluación forma parte del sistema global de supervisión de la FAO y depende de la Oficina del Programa, del Presupuesto y de Evaluación. Los otros componentes del sistema de supervisión son la comprobación externa de cuentas, la comprobación interna de cuentas, la inspección y la investigación. Mientras que el Auditor Externo, nombrado por el Consejo, se encarga de la auditoría externa, las restantes funciones de supervisión competen al Inspector General, con el que el Servicio de Evaluación trabaja en estrecha cooperación.
4. La evaluación es a la vez un instrumento de gestión y de rendición de cuentas. Proporciona a los administradores a todos los niveles una base mejorada de conocimientos y una valoración fundamental para sus programas. Sus fines principales son: i) estimular mejoras en la planificación general y en la selección y formulación de programas por lo que respecta a su utilidad, eficiencia, eficacia y repercusión; ii) apoyar la adopción de decisiones sobre gestión para introducir correcciones sobre la marcha y mejorar la ejecución; iii) realizar aportaciones a la adopción de decisiones relacionadas con la continuación de los programas al término de su período de ejecución; iv) promover el aprendizaje institucional sobre cuestiones fundamentales; y v) contribuir a un aumento general de la rendición de cuentas sobre la gestión y de la transparencia en la presentación de informes a los Órganos Rectores y otras partes interesadas.
5. La evaluación de la calidad, que responde a las preocupaciones expresadas por la administración y por los Órganos Rectores, debe centrarse en los resultados desde el punto de vista de los beneficios para los usuarios a los que están destinados los servicios de la FAO, y basarse en un análisis riguroso, una valoración independiente, un proceso de consultas y una presentación de informes transparente. Por consiguiente, la evaluación entraña un análisis crítico y una valoración de los logros de la Organización, sus programas y proyectos. Los criterios para evaluar programas son, entre otros, los siguientes:
De este análisis pueden sacarse importantes enseñanzas para el futuro.
6. Entre las técnicas empleadas en la evaluación se incluyen el análisis con arreglo a los criterios específicos que se han detallado anteriormente; el establecimiento de puntos de referencia para realizar comparaciones con programas análogos; y diversos métodos de consulta e intercambio de información con las partes interesadas, incluidos cuestionarios, encuestas por muestreo de los resultados y entrevistas a grupos o personas elegidos como objetivos. En todos los casos, el éxito de la evaluación se basa en la opinión fundamentada de expertos y en la aplicación de un análisis riguroso de los medios-fines que establezca una relación entre causa y efecto.
7. El nuevo modelo de programación tiene como finalidad conseguir una estructura más estratégica y coherente para los programas de la FAO. Dentro del Marco Estratégico, el Plan a Plazo Medio (PPM) de seis años será un plan progresivo que habrá de actualizarse en cada bienio. Constituirá un plan unificado y orientado a los resultados para todos los programas de la FAO, con metas e indicadores de los logros dentro de un plazo establecido para la consecución a plazo medio de los objetivos del Marco Estratégico. Los programas se elaborarán en función de sus distintos elementos: proyectos técnicos, actividades programáticas continuas y acuerdos de servicios técnicos. En el Programa de Labores y Presupuesto (PLP) se presentará el plan de trabajo bienal para la ejecución del programa y los recursos correspondientes. Como resultado de ello, se prevé que la ejecución del programa se centrará claramente en los resultados que habrán de conseguirse de acuerdo con el Marco Estratégico y el PPM, lo que entrañará una planificación rigurosa, una vigilancia sistemática y un examen con miras a la introducción de correcciones sobre la marcha y la actualización bienal.
Repercusiones del nuevo modelo de programación para la evaluación
8. De acuerdo con la definición general de la evaluación que se ofrece en el párr. 4 supra, será esencial establecer en los próximos años un sistema apropiado de evaluación que permita a la administración pasar de manera gradual y eficaz al nuevo modelo de programación.
9. Con el fin de determinar los progresos globales en la consecución de los objetivos del Marco Estratégico, será necesario que el nuevo sistema de evaluación examine los resultados de los programas, o de grupos de elementos de programas, que contribuyen a esos objetivos, así como el rendimiento de los distintos elementos de programas. También deberá evaluar la aplicación de las estrategias para abordar cuestiones intersectoriales de toda la Organización. El principal marco de referencia será el PPM, en el que se utilizarán diferentes enfoques:
a) Valoración del rendimiento de distintos elementos de programa, especialmente al
final de los períodos de ejecución;
b) Valoración del rendimiento de grupos de elementos de programas por lo que respecta su
contribución a los objetivos estratégicos;
c) análisis de la eficacia y validez de las estrategias intersectoriales para toda la
Organización, como por ejemplo garantizar la excelencia, intensificar la
interdisciplinariedad y ampliar las asociaciones y alianzas; y
d) estudios en los que se reúna información sobre los progresos globales en la
consecución de los objetivos estratégicos.
10. El enfoque entraña la necesidad de que la evaluación tenga un ámbito más amplio y sistemático, que abarque todos los programas de la FAO, y exige el fortalecimiento del sistema de vigilancia, examen y evaluación en toda la Organización. Sin embargo, no todos los programas pueden evaluarse al mismo tiempo; más bien, el ciclo de evaluación tenderá a seguir el ciclo progresivo de seis años de la planificación a plazo medio y, en particular, a concentrarse en elementos de programas ultimados o próximos a su conclusión. En particular, la vigilancia, examen y autoevaluación de gran alcance en las direcciones y departamentos desempeñarán una función decisiva. Será necesario adoptar las medidas siguientes:
11. Si se quiere reforzar con éxito el sistema de evaluación, será necesario asegurar una evolución y mejora constantes, especialmente en el caso de los próximos años de transición, hasta que el nuevo método de programación esté firmemente establecido. Dado que los recursos existentes no permiten conseguir mejoras en todas las esferas, es necesario tratar de mantener un diálogo con el Comité del Programa acerca de las esferas prioritarias. Los componentes principales de un sistema óptimo podrían ser, entre otros, los siguientes:
12. Como se desprende claramente de los componentes del nuevo sistema de evaluación descrito más arriba, se prevén varias modalidades:
13. En caso de que se aceptara, el sistema antes esbozado habría de ser desarrollado y perfeccionado en los próximos años, apoyándolo con importantes modificaciones en el proceso de planificación y administración de los programas, así como con recursos suficientes. Sería necesario superar los problemas metodológicos y mantener un equilibrio entre el deseo de ampliar y mejorar la evaluación y la eficacia en función de los costos de la contribución de la evaluación a una mayor repercusión de las actividades de la Organización. Entre las cuestiones se incluyen las siguientes:
Esto requiere un conjunto de criterios para averiguar si se ha conseguido un determinado resultado y si esa consecución se debe a las actividades del programa y no a otros factores, y en caso afirmativo, en qué medida. Sin embargo, el número de eslabones de la cadena y otras aportaciones al proceso que permiten alcanzar los beneficios últimos harán normalmente que una verificación efectiva sea sumamente costosa o imposible. Lo que se puede hacer es examinar indicadores eficaces en función de los costos de la asimilación por parte de los usuarios y de la satisfacción de éstos con respecto a los resultados de los programas, evaluar la utilización de los productos y verificar probables relaciones de causalidad en la consecución de los beneficios últimos mediante la ejecución. En pocas palabras, aunque se puede identificar posibles efectos, los intentos de verificar la repercusión final son excesivamente costosos y rara vez ofrecen respuestas fiables;
Sin embargo, no es posible conseguir en su totalidad las mejoras indicadas con los recursos disponibles. En particular, el aumento de las aportaciones externas a la evaluación que piden algunos miembros requeriría un incremento considerable de los recursos. Teniendo en cuenta esta limitación de los recursos, las opiniones del Comité serán importantes para determinar el equilibrio que ha de mantenerse en la labor de evaluación entre:
- la creación de una base más sólida para la evaluación, incluido el fortalecimiento del nuevo modelo de programación y el establecimiento de un proceso funcional de vigilancia y examen (autoevaluación);
- la garantía de una retroinformación efectiva a los usuarios sobre los resultados de la evaluación y la amplia distribución de estos resultados; y
- la realización de estudios de evaluación, especialmente en lo que concierne a la rendición de cuentas a los Órganos Rectores.
14. La presentación de informes sobre la evaluación, como parte del deber de rendición de cuentas de la Secretaría, constituye una firme base analítica para las decisiones de los Órganos Rectores sobre los programas. Por consiguiente, la presentación de informes deberá ajustarse a las necesidades de los Órganos Rectores en relación con el ciclo bienal de planificación y presupuestación, en el cual el Comité del Programa y el Consejo, valiéndose también del asesoramiento de los comités técnicos, realizan la labor preparatoria básica para que la Conferencia adopte la decisión final. Con el fin de atender a las necesidades de los Órganos Rectores, a continuación se ofrecen propuestas en cuanto a: i) el volumen de información que necesitan los Órganos Rectores; ii) el contenido y la presentación de los informes; y iii) el calendario para la presentación de informes.
15. Volumen de información: Normalmente se requiere una información más detallada en los comités que en las sesiones plenarias. El Comité del Programa y los comités técnicos del Consejo son los responsables, en primer término, del examen de los programas. El Comité del Programa se ha convertido, en la práctica, en el principal destinatario del PER, a cuyo examen dedica más tiempo que cualquier otro órgano. En consecuencia, sería conveniente orientar claramente la presentación de informes sobre la evaluación al Comité del Programa. Al mismo tiempo, sigue siendo necesario que tanto el Consejo como la Conferencia reciban un informe sobre la evaluación del programa con fines de rendición de cuentas y de supervisión de la función de evaluación. Sin embargo, este informe podría presentarse de manera más resumida.
16. Ámbito de los informes presentados al Comité del Programa: Puede que el Comité desee proponer cambios en el modo en que se plantea el examen de los programas a la luz del Marco Estratégico y del nuevo modelo de programación. Los programas seleccionados para su examen en profundidad deberían consistir, en la medida de lo posible, en programas comprendidos en el ciclo de examen del Comité.
17. La presentación de informes detallados sobre la evaluación de programas de la FAO sigue siendo selectiva, dada la limitación tanto de los recursos disponibles para la evaluación como del tiempo de que dispone el Comité del Programa. Existe una relación de correspondencia entre la profundidad de los análisis especialmente en lo que concierne a la evaluación de los efectos, y la amplitud del ámbito (véase el examen anterior de los efectos). Se seguiría consultando al Comité sobre la selección de los temas que habrían que tratarse en las evaluaciones para el bienio siguiente. De conformidad con el examen anterior del sistema de evaluación, entre los productos del Comité del Programa podrían incluirse los siguientes:
18. El período de ejecución variaría según el tipo de evaluación. Sin embargo, en el caso de evaluaciones temáticas o de programas, se necesitaría por lo general un período de tiempo suficientemente largo (unos tres bienios) para poder estimar los efectos y la repercusión.
19. Teniendo en cuenta los recursos actuales del Servicio de Evaluación, el número máximo de informes bienales sobre la evaluación presentados al Comité del Programa no podrá exceder de un total de cuatro a cinco en las diversas combinaciones antes indicadas. Probablemente, cuando un examen exija un esfuerzo muy importante de investigación, como en el caso de la "a) evaluación de los progresos globales en la consecución de un determinado objetivo estratégico", será necesario reducir a dos o tres el número de otros asuntos tratados.
20. Contenido y presentación de los Informes: Podría presentarse al Comité del Programa un informe sobre la evaluación en versión resumida (de cinco a ocho páginas), poniendo a disposición de los miembros interesados del Comité los documentos de trabajo en que se basan los informes, para su consulta. También podrían ofrecerse en Internet los informes sobre la evaluación del Comité del Programa para información de todos los miembros. Aunque variaría la forma de presentación de los informes del programa de campo, temáticos y de programas, se conservaría el marco actual del análisis; esto es conforme a los criterios que se esbozan en el párr. 5 del presente documento.
21. Además de los propios informes, el Comité recibiría, como en la actualidad, una respuesta de la administración a las conclusiones y recomendaciones y, cuando el informe hubiera sido preparado principalmente por el Servicio de Evaluación sin aportaciones externas independientes de importancia, las observaciones de los encargados del examen colegiado externo.
22. Presentación de informes sobre la evaluación a los Órganos Rectores: Esta presentación podría comprender, por consiguiente, los siguientes documentos:
a) Comité del Programa - un conjunto de evaluaciones temáticas y de programas sobre determinados programas de especial interés para los Órganos Rectores, especialmente en relación con el proceso bienal de examen de programas del Comité del Programa;
b) Comités técnicos del Consejo - informes examinados por el Comité del Programa que guarden relación con los mandatos de los distintos comités técnicos y sus programas; y
c) Consejo y Conferencia - una nueva versión del Informe sobre la Evaluación del Programa (PER), con un resumen bienal de los informes sobre la evaluación examinados por el Comité del Programa, que contenga:
23. Calendario de la presentación de informes: Del examen anterior se desprende que:
24. Transición a las nuevas disposiciones: Dado que la presentación de informes sobre la evaluación no podrá tener en cuenta los resultados de las nuevas disposiciones sobre programación y el Marco Estratégico aprobado por lo menos hasta que hayan transcurrido dos bienios completos, es decir, en el año 2004, puede que el Comité del Programa desee examinar la posibilidad de reducir el número de informes sobre la evaluación presentados en el período de transición. Esto es especialmente aplicable dado que se está pidiendo al Servicio de Evaluación que apoye la introducción del modelo mejorado de programación y se cerciore de que constituye la base futura para el aprendizaje y la rendición de cuentas en la Organización. Mientras tanto, los informes sobre la evaluación incluirían una combinación de evaluaciones por disciplinas técnicas y temas. Para el próximo bienio 2000-2001, se sugiere que el Comité del Programa examine en sus períodos de sesiones de primavera y otoño los informes sobre la evaluación que constituirían más adelante la base para el PER del 2001. En un documento aparte se presentan posibles asuntos para el Comité del Programa.
25. Informe sobre la Ejecución del programa (PIR) - Además de los informes sobre la evaluación antes propuestos, podría seguir presentándose un PIR bienal sobre el bienio anterior. Dado el carácter intrínsecamente selectivo de los informes sobre la evaluación presentados, los cuales se centran en los efectos y la repercusión, sería necesario que el PIR mantuviera su ámbito global, de manera que formara parte integrante de la presentación de informes de rendición de cuentas. Sin embargo, a la luz del nuevo enfoque de la programación y teniendo en cuenta algunas reservas expresadas en los Órganos Rectores sobre el contenido del PIR, se seguiría tratando de hallar una forma de presentación más satisfactoria para este informe, en consulta con el Comité del Programa. Dado que la nueva forma de presentación del informe no podrá ponerse en práctica hasta que haya concluido el primer ciclo completo (es decir, en el 2006 como muy pronto), la Secretaría tiene la intención de presentar al Comité, en una fecha posterior, nuevas propuestas sobre este tema.
26. El presente documento se presenta al Comité como parte de un proceso de diálogo constante. Para facilitar este diálogo, a continuación se ponen de relieve algunas de las cuestiones señaladas en el documento, con el fin de recabar las opiniones del Comité en cuanto a:
ANEXO 1
EVALUACIÓN DE PEQUEÑOS PROYECTOS
Introducción
1. En su 80º período de sesiones de septiembre de 1998, el Comité del Programa tomó nota de "la tendencia hacia proyectos de menor volumen y duración que en el pasado y la consiguiente necesidad de elaborar metodologías de evaluación apropiadas y eficaces en función de los costos" (párr. 34 del documento CL 115/8).
2. En principio, todos los proyectos financiados con fondos fiduciarios y del PNUD con un presupuesto superior a un millón de dólares EE.UU. son objetos de una evaluación oficial. Sin embargo, se admite en general que las evaluaciones individuales no son una solución en función de los costos para pequeños proyectos de menos de un millón de dólares EE.UU. Los costos podrían exceder fácilmente del 5 por ciento del valor del proyecto y, en el caso de proyectos muy pequeños, por ejemplo de 100 000 dólares EE.UU., una evaluación normal como la que se aplica a proyectos mayores, aun en el caso de que se redujera proporcionalmente, podría costar el 15 por ciento del presupuesto del proyecto.
3. Es difícil clasificar los proyectos pequeños (con un presupuesto inferior a un millón de dólares EE.UU.). Por fuente de financiación en el período 1996-97, los resultados por número de proyectos fueron los siguientes: 45 por ciento, FAO-PCT; 40 por ciento, fondos fiduciarios (de los cuales, el 8 por ciento correspondió a FFU); 14 por ciento, fondos de las Naciones Unidas (principalmente PNUD) y uno por ciento, otros fondos.
4. Desde el PLP para 1996-97, se han evaluado, aplicando un criterio temático, determinados proyectos del PCT que abarcan tanto proyectos en curso como terminados. La secuencia normal es la siguiente:
5. Tanto los estudios teóricos preliminares como las misiones sobre el terreno utilizan listas de control normalizadas para asegurarse de que se tratan todos los puntos principales (véase el párr. 5 del documento principal). Las misiones sobre el terreno prestan especial atención a la evaluación del uso de los productos del proyecto y, por consiguiente, a sus efectos y repercusión. La inclusión de un número considerable de proyectos terminados facilita este análisis.
6. En las tres evaluaciones temáticas del PCT iniciadas hasta la fecha se han examinado unos 80 proyectos, de los que 65 han sido objeto de visitas sobre el terreno. Esto representa el 5 por ciento aproximadamente de la cartera total del PCT en el período de 1992-98, proporción que aumentará constantemente a medida que se emprendan más evaluaciones temáticas. La inclusión en el documento y el presupuesto de los proyectos ordinarios del PCT de una consignación de 500 dólares EE.UU. como contribución al costo de la evaluación ha facilitado la financiación de la labor correspondiente.
7. En los pequeños proyectos del PNUD, las actividades de la FAO constituyen por lo general una aportación a un proyecto más amplio (esto sucede también a menudo con los fondos fiduciarios unilaterales). Las aportaciones técnicas a proyectos más amplios se examinan normalmente en el contexto de la evaluación del proyecto completo. La FAO trata de asegurarse de que las atribuciones comprenden la valoración de la idoneidad, la calidad y los resultados de las aportaciones técnicas y de que está representada en la mayor medida posible en las misiones de evaluación, con el fin de aumentar al máximo la retroinformación. Cuando la FAO está representada en las misiones, se rellena el cuestionario normal de evaluación. Este mecanismo ha resultado adecuado hasta la fecha, pero se seguirá examinando el grado en que las misiones de evaluación cubren los proyectos, dado que es posible que los organismos de financiación no siempre aprecien la necesidad de que la FAO participe en la evaluación o el valor de un examen específico de las aportaciones técnicas.
8. Entre los pequeños proyectos con cargo a fondos fiduciarios, los proyectos de emergencia representaron el 13 por ciento y los proyectos normativos conexos el 27 por ciento en cuanto a número. Los proyectos restantes incluyeron una combinación de actividades, pero las aportaciones en materia de política y los estudios pilotos y de viabilidad ocuparon un lugar destacado. En los estudios piloto y de viabilidad, el examen en profundidad constituye una parte esencial del proceso de formulación y de estimación para un posible seguimiento. Asimismo, los proyectos normativos tienden a evaluarse como parte del sistema de evaluación aplicable al Programa Ordinario que es el tema del texto principal de este documento.
9. Se sugiere además que todos los pequeños proyectos con cargo a fondos fiduciarios, incluidos los relacionados con emergencias, se sometan a una evaluación temática, al igual que se hace para el PCT de la FAO, y que, como práctica habitual, se incluya en el presupuesto un pequeño cargo directo.
1 En su 80ºperíodo de sesiones, celebrado en septiembre de 1998, el Comité del Programa tomó nota de "la tendencia hacia proyectos de menor volumen y duración que en el pasado y la consiguiente necesidad de elaborar metodologías de evaluación apropiadas y eficaces en función de los costos" (párr. 34 del documento CL 115/8). Esta cuestión se examina en el Anexo I.