1. Cuando la Conferencia decidió en 1997 iniciar la introducción del proceso revisado de planificación, programación y presupuestación que se esboza en el documento JM 97/1, y pidió que se preparara un Marco Estratégico para la FAO, se estimó que sería también necesario modificar considerablemente el sistema de evaluación en la Organización. Por consiguiente, el Comité del Programa pidió que la Secretaría presentara propuestas sobre el carácter y ámbito de un sistema revisado de evaluación, en el contexto del Marco Estratégico y del nuevo modelo de programación. El presente documento responde a esa petición. Las propuestas que se esbozan a continuación se presentan para que el Comité del Programa examine la configuración del futuro enfoque de la evaluación y la presentación de informes que necesitan los Órganos Rectores.

2. La FAO fue uno de los primeros organismos de las Naciones Unidas en institucionalizar la evaluación, con la creación en 1968 de una dependencia de evaluación encargada inicialmente de evaluar proyectos de campo. En 1979, el mandato del Servicio de Evaluación se amplió para abarcar tanto el Programa de Campo como el Programa Ordinario. Los resultados de la evaluación se han comunicado sistemáticamente a los Órganos Rectores, al principio por medio de exámenes independientes de los Programas de Campo y Ordinario y, desde 1993, a través del Informe sobre la Evaluación del Programa (PER).

3. En la actualidad la evaluación forma parte del sistema global de supervisión de la FAO y depende de la Oficina del Programa, del Presupuesto y de Evaluación. Los otros componentes del sistema de supervisión son la comprobación externa de cuentas, la comprobación interna de cuentas, la inspección y la investigación. Mientras que el Auditor Externo, nombrado por el Consejo, se encarga de la auditoría externa, las restantes funciones de supervisión competen al Inspector General, con el que el Servicio de Evaluación trabaja en estrecha cooperación.

Evaluación - Finalidad y definición

4. La evaluación es a la vez un instrumento de gestión y de rendición de cuentas. Proporciona a los administradores a todos los niveles una base mejorada de conocimientos y una valoración fundamental para sus programas. Sus fines principales son: i) estimular mejoras en la planificación general y en la selección y formulación de programas por lo que respecta a su utilidad, eficiencia, eficacia y repercusión; ii) apoyar la adopción de decisiones sobre gestión para introducir correcciones sobre la marcha y mejorar la ejecución; iii) realizar aportaciones a la adopción de decisiones relacionadas con la continuación de los programas al término de su período de ejecución; iv) promover el aprendizaje institucional sobre cuestiones fundamentales; y v) contribuir a un aumento general de la rendición de cuentas sobre la gestión y de la transparencia en la presentación de informes a los Órganos Rectores y otras partes interesadas.

5. La evaluación de la calidad, que responde a las preocupaciones expresadas por la administración y por los Órganos Rectores, debe centrarse en los resultados desde el punto de vista de los beneficios para los usuarios a los que están destinados los servicios de la FAO, y basarse en un análisis riguroso, una valoración independiente, un proceso de consultas y una presentación de informes transparente. Por consiguiente, la evaluación entraña un análisis crítico y una valoración de los logros de la Organización, sus programas y proyectos. Los criterios para evaluar programas son, entre otros, los siguientes:

conformidad con los objetivos estratégicos de la Organización;
pertinencia para las necesidades de los países, la comunidad internacional y otros usuarios de los servicios de la FAO;
calidad y coherencia del enfoque y la formulación de los programas;
rendimiento general, especialmente en lo que respecta a las metas cualitativas y cuantitativas para los productos y los objetivos;
eficiencia y eficacia en función de los costos, incluida la repercusión de los procesos administrativos;
grado en que se mantendrán probablemente en el futuro los beneficios obtenidos y las mejoras realizadas;
factores que han contribuido positiva o negativamente a los logros del programa, y razones de ello; y
asimilación y eficacia de las medidas relacionadas con cuestiones temáticas fundamentales, como la paridad entre hombres y mujeres.

De este análisis pueden sacarse importantes enseñanzas para el futuro.

6. Entre las técnicas empleadas en la evaluación se incluyen el análisis con arreglo a los criterios específicos que se han detallado anteriormente; el establecimiento de puntos de referencia para realizar comparaciones con programas análogos; y diversos métodos de consulta e intercambio de información con las partes interesadas, incluidos cuestionarios, encuestas por muestreo de los resultados y entrevistas a grupos o personas elegidos como objetivos. En todos los casos, el éxito de la evaluación se basa en la opinión fundamentada de expertos y en la aplicación de un análisis riguroso de los medios-fines que establezca una relación entre causa y efecto.

II. REPERCUSIONES DEL NUEVO ENFOQUE DE LA PLANIFICACIÓN Y LA PROGRAMACIÓN PARA LA EVALUACIÓN

El nuevo enfoque de la programación

7. El nuevo modelo de programación tiene como finalidad conseguir una estructura más estratégica y coherente para los programas de la FAO. Dentro del Marco Estratégico, el Plan a Plazo Medio (PPM) de seis años será un plan progresivo que habrá de actualizarse en cada bienio. Constituirá un plan unificado y orientado a los resultados para todos los programas de la FAO, con metas e indicadores de los logros dentro de un plazo establecido para la consecución a plazo medio de los objetivos del Marco Estratégico. Los programas se elaborarán en función de sus distintos elementos: proyectos técnicos, actividades programáticas continuas y acuerdos de servicios técnicos. En el Programa de Labores y Presupuesto (PLP) se presentará el plan de trabajo bienal para la ejecución del programa y los recursos correspondientes. Como resultado de ello, se prevé que la ejecución del programa se centrará claramente en los resultados que habrán de conseguirse de acuerdo con el Marco Estratégico y el PPM, lo que entrañará una planificación rigurosa, una vigilancia sistemática y un examen con miras a la introducción de correcciones sobre la marcha y la actualización bienal.

Repercusiones del nuevo modelo de programación para la evaluación

8. De acuerdo con la definición general de la evaluación que se ofrece en el párr. 4 supra, será esencial establecer en los próximos años un sistema apropiado de evaluación que permita a la administración pasar de manera gradual y eficaz al nuevo modelo de programación.

9. Con el fin de determinar los progresos globales en la consecución de los objetivos del Marco Estratégico, será necesario que el nuevo sistema de evaluación examine los resultados de los programas, o de grupos de elementos de programas, que contribuyen a esos objetivos, así como el rendimiento de los distintos elementos de programas. También deberá evaluar la aplicación de las estrategias para abordar cuestiones intersectoriales de toda la Organización. El principal marco de referencia será el PPM, en el que se utilizarán diferentes enfoques:

a) Valoración del rendimiento de distintos elementos de programa, especialmente al final de los períodos de ejecución;
b) Valoración del rendimiento de grupos de elementos de programas por lo que respecta su contribución a los objetivos estratégicos;
c) análisis de la eficacia y validez de las estrategias intersectoriales para toda la Organización, como por ejemplo garantizar la excelencia, intensificar la interdisciplinariedad y ampliar las asociaciones y alianzas; y
d) estudios en los que se reúna información sobre los progresos globales en la consecución de los objetivos estratégicos.

10. El enfoque entraña la necesidad de que la evaluación tenga un ámbito más amplio y sistemático, que abarque todos los programas de la FAO, y exige el fortalecimiento del sistema de vigilancia, examen y evaluación en toda la Organización. Sin embargo, no todos los programas pueden evaluarse al mismo tiempo; más bien, el ciclo de evaluación tenderá a seguir el ciclo progresivo de seis años de la planificación a plazo medio y, en particular, a concentrarse en elementos de programas ultimados o próximos a su conclusión. En particular, la vigilancia, examen y autoevaluación de gran alcance en las direcciones y departamentos desempeñarán una función decisiva. Será necesario adoptar las medidas siguientes:

proceso de vigilancia y examen (autoevaluación) como elemento intrínseco de la administración de programas en la Organización, especialmente en las direcciones y los departamentos. Este proceso ayudará a los administradores de los programas a introducir correcciones durante la ejecución y a decidir el futuro de los programas al final de su período de ejecución;
metodologías y mecanismos para el nuevo sistema de evaluación, incluidos los que se traducen en una valoración eficaz en función de los costos de los resultados de los programas, un fortalecimiento de las técnicas analíticas y un aumento de la objetividad;
un sistema de presentación de informes que asegure una mayor transparencia y utilidad, y que facilite el acceso de los usuarios tanto internos como externos, incluido el establecimiento de sitios Web internos y externos; y
un proceso de aprendizaje en toda la Organización para fortalecer la cultura de mejora autocrítica y de rendición de cuentas y consolidar las bases para la planificación, especialmente en lo que respecta a la formulación del Plan progresivo a Plazo Medio.

Elementos para la posible inclusión de un sistema mejorado de evaluación

11. Si se quiere reforzar con éxito el sistema de evaluación, será necesario asegurar una evolución y mejora constantes, especialmente en el caso de los próximos años de transición, hasta que el nuevo método de programación esté firmemente establecido. Dado que los recursos existentes no permiten conseguir mejoras en todas las esferas, es necesario tratar de mantener un diálogo con el Comité del Programa acerca de las esferas prioritarias. Los componentes principales de un sistema óptimo podrían ser, entre otros, los siguientes:

Evaluaciones de proyectos de campo: El enfoque en vigor, que entraña evaluaciones independientes de los proyectos ejecutados por la FAO, seguiría constituyendo un elemento preceptivo del proceso para los proyectos de campo financiados con fondos extrapresupuestarios o con cargo al Programa Ordinario. Las distintas evaluaciones serán organizadas, como hasta ahora, por las dependencias operativas bajo la orientación del Servicio de Evaluación y estarán a cargo de equipos de consultores externos en representación de los países, los donantes y la FAO. El sistema se seguirá unificando para asegurar una contribución eficaz en función de los costos de la evaluación a las mejoras introducidas sobre la marcha, la adquisición de experiencia y la rendición de cuentas. Además de la evaluación temática del Programa de Cooperación Técnica, se tomarán medidas para evaluar otros pequeños proyectos¹. Por lo que respecta al Programa de Campo en conjunto, debería prestarse especial atención en toda la Organización a las actividades siguientes (que competen primordialmente al Servicio de Evaluación): i) síntesis más profunda de la experiencia práctica en esferas prioritarias; ii) difusión de las conclusiones de la evaluación a través de la capacitación y de Intranet a nivel interno y de Internet a nivel externo; y iii) mayor recurso a las evaluaciones a posteriori y a las evaluaciones de la repercusión, especialmente mediante actividades conjuntas con donantes interesados y otros asociados;
Autoevaluación: Sería un proceso sistemático de evaluación por los administradores de todas las operaciones, centrado en los logros de sus programas y emprendido con arreglo a un calendario apropiado para asegurar que la actividad sea eficaz en función de los costos. La inclusión de indicadores de la eficacia y criterios del éxito en la formulación de los nuevos elementos de programas reforzaría considerablemente la base para conseguirlo. En su calidad de autoevaluación mínima, se basaría en la vigilancia sistemática de esos indicadores y en un examen oficial periódico. Las direcciones y departamentos recibirían apoyo en este proceso del Servicio de Evaluación, que proporcionaría a los administradores de los programas directrices metodológicas y observaciones sobre las valoraciones internas, y presentaría periódicamente a la administración informes resumidos. Al reintroducir la autoevaluación, habrá que tener cuidado de asegurarse de que no redunda en un aumento del volumen de trabajo improductivo. El Servicio de Evaluación verificaría también, mediante un muestreo detallado, la calidad del proceso. La colaboración con la Oficina del Inspector General podría ser valiosa para comprender mejor los aspectos financieros y relacionados con la gestión;
Evaluaciones de programas: Estas evaluaciones determinarían con precisión la pertinencia, eficacia (incluida la repercusión) y eficiencia de distintos elementos de programa o, más probablemente, de un grupo de elementos de programas relacionados entre sí (proyectos técnicos, etc.). La evaluación en función de los objetivos estratégicos (en consonancia con el Marco Estratégico) se llevaría a cabo mediante la agrupación de los elementos de programas que contribuyen a su consecución, de conformidad con el PPM. Esta evaluación se aplicaría a los programas normativos y de campo en su conjunto y prestaría la debida atención a los procesos de programación y de gestión al valorar el rendimiento en comparación con los objetivos de los distintos elementos y en relación con las estrategias para toda la Organización a un nivel superior. Las evaluaciones de programas serían realizadas por el Servicio de Evaluación, haciendo un uso prudente servicios de expertos externos y recurriendo a valoraciones y exámenes elaborados durante el proceso de autoevaluación;
Evaluaciones temáticas: Aunque estas evaluaciones son análogas en muchos aspectos a las evaluaciones de programas, se centrarían en un grupo de elementos de programas, actividades de campo y de otro tipo relacionadas con determinadas esferas temáticas que inciden en varios programas y objetivos estratégicos (por ejemplo, enfoques participativos, integración de cuestiones relativas a la paridad entre hombres y mujeres, etc.). También podrían abarcar temas orientados a procesos, como la aplicación de las estrategias intersectoriales en el Marco Estratégico, los resultados de reformas orgánicas y la labor de la Organización orientada a la prestación de servicios (como las publicaciones). Si se estimara procedente, estarían a cargo principalmente del Servicio de Evaluación, en colaboración con la Oficina del Inspector General o con el apoyo de aportaciones de expertos externos independientes; y
Síntesis periódicas de evaluaciones: Estas actividades no son evaluaciones propiamente dichas, pero se basan en los resultados de distintas evaluaciones y entrañan análisis y valoraciones de carácter más global (por ejemplo, una base de datos informatizada incluye actualmente conclusiones de más de mil evaluaciones de proyectos de campo). De las síntesis se desprenden enseñanzas y cuestiones de interés para toda la Organización, por lo que respecta a los objetivos estratégicos, temas técnicos y estrategias de gestión. Como hasta ahora, serían realizadas principalmente por el Servicio de Evaluación, con un esfuerzo adicional para difundir ampliamente las conclusiones principales dentro y fuera de la FAO, inclusive mediante la capacitación y la utilización de Intranet e Internet.

Modalidades de evaluación

12. Como se desprende claramente de los componentes del nuevo sistema de evaluación descrito más arriba, se prevén varias modalidades:

Personal de los programas - Gran parte de la labor de vigilancia y evaluación será realizada por los propios administradores de programa. Esta modalidad tiene la ventaja de asegurar una retroalimentación óptima en los programas de las enseñanzas adquiridas, pero puede adolecer de una falta de independencia. Esta última deficiencia puede subsanarse, al menos en parte, mediante unas normas rigurosas de planificación que exijan una clara indicación de los criterios de efectividad y de las metas que han de alcanzarse, y el establecimiento de las metodologías ordinarias de examen y evaluación que han de aplicarse en toda la Organización;
Personal del Servicio de Evaluación - La gestión del nuevo sistema incumbirá al Servicio de Evaluación. Aunque este servicio tenderá a centrarse en la garantía de la calidad y la coherencia de todo el sistema y en las evaluaciones para toda la Organización, también participará en la evaluación de distintos proyectos y programas, en la medida en que lo permitan los recursos;
Oficina del Inspector General (AUD) - La AUD está encargada de la comprobación interna de cuentas, la inspección y la investigación con miras a asegurar la eficacia del sistema de control interno, la gestión financiera y la utilización de los activos de la Organización. Al elaborar sus planes de trabajo respectivos, la AUD y el Servicio de Evaluación mantienen consultas para evitar la duplicación de esfuerzos y determinar las esferas en las que iniciativas conjuntas podrían redundar en una cooperación provechosa. En el contexto de este documento, se señala que la AUD podría a menudo asumir la iniciativa de determinar la eficacia de la ejecución de ciertas estrategias intersectoriales para toda la Organización (por ejemplo mejora del proceso de gestión, multiplicación de los efectos de los recursos);
Evaluaciones externas - Las evaluaciones internas podrían complementarse eficazmente con evaluaciones externas independientes; que serían realizadas por equipos de consultores externos, con apoyo del Servicio de Evaluación. Al tomar la decisión de realizar una evaluación externa, la administración debería tener en cuenta criterios como por ejemplo: i) la importancia particular de la independencia y la objetividad para la evaluación; ii) la disponibilidad de recursos; iii) la presencia o no de conocimientos especializados suficientes en la Organización; iv) la petición de una evaluación de esta índole sobre un determinado tema por parte de los Órganos Rectores o tal vez del donante que la financia; y v) la asociación con el organismo y/o donante interesado que desee participar en los gastos; y
Otras aportaciones externas a la evaluación - Podría sacarse más provecho de ciertas formas alternativas de aportaciones externas a la evaluación interna mediante una mayor utilización de consultores y un examen colegiado más estructurado, incluida la utilización de cuadros de expertos y de cuestionarios sistemáticos para conocer la opinión de los encargados del examen colegiado acerca de los informes. Algunas de estas técnicas pueden ser especialmente rentables y serán utilizadas por el Servicio de Evaluación siempre que sea posible.

Limitaciones a la consecución de las mejoras deseadas

13. En caso de que se aceptara, el sistema antes esbozado habría de ser desarrollado y perfeccionado en los próximos años, apoyándolo con importantes modificaciones en el proceso de planificación y administración de los programas, así como con recursos suficientes. Sería necesario superar los problemas metodológicos y mantener un equilibrio entre el deseo de ampliar y mejorar la evaluación y la eficacia en función de los costos de la contribución de la evaluación a una mayor repercusión de las actividades de la Organización. Entre las cuestiones se incluyen las siguientes:

Integración de los resultados de la evaluación en el proceso de programación en todos los niveles de la gestión, manteniendo al mismo tiempo la independencia de la evaluación. Esto exigirá: i) la institucionalización del examen y la estimación a todos los niveles de la Organización, incluidos exámenes colegiados internos que incidan en toda la estructura de gestión, de conformidad con las estrategias y objetivos estratégicos para toda la Organización; y ii) un ulterior fortalecimiento de la cultura de apertura y aprendizaje continuo en toda la Organización, incluida la incorporación de enseñanzas en la capacitación del personal;
Evaluación de los efectos: Aunque la FAO puede hacerse una idea de lo que sus miembros consideran útil y determinar si los productos podrían o no contribuir al éxito del proceso de desarrollo, para evaluar la repercusión final de un programa es necesario:

vigilar sistemáticamente que los usuarios reciben y aplican sus productos principales (manuales, directrices, nuevas aptitudes y conocimientos intercambiados en reuniones, etc.) del modo previsto en el programa;
determinar que estos usuarios consiguen los beneficios previstos y otras mejoras deseadas en consonancia con los objetivos del programa; y
cerciorarse seguidamente de que esa evaluación contribuye a un proceso de mejora del bienestar humano, el medio ambiente, etc., en el que intervienen muchas otras partes interesadas.

Esto requiere un conjunto de criterios para averiguar si se ha conseguido un determinado resultado y si esa consecución se debe a las actividades del programa y no a otros factores, y en caso afirmativo, en qué medida. Sin embargo, el número de eslabones de la cadena y otras aportaciones al proceso que permiten alcanzar los beneficios últimos harán normalmente que una verificación efectiva sea sumamente costosa o imposible. Lo que se puede hacer es examinar indicadores eficaces en función de los costos de la asimilación por parte de los usuarios y de la satisfacción de éstos con respecto a los resultados de los programas, evaluar la utilización de los productos y verificar probables relaciones de causalidad en la consecución de los beneficios últimos mediante la ejecución. En pocas palabras, aunque se puede identificar posibles efectos, los intentos de verificar la repercusión final son excesivamente costosos y rara vez ofrecen respuestas fiables;

La agregación para la evaluación de los progresos por lo que respecta a los objetivos estratégicos plantea un problema metodológico. Aunque es relativamente fácil averiguar la proporción de los productos de la Organización que contribuyen a un determinado objetivo estratégico, no es fácil evaluar la eficacia global de todos esos productos. Por consiguiente será necesario elaborar metodologías de verificación mediante una combinación de los resultados de la vigilancia de la gestión y una evaluación selectiva en profundidad;
Requisitos previos para una evaluación mejorada: Será necesario ser realistas en cuanto a la tasa de mejoras que pueden conseguirse en la aplicación del nuevo modelo de programación por lo que respecta a los elementos de los programas y en la autoevaluación y vigilancia por los administradores. La evaluación solo puede determinar los progresos en la consecución de metas y resultados para los beneficiarios cuando éstos son identificados claramente con unos indicadores viables. Se está exigiendo mucho al personal por lo que respecta a la introducción del nuevo modelo de programación, y la respuesta ha sido por lo general positiva, pero los conocimientos prácticos en materia de programación y la disponibilidad de tiempo limitan la velocidad del cambio. Análogamente, la evaluación dependerá en gran medida de la vigilancia por los administradores de la utilización de los productos y de los indicadores de los objetivos que no pueden conseguirse sin la asignación de un volumen considerable de recursos. También es necesario reconocer que los resultados de los elementos de programas formulados en consonancia con el Marco Estratégico y con arreglo al nuevo modelo de programación sólo empezarán a apreciarse dentro de otros dos bienios;
Recursos para la evaluación: La evaluación requiere un uso intensivo de información y por consiguiente es en general costosa, especialmente en lo que respecta a la determinación de los efectos. Como todos los instrumentos de gestión, la evaluación debe ser eficaz en función de los costos. Además, el Servicio de Evaluación debe dedicar una parte considerable de su tiempo a prestar servicios para mejorar la gestión interna, inclusive la del Programa de Campo, además de rendir cuentas a los Órganos Rectores. Los recursos comunes para la evaluación pueden ampliarse mediante un uso prudente de asociaciones externas y evaluaciones conjuntas con las Naciones Unidas y otros organismos, especialmente en lo que concierne a evaluaciones de los efectos y evaluaciones a posteriori. Sin embargo, hasta ahora la mayor parte de las actividades de esta índole han estado relacionadas con temas ajenos a las prioridades de la FAO. Se prevé que la necesidad imperiosa de una autoevaluación podrá cubrirse, al menos en parte, mediante la asignación de los recursos necesarios en el marco de cada uno de los elementos de los programas, como sucede de hecho con los programas de campo.

Sin embargo, no es posible conseguir en su totalidad las mejoras indicadas con los recursos disponibles. En particular, el aumento de las aportaciones externas a la evaluación que piden algunos miembros requeriría un incremento considerable de los recursos. Teniendo en cuenta esta limitación de los recursos, las opiniones del Comité serán importantes para determinar el equilibrio que ha de mantenerse en la labor de evaluación entre:

la creación de una base más sólida para la evaluación, incluido el fortalecimiento del nuevo modelo de programación y el establecimiento de un proceso funcional de vigilancia y examen (autoevaluación);

la garantía de una retroinformación efectiva a los usuarios sobre los resultados de la evaluación y la amplia distribución de estos resultados; y

la realización de estudios de evaluación, especialmente en lo que concierne a la rendición de cuentas a los Órganos Rectores.

III. Posibles mejoras en la presentación de informes sobre la evaluación a los Órganos Rectores

14. La presentación de informes sobre la evaluación, como parte del deber de rendición de cuentas de la Secretaría, constituye una firme base analítica para las decisiones de los Órganos Rectores sobre los programas. Por consiguiente, la presentación de informes deberá ajustarse a las necesidades de los Órganos Rectores en relación con el ciclo bienal de planificación y presupuestación, en el cual el Comité del Programa y el Consejo, valiéndose también del asesoramiento de los comités técnicos, realizan la labor preparatoria básica para que la Conferencia adopte la decisión final. Con el fin de atender a las necesidades de los Órganos Rectores, a continuación se ofrecen propuestas en cuanto a: i) el volumen de información que necesitan los Órganos Rectores; ii) el contenido y la presentación de los informes; y iii) el calendario para la presentación de informes.

15. Volumen de información: Normalmente se requiere una información más detallada en los comités que en las sesiones plenarias. El Comité del Programa y los comités técnicos del Consejo son los responsables, en primer término, del examen de los programas. El Comité del Programa se ha convertido, en la práctica, en el principal destinatario del PER, a cuyo examen dedica más tiempo que cualquier otro órgano. En consecuencia, sería conveniente orientar claramente la presentación de informes sobre la evaluación al Comité del Programa. Al mismo tiempo, sigue siendo necesario que tanto el Consejo como la Conferencia reciban un informe sobre la evaluación del programa con fines de rendición de cuentas y de supervisión de la función de evaluación. Sin embargo, este informe podría presentarse de manera más resumida.

16. Ámbito de los informes presentados al Comité del Programa: Puede que el Comité desee proponer cambios en el modo en que se plantea el examen de los programas a la luz del Marco Estratégico y del nuevo modelo de programación. Los programas seleccionados para su examen en profundidad deberían consistir, en la medida de lo posible, en programas comprendidos en el ciclo de examen del Comité.

17. La presentación de informes detallados sobre la evaluación de programas de la FAO sigue siendo selectiva, dada la limitación tanto de los recursos disponibles para la evaluación como del tiempo de que dispone el Comité del Programa. Existe una relación de correspondencia entre la profundidad de los análisis especialmente en lo que concierne a la evaluación de los efectos, y la amplitud del ámbito (véase el examen anterior de los efectos). Se seguiría consultando al Comité sobre la selección de los temas que habrían que tratarse en las evaluaciones para el bienio siguiente. De conformidad con el examen anterior del sistema de evaluación, entre los productos del Comité del Programa podrían incluirse los siguientes:

Evaluación de los progresos globales en la consecución de un determinado objetivo estratégico;
Evaluación de determinados programas (es decir grupos de elementos de programas) y/o esferas temáticas;
Exámenes de aspectos de la administración de los programas, incluidos los que se indican en las estrategias intersectoriales para toda la Organización; y
Presentación de informes sobre los resultados de la evaluación del Programa de Campo.

18. El período de ejecución variaría según el tipo de evaluación. Sin embargo, en el caso de evaluaciones temáticas o de programas, se necesitaría por lo general un período de tiempo suficientemente largo (unos tres bienios) para poder estimar los efectos y la repercusión.

19. Teniendo en cuenta los recursos actuales del Servicio de Evaluación, el número máximo de informes bienales sobre la evaluación presentados al Comité del Programa no podrá exceder de un total de cuatro a cinco en las diversas combinaciones antes indicadas. Probablemente, cuando un examen exija un esfuerzo muy importante de investigación, como en el caso de la "a) evaluación de los progresos globales en la consecución de un determinado objetivo estratégico", será necesario reducir a dos o tres el número de otros asuntos tratados.

20. Contenido y presentación de los Informes: Podría presentarse al Comité del Programa un informe sobre la evaluación en versión resumida (de cinco a ocho páginas), poniendo a disposición de los miembros interesados del Comité los documentos de trabajo en que se basan los informes, para su consulta. También podrían ofrecerse en Internet los informes sobre la evaluación del Comité del Programa para información de todos los miembros. Aunque variaría la forma de presentación de los informes del programa de campo, temáticos y de programas, se conservaría el marco actual del análisis; esto es conforme a los criterios que se esbozan en el párr. 5 del presente documento.

21. Además de los propios informes, el Comité recibiría, como en la actualidad, una respuesta de la administración a las conclusiones y recomendaciones y, cuando el informe hubiera sido preparado principalmente por el Servicio de Evaluación sin aportaciones externas independientes de importancia, las observaciones de los encargados del examen colegiado externo.

22. Presentación de informes sobre la evaluación a los Órganos Rectores: Esta presentación podría comprender, por consiguiente, los siguientes documentos:

a) Comité del Programa - un conjunto de evaluaciones temáticas y de programas sobre determinados programas de especial interés para los Órganos Rectores, especialmente en relación con el proceso bienal de examen de programas del Comité del Programa;
b) Comités técnicos del Consejo - informes examinados por el Comité del Programa que guarden relación con los mandatos de los distintos comités técnicos y sus programas; y
c) Consejo y Conferencia - una nueva versión del Informe sobre la Evaluación del Programa (PER), con un resumen bienal de los informes sobre la evaluación examinados por el Comité del Programa, que contenga:

Un resumen de cuatro a cinco páginas de cada evaluación;
Un resumen de una página de las observaciones de los encargados del examen colegiado externo;
Un resumen de la respuesta de la administración;
Secciones del informe del Comité del Programa relacionadas con las evaluaciones;
Observaciones de los comités técnicos del Consejo sobre las distintas evaluaciones, cuando proceda.

23. Calendario de la presentación de informes: Del examen anterior se desprende que:

Si el Comité del Programa desea conseguir una retroinformación óptima sobre los resultados de la evaluación en el examen de los programas, la presentación de los informes principales deberá realizarse simultáneamente con dicho examen. Esto implicaría la presentación de los distintos informes sobre la evaluación en los dos períodos de sesiones del primer año del bienio;
La presentación del PER al Consejo y a la Conferencia debería tener lugar, por consiguiente, en el segundo año del bienio.

24. Transición a las nuevas disposiciones: Dado que la presentación de informes sobre la evaluación no podrá tener en cuenta los resultados de las nuevas disposiciones sobre programación y el Marco Estratégico aprobado por lo menos hasta que hayan transcurrido dos bienios completos, es decir, en el año 2004, puede que el Comité del Programa desee examinar la posibilidad de reducir el número de informes sobre la evaluación presentados en el período de transición. Esto es especialmente aplicable dado que se está pidiendo al Servicio de Evaluación que apoye la introducción del modelo mejorado de programación y se cerciore de que constituye la base futura para el aprendizaje y la rendición de cuentas en la Organización. Mientras tanto, los informes sobre la evaluación incluirían una combinación de evaluaciones por disciplinas técnicas y temas. Para el próximo bienio 2000-2001, se sugiere que el Comité del Programa examine en sus períodos de sesiones de primavera y otoño los informes sobre la evaluación que constituirían más adelante la base para el PER del 2001. En un documento aparte se presentan posibles asuntos para el Comité del Programa.

25. Informe sobre la Ejecución del programa (PIR) - Además de los informes sobre la evaluación antes propuestos, podría seguir presentándose un PIR bienal sobre el bienio anterior. Dado el carácter intrínsecamente selectivo de los informes sobre la evaluación presentados, los cuales se centran en los efectos y la repercusión, sería necesario que el PIR mantuviera su ámbito global, de manera que formara parte integrante de la presentación de informes de rendición de cuentas. Sin embargo, a la luz del nuevo enfoque de la programación y teniendo en cuenta algunas reservas expresadas en los Órganos Rectores sobre el contenido del PIR, se seguiría tratando de hallar una forma de presentación más satisfactoria para este informe, en consulta con el Comité del Programa. Dado que la nueva forma de presentación del informe no podrá ponerse en práctica hasta que haya concluido el primer ciclo completo (es decir, en el 2006 como muy pronto), la Secretaría tiene la intención de presentar al Comité, en una fecha posterior, nuevas propuestas sobre este tema.

IV. RESUMEN DE LAS CUESTIONES

26. El presente documento se presenta al Comité como parte de un proceso de diálogo constante. Para facilitar este diálogo, a continuación se ponen de relieve algunas de las cuestiones señaladas en el documento, con el fin de recabar las opiniones del Comité en cuanto a:

La aceptabilidad de los criterios de evaluación que se esbozan en el párr. 5;
La adecuación del nuevo sistema de evaluación propuesto, que se describe en el párr. 11, incluidas las propuestas relativas a la evaluación de proyectos de campo, la autoevaluación, la evaluación temática y de programas y la síntesis de evaluaciones;
El reconocimiento de las limitaciones afrontadas (párr. 13), inclusive para la integración de los resultados de la evaluación en el proceso de programación, la valoración de los efectos, a condiciones previas para la evaluación y el posible ritmo de las mejoras, así como los recursos para la evaluación y las opciones respecto del hincapié que ha de hacerse en la labor necesaria para tal fin; y
Las disposiciones propuestas para la presentación de informes que se detallan en los párr. 15 a 25, incluido el volumen de información necesario y el contenido, el calendario de la documentación para el Comité del Programa y la Conferencia y los arreglos provisionales.

ANEXO 1

EVALUACIÓN DE PEQUEÑOS PROYECTOS

Introducción

1. En su 80º período de sesiones de septiembre de 1998, el Comité del Programa tomó nota de "la tendencia hacia proyectos de menor volumen y duración que en el pasado y la consiguiente necesidad de elaborar metodologías de evaluación apropiadas y eficaces en función de los costos" (párr. 34 del documento CL 115/8).

2. En principio, todos los proyectos financiados con fondos fiduciarios y del PNUD con un presupuesto superior a un millón de dólares EE.UU. son objetos de una evaluación oficial. Sin embargo, se admite en general que las evaluaciones individuales no son una solución en función de los costos para pequeños proyectos de menos de un millón de dólares EE.UU. Los costos podrían exceder fácilmente del 5 por ciento del valor del proyecto y, en el caso de proyectos muy pequeños, por ejemplo de 100 000 dólares EE.UU., una evaluación normal como la que se aplica a proyectos mayores, aun en el caso de que se redujera proporcionalmente, podría costar el 15 por ciento del presupuesto del proyecto.

3. Es difícil clasificar los proyectos pequeños (con un presupuesto inferior a un millón de dólares EE.UU.). Por fuente de financiación en el período 1996-97, los resultados por número de proyectos fueron los siguientes: 45 por ciento, FAO-PCT; 40 por ciento, fondos fiduciarios (de los cuales, el 8 por ciento correspondió a FFU); 14 por ciento, fondos de las Naciones Unidas (principalmente PNUD) y uno por ciento, otros fondos.

FAO - Programa de Cooperación Técnica

4. Desde el PLP para 1996-97, se han evaluado, aplicando un criterio temático, determinados proyectos del PCT que abarcan tanto proyectos en curso como terminados. La secuencia normal es la siguiente:

estudio teórico preliminar de los proyectos emprendidos en los 6-8 últimos años;
visitas de misiones integradas por consultores externos y personal del Servicio de Evaluación a una amplia muestra de proyectos (normalmente un mínimo del 50 por ciento);
informes por separado sobre la evaluación de cada proyecto;
informe resumido, en el que se sacan conclusiones generales y enseñanzas para futuras mejoras;
examen en profundidad del informe con los directores y oficiales técnicos competentes para validar las conclusiones y reforzar la retroinformación; y
preparación de una nota resumida en la que se subrayan las enseñanzas adquiridas para facilitar el aprendizaje institucional.

5. Tanto los estudios teóricos preliminares como las misiones sobre el terreno utilizan listas de control normalizadas para asegurarse de que se tratan todos los puntos principales (véase el párr. 5 del documento principal). Las misiones sobre el terreno prestan especial atención a la evaluación del uso de los productos del proyecto y, por consiguiente, a sus efectos y repercusión. La inclusión de un número considerable de proyectos terminados facilita este análisis.

6. En las tres evaluaciones temáticas del PCT iniciadas hasta la fecha se han examinado unos 80 proyectos, de los que 65 han sido objeto de visitas sobre el terreno. Esto representa el 5 por ciento aproximadamente de la cartera total del PCT en el período de 1992-98, proporción que aumentará constantemente a medida que se emprendan más evaluaciones temáticas. La inclusión en el documento y el presupuesto de los proyectos ordinarios del PCT de una consignación de 500 dólares EE.UU. como contribución al costo de la evaluación ha facilitado la financiación de la labor correspondiente.

Fondos de las Naciones Unidas, principalmente el PNUD

7. En los pequeños proyectos del PNUD, las actividades de la FAO constituyen por lo general una aportación a un proyecto más amplio (esto sucede también a menudo con los fondos fiduciarios unilaterales). Las aportaciones técnicas a proyectos más amplios se examinan normalmente en el contexto de la evaluación del proyecto completo. La FAO trata de asegurarse de que las atribuciones comprenden la valoración de la idoneidad, la calidad y los resultados de las aportaciones técnicas y de que está representada en la mayor medida posible en las misiones de evaluación, con el fin de aumentar al máximo la retroinformación. Cuando la FAO está representada en las misiones, se rellena el cuestionario normal de evaluación. Este mecanismo ha resultado adecuado hasta la fecha, pero se seguirá examinando el grado en que las misiones de evaluación cubren los proyectos, dado que es posible que los organismos de financiación no siempre aprecien la necesidad de que la FAO participe en la evaluación o el valor de un examen específico de las aportaciones técnicas.

Fondos fiduciarios

8. Entre los pequeños proyectos con cargo a fondos fiduciarios, los proyectos de emergencia representaron el 13 por ciento y los proyectos normativos conexos el 27 por ciento en cuanto a número. Los proyectos restantes incluyeron una combinación de actividades, pero las aportaciones en materia de política y los estudios pilotos y de viabilidad ocuparon un lugar destacado. En los estudios piloto y de viabilidad, el examen en profundidad constituye una parte esencial del proceso de formulación y de estimación para un posible seguimiento. Asimismo, los proyectos normativos tienden a evaluarse como parte del sistema de evaluación aplicable al Programa Ordinario que es el tema del texto principal de este documento.

9. Se sugiere además que todos los pequeños proyectos con cargo a fondos fiduciarios, incluidos los relacionados con emergencias, se sometan a una evaluación temática, al igual que se hace para el PCT de la FAO, y que, como práctica habitual, se incluya en el presupuesto un pequeño cargo directo.

1 En su 80ºperíodo de sesiones, celebrado en septiembre de 1998, el Comité del Programa tomó nota de "la tendencia hacia proyectos de menor volumen y duración que en el pasado y la consiguiente necesidad de elaborar metodologías de evaluación apropiadas y eficaces en función de los costos" (párr. 34 del documento CL 115/8). Esta cuestión se examina en el Anexo I.