C 2003/4 | |
Mayo 2003 32º período de sesiones
de la Conferencia
Informe sobre la Evaluación del Programa2003
| |
Organización de las Naciones Unidas para la Agricultura y la Alimentación
| |
Capítulo uno: Evaluación del componente del Programa 2.1.3
relativo a la sanidad animal
ii. reseÑA DE LAS ACTIVIDADES DE LA FAO EN MATERIA DE SANIDAD ANIMAL
III. CONCLUSIONES Y RECOMENDACIONES
INFORME DEL GRUPO DE EXAMEN COLEGIADO EXTERNO
Capítulo dos: Evaluación del programa del EMPRES: Langosta del desierto
II. PANORAMA GENERAL DEL PROGRAMA EMPRES-DL
III. CONCLUSIONES Y RECOMENDACIONES
Capítulo tres: Evaluación externa independiente del Programa Especial para la Seguridad Alimentaria
II. OPCIONES PARA EL FUTURO DEL PESA
Enseñanzas derivadas de la experiencia
Elementos positivos del PESA
Enfoque alternativo del PESA para el futuro
Capítulo cuatro: Evaluación temática de la estrategia A3
ii. sinopsis de los trabajos de la fao que contribuyen al logro del objetivo ESTRATÉGICO a3
iii. principales conclusiones y recomendaciones
Generales
Integrar el trabajo relacionado con las emergencias en la labor general de la FAO
Preparación
Socorro agrícola
Asistencia para la transición del socorro a la rehabilitación y el desarrollo
Colaboración con los asociados
Disposiciones relativas a la financiación adicional
INFORME DEL GRUPO DE EXAMEN COLEGIADO EXTERNO
Calidad de la evaluación
Conclusiones y recomendaciones del Grupo
Puesta en práctica de la estrategia A3
Comentarios sobre las recomendaciones
Objetivo y realización de la evaluación
Panorama general de la labor de la FAO y la OMS sobre normas alimentarias
Informe de la evaluación
CONCLUSIONES GENERALES DE LA EVALUACIÓN
La función de las normas alimentarias
La función del Codex
Asesoramiento científico de expertos y evaluación independiente de los riesgos
Creación de capacidad
Problemas básicos que se han de abordar
III. RECOMENDACIONES DE LA EVALUACIÓN
Codex
Asesoramiento de expertos y evaluación científica del riesgo
Creación de capacidad
En conclusión
II. RESEÑA DE LA LABOR ESTADÍSTICA DE LA FAO
III. CONCLUSIONES Y RECOMENDACIONES
Consideraciones generales
Compromiso internacional con respecto a la calidad estadística
Estrechamiento de las relaciones con los expertos de los Estados Miembros
Compromiso interno con la calidad estadística
FAOSTAT2
Informe del Grupo de Examen colegiado Externo
Tengo el placer de presentar esta sexta edición del Informe sobre la Evaluación del Programa de la FAO al Consejo y a la Conferencia. Se presenta en un momento en el que los sistemas de evaluación de la Organización se han vuelto a reforzar de conformidad con nuestro compromiso de afianzar a la FAO como una organización de aprendizaje y un centro de excelencia, tal como se manifestaba en la estrategia interinstitucional de garantía de la excelencia.
En noviembre de 2001 emití un boletín del Director General sobre el fortalecimiento del sistema de evaluación de la FAO. A raíz de la publicación de este boletín, y en armonía con las recomendaciones del órgano rector, estamos tratando de mejorar el seguimiento y la evaluación anuales por parte de los directores de los programas e introducir una autoevaluación sistemática de todas las entidades de programas. Los fondos extrapresupuestarios, tanto en apoyo de la labor de la FAO en el campo como de los programas normativos, están sometidos a unos procedimientos de seguimiento y evaluación igualmente estrictos. Esto mejora aún más la planificación y presupuestación de los programas basadas en los resultados, en armonía con la estrategia de continuación del mejoramiento del proceso de gestión tal como se establece en el Marco Estratégico.
Siguiendo la práctica establecida actual, he solicitado y aceptado el asesoramiento del Comité del Programa en la determinación de las esferas de trabajo que se han de evaluar durante el bienio. Análogamente, la práctica de someter los informes de evaluación al Comité del Programa, junto con la respuesta de la dirección a las conclusiones y recomendaciones, se ha mantenido y ha permitido que en el Comité se celebre un debate a fondo sobre lo que es válido y factible.
Todas las evaluaciones tienen que ser rigurosas e independientes, concentrándose en cuestiones relacionadas con los resultados del programa, su beneficio para los miembros y su eficiencia en función de los costos. Todas ellas han agrupado el examen de la cooperación técnica con una labor más normativa de una manera integrada.
Dos iniciativas importantes convenidas con la Conferencia cuando entré en funciones, es decir, el Programa Especial para la Seguridad Alimentaria y EMPRES1 (tanto en lo que respecta a la langosta del desierto como a los aspectos de la sanidad animal), han estado sometidas a este proceso de evaluación. Estas evaluaciones eran oportunas, en el sentido de que los programas están ahora debidamente asentados y han pasado a ser importantes para los países de bajos ingresos con déficit de alimentos. Los programas han evolucionado desde su inserción en armonía con la experiencia y las observaciones de las evaluaciones, que han sido sumamente útiles para promover la optimización de los programas en beneficio de los miembros. Es muy alentador que el Comité del Programa haya acogido positivamente el enfoque flexible y centrado en la población que estamos aplicando al PESA.
El Informe sobre la Evaluación del Programa 2003 refleja asimismo la iniciativa apoyada por el Comité del Programa de evaluar cada vez más la labor en relación con los objetivos estratégicos de la Organización tal como se convinieron en el Marco Estratégico 2000-15. Este informe incluye un resumen de la evaluación de los trabajos realizados con relación al objetivo estratégico A3 “Preparación para emergencias alimentarias y agrícolas y respuesta eficaz y sostenible a éstas”. Es una característica lamentable del estado del mundo y de la inseguridad alimentaria que la asistencia prestada a las poblaciones vulnerables para reanudar la agricultura después de una situación de emergencia esté pasando a ser cada vez más una parte de la labor de la FAO. La evaluación ha resultado útil para que extraigamos lecciones con el fin de desempeñar de manera más eficaz esta función.
El Capítulo cinco del presente informe es un resumen de la evaluación del Codex Alimentarius y otras actividades de establecimiento de normas alimentarias de la FAO y la OMS, que se realizó conjuntamente con nuestros asociados de la OMS. Este ha sido siempre un programa fundamental de la Organización y su importancia para todos los países lo puso de manifiesto la propia evaluación y la atención que le prestaron todas las secciones de los miembros, cuyo informe se examinó en un período extraordinario de sesiones de la Comisión del Codex Alimentarius. Como habrán ustedes observado en la respuesta de la dirección, por nuestra parte hemos adoptado medidas conjuntamente con la OMS para aplicar muchas de las recomendaciones, pero en gran parte todo dependerá también de la disposición de los miembros del Codex a simplificar los métodos de trabajo y las prioridades, al mismo tiempo que se incorporan también más ampliamente los países en desarrollo y sus necesidades.
La evaluación de las actividades estadísticas en la FAO (Capítulo seis del presente informe) abordaba una de las funciones fundamentales de la Organización. La evaluación confirma la importancia y utilidad de las funciones estadísticas, pero pone de manifiesto las dificultades que afrontan muchos países en desarrollo para mantener y mejorar sus sistemas nacionales, de los que depende la calidad de las estadísticas elaboradas por la FAO. La evaluación destaca asimismo la necesidad de examinar las prioridades con el fin de que respondan mejor a las necesidades esenciales de información entre la diversidad en expansión de las demandas. La Administración tiene la intención de utilizar las recomendaciones para lograr nuevos progresos en esta importante labor normativa.
He observado que, en cada caso, las evaluaciones han puesto de relieve que el producto de la FAO debe ampliarse en determinados sentidos. Esto es sumamente satisfactorio para la Organización y demuestra el valor de nuestros esfuerzos. Estamos colaborando con ustedes, los Miembros, y con otros asociados nuestros para superar las limitaciones de recursos que dificultan la aplicación de estas recomendaciones. Sin embargo, en nuestro constante impulso por aumentar la eficacia en función de los costos, he pedido también al Servicio de Evaluación que vele por que en las futuras evaluaciones se presenten diversas formas de mejoramiento en el marco de los recursos existentes, y se determinen las prioridades de obtener financiación adicional.
La función de la evaluación en la FAO refleja mi interés en lograr la plena transparencia y responsabilidad no sólo con respecto al uso de los recursos, sino también con respecto a los resultados. El Comité del Programa se ha felicitado varias veces del examen franco y crítico de las repercusiones y los problemas en los informes de evaluación. Comparto esta idea incluso si a veces induce a la Administración a una impugnación igualmente franca de las observaciones y recomendaciones que no consideramos viables. De esta forma, considero que la labor de evaluación tiene un valor creciente tanto en el debate interno como en la promoción del diálogo con los Miembros sobre la forma en que podemos prestar el servicio óptimo.
Con este ánimo espero con interés las observaciones del Consejo y la Conferencia sobre las conclusiones y los problemas que se plantean en el presente informe.
Jacques Diouf |
1. A raíz de su aprobación por el Comité del Programa en su 82º período de sesiones (septiembre de 1999), las normas generales y los principios que sirven de base al nuevo sistema de evaluación se promulgaron en el boletín Nº 2001/33 del Director General (Fortalecimiento del sistema de evaluación de la FAO). Desde entonces, se ha venido aplicando el nuevo sistema de evaluación para mejorar la pertinencia, eficiencia y eficacia de la labor de la Organización en el contexto del Marco Estratégico y el enfoque orientado a los resultados. En particular, esto ha entrañado: a) el establecimiento de un nuevo sistema global de evaluación, que abarca la evaluación anual y la autoevaluación por los directores de los programas y la evaluación del programa a nivel colectivo por el Sistema de Evaluación (PBEE); b) un nuevo fortalecimiento de la evaluación del programa en función de la calidad y de la información sobre los resultados aportada al proceso de planificación y ejecución de los programas; y c) la facilitación de la participación activa de los órganos rectores en el proceso de evaluación, particularmente el Comité del Programa.
2. La aplicación del seguimiento de la preevaluación, la evaluación anual y la autoevaluación periódica está en fase de establecimiento en 2003, comenzando con una evaluación anual de los progresos de la aplicación por los directores de los programas y un primer grupo de autoevaluaciones de determinadas entidades del programa que dependen de los programas técnicos y económicos. La aplicación está respaldada por la Oficina del Programa, del Presupuesto y de Evaluación (PBE) en conjunto en lo que respecta a la evaluación anual y por el Servicio de Evaluación (PBEE) para la autoevaluación con respecto al suministro de instrumentos metodológicos y de procedimiento y a la capacitación al respecto. Las evaluaciones anuales se espera que mejoren el seguimiento de los productos del programa y sus resultados mientras que el proceso de autoevaluación se espera que ayude a los directores de los programas a sacar directamente lecciones de la experiencia de la aplicación que propicien una planificación realista y un mejoramiento de la gestión. Estas últimas evaluaciones deben aportar también una base más adecuada y, en consecuencia, un fortalecimiento, de las evaluaciones de los programas. El primer informe resumido sobre los resultados de la autoevaluación se pondrá a disposición de los órganos rectores por conducto del Comité del Programa en 2005.
3. En lo que respecta a las evaluaciones del programa administradas por el Servicio de Evaluación, se ha seguido procurando realzar su calidad y utilidad en lo que respecta al mejoramiento y al aprendizaje en el contexto de la gestión estratégica así como su credibilidad. Estas evaluaciones se conciben cada vez más en relación con objetivos y métodos concretos establecidos en el Marco Estratégico y en el Plan a Plazo Medio. El principal objetivo es evaluar la pertinencia, coherencia y eficacia generales de las actividades en curso vinculadas con los objetivos estratégicos concretos con el fin de facilitar información sobre los resultados para mejorar la planificación y gestión de las actividades, tanto individual como colectivamente. Este enfoque, aplicado por primera vez en la evaluación temática de las actividades en apoyo del objetivo estratégico A3 (Preparación para emergencias alimentarias y agrícolas y respuesta eficaz y sostenible a éstas) ha sido positivamente acogido, tanto por los directores de los programas como por el Comité del Programa y se seguirá perfeccionando. Al mismo tiempo, el enfoque propicia asimismo el mejoramiento de la evaluación de los resultados de los programas, al suministrar un marco y criterios más claros para evaluar los progresos en el logro de los resultados proyectados. Análogamente, se emplean más visitas de campo sistemáticas a determinados países y encuestas de los asociados a base de cuestionarios para evaluar los resultados a nivel de campo y a nivel de satisfacción entre los principales asociados. No obstante, la introducción de nuevas mejoras a este respecto requerirá el fortalecimiento del seguimiento de los resultados por parte de los directores de los programas tal como se prevé con arreglo al nuevo sistema de evaluaciones anuales a que se ha hecho referencia más arriba.
4. Se sigue ampliando la utilización selectiva de insumos externos al proceso de evaluación para reforzar las competencias técnicas de que se dispone para las evaluaciones de los programas y para dar una mayor credibilidad a los resultados de la evaluación. El mecanismo de un grupo de examen constituido por colegas externos tiene una función especial que desempeñar en el sentido de que enriquece el campo de conocimientos y experiencias aplicados al proceso, aporta una confirmación independiente al fondo y a la calidad de las evaluaciones y, como consecuencia, aumenta la credibilidad de los resultados. Se recurre también en mayor medida a expertos externos para realizar evaluaciones, con inclusión del empleo de equipos de consultores externos en determinados casos. Por ejemplo, el Programa Especial para la Seguridad Alimentaria (PESA) fue evaluado por un equipo de consultores externos y el Codex Alimentarius y otros programas de normas alimentarias de la FAO y la OMS fue evaluado por un equipo dirigido por un consultor experimentado y constituido por un conjunto de consultores del personal de evaluación de la FAO y la OMS. Este sistema, acompañado de la práctica de una respuesta separada de las direcciones, ha contribuido a mejorar el sentido de transparencia, independencia y credibilidad de las distintas evaluaciones.
5. El Comité del Programa ha seguido desempeñando una función muy activa en la orientación de la labor de evaluación. El Comité asesora al Director General en determinados temas que se han de incluir en los planes bienales renovables sobre las evaluaciones de los programas y, como principal receptor de los informes de evaluación, los examina y formula observaciones en cuanto al fondo con respecto a evaluaciones individuales. El Comité recaba también y recibe informes parciales sobre las actividades de seguimiento relativas a recomendaciones de evaluación esenciales. Estos últimos han demostrado ser una forma eficaz de promover la información sobre los resultados de la evaluación a los órganos de planificación y ejecución de los programas, que en muchos sistemas de evaluación puede representar una grave deficiencia.
6. Como se indicaba en el Prólogo del Director General, esta edición del Informe sobre la Evaluación del Programa contiene las seis evaluaciones examinadas por el Comité del Programa durante 2002-03. Dada la favorable acogida de la forma de presentación del último informe, ésta se ha repetido también en este informe: cada capítulo contiene un resumen del informe de evaluación, el informe del grupo de expertos de colegas externos, la respuesta de la administración y el informe del Comité del Programa.
7. En cuanto al fondo, el Comité del Programa consideraba que las actividades evaluadas correspondían en gran parte a las necesidades de los Estados Miembros de la FAO y les prestaban servicios útiles. Examinó las deficiencias y las medidas correctivas con los directores competentes a la luz de las recomendaciones de la evaluación y de las respuestas de la administración. El Comité manifestó asimismo una satisfacción general por la forma en que la función de evaluación había mejorado en la FAO. En particular, ha apreciado la orientación estratégica y orientada hacia el futuro de la evaluación y estaba de acuerdo en que se intensificara la prioridad dada a las evaluaciones temáticas en el contexto del Marco Estratégico y del Plan a Plazo Medio. En reuniones recientes el Comité también:
8. Al examinar el último Informe sobre la Evaluación del Programa 2001, la Conferencia “..expresó su satisfacción general por los progresos que se estaban realizando en la elaboración de un sistema apropiado de evaluación en el marco de un enfoque de planificación, programación y presupuestación orientado estratégicamente que se había introducido recientemente...” y afirmó “que sería oportuno examinar la conveniencia de establecer un servicio de evaluación independiente”2.
9. La manifestación de una satisfacción general por el Comité del Programa y el Consejo constituye un fuerte estímulo para mantener el impulso en favor del fortalecimiento del nuevo sistema de evaluación. Este esfuerzo proseguirá. Aparte de la elaboración y el perfeccionamiento de metodologías y criterios adecuados de evaluación, la prioridad se concentrará en promover la información sobre la evaluación al proceso del programa así como el aprendizaje por la organización de diversas formas de evaluación, con inclusión de la autoevaluación.
10. Sobre la cuestión de la posible creación de un servicio de evaluación independiente, la reunión conjunta de los Comités del Programa y de Finanzas examinó la cuestión en mayo de 2003 y llegó a la conclusión de que la independencia de la evaluación es al mismo tiempo importante y compleja y que la cuestión se volverá a examinar en otra reunión conjunta de los Comités en septiembre de 2003.
11. No obstante, vale la pena destacar una cuestión, que está relacionada con el costo de la evaluación de dos maneras. El costo directo de las evaluaciones está aumentando, lo que refleja una mayor utilización de aportaciones externas, tanto como parte de los equipos de evaluación como de grupos de examen de colegas externos. Las visitas de campo y las encuestas por medio de cuestionarios también encarecen el costo. Más indirectamente, los resultados de la evaluación requieren un seguimiento más sistemático por parte del personal de los programas, particularmente en lo que respecta a resultados como los productos y la repercusión de los programas por medio del proceso de autoevaluación. Esto repercute en los recursos de los programas en lo que respecta a tiempo de personal y fondos para la recopilación y el examen de las pruebas de esos resultados. En el contexto de las limitaciones generales de los recursos que afronta la Organización, esto constituye un auténtico reto, que requiere una estrategia de utilización eficaz en función de los costos de la evaluación como instrumento de gestión.
__________________________
1 EMPRES: Sistema de prevención de emergencia de plagas y enfermedades transfronterizas de los animales y las plantas.
2 Informe de la Conferencia de la FAO, C 2001/REP, párrafo 82.