C 2003/4

Undisplayed Graphic

Mayo 2003

32º período de sesiones de la Conferencia
29 de noviembre – 10 de diciembre de 2003

 

Informe sobre la Evaluación del Programa

2003


 

Organización de las Naciones Unidas para la Agricultura y la Alimentación
Roma, 2003

 

Índice

Prólogo del Director General

Introducción

Capítulo uno: Evaluación del componente del Programa 2.1.3
relativo a la sanidad animal

Capítulo dos: Evaluación del programa del EMPRES: Langosta del desierto

Capítulo tres: Evaluación externa independiente del Programa Especial para la Seguridad Alimentaria

Capítulo cuatro: Evaluación temática de la estrategia A3

Capítulo cinco: Resumen del informe de la evaluación del Codex y otras normas alimentarias de la FAO y la OMS

Capítulo seis: Evaluación del Programa 2.2.2 (Información sobre la alimentación y la agricultura) – Actividades relacionadas con las estadísticas agrícolas en el contexto de FAOSTAT

Siglas

 


 

Prólogo del Director General

Tengo el placer de presentar esta sexta edición del Informe sobre la Evaluación del Programa de la FAO al Consejo y a la Conferencia. Se presenta en un momento en el que los sistemas de evaluación de la Organización se han vuelto a reforzar de conformidad con nuestro compromiso de afianzar a la FAO como una organización de aprendizaje y un centro de excelencia, tal como se manifestaba en la estrategia interinstitucional de garantía de la excelencia.

En noviembre de 2001 emití un boletín del Director General sobre el fortalecimiento del sistema de evaluación de la FAO. A raíz de la publicación de este boletín, y en armonía con las recomendaciones del órgano rector, estamos tratando de mejorar el seguimiento y la evaluación anuales por parte de los directores de los programas e introducir una autoevaluación sistemática de todas las entidades de programas. Los fondos extrapresupuestarios, tanto en apoyo de la labor de la FAO en el campo como de los programas normativos, están sometidos a unos procedimientos de seguimiento y evaluación igualmente estrictos. Esto mejora aún más la planificación y presupuestación de los programas basadas en los resultados, en armonía con la estrategia de continuación del mejoramiento del proceso de gestión tal como se establece en el Marco Estratégico.

Siguiendo la práctica establecida actual, he solicitado y aceptado el asesoramiento del Comité del Programa en la determinación de las esferas de trabajo que se han de evaluar durante el bienio. Análogamente, la práctica de someter los informes de evaluación al Comité del Programa, junto con la respuesta de la dirección a las conclusiones y recomendaciones, se ha mantenido y ha permitido que en el Comité se celebre un debate a fondo sobre lo que es válido y factible.

Todas las evaluaciones tienen que ser rigurosas e independientes, concentrándose en cuestiones relacionadas con los resultados del programa, su beneficio para los miembros y su eficiencia en función de los costos. Todas ellas han agrupado el examen de la cooperación técnica con una labor más normativa de una manera integrada.

Dos iniciativas importantes convenidas con la Conferencia cuando entré en funciones, es decir, el Programa Especial para la Seguridad Alimentaria y EMPRES1 (tanto en lo que respecta a la langosta del desierto como a los aspectos de la sanidad animal), han estado sometidas a este proceso de evaluación. Estas evaluaciones eran oportunas, en el sentido de que los programas están ahora debidamente asentados y han pasado a ser importantes para los países de bajos ingresos con déficit de alimentos. Los programas han evolucionado desde su inserción en armonía con la experiencia y las observaciones de las evaluaciones, que han sido sumamente útiles para promover la optimización de los programas en beneficio de los miembros. Es muy alentador que el Comité del Programa haya acogido positivamente el enfoque flexible y centrado en la población que estamos aplicando al PESA.

El Informe sobre la Evaluación del Programa 2003 refleja asimismo la iniciativa apoyada por el Comité del Programa de evaluar cada vez más la labor en relación con los objetivos estratégicos de la Organización tal como se convinieron en el Marco Estratégico 2000-15. Este informe incluye un resumen de la evaluación de los trabajos realizados con relación al objetivo estratégico A3 “Preparación para emergencias alimentarias y agrícolas y respuesta eficaz y sostenible a éstas”. Es una característica lamentable del estado del mundo y de la inseguridad alimentaria que la asistencia prestada a las poblaciones vulnerables para reanudar la agricultura después de una situación de emergencia esté pasando a ser cada vez más una parte de la labor de la FAO. La evaluación ha resultado útil para que extraigamos lecciones con el fin de desempeñar de manera más eficaz esta función.

El Capítulo cinco del presente informe es un resumen de la evaluación del Codex Alimentarius y otras actividades de establecimiento de normas alimentarias de la FAO y la OMS, que se realizó conjuntamente con nuestros asociados de la OMS. Este ha sido siempre un programa fundamental de la Organización y su importancia para todos los países lo puso de manifiesto la propia evaluación y la atención que le prestaron todas las secciones de los miembros, cuyo informe se examinó en un período extraordinario de sesiones de la Comisión del Codex Alimentarius. Como habrán ustedes observado en la respuesta de la dirección, por nuestra parte hemos adoptado medidas conjuntamente con la OMS para aplicar muchas de las recomendaciones, pero en gran parte todo dependerá también de la disposición de los miembros del Codex a simplificar los métodos de trabajo y las prioridades, al mismo tiempo que se incorporan también más ampliamente los países en desarrollo y sus necesidades.

La evaluación de las actividades estadísticas en la FAO (Capítulo seis del presente informe) abordaba una de las funciones fundamentales de la Organización. La evaluación confirma la importancia y utilidad de las funciones estadísticas, pero pone de manifiesto las dificultades que afrontan muchos países en desarrollo para mantener y mejorar sus sistemas nacionales, de los que depende la calidad de las estadísticas elaboradas por la FAO. La evaluación destaca asimismo la necesidad de examinar las prioridades con el fin de que respondan mejor a las necesidades esenciales de información entre la diversidad en expansión de las demandas. La Administración tiene la intención de utilizar las recomendaciones para lograr nuevos progresos en esta importante labor normativa.

He observado que, en cada caso, las evaluaciones han puesto de relieve que el producto de la FAO debe ampliarse en determinados sentidos. Esto es sumamente satisfactorio para la Organización y demuestra el valor de nuestros esfuerzos. Estamos colaborando con ustedes, los Miembros, y con otros asociados nuestros para superar las limitaciones de recursos que dificultan la aplicación de estas recomendaciones. Sin embargo, en nuestro constante impulso por aumentar la eficacia en función de los costos, he pedido también al Servicio de Evaluación que vele por que en las futuras evaluaciones se presenten diversas formas de mejoramiento en el marco de los recursos existentes, y se determinen las prioridades de obtener financiación adicional.

La función de la evaluación en la FAO refleja mi interés en lograr la plena transparencia y responsabilidad no sólo con respecto al uso de los recursos, sino también con respecto a los resultados. El Comité del Programa se ha felicitado varias veces del examen franco y crítico de las repercusiones y los problemas en los informes de evaluación. Comparto esta idea incluso si a veces induce a la Administración a una impugnación igualmente franca de las observaciones y recomendaciones que no consideramos viables. De esta forma, considero que la labor de evaluación tiene un valor creciente tanto en el debate interno como en la promoción del diálogo con los Miembros sobre la forma en que podemos prestar el servicio óptimo.

Con este ánimo espero con interés las observaciones del Consejo y la Conferencia sobre las conclusiones y los problemas que se plantean en el presente informe.

 

Jacques Diouf

 

   


 

Introducción

1. A raíz de su aprobación por el Comité del Programa en su 82º período de sesiones (septiembre de 1999), las normas generales y los principios que sirven de base al nuevo sistema de evaluación se promulgaron en el boletín Nº 2001/33 del Director General (Fortalecimiento del sistema de evaluación de la FAO). Desde entonces, se ha venido aplicando el nuevo sistema de evaluación para mejorar la pertinencia, eficiencia y eficacia de la labor de la Organización en el contexto del Marco Estratégico y el enfoque orientado a los resultados. En particular, esto ha entrañado: a) el establecimiento de un nuevo sistema global de evaluación, que abarca la evaluación anual y la autoevaluación por los directores de los programas y la evaluación del programa a nivel colectivo por el Sistema de Evaluación (PBEE); b) un nuevo fortalecimiento de la evaluación del programa en función de la calidad y de la información sobre los resultados aportada al proceso de planificación y ejecución de los programas; y c) la facilitación de la participación activa de los órganos rectores en el proceso de evaluación, particularmente el Comité del Programa.

2. La aplicación del seguimiento de la preevaluación, la evaluación anual y la autoevaluación periódica está en fase de establecimiento en 2003, comenzando con una evaluación anual de los progresos de la aplicación por los directores de los programas y un primer grupo de autoevaluaciones de determinadas entidades del programa que dependen de los programas técnicos y económicos. La aplicación está respaldada por la Oficina del Programa, del Presupuesto y de Evaluación (PBE) en conjunto en lo que respecta a la evaluación anual y por el Servicio de Evaluación (PBEE) para la autoevaluación con respecto al suministro de instrumentos metodológicos y de procedimiento y a la capacitación al respecto. Las evaluaciones anuales se espera que mejoren el seguimiento de los productos del programa y sus resultados mientras que el proceso de autoevaluación se espera que ayude a los directores de los programas a sacar directamente lecciones de la experiencia de la aplicación que propicien una planificación realista y un mejoramiento de la gestión. Estas últimas evaluaciones deben aportar también una base más adecuada y, en consecuencia, un fortalecimiento, de las evaluaciones de los programas. El primer informe resumido sobre los resultados de la autoevaluación se pondrá a disposición de los órganos rectores por conducto del Comité del Programa en 2005.

3. En lo que respecta a las evaluaciones del programa administradas por el Servicio de Evaluación, se ha seguido procurando realzar su calidad y utilidad en lo que respecta al mejoramiento y al aprendizaje en el contexto de la gestión estratégica así como su credibilidad. Estas evaluaciones se conciben cada vez más en relación con objetivos y métodos concretos establecidos en el Marco Estratégico y en el Plan a Plazo Medio. El principal objetivo es evaluar la pertinencia, coherencia y eficacia generales de las actividades en curso vinculadas con los objetivos estratégicos concretos con el fin de facilitar información sobre los resultados para mejorar la planificación y gestión de las actividades, tanto individual como colectivamente. Este enfoque, aplicado por primera vez en la evaluación temática de las actividades en apoyo del objetivo estratégico A3 (Preparación para emergencias alimentarias y agrícolas y respuesta eficaz y sostenible a éstas) ha sido positivamente acogido, tanto por los directores de los programas como por el Comité del Programa y se seguirá perfeccionando. Al mismo tiempo, el enfoque propicia asimismo el mejoramiento de la evaluación de los resultados de los programas, al suministrar un marco y criterios más claros para evaluar los progresos en el logro de los resultados proyectados. Análogamente, se emplean más visitas de campo sistemáticas a determinados países y encuestas de los asociados a base de cuestionarios para evaluar los resultados a nivel de campo y a nivel de satisfacción entre los principales asociados. No obstante, la introducción de nuevas mejoras a este respecto requerirá el fortalecimiento del seguimiento de los resultados por parte de los directores de los programas tal como se prevé con arreglo al nuevo sistema de evaluaciones anuales a que se ha hecho referencia más arriba.

4. Se sigue ampliando la utilización selectiva de insumos externos al proceso de evaluación para reforzar las competencias técnicas de que se dispone para las evaluaciones de los programas y para dar una mayor credibilidad a los resultados de la evaluación. El mecanismo de un grupo de examen constituido por colegas externos tiene una función especial que desempeñar en el sentido de que enriquece el campo de conocimientos y experiencias aplicados al proceso, aporta una confirmación independiente al fondo y a la calidad de las evaluaciones y, como consecuencia, aumenta la credibilidad de los resultados. Se recurre también en mayor medida a expertos externos para realizar evaluaciones, con inclusión del empleo de equipos de consultores externos en determinados casos. Por ejemplo, el Programa Especial para la Seguridad Alimentaria (PESA) fue evaluado por un equipo de consultores externos y el Codex Alimentarius y otros programas de normas alimentarias de la FAO y la OMS fue evaluado por un equipo dirigido por un consultor experimentado y constituido por un conjunto de consultores del personal de evaluación de la FAO y la OMS. Este sistema, acompañado de la práctica de una respuesta separada de las direcciones, ha contribuido a mejorar el sentido de transparencia, independencia y credibilidad de las distintas evaluaciones.

5. El Comité del Programa ha seguido desempeñando una función muy activa en la orientación de la labor de evaluación. El Comité asesora al Director General en determinados temas que se han de incluir en los planes bienales renovables sobre las evaluaciones de los programas y, como principal receptor de los informes de evaluación, los examina y formula observaciones en cuanto al fondo con respecto a evaluaciones individuales. El Comité recaba también y recibe informes parciales sobre las actividades de seguimiento relativas a recomendaciones de evaluación esenciales. Estos últimos han demostrado ser una forma eficaz de promover la información sobre los resultados de la evaluación a los órganos de planificación y ejecución de los programas, que en muchos sistemas de evaluación puede representar una grave deficiencia.

6. Como se indicaba en el Prólogo del Director General, esta edición del Informe sobre la Evaluación del Programa contiene las seis evaluaciones examinadas por el Comité del Programa durante 2002-03. Dada la favorable acogida de la forma de presentación del último informe, ésta se ha repetido también en este informe: cada capítulo contiene un resumen del informe de evaluación, el informe del grupo de expertos de colegas externos, la respuesta de la administración y el informe del Comité del Programa.

7. En cuanto al fondo, el Comité del Programa consideraba que las actividades evaluadas correspondían en gran parte a las necesidades de los Estados Miembros de la FAO y les prestaban servicios útiles. Examinó las deficiencias y las medidas correctivas con los directores competentes a la luz de las recomendaciones de la evaluación y de las respuestas de la administración. El Comité manifestó asimismo una satisfacción general por la forma en que la función de evaluación había mejorado en la FAO. En particular, ha apreciado la orientación estratégica y orientada hacia el futuro de la evaluación y estaba de acuerdo en que se intensificara la prioridad dada a las evaluaciones temáticas en el contexto del Marco Estratégico y del Plan a Plazo Medio. En reuniones recientes el Comité también:

  1. apreció la mayor utilización de expertos externos y, en particular, el empleo de grupos de examen de colegas externos para confirmar las evaluaciones;
  2. al formular observaciones sobre la evaluación externa del PESA, sugirió que el costo adicional podría estar justificado por la necesidad sea de competencias especiales o de mejorar la credibilidad de la evaluación;
  3. acogió satisfactoriamente las respuestas positivas y precavidas de la administración;
  4. acogió con satisfacción el aumento de evaluaciones imparciales, con su mayor grado de “franqueza” y “crítica constructiva”;
  5. acogió con satisfacción las recomendaciones precisas y prácticas, pero advirtió también contra el exceso de detalles y la falta de un orden de prioridades en las recomendaciones;
  6. destacó la importancia del seguimiento de las evaluaciones, con inclusión de medidas oportunas con respecto a las recomendaciones aceptadas por la administración:
  7. reconoció los esfuerzos destinados a intensificar la difusión de los resultados de la evaluación en aras del aprovechamiento compartido de las experiencias y el aumento de la transparencia; y
  8. reconoció las repercusiones en los costos de las evaluaciones globales, pero destacó la importancia de la calidad y de la integridad más que la cantidad de las evaluaciones.

8. Al examinar el último Informe sobre la Evaluación del Programa 2001, la Conferencia “..expresó su satisfacción general por los progresos que se estaban realizando en la elaboración de un sistema apropiado de evaluación en el marco de un enfoque de planificación, programación y presupuestación orientado estratégicamente que se había introducido recientemente...” y afirmó “que sería oportuno examinar la conveniencia de establecer un servicio de evaluación independiente”2.

9. La manifestación de una satisfacción general por el Comité del Programa y el Consejo constituye un fuerte estímulo para mantener el impulso en favor del fortalecimiento del nuevo sistema de evaluación. Este esfuerzo proseguirá. Aparte de la elaboración y el perfeccionamiento de metodologías y criterios adecuados de evaluación, la prioridad se concentrará en promover la información sobre la evaluación al proceso del programa así como el aprendizaje por la organización de diversas formas de evaluación, con inclusión de la autoevaluación.

10. Sobre la cuestión de la posible creación de un servicio de evaluación independiente, la reunión conjunta de los Comités del Programa y de Finanzas examinó la cuestión en mayo de 2003 y llegó a la conclusión de que la independencia de la evaluación es al mismo tiempo importante y compleja y que la cuestión se volverá a examinar en otra reunión conjunta de los Comités en septiembre de 2003.

11. No obstante, vale la pena destacar una cuestión, que está relacionada con el costo de la evaluación de dos maneras. El costo directo de las evaluaciones está aumentando, lo que refleja una mayor utilización de aportaciones externas, tanto como parte de los equipos de evaluación como de grupos de examen de colegas externos. Las visitas de campo y las encuestas por medio de cuestionarios también encarecen el costo. Más indirectamente, los resultados de la evaluación requieren un seguimiento más sistemático por parte del personal de los programas, particularmente en lo que respecta a resultados como los productos y la repercusión de los programas por medio del proceso de autoevaluación. Esto repercute en los recursos de los programas en lo que respecta a tiempo de personal y fondos para la recopilación y el examen de las pruebas de esos resultados. En el contexto de las limitaciones generales de los recursos que afronta la Organización, esto constituye un auténtico reto, que requiere una estrategia de utilización eficaz en función de los costos de la evaluación como instrumento de gestión.

__________________________

1 EMPRES: Sistema de prevención de emergencia de plagas y enfermedades transfronterizas de los animales y las plantas.

2 Informe de la Conferencia de la FAO, C 2001/REP, párrafo 82.

 


  Índice Pág. siguiente