JM 03.1/3


REUNIÓN CONJUNTA DEL COMITÉ DEL PROGRAMA EN SU 89º PERÍODO DE SESIONES
Y DEL
COMITÉ DE FINANZAS EN SU 102º PERÍODO DE SESIONES

Roma, 7 de mayo de 2003

Independencia y emplazamiento del Servicio de Evaluación

Índice


Justificación de la recomendación
Pros y contras de la fusión de la AUD y el PBEE

Situación actual de las disposiciones sobre evaluación – Aspectos relacionados con la independencia
Posibles opciones para cambiar el emplazamiento del PBEE en la Organización – Análisis preliminar


Antecedentes

1. En su 100º periodo de sesiones (septiembre de 2002), el Comité de Finanzas examinó el informe del Auditor Externo titulado Examen de los controles internos de la Organización, en el que recomendaba que “la FAO examine la posibilidad de combinar la AUD (Oficina del Inspector General) y el PBEE (Servicio de Evaluación) a fin de crear una única oficina o dirección de supervisión”.1 Respecto de esta recomendación, la Secretaría se comprometió a presentar un documento con propuestas detalladas sobre el asunto para someterlo a la consideración de la Reunión Conjunta de los Comités de Finanzas y del Programa de mayo de 2003. El Comité de Finanzas destacó que la propuesta que había de preparar la Secretaría tendría plenamente en cuenta las preocupaciones del Comité en cuanto a la independencia de la función de evaluación.

2. El presente documento responde al susodicho compromiso asumido por la Secretaría. En él se ofrece una respuesta detallada a la recomendación del Auditor Externo y a la cuestión más amplia de la independencia de la función de evaluación, preocupación que también subrayó la Conferencia en su último período de sesiones (31º período de sesiones, noviembre de 2001). Al examinar el Informe sobre la Evaluación del Programa de 2001, declaró que “sería oportuno examinar la conveniencia de establecer un servicio de evaluación independiente” (párr. 82 del informe). En resumen, el estudio de estas diversas propuestas requiere un examen de la independencia y las disposiciones institucionales relativas a la función de evaluación en la Organización.

Introducción:
Los principios generales de la evaluación y su aplicación en la FAO

3. Durante los tres últimos decenios, los organismos de las Naciones Unidas y las organizaciones internacionales de desarrollo han incorporado la evaluación a sus actividades principales, y en la actualidad existe un amplio consenso sobre sus principios y prácticas básicos. A efectos de examinar los aspectos principales de la función de evaluación de la Organización, se han tomado como referencia los principios establecidos por el Comité de Ayuda para el Desarrollo (CAD) de la Organización de Cooperación y Desarrollo Económicos (OCDE), porque constituyen el conjunto de prácticas idóneas más amplio y acreditado2 entre las organizaciones internacionales. Esto es especialmente válido en lo que concierne a la independencia de la evaluación.

4. La evaluación se define como “la valoración, lo más sistemática y objetiva posible, de un proyecto, programa o política en curso o terminado, así como de su formulación, ejecución y resultados. La finalidad es determinar la pertinencia de sus objetivos y el cumplimiento de éstos, su eficiencia en cuanto al desarrollo, su eficacia, sus efectos y su sostenibilidad. La evaluación debe proporcionar información que sea creíble y útil y que permita incorporar la experiencia adquirida al proceso decisorio tanto de los beneficiarios como de los donantes”.3 Los fines principales de la evaluación son a) “mejorar las políticas, programas y proyectos de ayuda futuros mediante la retroinformación de la experiencia adquirida” y b) “proporcionar una base para la rendición de cuentas, incluido el suministro de información al público”. En particular, se señala que “el concepto de rendición de cuentas con respecto a la evaluación a que aquí se hace referencia está relacionado con los resultados del desarrollo y los efectos de la asistencia para el desarrollo. Es un concepto distinto del de rendición de cuentas con respecto a la utilización de fondos públicos en el sentido contable y jurídico del término, responsabilidad que en este último caso suele encomendarse a una institución de comprobación de cuentas”.4

5. Los principios de evaluación del CAD incluyen: a) el establecimiento de una política clara en materia de evaluación para toda la Organización, acompañada de una definición de sus funciones y responsabilidades y de su posición institucional; b) la imparcialidad e independencia de la evaluación con respecto a los procesos que intervienen en la formulación de políticas y la entrega y administración de la ayuda al desarrollo; c) la transparencia del proceso de evaluación, incluida una amplia difusión pública de los resultados de la evaluación; d) la aplicación y utilización de los resultados de la evaluación mediante su retroinformación a los procesos operativos y de formulación de políticas, e) la colaboración y participación de los principales interesados en la utilización de los resultados de la evaluación; y f) la integración de la evaluación en el proceso de planificación.

6. Las prácticas actuales de la Organización en relación con estos principios pueden resumirse del siguiente modo:

    1. Política de evaluación de la Organización – Está recogida en el Boletín del Director General 2001/33 (Fortalecimiento del sistema de evaluación de la FAO, véase el anexo), en el que se actualiza un Boletín similar publicado en 1984 y se consignan los resultados del examen realizado por el Comité del Programa en 1999 de un documento de la Secretaría titulado Evaluación en el contexto del Marco Estratégico y del nuevo modelo de programación (PC 82/4). El Boletín del Director General define las funciones fundamentales de la evaluación como parte de los esfuerzos de la Organización para reforzar una gestión estratégica y orientada a los resultados. Establece los objetivos y las principales funciones de la evaluación en la FAO, donde el Servicio de Evaluación (PBEE) es la dependencia central de evaluación, así como el proceso institucional, incluidas las disposiciones para la presentación de informes al Director General y a los órganos rectores por conducto del Comité del Programa. Subraya, entre otras cosas, la independencia y objetividad de las actividades de evaluación, así como su integración con el proceso de planificación y administración de los programas para impulsar mejoras y promover el aprendizaje institucional. Cabe destacar que el sistema de evaluación comprende una combinación de evaluaciones y valoraciones realizadas por los propios administradores de los programas y de evaluaciones independientes a cargo del PBEE;
    2. Imparcialidad e independencia – Las evaluaciones son realizadas, con arreglo a un mandato concreto, por equipos independientes que no participan directamente en la administración y ejecución de los programas y proyectos. En particular, el PBEE tiene el mandato de realizar evaluaciones independientes, en particular temáticas y de programas; el PBEE lleva a cabo estas evaluaciones o supervisa las que llevan a cabo otras personas, y asegura también la independencia y objetividad, de las evaluaciones realizadas por equipos de consultores sobre el terreno y otros proyectos financiados con fondos extrapresupuestarios. Las evaluaciones temáticas y de programas se caracterizan por las medidas adoptadas para garantizar su independencia y transparencia, para lo cual en ocasiones se incluyen expertos externos en el equipo de evaluación, pero con más frecuencia se recurre a la valoración independiente de los informes de evaluación por grupos de expertos externos. El hecho de que las conclusiones y recomendaciones del equipo de evaluación se presenten por separado de la respuesta a ellas de la Administración pone de relieve la independencia de dicho equipo. En el caso de las autoevaluaciones, cuya ejecución es supervisada este año por el Servicio, se potenciará en la mayor medida posible su independencia y objetividad mediante la inclusión de expertos externos en el proceso, ya sea incorporándolos en los equipos de evaluación o en los grupos de examen. Unos procedimientos y metodologías claros para asegurar la objetividad y el rigor analítico, incluido un mandato para cada evaluación, aumentan la independencia del proceso;
    3. Transparencia del proceso, incluida la difusión de los resultados – Muchas de las medidas antes mencionadas contribuyen también directamente a mejorar la transparencia, que es inseparable de la independencia. Por otra parte, los principales interesados participan en las fases fundamentales de la evaluación, desde la planificación, incluida la preparación del mandato, hasta el examen del proyecto de informe de evaluación y la formulación de observaciones al respecto. Todos los informes de las evaluaciones temáticas y de programas, así como los Informes sobre la Evaluación del Programa, de carácter bienal, pueden consultarse en el sitio del PBEE en Internet (www.fao.org/pbe) que es de dominio público. También se publican en ese sitio resúmenes de los informes de las distintas evaluaciones de proyectos de campo;
    4. Utilización de los resultados de la evaluación – Este principio está incorporado en el proceso de diversas evaluaciones. En el caso de las evaluaciones temáticas y de programas, el proceso de consultas posibilita un diálogo entre los administradores, el personal y los equipos de evaluación del programa en cuestión, que culmina en la respuesta de la Administración a las conclusiones de la evaluación. Además, el examen de esas evaluaciones por el Comité del Programa, que pide habitualmente informes sobre las medidas adoptadas por la Secretaría para aplicar las recomendaciones de la evaluación, refuerza el proceso de retroinformación. En cuanto a las evaluaciones de proyectos de campo, los gobiernos de los países beneficiarios, los donantes y la FAO a través del proceso de administración de los proyectos, a menudo a nivel nacional, examinan los distintos informes y toman medidas al respecto. Por otra parte, las principales cuestiones y enseñanzas a escala global se divulgan a través de resúmenes de las evaluaciones que prepara periódicamente el PBEE. Por ejemplo, el Comité del Programa ha estado vigilando las medidas correctivas adoptadas por la Secretaría para mejorar la calidad de la formulación de los proyectos, cuestión señalada en el resumen de las evaluaciones de proyectos examinado por el Comité en mayo de 2000;
    5. Colaboración y participación de los principales interesados – Esta cuestión se ha tratado en el párrafo anterior. La colaboración comprende también el seguimiento de los resultados de la evaluación, en el curso del cual los administradores de los programas y el personal abordan de forma activa las cuestiones planteadas en las evaluaciones, a menudo con la participación de personal del PBEE. Pueden citarse como ejemplos de esta labor en los últimos años: i) la solución de los problemas señalados en la evaluación temática relativa al enfoque participativo adoptado por el grupo informal de trabajo entre direcciones sobre la participación; ii) la aplicación de las recomendaciones de la evaluación de los servicios de apoyo a la agricultura en la reestructuración de la Dirección AGS; y iii) las medidas adoptadas por el grupo de acción interdepartamental con respecto a la capacitación de conformidad con las recomendaciones del examen temático de las actividades en esta materia; e
    6. Integración con el proceso de planificación – Como se muestra en los párrafos anteriores, la evaluación está relacionada con los procesos de planificación y administración. En particular, las evaluaciones temáticas y de programas se realizan cada vez más en el contexto del Marco Estratégico y del PPM, y sus resultados se incorporan en el proceso de planificación del PPM y del PLM en toda la Organización. El emplazamiento del Servicio en la Oficina del Programa, del Presupuesto y de Evaluación (PBE) favorece esa sinergia entre planificación y evaluación en toda la Organización. A este respecto, la experiencia adquirida en la evaluación ha constituido la base principal de la planificación de los programas en el proceso de elaboración del PPM, y en particular del nuevo modelo de programa orientado a los resultados.

7. Cabe concluir, por consiguiente, que las prácticas de evaluación de la FAO son en general compatibles con los principios básicos de la evaluación.

8. Sin embargo, conviene señalar que las dos consideraciones más importantes, a saber la independencia, especialmente en lo que se refiere a las disposiciones institucionales, y la influencia efectiva de la evaluación en las decisiones, especialmente a través del aprendizaje, se enfrentan en la práctica con algunas contradicciones, aunque existe cierta compensación entre ambas. Algunas disposiciones institucionales tienden a reforzar uno de esos aspectos en detrimento del otro. Por esa razón, suele reconocerse que no hay una solución única y universal a este problema, sino que “se deberá buscar una solución óptima para llegar a un equilibrio entre todas esas exigencias”.5 A este respecto, se hace hincapié en los dos puntos principales, con independencia de las disposiciones concretas que se adopten: “Se deberá hacer todo lo posible para evitar poner en peligro el proceso de evaluación” y “las disposiciones y procedimientos institucionales deberán facilitar la vinculación de las conclusiones de la evaluación a la programación y la formulación de políticas”.

Propuesta de fusión de las funciones de evaluación y supervisión interna

Justificación de la recomendación

9. La recomendación del Auditor Externo se basa al parecer en sus conclusiones de que:

      1. “hay una superposición entre la AUD y el PBEE respecto de una de las funciones de supervisión”, es decir, la “evaluación” (párr. 17 del informe);
      2. en el organigrama no se contempla el enlace necesario entre las dos dependencias, que sólo se realiza de manera oficiosa y que en cualquier caso debería reforzarse (párrs. 18 y 19);
      3. en el sistema de las Naciones Unidas se tiende en general a tener una única oficina para todas las funciones principales de supervisión (vigilancia, auditoría interna, inspección investigación y evaluación), como en el caso de la Oficina de Servicios de Supervisión Interna de las Naciones Unidas (OIOS) (párrs. 20 y 21).

10. A continuación se examina cada una de las tres conclusiones.

i) Superposición entre la AUD y el PBEE en la función de evaluación:

11. Aunque esta conclusión parece ser una de las principales razones de la recomendación, se basa en una apreciación más bien superficial y restringida de la comprobación de cuentas y la evaluación, tanto en lo que respecta a su concepción como a sus funciones operativas. En el párrafo 17 de su informe, el Auditor Externo basa su argumentación en la inclusión de la palabra “evaluación” entre las funciones estipuladas en el Artículo 1 de la Carta de la Oficina del Inspector General. Al citar esta Carta, menciona entre sus funciones el “seguimiento y evaluación de la idoneidad y la eficacia del sistema de control interno, la gestión financiera y la utilización de los bienes de la Organización” (sin cursiva en el original). Por consiguiente, el término “evaluación” se utiliza en este contexto en una acepción bastante restringida que se centra en la gestión y utilización de los recursos, como lo reconoce el Auditor Externo cuando dice que “la función de evaluación encomendada a la AUD tiene un alcance limitado, mientras que la del PBEE se centra más en la valoración de los resultados de los Programas Ordinario y de Campo.” Esto indica algunas diferencias muy importantes entre la labor de la AUD y del PBEE.

12. Aunque la evaluación forma parte de los mecanismos de supervisión, algunos de sus objetivos son muy distintos de los de otros instrumentos de supervisión, especialmente los que se centran en el control interno y la gestión financiera. Como se señaló anteriormente (párr. 4), la definición generalmente aceptada de evaluación pone de relieve una clara distinción entre las funciones de evaluación y de comprobación de cuentas, al ser el aprendizaje y la mejora el objetivo singular y más importante de la evaluación. Las diferencias se refieren también a los criterios de valoración y a las metodologías aplicadas, así como a las disposiciones relativas a la presentación de informes: aunque en ambos casos se rinde informe al Director General, el Comité de Finanzas se ocupa de los asuntos relacionados con la comprobación de cuentas y el Comité del Programa de los relacionados con la evaluación. En resumen, la conclusión es que no existe una superposición significativa entre las funciones de la AUD y del PBEE y que, de hecho, hay entre ambos una relación de complementariedad.

ii) Enlace entre la AUD y el PBEE:

13. Las actuales disposiciones institucionales tienen en cuenta estas diferencias básicas en las funciones de supervisión de ambas dependencias. Sin embargo, el enlace entre ellas es fundamental para reducir al mínimo los posibles efectos negativos de la falta de coordinación en el tratamiento de los asuntos y para asegurar la sinergia que se deriva de la complementariedad de las dos funciones en relación con el mismo asunto o con asuntos similares.

14. Esta necesidad se reconoce en las declaraciones relativas a las funciones de ambas dependencias, en las que se especifica lo siguiente: “Asegura el enlace con el Inspector General [o con el “Jefe del Servicio de Evaluación, PBE”, en su caso], para evitar la posible duplicación del trabajo y garantizar la complementariedad de los programas de trabajo, en particular los que se refieren a la evaluación de la eficacia de los programas sustantivos de la FAO en las oficinas locales y en la Sede.”

15. Por consiguiente, ambas dependencias se consultan con frecuencia acerca de sus respectivos planes de trabajo, se valen a menudo de la labor de la otra en asuntos conexos y comparten oportunidades de capacitación del personal. Sin embargo, siempre hay posibilidades de mejorar la cooperación entre ambas dependencias, incluido el intercambio periódico de experiencias y problemas en relación con cuestiones temáticas de interés común. El principal obstáculo en la práctica es la falta de tiempo, y no el emplazamiento de ambas dependencias en la Organización.

iii) Tendencia a la unificación de las dependencias de supervisión en el organigrama:

16. Como se indicaba en el informe del Auditor Externo, varios organismos de las Naciones Unidas han adoptado una estructura institucional unificada para sus funciones de supervisión, muy similar a la de la OIOS de las Naciones Unidas (por ejemplo, la Unesco, el OIEA, el PNUMA, el FNUAP, la OACI, la OMI y la OMPI): aunque en el momento en que se redactó el informe del Auditor Externo, el PMA tenía una estructura similar, recientemente se ha separado la dependencia de evaluación de la oficina que se ocupa de la auditoría interna y la inspección. Sin embargo, al mismo tiempo muchos otros organismos de las Naciones Unidas han optado por otras disposiciones diferentes: en algunos de ellos, la dependencia de evaluación es una oficina autónoma, que habitualmente rinde informe al jefe del organismo (FIDA6, PNUD, UNICEF, CNUAH/Hábitat y ONUSIDA); en otros, como en la FAO, la dependencia de evaluación forma parte de una oficina mayor, que a menudo desempeña funciones de planificación y programación (OIT, OMS, OACNUR, UNCTAD, OCAH, UIT y Programa de Voluntarios de las Naciones Unidas); y hay también otros organismos donde la evaluación está emplazada en dependencias que se ocupan de actividades de cooperación técnica in (por ejemplo, ONUDI, PNUFID y OMC). El Banco Mundial y el FMI, así como la mayoría de los bancos regionales de desarrollo, mantienen oficinas de evaluación separadas que rinden informe directamente a sus respectivos órganos rectores. Asimismo, lo más habitual entre los organismos bilaterales de ayuda, entre ellos la Agencia para el Desarrollo Internacional de los Estados Unidos (USAID) y el Departamento para el Desarrollo Internacional del Reino Unido (DFID), es tener una dependencia de evaluación por separado. Por consiguiente, no existe una tendencia clara a la creación de una estructura unificada que combine la evaluación con otras funciones de supervisión.

Pros y contras de la fusión de la AUD y el PBEE

17. Aunque las razones que se dan en el informe del Auditor Externo no son muy convincentes, también se podrían estudiar las repercusiones de la recomendación desde el punto de vista de la Organización. Las ventajas obvias de la fusión de ambas dependencias serían las siguientes:

      1. constituiría una estructura en apariencia coherente para las funciones de supervisión interna;
      2. propiciaría una mayor sinergia entre la evaluación y las funciones de la AUD; y
      3. contribuiría tal vez a que disminuyeran los recursos totales destinados a las dos dependencias.

18. Con respecto a la primera cuestión, la coherencia es un atributo impreciso, cuyos beneficios son difíciles de cuantificar en este caso concreto. Es posible que el argumento más sólido sea el segundo. Sin embargo, la consecución de esa sinergia dependería, en último extremo, de los fines y cuestiones fundamentales en que probablemente se centraran la AUD y el PBEE, así como del modo en que organizaran y desempeñaran sus funciones. También cabe dudar de que no pueda conseguirse esa misma finalidad reforzando aún más los vínculos entre la AUD y el PBEE. En cuanto a la tercera cuestión, hay que señalar que en aquellos casos en que la evaluación está comprendida entre las funciones de una oficina general de supervisión interna, por lo general mantiene su propia identidad, debido sobre todo a las diferencias tanto en las tareas realizadas por el personal que desempeña dichas funciones como en la titulación de éste y sus conocimientos especializados. Por consiguiente, hay pocas posibilidades de realizar economías, suponiendo que se mantuviera el nivel de sus productos.

19. Por otra parte, es evidente que hay varios inconvenientes y dificultades:

      1. La primera dificultad se deriva de que la finalidad y naturaleza de las funciones de ambas dependencias son intrínsecamente diferentes, por lo que se corre un riesgo real de poner en peligro los resultados efectivos de las funciones más importantes de cada una de ellas. El objetivo fundamental de la evaluación es formular propuestas constructivas de mejoras y promover el aprendizaje por parte de los administradores de los programas y del personal. Es imprescindible que éstos consideren que la evaluación es una función constructiva y útil, basada en análisis y evaluaciones objetivos y rigurosos y respaldada por la credibilidad del evaluador en cuanto a su capacidad para apreciar el fondo de los programas y proyectos en cuestión. Estas tareas son difíciles de conciliar con la finalidad y las funciones, tanto reales como percibidas, de la comprobación de cuentas, la inspección y la investigación, que están más centradas en el respeto de las obligaciones financieras y los aspectos operativos;
      2. En segundo lugar, la fusión propuesta suprimiría la ventaja misma que ofrece la estructura actual de aportar una retroinformación eficaz a la planificación y administración de los programas. La sinergia entre la planificación de los programas y la evaluación ha sido, y sigue siendo, importante para el éxito de los intentos de la Organización de reforzar su planificación estratégica y la calidad de sus programas y operaciones;
      3. En tercer lugar, el sistema actual de presentación de informes por separado al Consejo (por conducto del Comité del Programa en el caso de los informes de evaluación y del Comité de Finanzas en el caso de los informes del Inspector General) responde como es debido a las diferencias en el papel y las funciones de ambas dependencias y de los Comités respectivos. Sin embargo, la fusión de la AUD y el PBEE plantearía problemas logísticos al tener que presentar simultáneamente a esa única oficina informes a ambos Comités.

20. En conclusión, la Administración considera que la fusión recomendada de la AUD y el PBEE no tiene ninguna ventaja práctica. En cambio, le preocupan diversas cuestiones que podrían poner en peligro los progresos realizados hasta ahora en el régimen de supervisión de la Organización. En su opinión, se podría mejorar la coordinación entre ambas funciones por otros medios más prácticos.

Aumento de la independencia de la evaluación en la FAO

21. La Administración reconoce que la cuestión de la independencia es de importancia decisiva para seguir reforzando la función de la evaluación en la FAO, como se ponía de manifiesto en el Boletín del Director General 2001/33. Por su misma naturaleza, la evaluación entraña la formulación de juicios de valor mediante una cuidadosa evaluación de la información disponible y la ponderación de las opiniones de las diversas partes interesadas. En este contexto, la independencia y la objetividad son fundamentales para establecer el sentido de legitimidad y credibilidad, especialmente a los ojos de los evaluados, reduciendo así los posibles conflictos de intereses y los posibles sesgos. Por consiguiente, la evaluación así entendida contribuye también a aumentar la eficacia de la evaluación porque confiere credibilidad a esa función y promueve un aprendizaje más activo e iniciativas para introducir mejoras.

22. Con respecto a la independencia de la evaluación, el examen más sistemático de esta cuestión se encuentra en un informe del CAD7. En él se exponen, además de la declaración de principios de la Organización, las siguientes consideraciones: a) el organigrama para separar la evaluación de las funciones de ejecución, con arreglo al cual la dependencia de evaluación rinde informe directamente a la Administración superior de la Organización o preferiblemente al jefe de ésta o a uno de sus órganos rectores; b) acceso a los recursos para las actividades de evaluación (decisiones sobre presupuesto y personal) y control de dichos recursos; c) facultad respecto de la planificación y realización de evaluaciones (selección del tema y el mandato de la evaluación), así como del proceso (exámenes y revisiones de los informes de evaluación); y d) vinculación de las conclusiones de la evaluación a la formulación de programas y políticas. Estas consideraciones se utilizan a continuación como criterios básicos para examinar más a fondo la cuestión de la independencia de la evaluación en la FAO.

Situación actual de las disposiciones sobre evaluación – Aspectos relacionados con la independencia

23. Organigrama y disposiciones sobre presentación de informes. La principal preocupación es separar la función de evaluación de la de administración con el fin de reducir al mínimo los posibles conflictos de intereses y otros sesgos, lo que requiere que el PBEE rinda informe directamente al Director o al Consejo (por conducto del Comité del Programa). El PBEE está emplazado en la Oficina del Programa, del Presupuesto y de Evaluación (PBE) dentro de la Oficina del Director General. El Jefe del PBEE informa al Director General (ODG) por conducto del Director de la PBE, y al Consejo y la Conferencia por conducto del Director General a través del Comité del Programa, que es el principal interlocutor del Consejo en cuestiones de evaluación. Como se observó anteriormente en el párrafo 14, este emplazamiento interno del PBEE es habitual entre los organismos de las Naciones Unidas en los que las dependencias centrales de evaluación tienen carácter interno.

24. A este respecto cabe hacer las siguientes observaciones:

    1. Aunque el PBEE está sujeto a las vías jerárquicas normales dentro de la Secretaría, disfruta de un amplio grado de autonomía para desempeñar sus funciones de evaluación, incluida la presentación de sus conclusiones y recomendaciones (véase el párrafo c) infra). La presentación de informes por conducto del Director de la PBE se realiza a través de la vía jerárquica normal de administración y gestión. Sin embargo, por lo que respecta a la labor sustantiva de evaluación, el principal papel de esa vía es, por un lado, garantizar una interrelación idónea entre la labor de evaluación y la planificación y administración de los programas en toda la Organización, y, por otro, facilitar la comunicación con la Administración superior. En particular, aunque el director de la PBE examina los proyectos de informes de evaluación, no ejerce un control sobre las opiniones y juicios de los equipos de evaluación, sino que expresa sus opiniones como parte de la respuesta de la Administración a los informes de evaluación. De manera más general, las nuevas medidas introducidas en los últimos años, como por ejemplo el examen por expertos externos y la respuesta por separado de la Administración, han servido para establecer una separación más clara entre la función de evaluación y la función de ejecución dentro de la Secretaría;
    2. Como se señaló anteriormente, existe ya una interacción entre el PBEE y el Comité del Programa, por conducto de la Administración, en cuestiones de evaluación, incluida la preparación de los planes bienales de evaluación y las distintas evaluaciones y metodologías. De hecho, esta interacción, unida al firme interés del Comité en la evaluación, incluido el seguimiento por la Secretaría de las recomendaciones de la evaluación, ha contribuido a mejorar tanto la situación del PBEE como la independencia y transparencia del proceso de evaluación;
    3. Por consiguiente, las disposiciones actuales ofrecen al PBEE un grado suficiente de independencia en la administración de las evaluaciones. Su emplazamiento en la PBE también facilita la vinculación de la evaluación a la planificación, vigilancia y coordinación de los programas en toda la Organización, incluida la retroinformación de las experiencias adquiridas y propuestas de mejoras.

25. Acceso a los recursos y control sobre éstos. Este factor es fundamental para facilitar la independencia en la planificación y realización del trabajo de evaluación. La creciente tendencia a las evaluaciones temáticas y de programas, unida a la necesidad de recurrir en mayor medida a expertos externos, ha aumentado el costo de las actividades de evaluación: las principales evaluaciones realizadas en los últimos bienios han exigido grandes presupuestos (de 200 000 a 500 000 dólares EE.UU. cada una). Sin embargo, el presupuesto ordinario del PBEE no ha aumentado en consonancia, especialmente para cubrir los costos de las aportaciones de los consultores externos a la propia labor de evaluación, así como al proceso de examen por expertos externos. Por consiguiente, ha habido que movilizar recursos suplementarios con carácter específico, y aunque hasta ahora se han atendido las necesidades, esta situación no es propicia a una planificación ordenada de las evaluaciones, incluidas las solicitadas por los órganos rectores. En resumen, la cuestión de los recursos sigue siendo un aspecto que debe mejorarse, no sólo por razones de independencia, sino también en aras de la calidad y transparencia de la labor de evaluación. En cuanto a la facultad del PBEE para contratar al personal y los consultores que necesita, no existe impedimento alguno.

26. Facultad respecto de la planificación y realización de las evaluaciones, incluido el proceso de evaluación. El criterio del CAD implica que el PBEE debería tener facultad y libertad para seleccionar los temas de la evaluación y determinar los medios para llevarla a cabo. El programa de trabajo del PBEE en materia de evaluación debe ser aprobado por el Director General, y sus informes están sujetos a los procedimientos normales de aprobación. Sin embargo, son pertinentes algunas aclaraciones:

    1. En realidad, el PBEE tiene mucha mayor libertad de lo que podría deducirse de esta situación. Aunque los planes bienales progresivos de evaluación están sujetos a la aprobación de la Administración, es el PBEE quien pone en marcha el proceso, en consulta con los directores de los departamentos y teniendo en cuenta el interés expresado por la Administración superior y los órganos rectores. Los planes puestos en marcha por el PBEE son aprobados habitualmente sin cambios por el Director General, quien consulta al Comité del Programa sobre la selección final de los temas que han de incluirse en el plan de evaluación;
    2. Asimismo, el PBEE establece el enfoque y el mandato de las distintas evaluaciones en consulta con los directores de los departamentos y las direcciones interesados. Los directores de las dependencias encargadas de la ejecución formulan observaciones sobre los proyectos de los informes de las evaluaciones, de los que a menudo se preparan varias versiones. Aunque este proceso entraña ciertas negociaciones, éstas no llegan al punto de poner en peligro la integridad de una evaluación independiente y objetiva. El PBEE conserva el derecho de recoger en sus informes cualesquiera observaciones. Los directores de las dependencias de ejecución y la Administración superior expresan su posición en la respuesta de la Administración, que se publica por separado como parte del informe de evaluación;
    3. Sin embargo, muchos de los pasos antes descritos han evolucionado últimamente, por lo que es necesario institucionalizar de manera más sistemática el proceso de evaluación, plasmando las prácticas en directrices oficiales.

27. Vinculación de las conclusiones de la evaluación a las decisiones en materia de programas y políticas. Este criterio implica que el PBEE debe tener la facultad y el rango suficientes para poder emitir sus propios juicios y tener acceso al proceso decisorio con el fin de influir en las medidas para poner en práctica los resultados de la evaluación. Cualquier evaluación plantea un problema real que va más allá de la mera cuestión de la independencia. Sin embargo, puede decirse que por lo general en la Organización se respeta y acepta la labor de evaluación del PBEE aun cuando sus informes sean críticos. A este respecto, el Comité del Programa se ha congratulado de la tendencia a que las críticas sean más francas en los últimos informes de evaluación. Este reconocimiento tiene su origen en el modo en que se percibe la transparencia y calidad de la evaluación, en particular el rigor y la objetividad del análisis, el equilibrio de los juicios y la pertinencia de las conclusiones y recomendaciones. En cuanto al acceso a la adopción de decisiones con respecto a la aplicación, la práctica de la respuesta de la Administración ofrece a la Secretaría una buena oportunidad a tal efecto. Asimismo, el examen de los informes de evaluación, junto con la respuesta del Comité del Programa, permite influir en la aplicación de las recomendaciones. De hecho, el PBEE suele participar en la planificación de las medidas adoptadas con ese fin por los administradores de los programas.

28. El análisis anterior indica que, a pesar del emplazamiento del PBEE en la Organización, el proceso de evaluación en la FAO puede considerarse básicamente independiente con arreglo a los criterios principales, aunque sigue en pie la cuestión de los recursos. Por ejemplo, el Consejo reconoció “las significativas mejoras introducidas por la Organización en la esfera de la evaluación, no sólo en lo relativo a la cantidad y la calidad de los informes, sino también mediante la adopción de un enfoque más constructivo de las recomendaciones …”8. Por consiguiente, parece que la independencia orgánica, de por sí, no es necesariamente el factor más importante para el establecimiento de un sistema de evaluación sólido y funcional.

29. De hecho, la experiencia de la FAO indica que un sistema funcional de evaluación depende mucho de factores distintos de la mera independencia orgánica. Entre ellos cabe citar: i) las disposiciones institucionales en materia de transparencia, ii) la credibilidad y calidad de la labor de evaluación, además de un análisis objetivo y unos juicios equilibrados, iii) la calidad del equipo de evaluación, que inspire respeto y confianza, y iv) la actitud general de la Administración respecto de las mejoras y el aprendizaje. A este respecto, es importante reconocer las ventajas que ofrece el emplazamiento del PBEE. Como se señaló anteriormente, facilita la interrelación con la planificación y la administración del programa en toda la Organización en lo que concierne a la retroinformación. Además, al ser el PBEE una dependencia interna, su personal está familiarizado con el trabajo y el personal de la Organización, no sólo a través de la evaluación sino también de la colaboración con otros funcionarios en asuntos de interés común. Esto contribuye a crear confianza en el personal del PBEE y en su trabajo y favorece su aceptación, lo que facilita el proceso de consultas con las diversas partes interesadas, al tiempo que da al PBEE libertad para mantener sus conclusiones y recomendaciones. En conjunto, estos factores permiten sacar enseñanzas de la evaluación, tal vez en mayor medida que cuando se tiene la impresión de que los resultados han sido impuestos y no existe suficiente confianza entre los evaluadores y los administradores de los programas.

Posibles opciones para cambiar el emplazamiento del PBEE en la Organización – Análisis preliminar

30. Sin embargo, para responder a las preocupaciones expresadas por los órganos rectores, en el presente documento se estudian posibles opciones para conseguir un mayor grado de independencia orgánica cambiando el emplazamiento del PBEE. En particular, a continuación se examinan dos hipótesis y se analizan brevemente las probables ventajas y desventajas:

    1. Posibilidad de que el PBEE estuviera emplazado en la Secretaría, pero rindiera informe directamente al Director General. De este modo se evitaría el trámite adicional de presentar un informe al Director de la PBE, con lo que la independencia orgánica sería mayor. Ello podría dar mayor relieve al PBEE y a la labor de evaluación en la Organización. Al mismo tiempo se plantean las siguientes cuestiones:
      1. Se reduciría la facilidad actual de retroinformación de la evaluación a la planificación y programación en toda la Organización, que debería conseguirse por medio de otro mecanismo. Por otra parte, disminuiría el grado de aportación de conocimientos especializados y experiencias de la evaluación al desarrollo del proceso de planificación y programación, como sucedió en los últimos años;
      2. Esta disposición entrañaría gastos de diversos tipos para mantener el estado de autonomía del PBEE. Se necesitaría por supuesto un interlocutor en la Oficina del Director General con capacidad suficiente para supervisar y coordinar el trabajo de evaluación;
    2. Posibilidad de que el PBEE estuviera emplazado fuera de la Secretaría y rindiera informe directamente al órgano rector (Comité del Programa). Esta disposición representaría el caso más extremo de independencia orgánica, como sucede en el Banco Mundial. El PBEE sería independiente de la Secretaría, y trabajaría directamente con el Comité del Programa en todos los asuntos relativos a la evaluación. Esto tendría también las siguientes consecuencias:
      1. Se separaría al PBEE de la Secretaría, y la retroinformación de la evaluación a la planificación y administración de los programas dependería cada vez más de la autoridad de los órganos rectores, y no de las consultas con los directores de las dependencias de ejecución y de la identificación de éstos con los resultados. Ello tendría probablemente consecuencias negativas para la eficacia de la evaluación y el aprendizaje en la Organización.
      2. En el caso de la primera hipótesis, habría que aumentar la autonomía administrativa y financiera del PBEE, otorgándole probablemente una categoría muy superior a la de Servicio que tiene en la actualidad. También requeriría que el Comité del Programa tuviera una capacidad prácticamente permanente para supervisar el trabajo de evaluación en su totalidad, incluida una interacción constante con el PBEE a lo largo de su ciclo de trabajo. Por ejemplo, la Junta Ejecutiva del Banco Mundial, que se reúne con mucha frecuencia (dos o más veces por mes) y cuenta con el apoyo de una plantilla muy numerosa, está en condiciones de desempeñar debidamente esa labor de supervisión.

31. El análisis anterior indica que las medidas orientadas a aumentar la independencia orgánica podrían tener costos considerables y probablemente consecuencias negativas en la eficacia de la evaluación. Aparte de los costos derivados de los cambios en la organización, lo realmente preocupante sería el probable riesgo de reducir la eficacia de la evaluación para promover cambios y mejoras basados en el aprendizaje institucional. De hecho, los especialistas tienden a poner en guardia contra una excesiva atención al aspecto de la independencia: reconocen que existe una importante compensación entre la independencia, por una parte, y la eficacia de la experiencia adquirida y la retroinformación para introducir mejoras, por otra. En el examen realizado por el CAD en 1998 sobre la aplicación de sus Principios se subrayaba lo siguiente: “Puede que se dé demasiada importancia al principio de la independencia. Como han señalado los usuarios de las evaluaciones, una independencia excesiva puede tener en la práctica efectos contraproducentes, con el resultado de que no se tomen en serio las recomendaciones y enseñanzas de las evaluaciones. …Conseguir que la imparcialidad e independencia se compensen con la importancia de promover la identificación con los resultados es un arte para el que no existe receta … “.9

32. Para concluir este examen de la independencia, cabe señalar lo siguiente:

    1. La Administración se toma muy en serio el principio de la independencia; recientemente se han hecho notables progresos en la mejora de la independencia de las funciones de evaluación dentro de las disposiciones instituciones existentes. El firme interés de los órganos rectores, en particular el Comité del Programa, y el reconocimiento de esa necesidad por la Administración superior han contribuido a las mejoras realizadas hasta ahora;
    2. Al examinar la posibilidad de introducir modificaciones en el actual emplazamiento del PBEE en la Organización, es necesario tener en cuenta las compensaciones recíprocas entre la necesidad de una independencia orgánica del Servicio de Evaluación y la necesidad de un proceso óptimo de retroinformación y aprendizaje de las actividades de evaluación. Dada la situación actual del sistema de evaluación de la Organización y las consecuencias de introducir cambios, debería estudiarse si las disposiciones institucionales actuales ofrecen una base satisfactoria para seguir mejorando la independencia de las funciones de evaluación o si es necesario un cambio en el emplazamiento del PBEE dentro de la Organización.

Recomendaciones

33. El actual sistema de evaluación es en general compatible con los principios y prácticas aplicados por los organismos de las Naciones Unidas y las organizaciones internacionales. El sistema de evaluación de la FAO ha evolucionado hacia una mayor independencia, y se han introducido en él mejoras generales, incluida la retroinformación de las evaluaciones, como han reconocido los órganos rectores. El interés activo de los órganos rectores, en particular el Comité del Programa, ha sido un factor importante en este proceso.

34. Se someten a la consideración de los Comités las siguientes recomendaciones:

    1. Puede que los Comités deseen tomar una decisión, basándose en el análisis antes presentado, sobre la propuesta formulada por el Auditor Externo con respecto a una posible fusión de la AUD y el PBEE;
    2. Si los Comités deciden no tomar por el momento una decisión definitiva a este respecto, podrían hacerse esfuerzos para reforzar la independencia y la eficacia de la evaluación dentro de la estructura actual mediante mejoras en las esferas que se indican a continuación:
      1. Recursos para la labor de evaluación – Debería partirse del principio de que es necesario disponer de manera previsible de recursos suficientes, especialmente para las principales evaluaciones temáticas y de programas. Esto es especialmente aplicable a los recursos necesarios para asegurar un nivel adecuado de conocimientos especializados externos en las principales evaluaciones, incluidos los exámenes independientes de los informes de evaluación por grupos de expertos externos. Con este fin, las necesidades de recursos deberían determinarse en el momento de formular el plan de evaluación e incluirse en el PPM y el PLP;
      2. Sistematización de los procedimientos de evaluación – Los procedimientos y prácticas que se han desarrollado en los últimos años deberían resumirse en directrices para las evaluaciones temáticas y de programas. Este material se incluiría en el sitio Web sobre la evaluación y también se examinaría en talleres internos con el personal de la FAO. Esto aumentaría la transparencia del proceso de evaluación para los principales interesados y mejoraría la comunicación de las prácticas de la Organización en esas evaluaciones;
      3. Mayor intercambio y difusión de las principales enseñanzas y cuestiones derivadas de la evaluación – Aunque se han hecho algunos intentos en esta esfera, primordialmente en lo que respecta a las evaluaciones de proyectos de campo, se deberían hacer esfuerzos más concertados para identificar y sintetizar las enseñanzas, especialmente en el caso de las evaluaciones temáticas y de programas. Esto tiene también repercusiones en los recursos necesarios para que el PBEE lleve a cabo esta labor.

_________________________________

1 Informe presentado al Director General junto con la carta de 12 de julio de 2002.

2 Aunque los principios del CAD se refieren a la evaluación en el contexto de la ayuda para el desarrollo, se consideran pertinentes para la evaluación en general, y representan la declaración más amplia de principios rectores sobre la utilización de la evaluación en la gestión de las actividades de desarrollo.

3 Párr. 5, Principios de evaluación de la asistencia para el desarrollo, Comité de Ayuda al Desarrollo (CAD), OCDE, 1991.

4 Párr. 8, Ibid.

5 Párr. 466, Ibid.

6 En el momento de redactar el presente documento, parece que el FIDA modificará sus disposiciones de manera que se rinda informe directamente a la Junta Ejecutiva, con independencia de la administración.

7 Informe del CAD titulado “Review of the DAC Principles for Evaluation of Development Assistance”, OCDE, 1998.

8 Informe del Consejo de la FAO, 123º período de sesiones, 2002 (CL 123/REP), párrafo 76.

9 Informe del CAD sobre el examen de 1998, Ibid.