JM 03.2/3 |
| JM 03.2/3 |
REUNIÓN CONJUNTA DEL COMITÉ DEL PROGRAMA EN SU 90º PERÍODO DE SESIONES Y DEL COMITÉ DE FINANZAS EN SU 104º PERÍODO DE SESIONES |
Roma, 17 de septiembre de 2003 |
Independencia y emplazamiento del Servicio de Evaluación – Nuevo análisis de las opciones |
FUNCIONES ACTUALES DEL SERVICIO DE EVALUCIÓN
POSIBLES OPCIONES PARA CAMBIAR EL EMPLAZAMIENTO DEL SERVICIO DE EVALUACIÓN EN LA ORGANIZACIÓN
1. En su período de sesiones conjunto de mayo de 2003, los Comités del Programa y de Finanzas examinaron un documento presentado por la Secretaría titulado “Independencia y emplazamiento del Servicio de Evaluación” JM 03.1/3). En su informe, el Comité1 señalaba que: “Fue unánime el acuerdo sobre la importancia de la función de evaluación como instrumento de gestión, a fin de garantizar de manera global la eficacia del programa de la Organización y aumentar la transparencia en el sistema de gobierno”… “Con respecto a la propuesta del Auditor Externo de fusionar la Oficina del Inspector General (AUD) y el Servicio de Evaluación (PBEE), la mayoría de los oradores indicaron que no estaban a favor de combinar estas dos dependencias. Sin embargo, se estimó que con el nivel de información proporcionado no era posible adoptar una posición firme.” … “Al examinar la cuestión de la independencia, los miembros de los Comités estuvieron de acuerdo en general en que la evaluación debería ser independiente y que era esencial que contribuyera al aprendizaje y la mejora de la Organización, así como a la responsabilidad” … “los Comités … pidieron que la Secretaría preparase un documento … analizando las diversas cuestiones indicadas … y proponiendo opciones alternativas para garantizar una independencia mayor, incluida una dependencia orgánica totalmente independiente, así como para fortalecer la independencia ulteriormente en la actual ubicación orgánica del PBEE. En el documento también deberían tenerse en cuenta las prácticas y enseñanzas de determinadas organizaciones internacionales que fueran pertinentes al examinar modelos alternativos de mecanismos para la independencia.”
2. El presente documento constituye la respuesta a la petición de los Comités. En su preparación, se consultó al Banco Mundial y a una serie de organizaciones de las Naciones Unidas sobre las disposiciones adoptadas en materia de evaluación y sobre su experiencia, realizándose incluso una encuesta a través de un cuestionario2
3. Reina un amplio consenso entre las Naciones Unidas y otros organismos internacionales de desarrollo en torno a las funciones de evaluación, y al hecho de que deben contribuir a:
4. En aras de la credibilidad, tanto dentro de las organizaciones como de los órganos rectores y ante otras partes interesadas, hay que confiar en que la evaluación será:
5. La evaluación debe ser también eficaz desde el punto de vista del costo, en lo tocante a potenciar una mejora tangible en la pertinencia de los programas con respecto a las necesidades de los miembros y sus resultados. En ese sentido, reviste la máxima importancia la contratación de gestores y encargados de aplicar los programas en el proceso de evaluación, para garantizar la pertinencia y el carácter práctico de las recomendaciones y su aceptabilidad. Si bien el respaldo de las recomendaciones de la evaluación por parte de los órganos rectores puede, hasta cierto punto, promover su cumplimiento, no suele tener el mismo grado de eficacia que cuando los propios gestores se convencen de la necesidad de introducir cambios y respaldan las soluciones que se han elaborado con su colaboración. Así pues, a nadie se le oculta que no existe una solución única y universal para establecer un equilibrio justo entre rendición de cuentas y aprendizaje, pero que “Se deberá buscar una solución óptima para llegar a un equilibrio entre todas esas exigencias” y “las disposiciones y procedimientos institucionales deberán facilitar la vinculación de las conclusiones de la evaluación a la programación y la formulación de políticas”4.
6. Como se indicó en el documento JM 03.1/3, el Grupo del CAD sobre eficacia de la ayuda ha analizado exhaustivamente el aspecto de la independencia de la evaluación5. Entre las consideraciones que, según se estima, forman parte integrante de las condiciones imprescindibles para la independencia cabe mencionar: a) el organigrama para separar la evaluación de las funciones de ejecución, con arreglo al cual la dependencia de evaluación rinde informe directamente a la Administración superior de la Organización o preferiblemente al jefe de ésta o a uno de sus órganos rectores; b) acceso a los recursos para las actividades de evaluación (decisiones sobre presupuesto y personal) y control de dicho recursos; c) facultad respecto de la planificación y realización de evaluaciones (selección del tema y el mandato de la evaluación), así como del proceso (exámenes y revisiones de los informes de evaluación); y d) vinculación de las conclusiones de la evaluación a la formulación de programas y políticas.
7. El Servicio de Evaluación de la FAO (PBEE) está ubicado en la Oficina del Programa, del Presupuesto y de Evaluación (PBE) en la Oficina del Director General (ODG). El Director de la PBE brinda apoyo administrativo y supervisa la gestión del PBEE, constituyendo asimismo un punto de enlace fundamental entre la evaluación y los procesos de planificación, programación y presupuestación de la Organización. El Servicio se encarga además de mantener un sistema adecuado de evaluación para la Organización, hace extensivo a sus metodologías y procedimientos y que está separado de la dirección ejecutiva de los programas. Cabe agrupar las funciones primordiales del PBEE y sus principales clientes (usuarios de las evaluaciones) como se indica a continuación. Todas ellas son fundamentales para la Organización y mantienen entre si importantes sinergias.
8. Dichas evaluaciones, que se aplican a las estrategias y programas orgánicos y a otras cuestiones intersectoriales, como la descentralización en el contexto de la labor global de la FAO, se planifican en consulta con el Comité del Programa y son gestionadas y llevadas a cabo por el Servicio de Evaluación. Además de los órganos rectores y del personal directivo superior, los principales usuarios de las evaluaciones son los Subdirectores Generales (ADG) y Directores competentes, por lo que hace al contenido del programa y el Director, la PBE y los ADG del Departamento de Cooperación Técnica (TC), en cuanto a la utilización de los recursos. Esa función ocupa aproximadamente el 40 por ciento del tiempo del Servicio de Evaluación.
9. El Servicio de Evaluación establece los procedimientos y dirige el sistema de evaluación de los proyectos y programas de la Organización financiados con cargo a fondos extrapresupuestario. Las evaluaciones propiamente dichas se integran habitualmente en el Programa de Labores y Presupuesto de los programas o proyectos y son llevadas a cabo por equipos de consultores y/o personal del Servicio de Evaluación designado conjuntamente por el donante, el país beneficiario y la FAO. Los principales clientes son el país beneficiario y los representantes de la fuente de financiación, aunque también se cuentan entre los usuarios clave los administradores de los proyectos y los directores de los programas de nivel superior. Esa función ocupa aproximadamente el 30 por ciento del tiempo del Servicio de Evaluación.
10. El PBEE efectúa evaluaciones ad hoc a petición de los diferentes administradores. Una nueva función importante consistirá en desarrollar y dirigir el sistema de autoevaluación interna que acaba de ponerse en marcha, y según el cual, los administradores tienen la obligación de evaluar todas las entidades programáticas al menos una vez cada seis años. La función de respaldo de la autoevaluación está integrada en el Sistema de apoyo a la planificación, la supervisión de la ejecución y la evaluación del programa (PIRES), patrocinado por la PBE. Se estima que esta función ocupará aproximadamente el 20 por ciento del servicio de evaluación.
11. Esta función constituye un insumo de la PBE destinado a la Oficina del Director y representa no sólo una parte de la retroinformación sino también un requisito imprescindible para mejorar la base de la evaluación con respecto a los objetivos e indicadores de los programas. Contribuye también con varias aportaciones a la mejora de la planificación y formulación de proyectos y programas extrapresupuestarios en la TC. Entre otras actividades de retroinformación, cabe citar la difusión de los resultados y enseñanzas extraídas de la evaluación, así como el respaldo a la promoción de la capacitación del personal. Estas funciones absorben aproximadamente el 10 por ciento del tiempo del Servicio de Evaluación.
12. En el anterior período de sesiones conjunto se presentó un panorama del nivel de independencia de la evaluación en la Organización (véanse párrafos 23 a 29 del documento JM 03.1/3).En esta sección se analiza el nivel de cada una de las principales funciones de evaluación.
13. El PBEE prepara un plan progresivo bienal para esas evaluaciones, en consulta con los administradores de los departamentos, que deberá ser aprobado por el Director General. El plan propuesto se presenta al Comité del Programa para que dé su opinión y formule observaciones. En la práctica, el Director General siempre ha respetado las sugerencias del Comité sobre el programa de trabajo.
14. El Servicio de Evaluación decide los métodos globales de evaluación y el mandato de cada evaluación por separado, pero el proceso entraña extensas consultas con las dependencias de la FAO interesadas a fin de mejorar el mandato y garantizar la propiedad de la evaluación a los directores de los programas.
15. En todas las evaluaciones se recurre a expertos del exterior. El Servicio de Evaluación decide si es necesario disponer de esos insumos, incluida la dirección externa, consultores expertos externos, así como la composición del equipo, en función de la especialización necesaria, la importancia estratégica de la evaluación y otras consideraciones presupuestarias. Todas las evaluaciones que no cuenten con una dirección externa son sometidas al examen de un grupo de expertos externos, que prepara su propio informe, que será analizado por la Administración y presentado al Comité del Programa.
16. Los proyectos de informe de evaluación son objeto de estudio y comentarios por parte de los directores de los programas interesados y el personal directivo superior. El servicio de evaluación tiene total libertad para aceptar o rechazar las propuestas de cambios. El Comité del Programa presenta por separado las observaciones de la Administración, que pueden discrepar del informe de evaluación. Aunque el PBEE presenta su informe al Director General por contacto del Director de la PBE, esta última funciona como correa de transmisión de la comunicación con otros directivos superiores y sus observaciones sustantivas sobre los informes de evaluación se incluyen en la respuesta de la Administración.
17. De manera análoga, el PBEE está en contacto con el Comité del Programa a través de la Administración, pero en la práctica, el Servicio de Evaluación mantiene una relación directa con el Comité del Programa, de forma periódica (es decir, dos veces al año), lo que permite al Comité ejercer una influencia considerable sobre cuestiones como la política y los métodos de evaluación. Una relación de trabajo tan estrecha con el Comité otorga a la evaluación una categoría más alta en el seno de la Secretaría. En especial, la retroinformación a los órganos rectores sobre la aplicación de las recomendaciones que forman parte de las evaluaciones, y que han sido aceptadas por la Administración y los órganos rectores, se comunica ahora de forma sistemática al Comité del Programa.
18. Todos los informes de evaluación pertenecientes a ese ámbito son documentos públicos y pueden consultarse en el sitio web de la FAO.
19. Los métodos y procedimientos de evaluación de los programas y proyectos extrapresupuestarios son establecidos por el Servicio de Evaluación en consulta con el Departamento de Cooperación Técnica, teniendo en cuenta las necesidades de los organismos de financiación. El enfoque adoptado por la FAO se ajusta a las normas utilizadas por los organismos de las Naciones Unidas, sobre la base de los principios de una evaluación independiente (por consultores externos) y una participación tripartita (el país beneficiario, el donante y la FAO). Los principales clientes son representantes de los países beneficiarios, de los donantes y de la FAO, incluido los directores de los proyectos y el personal, que aprovechan los resultados de la evaluación para modificar actividades y tomar decisiones acerca del futuro de los proyectos.
20. Es necesario que los proyectos con un presupuesto de más de un millón de dólares EE.UU. se evalúen al menos una vez a lo largo de su duración y la decisión sobre el momento en que debe hacerse es adoptada por la dependencia operacional correspondiente en consulta con el donante y el país beneficiario. Los equipos de evaluación son plenamente independientes en lo que respecta sus resultados y recomendaciones y los miembros de la misión son designados por separado por las tres partes que integran el proyecto. El PBEE desempeña al papel de garantizar la calidad, dando el visto bueno al proyecto de mandato y a la composición del equipo de evaluación y examinando cada uno de los informes. También mantiene una base de datos para el análisis de los resultados y enseñanzas que cabe extraer de la evaluación.
21. La publicación de las evaluaciones de los proyectos/programas financiados con cargo a fondos extrapresupuestarios depende de los criterios de divulgación de la Organización. En la práctica, ello supone que lo primero es rendir cuentas a los donantes, a los países beneficiarios y a la FAO y mejorar con carácter inmediato los programas. Así pues:
22. El servicio de evaluación lleva a cabo evaluaciones internas a petición de los directores de los programas, principalmente con miras a su mejora. Este caso se ha dado recientemente sobre todo en el Departamento de Cooperación Técnica (TC), en el que el jefe del servicio de evaluación dispone de comunicación directa con el Subdirector General de dicho Departamento. Se trata de evaluaciones determinadas por el cliente y el mandato se configura, por supuesto, de común acuerdo con el departamento que lo solicita. El Servicio de Evaluación tiene plenas
competencias sobre lo que acepta, y estipula que le corresponde la decisión final sobre la selección del equipo evaluador, el desarrollo de la evaluación y el contenido del informe de evaluación definitivo. Posteriormente, el informe pasa a ser propiedad del departamento cliente, pero en la práctica no existen trabas para la distribución interna de dichos informes.
23. En cuanto a las autoevaluaciones, a raíz de un debate muy prolongado al respecto, el Director General determinó cuáles eran los procedimientos básicos. Hasta ahora no se han efectuado las primeras evaluaciones y cada una de ellas será organizada por el director correspondiente de la dependencia de ejecución. El Servicio de Evaluación está implantando los procedimientos básicos y los requisitos mínimos para la participación de expertos externos, incluidos los homólogos, en consulta con los departamentos técnicos. Con los informes se pretende primera y principalmente rendir cuentas internas y extraer las oportunas enseñanzas. Sin embargo, se preparará una síntesis para los órganos rectores a través del Comité del Programa, y el Servicio de Evaluación se basará en los informes de autoevaluación a la hora de elaborar sus evaluaciones.
24. El análisis anterior indica que, como se señaló en el párrafo 28 del documento JM 03.1/3, dentro del marco de las disposiciones institucionales vigentes, las funciones principales de evaluación se llevan a cabo en la actualidad de forma independiente. Esto se puede demostrar en relación con los criterios clave de independencia enumerados en el párrafo 6 supra: facultades del Servicio de Evaluación con respecto a la planificación y ejecución de la evaluación, incluido el tratamiento de las observaciones de los directores de programas y del personal directivo superior; transparencia del proceso; y vinculación de los resultados y enseñanzas extraídas de la evaluación con los programas y las decisiones en materia de directrices. Los aspectos en que se echan más en falta criterios de independencia en las disposiciones actuales son: a) necesidad de un acceso más predecible a la financiación de las evaluaciones de los programas principales y las evaluaciones temáticas; y b) una codificación más explícita de las prácticas actuales en su calidad de procesos institucionalizados.
25. Para responder adecuadamente a las instrucciones de los Comités de estudiar otras opciones, examinando las ventajas y desventajas de cambiar el emplazamiento del Servicio de Evaluación, el análisis que figura a continuación se nutre de la experiencia del Banco Mundial y de varias organizaciones de las Naciones Unidas, inclusive de las repercusiones de cambiar el emplazamiento sobre las actuales funciones de evaluación. En el Anexo I figura una descripción y un análisis en forma de matriz de la evaluación en nueve de esas organizaciones (incluida la FAO).
26. Ejemplos de este modelo son el FIDA y el Banco Mundial. Las dependencias de evaluación (Departamento de Evaluación de Operaciones, presidido por un Director General en el caso del Banco y Oficina de Evaluación, presidida por un Director en el FIDA) tienen una estructura separada dentro de la secretaría, e informan directamente a la Junta Ejecutiva (no a los Presidentes). Las Juntas Ejecutivas han creado subcomités para supervisar la evaluación. Los jefes de la evaluación son nombrados (por un determinado período) y únicamente pueden ser cesados directamente en su cargo por el Directorio Ejecutivo (Banco Mundial) o sólo con la aprobación explícita de la Junta Ejecutiva (FIDA). Las dependencias de evaluación están separadas de otras dependencias de supervisión y sus presupuestos reciben una consideración distinta en los procesos de programación y presupuestación. En el Banco es una estructura que se adoptó hace mucho tiempo, pero en el FIDA data sólo del presente año.
27. La ventaja de este modelo es que la evaluación se convierte claramente en una función de rendición de cuentas al servicio de los Estados Miembros. La separación orgánica y el buen gobierno de la función de evaluación le otorgan una categoría e independencia que resultan difíciles de emular por medio de otro tipo de acuerdos. La Administración tiene la obligación de responder oficial y directamente ante las Juntas Ejecutivas respecto de los resultados y recomendaciones de la evaluación. Por otra parte, esta separación de la dependencia de evaluación induce a los administradores a considerar que los evaluadores no son asociados, sino más bien controladores. En el Banco Mundial, la información relacionada con la evaluación goza de una amplia difusión; sin embargo, existe la preocupación de que el personal del Banco no se sienta muy responsable de los resultados. En el FIDA habrá que comprobar el funcionamiento de ese sistema, pero hasta ahora, las evaluaciones hacían mayor hincapié en los aspectos participativos de la retroinformación y aprendizaje, implicando a los asociados a nivel de los países, así como en el seno de la Organización (Asociación básica para el aprendizaje). Se ha señalado asimismo que cuanto más se vea a la dependencia de evaluación como un órgano separado y que ejerce un papel de control, más dificultades tendrá para acceder a información oficiosa y obtener una cooperación voluntaria.
28. Para que este tipo de disposiciones funcione eficazmente, una premisa básica es que los órganos rectores desempeñen una función activa, lo que reviste consecuencias financieras evidentes. El Comité de Evaluación del FIDA se reúne de cinco a seis veces al año, mientras que el Comité sobre la Eficacia del Desarrollo del Banco Mundial lo hace unas 20 veces anuales. En la FAO no existe un comité separado de evaluación y el Comité del Programa sólo celebra dos reuniones al año.
29. Este modelo podría estar indicado en un sistema de evaluación centrado en la rendición de cuentas, es decir, en el contexto de la FAO, en el caso de las evaluaciones de los programas principales y las evaluaciones temáticas destinadas fundamentalmente a los órganos rectores y a la Administración, que es la primera de las funciones enumeradas supra. No sería adecuado para otras funciones que en la actualidad lleva a cabo el PBEE. Esas funciones satisfacen primordialmente las necesidades de gestión de secretaría en relación con la mejora de los programas y el aprendizaje, relegando a un segundo lugar la rendición de cuentas. Sin embargo, esas funciones de evaluación son esenciales para las necesidades internas de la Administración y, de adoptarse la opción A, habría que aprobar otras disposiciones para atender esas necesidades. En el Banco Mundial, por ejemplo, la Administración ha instaurado un sistema de examen/evaluación interno de los proyectos, al margen del Departamento de Evaluación de Operaciones (DEO), en el que los directores de los servicios son los que se encargan de elaborar los informes sobre la conclusión del proyecto (o sea, una modalidad de evaluación terminal).
30. El modelo de este sistema podría ser el PNUD, donde la dependencia de evaluación presenta sus informes directamente al Administrador. En el UNICEF, la dependencia de evaluación presenta sus informes al Director Ejecutivo Adjunto encargado del programa y la planificación estratégica (situación similar a la que existe en la FAO, aunque la función de programación y planificación estratégica ocupa un lugar más elevado en la jerarquía de la Organización). En ambas organizaciones, la dependencia de evaluación está separada de otras dependencias de supervisión interna, y además de su ubicación en la jerarquía de la Organización, los métodos de trabajo son bastante parecidos a los de la FAO, a pesar de que en el PNUD, los órganos rectores desempeñan probablemente un papel menos activo que el Comité del Programa de la FAO a la hora de determinar el programa de trabajo. En el UNICEF, la Junta Ejecutiva establece la política de evaluación, y se decidió también recientemente crear un comité de evaluación interno en el que participarán funcionarios de alto nivel para reforzar la vinculación entre la evaluación y los programas: examinará los planes de evaluación así como los distintos informes. En el PNUD, las observaciones de la Administración y los informes de evaluación no se publican por separado; aunque sí se hace en el caso de la Junta del UNICEF. En este último organismo, la difusión de los resultados y de las enseñanzas extraídas de la evaluación engloba talleres sobre las conclusiones de evaluación y retroinformación para la capacitación del personal, inclusive en materia de formulación de programas y proyectos.
31. Entre las consecuencias para el Servicio de Evaluación de la FAO de un cambio de esa índole podrían citarse, ante todo, la de dar mayor realce a su situación jurídica y a su competencia. Probablemente podría mantener las funciones descritas más arriba excepto la de prestar un apoyo y una retroinformación directos en los procesos de planificación estratégica y a medio plazo, en los que el insumo del Servicio asumiría un carácter más oficial y al margen del proceso de planificación de la PBE.
32. Una oficina de evaluación separada, independiente del Programa y Presupuesto perdería la ventaja de los enlaces internos que existen en la actualidad y que han facilitado, por ejemplo, la estrecha cooperación en lo tocante al modelo conceptual de una presupuestación basada en los resultados, un sistema habitual de tecnología de la información plasmado bajo la forma del PIRES (en donde las iniciales “ES” hacen referencia en inglés al apoyo de la evaluación), la aplicación y el control (es decir, la evaluación anual) y la retroinformación de las evaluaciones que pueda afectar a la asignación de recursos.
33. En el OIEA, las Naciones Unidas y la UNESCO, la dependencia de evaluación está ubicada en una oficina de supervisión interna cuyo director presenta su informe directamente al jefe ejecutivo6. Las dependencias de evaluación están separadas y, en general, se reconoce la independencia de la labor de evaluación, aunque la función de control tiende a pesar sobre los programas y enfoques de trabajo. El programa de trabajo y los informes de evaluación forman parte de esta labor de supervisión, cuyo principal beneficiario es el jefe ejecutivo. Así ocurre, en concreto, en el caso del OIEA y la UNESCO, en donde la evaluación se considera como un instrumento de la gestión interna y los informes de evaluación sólo se transmiten a la Junta en forma resumida (con carácter anual o semestral). Los informes individuales se publican, en términos generales en las Naciones Unidas y la UNESCO, pero son considerados confidenciales en el OIEA.
34. La experiencia del OIEA, las Naciones Unidas y la UNESCO indica que integrar la evaluación en una sola oficina que acumula las funciones de supervisión, a menudo presidida por un administrador de categoría superior que informa directamente al jefe ejecutivo, tiene la ventaja de realzar la categoría de la evaluación y de otorgarle mayor reconocimiento, inclusive a las medidas relativas a las recomendaciones (al menos en el sentido del cumplimiento). Por otra parte, ha tendido a restar importancia a la evaluación en comparación con otras funciones de supervisión. Ello se debe, en parte, a que las funciones principales de la oficina giran en torno a la auditoría y la inspección y, en parte, a que una oficina de supervisión interna suele estar dirigida por un administrador con experiencia en esas funciones. Se ha dado el caso, según se informa, de haberse reducido los recursos para la evaluación.
35. De manera análoga, la fusión ha desembocado a menudo en una relativa separación del personal encargado de la evaluación, del personal encargado de los programas y procedimientos, en parte a causa del mandato de la nueva oficina, y en parte debido a la percepción del personal de los programas. También es difícil acceder a la información oficiosa y obtener un alto grado de cooperación. En algunos casos, la oficina de supervisión hace hincapié en el carácter confidencial de la información y de los informes, lo que socava los métodos de trabajo más transparentes utilizados por la dependencia de evaluación separada que existía anteriormente. Si bien puede mejorar la retroinformación en el sentido del cumplimiento, se entorpece la contribución a los aspectos del aprendizaje, pues la función de auditoría y la cultura de compartir las lecciones extraídas no son fácilmente compatibles.
36. Al igual que ocurre con la opción B supra (párrs. 31 y 32), habría que extraer las funciones de apoyo al desarrollo de las estrategias y los procesos de planificación a plazo medio, así como del respaldo a la auto evaluación, del Servicio de Evaluación, a consecuencia de este cambio de ubicación institucional.
37. Esta configuración orgánica (en la que la dependencia de evaluación se ubica en una oficina más amplia dentro de la Secretaría) es compartida por la mayoría de organismos de las Naciones Unidas. Dejando a un lado la opción C, hay dos grandes modelos, cada uno con su objetivo prioritario: el primero es el de las oficinas responsables de la cooperación técnica (por ejemplo la UNIDO y la OMC), y el segundo es el de la oficina encargada de la planificación y gestión de los programas (OIT, PMA y OMS). Esta última estructura es similar a la de la FAO, ya que hace hincapié en la retroinformación de las evaluaciones canalizándola hacia mejoras de los programas y manteniendo al mismo tiempo la mayor independencia posible para la evaluación. Así pues, aunque su experiencia podría servir para mejorar la organización en la FAO, las estructuras del PMA y de la OMS son ambas muy recientes (se pusieron en marcha en 2003) y las funciones de evaluación central de la OIT no están aún muy definidas. Sin embargo, la experiencia adquirida por esos organismos, incluido el PMA, indica que su labor de evaluación es en gran medida independiente, en particular en relación con la administración ejecutiva, aunque existen diferencias en la forma en la que se comunican a los organismo rectores las observaciones de la Administración.
38. Esa ubicación del Servicio de Evaluación en la FAO podría tener desventajas por lo que hace a su situación, visibilidad y acceso al jefe ejecutivo. Sin embargo, como ya se vio más arriba (párrafos 12 a 24), en la práctica, la labor de evaluación del Servicio y, en especial las evaluaciones de los programas principales y las evaluaciones temáticas para los órganos rectores y personal directivo superior, se llevan a cabo de forma independiente. Por ello, las posibles insuficiencias en cuanto disposiciones orgánicas son más teóricas que reales y podrían resolverse tomando determinadas medidas correctivas, como se indica más adelante.
39. Por otra parte, eliminar al PBEE de esa estructura debilitaría el apoyo al desarrollo de estrategias y al insumo conceptual a los procedimientos de planificación a plazo medio en el contexto del enfoque de la programación y presupuestación de la FAO basado en los resultados. Podría también restar eficacia a la retroinformación directa destinada al proceso de planificación de los programas y al proceso de asignación de recursos. La transferencia de las actuales funciones del Servicio de Evaluación, que se plantea en distinto grado con cada una de las opciones supra, reduciría las sinergias entre los distintos tipos de actividades de evaluación desarrolladas en el Servicio. La transferencia del personal a la par que sus funciones, tendería también a rebajar la masa crítica.
40. En todas las organizaciones estudiadas, los términos y condiciones de servicio del personal se rigen por el reglamento de la Organización. Las únicas excepciones de talla son el Banco Mundial y el FIDA, en donde el jefe de la oficina de evaluación es nombrado o bien directamente por la Junta Ejecutiva (Banco Mundial) o bien con la aprobación explícita de la Junta (FIDA): en ambas organizaciones, el jefe de evaluación tiene competencia para seleccionar al personal. Esta sería la práctica más compatible con la opción A. En todas las demás organizaciones, incluida la FAO, el jefe de la dependencia de evaluación es nombrado por el Jefe Ejecutivo de la Organización, mientras que, para el personal de evaluación, el jefe del equipo de evaluación formula las propuestas para la selección de candidatos a cubrir las vacantes, que serán seleccionados por los procedimientos normales aplicables en estos casos.
41. El presupuesto ordinario de la FAO para evaluación, financiado íntegramente, ha mantenido un nivel más o menos estable durante los últimos bienios, cifrándose aproximadamente en 2,1 millones de dólares EE.UU. Además, recupera parte de los gastos de personal cobrando por los servicios que proporciona, por ejemplo, a las evaluaciones del Programa de Campo. Sin embargo, cabe señalar que se van a adoptar cambios estructurales que pueden incidir negativamente en el nivel global de los recursos disponibles para la evaluación. Cabe citar entre ellos:
42. Por consiguiente, aunque, en términos generales, la financiación de las evaluaciones no ha sido hasta ahora un problema, se advierte una tendencia cada vez mayor hacia la realización de evaluaciones estratégicas y temáticas que no darán lugar a reembolsos de otros programas. Si a esto se suma el uso creciente de expertos externos, bien a título de consultores o bien como miembros de grupos de examen colegiados, es probable que los recursos puedan convertirse en un lastre importante para el proceso de evaluación. Por ese motivo, se ha incluido una suma adicional de 250 000 dólares EE.UU. en la hipótesis CR, a fin de sufragar el costo de una utilización generalizada de esos grupos de examen colegiados.
43. Al señalar esos aspectos a la atención del Comité, se puede causar una impresión errónea en cuanto a las dimensiones relativas del presupuesto de evaluación de la FAO en comparación con otras instituciones. No se dispone de datos comparativos recientes, pero en la última ocasión en que la DCI examinó este problema, descubrió que la FAO tenía la dependencia de evaluación de mayor envergadura y de gastos más elevados de todos los organismos especializados de las Naciones Unidas en la esfera de la evaluación7.
44. La descripción supra se aplica a la situación actual pero es menester subrayar que un cambio en la ubicación institucional de la función de evaluación afectaría, con toda probabilidad a la estructura del Servicio y al reparto de sus funciones. Así, por ejemplo, un servicio plenamente independiente que presentara sus informes a los órganos rectores, es de suponer que no sería responsable de la evaluación de proyectos financiados con cargo a fondo extrapresupuestarios, ni de las evaluaciones internas solicitadas por la Administración o del proceso de autoevaluación. Esas funciones serían transferidos a otras dependencias internas junto con los recursos necesarios, que podrían ser bastantes cuantiosos (es decir, varios puestos). No puede determinarse la repercusión exacta hasta no tener una idea más clara sobre la dirección que la institución optará por tomar, pero sí es preciso tener en cuenta ese aspecto.
45. Cabe considerar que el actual sistema y proceso de evaluación de la FAO es, de hecho, independiente. Es compatible con los principios del CAD y la práctica de los organismos de las Naciones Unidas y otras organizaciones internacionales. El PBEE está separado de la administración ejecutiva, tiene la facultad de elegir los temas de evaluación y goza también de libertad para expresar sus criterios. Está protegido de presiones por la Administración, que a su vez está sometida a la obligación de formular por separado su respuesta a los informes de evaluación y sus recomendaciones. Puede establecer métodos y procedimientos adecuados de evaluación. El Comité del Programa ha reconocido asimismo la eficacia del sistema de evaluación y ha elogiado su calidad, exhaustividad, transparencia y la independencia de los informes de evaluación, valorando, en especial, la sinceridad de sus informes de evaluación e inclusive el tono crítico de las observaciones formuladas por el Servicio de Evaluación. La Administración ha permitido avanzar bastante gracias a su decisión de adoptar una gestión más estratégica basada en los resultados y gracias también a las iniciativas del Comité del Programa de apoyar y consolidar esa tendencia.
46. Todo ello apunta a que la independencia en sentido funcional está condicionada por muchos factores, además de por la estructura institucional. Hay que enumerar entre ellos la confianza en los evaluadores por lo que hace a su integridad y calidad profesional, la interacción en la esfera de la colaboración con los órganos rectores (especialmente el Comité del Programa) y la actitud global de la Administración al introducir cambios destinados a mejorar y a crear un ambiente en el que la evaluación pueda desarrollarse con toda libertad en beneficio de los programas de la Organización.
47. El análisis anterior puede resumirse del siguiente modo:
48. Es menester abordar, sin embargo, la cuestión de la independencia, al margen de la ubicación institucional y hay una serie de cambios que mejorarían este aspecto. Cabe mencionar, entre ellos, el otorgar carácter oficial a las prácticas actuales, la mejora de los procesos de consulta interna y el dotar de mayor independencia presupuestaria a la ejecución de las evaluaciones. Se recomienda, por tanto, a la atención del Comité:
Aspectos estructurales |
Políticas y planes de evaluación |
Informes de evaluación |
Presupuestos y recursos |
Retroinformación y aprendizaje | |
FIDA |
· Oficina separada de la Administración del FIDA y presentación de informes directamente a la Junta Ejecutiva · Director de la Oficina nombrado por el Presidente con la aprobación de la Junta Ejecutiva |
· Política que debe ser aprobada específicamente por la Junta Ejecutiva · Planes que deben ser aprobados directamente por la Junta Ejecutiva |
· Presentados a la Junta Ejecutiva y al Presidente de manera simultánea · Observaciones de la Administración presentadas por separado a la Junta Ejecutiva |
· Aprobados directamente por la Junta Ejecutiva y el Consejo de Gobernadores · Presupuesto anual de $3,6 millones · Plantilla de seis funcionarios de la categoría profesional (más dos o tres PA) nombrados por el Director de la Oficina |
· Retroinformación del Presidente sobre las observaciones de la Junta Ejecutiva · Aplicación del seguimiento de los resultados de la evaluación comunicados anualmente a la Junta Ejecutiva · Aprendizaje a nivel institucional a través de medidas especiales como ACP, ABA y publicaciones de las enseñanzas extraídas y otras cuestiones |
Banco Mundial |
· Oficina separada de la Administración del Banco Mundial y presentación de informes directamente al Directorio Ejecutivo · Director de la Oficina (Director-General) nombrado directamente por el Directorio Ejecutivo por un plazo fijo · Director de la categoría D-1/2 por un máximo de diez años |
· Política aprobada específicamente por el Directorio Ejecutivo · Planes de evaluación aprobados directamente por separado al Directorio Ejecutivo |
· Presentados directamente al Directorio Ejecutivo (sin que el Presidente haya visto previamente el proyecto de documento) · Observaciones de la Administración presentadas por separado al Directorio Ejecutivo |
· Aprobados específicamente por el Directorio Ejecutivo · Presupuesto anual de $20 millones más los recursos extrapresupuestarios · Plantilla de 60 funcionarios de la categoría profesional más 120 consultores nombrados directamente por el Director del Departamento de Evaluación de Operaciones (DEO) |
· Retroinformación del Presidente relativa a los informes de evaluación y observaciones del Directorio Ejecutivo · Seguimiento de los informes de evaluación presentados al Directorio Ejecutivo · Aprendizaje a través de talleres internos, publicación de las enseñanzas extraídas e insumos para la capacitación del personal. |
PNUD |
· Oficina separada en el seno de la Secretaría del PNUD · Presentación directa de informes al Administrador · Jefe de la oficina (D-2) nombrado por el Administrador |
· Política presentada a la Junta Ejecutiva para su examen · Planes presentados la Junta Ejecutiva |
· Informes individuales presentados al Administrador, presentando anualmente sus resúmenes a la Junta Ejecutiva · Observaciones de la Administración incorporadas habitualmente al resumen final (rara vez presentado por separado) |
· Aprobados por la Junta Ejecutiva como parte del presupuesto de la Organización · Presupuesto anual de $3,5 millones · Plantilla de diez funcionarios de la categoría profesional |
· Retroinformación a través de las observaciones del Administrador y de la Junta Ejecutiva · Aprendizaje a través de talleres y difusión en el sitio web |
UNICEF |
· Oficina separada en el seno de la Secretaría, que presenta directamente sus informes al Director Ejecutivo Adjunto y a la Junta Ejecutiva · Designación del Jefe de la Oficina (D-1) por el Director Ejecutivo |
· Política presentada a la Junta Ejecutiva para su aprobación · Planes presentados a la Junta Ejecutiva |
· Informes presentados anualmente a la Junta Ejecutiva por el Director Ejecutivo (sin modificaciones) · Observaciones de la Administración presentadas por separado si procede |
· Aprobados por el órgano rector como parte del presupuesto de la Organización · Presupuesto anual de $2,5 millones · Plantilla de 8 funcionarios de la categoría profesional (4 en la Sede y 4 en las Oficinas Regionales) |
· Retroinformación a través de las observaciones del Director Ejecutivo y la Junta · Aprendizaje a través de talleres, insumos para la capacitación del personal y difusión de las enseñanzas extraídas en el sitio web |
OIEA |
· Parte de la Oficina de Servicios de Supervisión Interna (OSSI)en la Secretaría · Presenta informes directamente al Jefe de la OSSI y, a través de él, al Director General y al órgano rector · Jefe de la Dependencia de Evaluación nombrado por el Director General |
· Política diseñada en gran medida por el Director General como parte de las funciones de la OSSI · Planes definidos como correspondientes a la OSSI, y presentados al órgano rector para su examen |
· Informes presentados por el Jefe de la OSSI al Director General en calidad de informes confidenciales de la OSSI · Informes resumidos presentados anualmente al órgano rector · Observaciones de la Administración reflejadas en el informe final y no presentadas por separado |
· Aprobados como parte del presupuesto de la OSSI en el proceso de presupuestación de la Organización · Presupuesto anual de $1 millón con $0,7 millones más para la evaluación de las actividades de cooperación técnica · Plantilla de seis funcionarios de la categoría profesional |
· Retroinformación a través de las observaciones e instrucciones de la Administración · Seguimiento de los informes de evaluación presentados al órgano rector para su información · Enseñanzas extraídas: no consta ningún esfuerzo especial |
NACIONES UNIDAS (Oficina de Servicios de Supervisión Interna) |
· Parte de la OSSI dentro de la Secretaría, presenta informes directamente al Secretario General Adjunto (Jefe de la OSSI) y, a través de él, al Secretario General · Jefe de la dependencia de evaluación nombrado por el Secretario General para aplicar la política de personal |
· Política aprobada específicamente por la Asamblea General (Comité del Programa y la Coordinación (CPC) · Los planes son aprobados también específicamente por el CPC |
· Informes tratados como los que la OSSI eleva al Secretario General · Informes presentados a la Asamblea General a través del CPC con observaciones separadas de la Administración |
· Aprobados como parte del presupuesto para la OSSI · Presupuesto anual de $0,7 millones · Plantilla de cuatro funcionarios de la categoría profesional |
· Retroinformación a través de las observaciones del Secretario General y de la Asamblea General · Seguimiento de las recomendaciones de la evaluación controlados y comunicados a la Asamblea General · Enseñanzas extraídas: no consta ningún esfuerzo especial |
UNESCO |
· Parte de la Oficina de Servicios de Supervisión Interna (OSSI), presenta informes al Director General a través del Jefe de la OSSI · Jefe de la dependencia de evaluación (P-5) nombrado por el Director General |
· Política decidida en gran medida por el Director General y transmitida al órgano rector como parte de la política de la OSSI · Planes decididos por el Director General como parte de los planes a plazo medio de la OSSI, presentados al órgano rector |
· Informes aprobados por el jefe de la OSSI como parte de los informes de la OSSI que deben ser utilizados por la Administración · Informes presentados periódicamente al órgano rector en forma resumida con las observaciones de la Administración |
· El presupuesto es aprobado como parte del presupuesto de la OSSI · El presupuesto anual es de $2,5 millones · Plantilla de siete funcionarios de la categoría profesional |
· Retroinformación a través de instrucciones de la Administración y observaciones del órgano rector · Aprendizaje: aparte de la difusión de los resultados de la evaluación en el sitio web, no consta ningún esfuerzo especial |
PMA |
· Parte de la División de la Gestión basada en los resultados (OEDR), presenta informes al Director Ejecutivo por conducto del jefe de la OEDR · Jefe de la dependencia de evaluación (D-1) nombrado por el Director Ejecutivo |
· Los cambios importantes en la política son presentados a la Junta Ejecutiva para su aprobación · Los planes anuales son formulados por la Oficina de Evaluación y compartidos con la Junta Ejecutiva para su información |
· Informes presentados por la Junta Ejecutiva al Director Ejecutivo sin modificación alguna · Normalmente las observaciones de la Administración se incorporan a los informes pero pueden publicarse por separado |
· Presupuesto aprobado como parte del proceso de presupuestación de la Organización · Presupuesto anual de $1,4 millones más gastos de apoyo operacionales · Plantilla de siete funcionarios de la categoría profesional |
· Retroinformación a través de consultas internas y observaciones de la Junta Ejecutiva · Se controlan las medidas de seguimiento sobre la evaluación y se transmiten a la Junta Ejecutiva · Aprendizaje: a través de talleres y boletines periódicos |
FAO |
· Parte de la PBE, que presenta informes al Director General a través del Director de la PBE · Jefe del Servicio de Evaluación (D-1) nombrado por el Director General |
· Política formulada por el Director General en consulta con los órganos rectores (Comité del Programa-PC) · Planes progresivos bienales para las principales evaluaciones de los programas establecidos en consulta con el PC |
· Informes ultimados por el PBEE tras someterlos a exámenes internos y externos · Observaciones de la Administración (incluidas las del Director de la PBE) publicadas por separado · Informes presentados al PC a través del Director General · Informe bienal sobre la evaluación del programa con resúmenes de las evaluaciones individuales presentadas a la Conferencia a través del Consejo |
· Presupuesto aprobado como parte del proceso de presupuestación de la Organización · Presupuesto anual de $1,3 millones más recursos adicionales (ad hoc) si procede · Plantilla de ocho funcionarios de la categoría profesional más un PA |
· Retroinformación a través del proceso de evaluación y la respuesta de la Administración y el PC · Medidas de seguimiento respecto de las evaluaciones transmitidas al PC · Aprendizaje a través de talleres y difusión de los resultado en sitio web, incluidos estudios periódicos de carácter sintético |
_____________________________
1 CL 124/4, Párr. 13-16
2 Entre los organismos elegidos como ejemplo de los principales modelos de estructuras de evaluación, cabe citar, además del Banco Mundial, la OIEA. el FIDA, el PNUD, la UNESCO, el UNICEF, las Naciones Unidas (Oficina de Servicios de Supervisión Interna) y el PMA.
3 Véase párr. 5, Principios de evaluación de la asistencia para el desarrollo, Grupo de trabajo sobre evaluación de la asistencia del Comité de Asistencia para el Desarrollo (CAD), OCDE, 1991.
4 Principios de evaluación de la asistencia para desarrollo, CAD, OCDE, párr. 466.
5 Véase el informe del CAD Titulado “Review of the DAC Principles for Evaluation of Development Assistance” OCDE, 1998.
6 En ese contexto, cabe señalar que el PMA decidió recientemente transferir las funciones de evaluación de la Oficina de Servicios de Supervisión Interna a la División de Gestión basada en los Resultados (es decir, la función encomendada a la PBEE en la FAO).
7 JIU/REP/95/2, Rendición de cuentas, mejora de la gestión y supervisión en el sistema de las Naciones Unidas.