PC 93/4 a)


Comité del Programa

93º período de sesiones

Roma, 9–13 de mayo de 2005

Autoevaluación en el contexto del establecimiento de prioridades: examen de la experiencia inicial del proceso de autoevaluación

Índice

Contribución de la autoevaluación a la mejora del programa y el establecimiento de prioridades en 2004

1. El Comité comenzó a debatir la cuestión del establecimiento de prioridades en el contexto de la planificación de programas en su 89º período de sesiones celebrado en mayo de 2003. En dicha reunión convino en que para reforzar el establecimiento de prioridades era necesario:

    1. mejorar los métodos internos en el seno de la Secretaría destinados a facilitar el proceso de establecimiento de un orden de prioridad a nivel de las entidades programáticas; y
    2. información y procedimientos que permitieran mejorar la participación de los Miembros, en particular del Comité del Programa.

2. En septiembre de 2003, el Comité centró su examen en el tema del apartado b) a saber, como el Comité podría mejorar su propia contribución al proceso. Concluyó que ésta se reforzaría mediante un análisis del equilibrio entre los recursos asignados a los distintos objetivos estratégicos, un análisis de la evolución de los factores externos que podrían requerir una modificación de dicho equilibrio así como un resumen de las preferencias en cuanto a determinados ámbitos prioritarios manifestadas por los Miembros en foros de la FAO, mencionando igualmente los programas respecto a los cuales no se hayan manifestado prioridades. En mayo de 2004, tras examinar el análisis de la Secretaría1, el Comité señaló que, en general, era más conveniente que abordara las prioridades a un nivel global, lo cual no excluía una evaluación a nivel de entidades programáticas, en caso necesario.

CRITERIOS DE ESTABLECIMIENTO DE PRIORIDADES

3. En su ultimo período de sesiones celebrado en septiembre de 2004, el Comité concluyó que la aplicación de los criterios detallados incluidos en el Plan a Plazo Medio (PPM) 2006-11 en el análisis de las prioridades para las entidades programáticas contribuía a garantizar a los Miembros que las prioridades incluidas en el PPM reflejaban realmente las necesidades del conjunto de los Miembros. El Comité reconoció la validez de los tres criterios utilizados por la Dirección de la FAO para ayudar a establecer el orden de prioridades entre entidades programáticas:

4. Por otro lado, señaló lo siguiente:

En el debate sobre el establecimiento de prioridades se trataron asuntos importantes: la cuestión de determinar si la distribución de los recursos entre las distintas actividades era demasiado escasa y si las entidades existentes tenían una masa crítica suficiente para permitir resultados eficaces.

5. Un indicador simple de estos factores podría ser el nivel absoluto de recursos destinados a una entidad de programa. Si dicha asignación es baja, siendo iguales todos los demás elementos, es menos probable que este factor proporcione el nivel de recursos necesarios para tener un impacto importante que si el monto fuera superior. La definición de “masa crítica suficiente” es problemática pues depende de la relación entre el nivel de recursos (humanos y otro tipo) y un cierto número de variables, incluidas la envergadura y la naturaleza del programa de que se trate así como la función de la Organización respecto a las contribuciones que aporten otros asociados. Además, dado que existe un grado considerable de flexibilidad a la hora de definir las entidades, también existe una diversidad de enfoques. Así, por ejemplo, para un determinado conjunto de tareas, un administrador puede establecer una entidad que englobe tres productos principales mientras que otro podría crear tres entidades. En conclusión, puede ser inútil intentar medir la masa crítica de una forma excesivamente simplista incluso reacciones negativas por parte de los administradores del programa.

6. Debido a la complejidad de la cuestión y para evitar consecuencias imprevistas, la Secretaría propone estudiar la cuestión de la masa crítica, determinando los factores que se deben tener en cuenta al cuantificar lo que se entiende por el término, y estableciendo las modalidades para la aplicación de tal criterio en la fase de formulación de la entidad. Está previsto que se presente el resultado del estudio en el período de sesiones del Comité del Programa de septiembre de 2005.

AUTOEVALUACIÓN

7. En su período de sesiones de septiembre de 2004, el Comité observó asimismo que el examen de un informe sobre la primera serie de autoevaluaciones, que también trataría de explicar el proceso aplicado, facilitaría el debate sobre el establecimiento de prioridades. Hizo hincapié en la función importante que podría desempeñar la autoevaluación a la hora de decidir sobre la futura labor cuando las entidades programáticas existentes lleguen a término o deban ser reexaminadas tras un ciclo de seis años.

8. El nuevo modelo de programa centrado en resultados en términos de beneficios para los Miembros en el contexto del Marco Estratégico de la FAO se aplicó por primera vez a todos los programas técnicos de la Organización en el bienio 2000-01. Desde entonces, se ha mejorado constantemente el sistema a la luz de la experiencia adquirido y el personal y los administradores se han familiarizado con el sistema y su orientación hacia los resultados. Como se indica en el PPM 2006-11, para el bienio 2006-07 la aplicación del modelo de programa, debidamente adaptado, se ampliará a los programas de cooperación técnica y no técnica. En este contexto, una importante mejora consistió en la introducción de normas sobre el nivel de servicios y medidas de mejora de los mismos, determinadas en parte mediante un análisis de virtudes, insuficiencias, oportunidades y dificultades (VIOD).

9. El módulo de planificación a medio plazo del sistema informatizado (PIRES)2 facilita el sistema en su conjunto. Dicho módulo incluye los documentos sobre las entidades programáticas, que son muy similares a los documentos del proyecto. Para los programas técnicos y de cooperación técnica, incluyen una definición de los resultados perseguidos por lo que respecta a los principales beneficiarios y cómo se espera contribuir con ellos a lograr beneficios sostenibles para los Estados Miembros.

Contribución de la autoevaluación a la mejora del programa y el establecimiento de prioridades en 2004

10. En este contexto, en el presente documento se examina la posible contribución de la autoevaluación al proceso de establecimiento de prioridades y de mejora del programa sobre la base del primer año de experiencia en la aplicación de la autoevaluación como parte integrante de la gestión y la presupuestación basadas en los resultados en los programas técnicos de la Organización.

11. En el documento de acompañamiento al presente documento (PC 93/4 b) figura un resumen de las autoevaluaciones realizadas en 2004. La autoevaluación se introdujo a finales de 2001 como parte del refuerzo del enfoque de la gestión basada en los resultados (Boletín del Director General 2001/33). Ha terminado el primer año completo de aplicación, con apoyo financiero del Departamento de Desarrollo Internacional del Reino Unido (DFID). En 2004 se llevaron a cabo 19 autoevaluaciones que abarcaban 28 entidades programáticas. Para 2005, se ha acordado realizar 25 autoevaluaciones para los programas técnicos. En concepto de estudio piloto se realizarán dos autoevaluaciones de EPAI3 y de tres a cinco programas no técnicos, ampliando gradualmente de este modo la autoevaluación a la totalidad del Programa Ordinario de la Organización. Se pretende que todas las entidades programáticas y EPAI de la Organización queden cubiertas mediante la autoevaluación o una evaluación independiente a cargo del Servicio de Evaluación, como mínimo una vez cada seis años. Por regla general, las entidades programáticas de los proyectos técnicos deberían dar lugar a una autoevaluación hacia el final de su ejecución y la autoevaluación debería realizarse cuando se considere la posibilidad de cambios para el futuro.

12. El Servicio de Evaluación ha analizado la experiencia con la primera serie de autoevaluaciones, en particular mediante la distribución de un cuestionario a los administradores que se han encargado y han participado directamente en la evaluación así como a los administradores superiores competentes (subdirectores generales y directores de dirección). Estos cuestionarios se diseñaron para obtener retroinformación sobre la utilidad de las autoevaluaciones en opinión de los encuestados y determinar en qué medida se utilizaban a la hora de adoptar decisiones.

13. En el gráfico I se resumen las respuestas sobre dicha utilidad que figuran en los cuestionarios. Se observa que todos los subdirectores generales que contestaron consideraron la evaluación útil. En cuanto a los directores, el 33 por ciento la consideraron muy útil, el 58 por ciento útil y sólo el 8 por ciento estimó que no reportaba beneficios significativos. En conjunto los administradores a todos los niveles consideraron que el proceso era útil o muy útil. Todos opinaron que era muy útil o útil para mejorar la planificación de las entidades programáticas y determinar los ámbitos de mejora.

Utilidad de la autoevaluación desde el punto de vista de los administradores y el personal:

Undisplayed Graphic

14. Es demasiado pronto aún para analizar el impacto que la autoevaluación ha tenido en la práctica en la planificación de las entidades programáticas y siempre será difícil determinar hasta qué punto los administradores han introducido cambios a raíz de la autoevaluación y en qué medida las autoevaluaciones reflejan cambios que se habían decidido de forma independiente.

15. A continuación se indican algunos ejemplos de tipos de cambios realizados tras la autoevaluación:

16. Una gran parte de los administradores concernidos concluyeron en sus autoevaluaciones que era necesario mejorar la formulación de entidades programáticas y su ejecución en la práctica aclarando qué resultado se esperaba para qué beneficiarios. Muchos de ellos llegaron a la conclusión de que se debía utilizar una mayor proporción de los recursos para la difusión de productos, en particular las publicaciones, en vez de limitarse a su producción. Además existía un interés considerable respecto a la necesidad de mejorar la accesibilidad por medio del sitio web de la FAO.

17. El grado en que se consideró posible basar la valoración de la autoevaluación en la formulación de entidades programáticas que figuran en el Plan a Plazo Medio se vio limitado por la utilidad bastante reducida de los indicadores, que se juzgaron difíciles de medir a menudo. Este extremo se vio agravado por el hecho de que en muy pocos casos las dependencias habían recopilado los datos necesarios sobre ellos antes de la autoevaluación. Con escasas excepciones (tales como el número de accesos a la información en la web), la mejor forma de evaluar los indicadores pertinentes es mediante estudios especiales. Por consiguiente, el diseño de indicadores y sus medios de verificación en el Programa Ordinario siguen constituyendo una mejora.

ENSEÑANZAS PARA EL FUTURO

18. Dado que las autoevaluaciones competen a los administradores directamente afectados, es poco probable que sean muy críticas. La experiencia hasta la fecha ha mostrado que, en general, los administradores que confiaban en la utilidad de las entidades programáticas y sus resultados tendían a ser más autocríticos en sus conclusiones y recomendaciones que aquellos cuyos programas eran menos válidos. Sin embargo, debería desprenderse claramente de los informes de autoevaluación si las entidades permiten contribuir significativamente a los resultados y la incidencia. Esto, de por sí, constituye una información valiosa para los administradores superiores. Asimismo, quedó claro que las conclusiones útiles a las que llegan los encargados de entidades programáticas durante la autoevaluación no se reflejaban necesariamente en los informes.

19. La autoevaluación es un proceso de aprendizaje que contribuye directamente a la mejora de la labor realizada por los administradores de entidades programáticas. El desafío consiste en maximizar el beneficio que los administradores superiores pueden obtener de la autoevaluación para decidir sobre la orientación y las prioridades generales, sin perder los conocimientos adquiridos por los administradores subalternos y las mejoras resultantes que tiene lugar durante el proceso de autoevaluación. Los cuestionarios revelaron que existían distintas formas de mejorar la autoevaluación pero que la mayor parte del personal directamente afectado, incluidos los jefes de servicio, consideraban que la intensidad actual del proceso de autoevaluación era más o menos adecuada. De esta conclusión, así como de las relativas a la utilidad de la autoevaluación, se infiere que las futuras autoevaluaciones deberían tener el mismo nivel de intensidad para el proceso que actualmente.

20. De la experiencia de los primeros años también se pueden extraer las siguientes enseñanzas que se volverán a revisar conforme se adquiera más experiencia con la autoevaluación:

    1. la autoevaluación, así como las evaluaciones del Servicio de Evaluación pretenden abarcar la totalidad del programa de la Organización, como mínimo una vez cada seis años. También se considera la posibilidad de que los proyectos técnicos de los departamentos técnicos y los proyectos de los servicios de apoyo se sometan a autoevaluación cuando se acerque la fecha de su vencimiento (seis años como máximo) para contribuir a las decisiones sobre el seguimiento. Sin embargo, ha resultado claro que debido a los cambios en las prioridades y la continua necesidad de recortar presupuestos, se plantea a menudo la cuestión de ampliar determinados ámbitos de trabajo y recortar otros independientemente de la duración prevista de las entidades programáticas. Por consiguiente, se debería hacer considerable hincapié en la selección de entidades para su autoevaluación cuando se examinen importantes modificaciones de orientación, ya sea con fines de expansión como de reducción. Ello deberá realizarse de forma equilibrada, sin renunciar a la necesidad de evaluar todas las entidades ni disminuir el hincapié en las entidades programáticas sujetas a plazo que definan sus principales productos en un marco de un proyecto. Se podría contemplar la posibilidad de que, en el futuro, los administradores que propongan cambios importantes al PPM deban justificarlo sobre la base de los resultados de una autoevaluación o una evaluación independiente;
    2. se observó que, cuando se consultaba directamente a los asociados y usuarios en procesos de autoevaluación, el espíritu crítico y a veces la verificación de los beneficios eran mayores que cuando las consultas eran esencialmente internas. Asimismo, se constató que la utilización de consultores externos y/o revisores paritarios externos reforzaba tanto la objetividad como el sentido crítico en el proceso. Dicho esto, debería quedar claro que las autoevaluaciones siguen quedando sometidas a la dirección del administrador de las entidades programáticas;
    3. para mejorar la autoevaluación, los administradores solicitaron con insistencia que el Servicio de Evaluación contribuyera a una mayor uniformidad en la forma de presentación y el contenido, con el fin de poder comparar mejor las autoevaluaciones y garantizar que siempre se proporcionase una determinada información básica. Para ello, se deberán establecer directrices e impartir capacitación teniendo en cuenta la necesidad de vincular la financiación de la autoevaluación con el cumplimiento de determinadas normas mínimas;
    4. la facilidad de acceso a las conclusiones de la autoevaluación es importante tanto para el personal como para los administradores directamente afectados y los administradores de otras entidades programáticas que presenten similitudes o interfaces con la entidad evaluada. El Servicio de Evaluación está publicando los informes de autoevaluación en su sitio web y poniéndolos a disposición mediante el PIRES;
    5. también se alienta a los jefes de departamento a que pidan a sus Dependencias de Coordinación del Programa que extraigan la información incluida en las autoevaluaciones sobre resultados e impactos para poder jugar mejor los resultados alcanzados;
    6. para maximizar el valor de la autoevaluación, los administradores superiores deberían tener plenamente en cuenta las conclusiones y examinarlas con los administradores de las entidades programáticas correspondientes. Se alentará a los administradores superiores a dar una respuesta formal a las autoevaluaciones, solicitando información adicional cuando lo juzguen oportuno; y
    7. como se ha mencionado anteriormente, existe una necesidad evidente de seguir mejorando la formulación de entidades y, en particular, lograr que los indicadores de resultados y consecución de objetivos sean comprobables y realistas.

21. Además, se reforzará la complementariedad entre autoevaluaciones y evaluaciones independientes. Se acepta en general que las entidades que han sido objeto de una evaluación programática reciente (dirigida de forma independiente por el Servicio de Evaluación) no necesitan ser autoevaluadas también.

MEDIDAS CUYA ADOPCIÓN SE PROPONE AL COMITÉ

22. Dado que la autoevaluación, en general, tiene por objeto entidades programáticas concretas o pequeños grupos de entidades programáticas, no permite satisfacer la necesidad de los órganos rectores de información global para establecer prioridades centrales, sino que refuerza, más bien, el proceso de adopción de decisiones a nivel interno. Asimismo, existe una relativa falta de objetividad en las autoevaluaciones, al ser realizadas directamente por administradores de entidades programáticas. El valor de la autoevaluación radica, por consiguiente, en el refuerzo de la base interna para permitir a los administradores superiores extraer las enseñanzas de la experiencia y adoptar decisiones. Además, en caso de que los órganos rectores optaran por utilizar las conclusiones de las autoevaluaciones como base de sus decisiones en materia de asignación de recursos, se correría el riesgo de poner aún más en peligro la objetividad del administrador del programa, comprometiendo por consiguiente los beneficios esenciales de las enseñanzas extraídas de este proceso.

23. La demanda de informes sobre la realización de autoevaluaciones y la presentación de resúmenes de éstas al Comité del Programa introduce una disciplina que no se aplicaría si se tratara de un mero proceso interno de la Secretaría. También constituye un incentivo para que los administradores muestren los resultados y la contribución a los objetivos de su labor, dado que la presentación de resúmenes al Comité del Programa les hace pasar al ámbito público.

24. Por consiguiente, el Comité podría examinar si desea respaldar la función de autoevaluación en el sistema de gestión basada en los resultados de la FAO y la integración formal de la autoevaluación en el Programa Ordinario de Labores y Presupuesto de la Organización4.

25. El Comité tal vez podría desear examinar en su período de sesiones de septiembre de 2005, cuando debata la estructura y el contenido del Informe sobre la ejecución del programa y del Informe de evaluación del programa, de qué forma desea seguir recibiendo información sobre autoevaluación.

26. Por ultimo, el Comité tal vez desee confirmar su interés por proseguir el examen de la cuestión del establecimiento de prioridades y, en particular, el modo en que se podría incluir el concepto de masa crítica en los criterios de establecimiento de prioridades.

____________________

1 PC 91/7 Establecimiento de prioridades en el contexto de la planificación de programas.

2 Sistema de apoyo para la planificación, la presentación de informes sobre la ejecución y la evaluación del programa.

3 Esferas prioritarias para la acción interdisciplinaria.

4 CL 128/3 Resumen del Programa de Labores y Presupuesto 2006-07 (párr. 175 de la versión inglesa).