PC
87/6  |
| PC
87/6 |
87º período de sesiones |
Roma, 6-10 de mayo de 2002 |
Informe parcial sobre la elaboración de indicadores |
PLANTEAMIENTO DE LOS INDICADORES
LOS INDICADORES Y EL MODELO BASADO EN LOS RESULTADOS
1. En su 119º período de sesiones, celebrado en noviembre de 2000, el Consejó acogió con satisfacción la nueva versión del Plan a Plazo Medio (PPM) y las amplias pruebas de la estrecha vinculación existente entre las estrategias y los objetivos estratégicos para toda la Organización establecidos en el Marco Estratégico 2000-2015. Asimismo, el Consejo "refrendó la innovación consistente en presentar una serie de indicadores de las realizaciones, a fin de facilitar la supervisión de los progresos en la ejecución de las entidades de los programas contenidos en el Plan. Sin embargo, aun reconociendo que esto no siempre era sencillo, consideró que existía la posibilidad de identificar indicadores más precisos y mensurables, particularmente en el caso de los proyectos técnicos".
2. En el presente documento se examinan las medidas que la Organización ha adoptado para hacer frente a esta difícil cuestión, que se trata como parte integral del enfoque basado en los resultados aplicado a la planificación, la supervisión y la evaluación de los programas. Se presta una atención especial a la mejora de los indicadores de los resultados y de las consecución de los objetivos. El propósito final es verificar la contribución de las actividades de la FAO a los objetivos de los Estados Miembros, tal como se definen en el Marco Estratégico.
3. En este documento se aborda la aplicación de indicadores en los programas técnicos y económicos de la Organización, en el contexto de la programación basada en los resultados y del nuevo modelo de programación. Este modelo se ha resumido recientemente en el PPM 2002-07, en los párrafos 60 a 65, y en el Anexo II del presente documento se ofrecen definiciones y explicaciones. La Organización también prestará atención a la valoración de los progresos hechos en relación con las estrategias intersectoriales, tal como se definen en el Marco Estratégico. No obstante, este asunto no requiere una atención inmediata en el contexto de la planificación del programa y la mejora de la gestión (que contribuyen por sí mismos directamente a varias estrategias intersectoriales, entre las que se encuentran: "garantizar la excelencia", "multiplicar los efectos de los recursos" y "comunicar los mensajes de la FAO").
4. La finalidad de los indicadores es proporcionar pruebas tangibles de las realizaciones. Pueden ser tanto cuantitativos como cualitativos y generalmente son una variable que puede verificarse (medirse o valorarse) objetivamente para determinar hasta qué punto se han conseguido los resultados y objetivos. Por consiguiente, deberían ser de utilidad para demostrar la relación causa-efecto existente entre la acción de la FAO, el resultado y el objetivo.
5. Para que un indicador sea significativo, es necesario precisar (además del mismo indicador) cómo se llevará a cabo la verificación, los "medios de verificación". En aras de la claridad y la precisión, la FAO distingue entre las declaraciones de: a) los indicadores utilizados para evaluar la realización; b) la realización prevista (incluidas las metas señaladas en las declaraciones del objetivo y el resultado); y c) los medios para evaluar el indicador (medios de verificación).
6. Se necesitan indicadores sobre: el grado en que los recursos y los productos obtenidos contribuyen a las prioridades definidas por los Estados Miembros; los posibles efectos de estos productos; y el grado en que se han alcanzado las metas. Los indicadores se plantean en diferentes niveles:
7. Las entidades programáticas son los principales elementos constitutivos de los programas técnicos y económicos de la Organización; cada una de ellas debe tener un objetivo claro y apuntar en una dirección común, para contribuir a las estrategias establecidas en el Marco Estratégico. Las entidades programáticas se definen en el PPM progresivo de seis años de duración que se elabora cada bienio. En el Programa de Labores y Presupuesto bienal se expone en detalle la labor que ha de realizarse en relación con cada entidad durante el bienio. Hay tres tipos principales de entidades programáticas: proyectos técnicos (PT); actividades programáticas continuas (APC) y acuerdos de servicios técnicos (AST):
Cuadro 1: Resumen de la aplicación de indicadores a las entidades programáticas de los tipos PT y APC | |
Jerarquía de los medios y fines establecida en los PT y las APC |
Indicadores |
Motivación de la entidad programática: justificación en función de lo dispuesto en el Marco Estratégico y del problema que debe abordarse, incluido cómo se hará una contribución a los beneficiarios (como productores, consumidores o la población en general) que son los destinatarios finales. |
Indicadores generalmente no predeterminados. Valoración mediante una evaluación cualitativa y cuantitativa pormenorizada sobre la base de los temas, programas y estrategias. |
Objetivo de la entidad programática: declaración global de los efectos que tendrá la entidad programática más allá de la utilización inmediata que se haga de los productos principales. En ella se precisarán los usuarios secundarios de los resultados de los productos principales y las consecuencias previstas del aprovechamiento por esos usuarios de los resultados del producto principal proporcionado por los usuarios primarios. |
Indicadores definidos en el PPM como parte del proceso de formulación. Valorados principalmente mediante una autoevaluación con una periodicidad mínima de seis años. Valorados también en evaluaciones independientes consignadas en el Informe de Evaluación del Programa (IEP). |
Resultados del producto principal de la entidad programática: cuando alguien ajeno a la FAO toma y utiliza el producto principal (véase más abajo), éste da un resultado inmediato. Se determinan los usuarios, así como la utilización que harán del producto principal, y la consecuencia inmediata prevista. |
Indicadores definidos en el PPM como parte del proceso de formulación. Analizados principalmente mediante los procesos de autoevaluación y de valoración bienal. |
Productos principales de la entidad programática: productos y servicios que la FAO proporciona a usuarios determinados. Son bien la suma de una serie de otros productos menores para obtener un producto final o bien un único producto final principal. |
La meta es fundamentalmente la descripción del producto/servicio, incluyendo la cantidad, la calidad y el destinatario. El seguimiento de la consecución de estas metas se llevará a cabo mediante las valoraciones bienales. |
Productos bienales: se enumeran en el Programa de Labores y Presupuesto. Contribuyen a un único producto principal y son productos y servicios específicos producidos en un bienio. Normalmente se trata de productos para uso externo, pero a veces pueden representar un avance significativo hecho durante el bienio con miras a la obtención de un producto principal en un bienio sucesivo o constituir un producto importante para uso interno de la FAO. |
La meta consiste fundamentalmente en la descripción del producto/servicio, incluidos el alcance y la cantidad. El seguimiento de la consecución de estas metas se lleva a cabo actualmente, y la información al respecto se registra, en la base de datos del Informe sobre la Ejecución del Programa (PIR). |
8. En la aplicación de la programación basada en los resultados es importante que se aclare a qué niveles se pueden determinar los indicadores de una manera razonable durante la planificación y en qué momento posterior se necesitarán procesos más complejos de análisis y dictamen, mediante una evaluación, para hacer una valoración significativa de las repercusiones.
9. Como puede observarse en el cuadro que se presenta más arriba, la línea de causalidad entre la provisión de muchos de los productos normativos de la FAO a los usuarios primarios y el posible beneficio final para la población o las generaciones futuras en ámbitos como el del medio ambiente (los beneficiarios finales) es muy larga. Esto significa que sólo mediante un proceso de evaluación complejo se podrá determinar si cabe razonablemente esperar un efecto final. Mediante la exposición de ejemplos, la Secretaría de la FAO puede asistir a los Estados Miembros en la elaboración de un código que produzca beneficios ambientales, pero para que este código tenga consecuencias, habrá que adaptarlo al ámbito nacional, incorporarlo en la legislación y las disposiciones institucionales, y sólo entonces aplicarlo en cada país. Del mismo modo, los Miembros deberán utilizar una valoración de los productos básicos en relación con el comercio para elaborar sus políticas comerciales, que deberán aplicarse y deberán producir las consecuencias positivas deseadas desde el punto de vista de los beneficios reportados a sus poblaciones.
10. Los indicadores se especifican de antemano cuando se trata de:
11. Por ejemplo, si un producto principal es un conjunto amplio de directrices, capacitación y acceso a recursos electrónicos en un área temática determinada, este producto principal se pondrá a disposición de un grupo de profesionales del gobierno, las universidades y la comunidad de desarrollo. Éstos a su vez podrán difundir ulteriormente el producto principal y también modificarlo para su aplicación a nivel nacional, transmitiéndolo a quienes realmente lo aplicarán, como las ONG locales, los agentes de extensión o los instructores. Este nivel secundario de utilización se valorará mediante indicadores aplicados en la fase de planificación, pero también dependerá de un proceso cualitativo de evaluación para la valoración (mediante la autoevaluación de todas las entidades programáticas y la evaluación independiente de programas y temas seleccionados), mientras que el primer nivel de utilización deberá poder seguirse más directamente mediante indicadores seleccionados.
12. La información relativa a las actividades y los productos de los acuerdos de servicios técnicos (AST) se registrará y se consignará en el PIR, en el que se informará también de cuestiones pertinentes como el alcance geográfico y la relación con el Marco Estratégico. Además, en el proceso de evaluación de los PT y APC conexos se examinará de manera específica la contribución de los AST a la consecución de los efectos.
13. La contribución prevista de cada entidad programática a los objetivos estratégicos y a las estrategias subordinadas se registra en el sistema de planificación del PPM. La eficacia de las actividades realizadas para conseguir los objetivos estratégicos se valorará posteriormente mediante una evaluación independiente, utilizando los indicadores de los resultados y los objetivos correspondientes a las entidades programáticas pertinentes.
14. En su 31º período de sesiones, celebrado en noviembre de 2001, la Conferencia aprobó el Plan de acción sobre género y desarrollo (2002-07) (C 2001/9). Este Plan de acción sitúa de manera explícita la incorporación de las cuestiones relativas a la mujer y el desarrollo en el proceso de elaboración del PPM y prevé la integración de consideraciones sobre el género en los indicadores de las entidades programáticas. Así pues, mediante este sistema se seguirá de cerca la contribución que según las previsiones debe hacer en este ámbito cada entidad programática, en relación con el Plan de acción, y el progreso que registren los indicadores. Seguidamente esta información se pondrá a disposición de la Dirección de Género y Población mediante el Sistema de apoyo a la planificación, la presentación de informes sobre la ejecución y la evaluación de programas (véase el párrafo 16 más abajo) para el análisis y la presentación de informes a los órganos rectores.
15. Como en el caso de la capacitación, se prevé que los órganos rectores determinarán ocasionalmente las esferas sobre las que se requiere más información. Se determinarán los indicadores adecuados, los cuales se integrarán en el sistema de supervisión y evaluación de las entidades programáticas.
16. El Sistema de apoyo a la planificación, la presentación de informes sobre la ejecución y la evaluación de programas (PIRES) es una aplicación informática de uso fácil, destinada a facilitar la gestión de las direcciones y los departamentos y su contribución a los planes y a la presentación de informes de toda la Organización. El primer componente de este sistema que se puso en marcha fue el relativo a la preparación del PPM. Ofrece una interfaz para la elaboración de entidades programáticas, incluidos los indicadores. El sistema proporciona orientación y ayuda, que se están enriqueciendo para su uso en el futuro con la inclusión de ejemplos.
17. El sistema PIRES proporcionará además a los administradores aplicaciones prácticas para poder seguir más de cerca la obtención de productos y la provisión de servicios, mediante el conjunto de instrumentos de gestión del programa departamental. Posteriormente se facilitará la presentación de informes bienales de valoración, incluido el seguimiento de los indicadores relativos a los resultados de los productos principales.
18. Se ha impartido capacitación a 44 especialistas de los departamentos técnicos y económicos para que puedan prestar asistencia a sus colegas a fin de mejorar la formulación de entidades programáticas, haciendo hincapié en la definición de las entidades, los indicadores y sus medios de verificación. También se ha impartido capacitación intensiva a un grupo reducido de funcionarios de la Oficina del Programa, del Presupuesto y de Evaluación (PBE). Actualmente se está examinando la posibilidad de preparar un curso a distancia a través de en Intranet, lo que brindará la oportunidad de impartir capacitación a un grupo más amplio de personal para el futuro y también de ampliar la ayuda y la orientación actualmente disponibles en el contexto del PIRES.
19. En noviembre de 2001, el Director General emitió el documento DGB 2001/33, relativo al fortalecimiento del sistema de evaluación de la FAO. Próximamente se publicarán las directrices para la autoevaluación y la valoración anual, preparadas en el marco del mencionado documento. Con arreglo a estas directrices, los administradores deberán evaluar los PT y las APC con una periodicidad mínima de seis años y presentar informes sobre los indicadores. Además, los administradores deberán llevar a cabo valoraciones anuales y bienales.
20. A lo largo del proceso de elaboración de su enfoque de la programación basado en los resultados, que comenzó en 1996, la Organización ha ido aprendiendo mediante un estudio atento de la experiencia de los gobiernos nacionales y de otras organizaciones internacionales. Este mismo año la FAO terminó un estudio de gestión interna de su propia experiencia a la luz del examen de los informes de rendimiento de los organismos federales de los Estados Unidos.
21. También han sido provechosas las lecciones aprendidas de otras actividades para mejorar las técnicas de planificación, como el estudio financiado por los donantes de los indicadores relativos al Programa de Asociación de la FAO con los Países Bajos y el trabajo de consultores externos sobre los indicadores específicos relativos a las desigualdades en razón del sexo.
22. Es evidente que cuando se aplican indicadores a organismos distintos a los que prestan directamente servicios específicos a la población, como servicios sanitarios, educativos y de extensión, se plantean considerables problemas para comprobar los efectos finales a nivel popular (por ejemplo en productores, consumidores y el medio ambiente). Esto resulta aún más claro en el caso de un organismo internacional que ofrece productos normativos que subsiguientemente tienen que adoptarse a nivel nacional o aplicarse a nivel internacional de manera tal que los países se beneficien de ellos. El costo de compilar sistemáticamente información sobre los resultados y los efectos también resulta relativamente más alto a medida que aumenta el número de eslabones de la cadena de causalidad.
23. El marco temporal plantea otro problema. Aunque los indicadores sobre los resultados de los productos principales se incluirán en el proceso de valoración bienal, no podrán aplicarse a todos los PT en cada bienio, ya que los productos principales tardan más de un bienio en lograrse y puede pasar más tiempo antes de que un producto sustantivo comience a estar disponible. A menudo, el progreso real hacia los objetivos no se aprecia antes de la finalización de un PT y la aplicación de sus resultados por parte de los usuarios secundarios. Por consiguiente, los procesos de autoevaluación y de evaluación independiente son fundamentales.
24. La insistencia en unos indicadores verificables también puede dar lugar a un riesgo que debe evitarse: el de no llevar a cabo tareas de importancia primordial debido a que es difícil verificar sus resultados. A la luz de la experiencia, se está dando a los departamentos orientación sobre la determinación realista de un número limitado de indicadores verificables. Las propias iniciativas y prácticas de los departamentos respecto del seguimiento y la evaluación reales de estos indicadores permitirá una mejora gradual. Gracias al análisis de entidades programáticas representativas, la Organización ha podido comenzar a elaborar ejemplos típicos de indicadores. Entre los principios y la orientación ofrecidos cabe señalar los siguientes:
25. En el Anexo I del presente documento se presentan ejemplos de los tipos de indicadores que se están determinando actualmente mediante la experiencia práctica. Si se examinan esos indicadores se observará que casi todos ellos son en parte cualitativos. Es dudoso que en el futuro pueda llegarse a utilizar indicadores perfectamente normalizados que puedan combinarse de cualquier modo en los niveles de los resultados y los objetivos. Esto limitará la presentación de informes ordinarios sobre las realizaciones en relación con las estrategias; para preparar este tipo de informes también se necesitará recurrir a ejemplos y a la aplicación de un razonamiento analítico.
26. El presente documento se distribuye a título informativo, por solicitud del Comité. Aunque no se requiere ninguna decisión, se recibirá con interés toda orientación que el Comité desee proporcionar.
Ejemplos de los tipos de indicadores efectivamente elaborados para las entidades programáticas mediante la experiencia práctica de la FAO | |
|
Sistemas, métodos y enfoques para la gestión de la producción y los recursos naturales por parte de los productores y las comunidades (actividades piloto, directrices, sistemas de apoyo a las decisiones y demostraciones inclusive). Esta labor suele corresponder a las estrategias A, C y D | |
Nivel del objetivo |
|
Nivel del producto principal o el resultado |
|
Creación nacional de capacidad, incluidos ejemplos tomados de estudios monográficos, directrices y capacitación para fomentar la capacidad institucional y el desarrollo organizativo, y establecimiento de programas nacionales. Labor correspondiente a todas las estrategias | |
Nivel del objetivo |
|
Nivel del producto principal o el resultado |
|
Apoyo a directrices, códigos, compromisos, normas y criterios acordados a nivel internacional. Labor habitualmente correspondiente a la estrategia B | |
Nivel del objetivo |
|
Nivel del producto principal o el resultado |
|
Elaboración de políticas, estrategias y legislación nacionales, incluidos ejemplos tomados de estudios monográficos, la determinación de temas, directrices y capacitación. Labor correspondiente a la estrategia B | |
Nivel del objetivo |
|
Nivel del producto principal o el resultado |
|
Apoyo a acuerdos de colaboración internacional y regional. Labor correspondiente a todas las estrategias, pero más frecuente en la estrategia D en relación con la ordenación de los recursos naturales compartidos | |
Nivel del objetivo |
|
Nivel del producto principal o el resultado |
|
Sistemas de información y seguimiento, estudios de perspectivas y análisis de alcance mundial y regional, incluidas las publicaciones AT y las relativas a la situación mundial. Labor habitualmente correspondiente a la estrategia E | |
Nivel del objetivo |
|
Nivel del producto principal o el resultado |
|
27. Las entidades programáticas son los principales elementos constitutivos de los programas técnicos y económicos de la Organización; cada una de ellas debe tener un objetivo claro y apuntar en una dirección común, de modo que contribuya a las estrategias establecidas en el Marco Estratégico. Las entidades programáticas se definen en el PPM progresivo de seis años de duración que se elabora cada bienio. En el Programa de Labores y Presupuesto bienal se expone en detalle la labor que ha de realizarse en relación con cada entidad durante el bienio. Hay tres tipos principales de entidades programáticas en el contexto de los Programas Técnicos y Económicos de la Organización: los proyectos técnicos (PT), las actividades programáticas continuas (APC) y los acuerdos de servicios técnicos (AST):
28. Se trata de una declaración de la finalidad de la entidad programática (al margen de la declaración sobre el objetivo −véase más abajo−). En ella se abordan cuatro esferas:
29. Los beneficiarios son aquellas personas (productores, consumidores, la población en general) que se espera que se beneficien en último término del proceso de desarrollo al que está contribuyendo la entidad programática. La comunidad internacional puede ser uno de ellos. Si se pretende beneficiar en particular a un grupo vulnerable, ello deberá especificarse en este contexto. Los grupos vulnerables se han clasificado recurriendo a las categorías originales del Sistema de información y cartografía sobre la inseguridad alimentaria y la vulnerabilidad (SICIAV), e incluyen a los miembros de los hogares de bajos ingresos en los sistemas de subsistencia vulnerables. Los beneficiarios también se clasifican por sexos (hombre, mujer o ambos).
30. El objetivo es la declaración unificadora del efecto o la consecuencia que la entidad programática tendrá más allá del uso inmediato que se vaya a hacer de los productos principales (véase más abajo), y constituye el vínculo con la motivación. En la medida de lo posible, los productos principales deberían contribuir a un único objetivo pero puede haber ocasiones en las que el objetivo se desglose de forma justificada en dos o tres efectos, o en las que los resultados de los productos principales contribuyan a afrontar el problema al que se alude en la motivación de varias formas. El objetivo de la entidad programática debería ser una enumeración de los beneficios que se pretende conseguir; no es algo que genere la propia FAO ni puede ser lo mismo que los resultados del producto principal (véase más abajo) o que la motivación ya mencionada. En términos secuenciales, la consecuencia o el cambio previstos en el objetivo deben producirse en las instituciones de los Estados Miembros, la comunidad internacional o los asociados en el desarrollo a partir de los resultados de los productos principales. El objetivo representa un avance significativo en la línea de causalidad entre la motivación y los resultados del producto principal y, en este sentido, puede definirse como un efecto "de segundo grado" de los productos principales.
31. En el objetivo ha de especificarse:
32. Los productos principales de la entidad programática son productos y servicios generales que la FAO ofrece a usuarios específicos, y pueden ser la combinación de una serie de productos menos importantes que constituyen un producto final o un único producto final principal. El estado mundial de la agricultura y la alimentación (SOFA) o una metodología para evaluar los recursos naturales plenamente desarrollada y comprobada constituyen ejemplos de productos finales principales. El conjunto de currículos, materiales de capacitación, directrices y métodos relativos a los aspectos prioritarios de la ordenación de la pesca continental ensayado e introducido en los pequeños estados insulares constituye una combinación de productos. Un producto principal no es indefinido y se completa al término de un PT o, probablemente, cada bienio en una APC. En un PT, el producto principal puede ser un "producto bienal" (véase más abajo) el año en que se completa, pero esto es improbable. En una APC, existe una mayor probabilidad de que el producto principal y el bienal sean el mismo (por ejemplo SOFA).
33. El producto principal es un producto, un servicio o una combinación de los dos. Lo genera la FAO y tiene un resultado inmediato cuando lo utiliza alguien ajeno a la Organización (los "usuarios"). En el resultado se especificará para qué ha de utilizarse el producto principal y cuál es su consecuencia inmediata prevista. Asimismo, debe definirse su alcance por lo que se refiere al número de usuarios que van a aplicarlo y al número de destinatarios (de su aplicación).
34. Los usuarios son los receptores directos del producto principal y quienes lo desarrollarán para lograr el resultado. Los usuarios son personas (ingenieros, economistas responsables de políticas, etc.) pertenecientes a instituciones (departamentos gubernamentales, donantes, universidades, etc.). El producto principal ha de poder llegar directamente a sus usuarios. Si surge algún problema en este procedimiento, que ímpide llegar a los usuarios, habrá de abordarse en el producto principal.
35. El enfoque geográfico se refiere al lugar en el que el producto principal contribuirá a los objetivos de la entidad programática. Normalmente, aunque no siempre, coincidirá con el lugar dónde se produce el resultado y donde se encuentran los usuarios.
36. Además del enfoque geográfico, los productos principales pueden codificarse por tipo de país dentro de la categoría de "todas las regiones en desarrollo", por ejemplo, menos adelantado, pequeño Estado insular, o de bajos ingresos, y con déficit de alimentos.
37. Los productos bienales se enumeran en el Programa de Labores y Presupuesto. Contribuyen a un único producto principal y son los diversos productos y servicios, o grupos de productos y servicios similares, que se producen en un bienio. Normalmente se tratará de productos para uso externo, pero en ocasiones también pueden representar un avance significativo hecho durante un bienio con miras a realizar un producto principal en el bienio siguiente o constituir un producto importante para uso interno de la FAO.
38. Se requieren indicadores sobre los resultados de los productos principales y el objetivo de la entidad programática. Un indicador proporciona una prueba tangible de la consecución del resultado u objetivo, suele ser una variable que se puede verificar (medir o valorar) objetivamente para determinar hasta qué punto se han conseguido aquéllos y debe referirse directamente a ellos, demostrando, por tanto, la relación causa-efecto existente entre la acción de la FAO y el resultado u objetivo. Sin embargo, el indicador no es una redefinición del resultado u objetivo, y no constituye una meta. Los indicadores pueden ser tanto cuantitativos como cualitativos.
39. Para que un indicador tenga sentido, deberá especificarse, además del propio indicador, cómo ha de realizarse la verificación. Ésta ha de ser factible, aunque quizás requiera algunos recursos (por ejemplo para encuestas o para la valoración de referencias e información).