PC 83/4 (b) |
83º período de sesiones |
Roma, 8-12 de mayo de 2000 |
Síntesis de evaluaciones recientes de proyectos de campo |
Resumen de las principales conclusiones sobre las esferas que han de mejorarse
Síntesis de las evaluaciones de proyectos de campo 1994-99 (Con exclusión del PCT)
COMPARACIÓN DE PROYECTOS: 1985-91 FRENTE A 1994-99
EFECTOS Y REPERCUSIONES DE LOS PROYECTOS
POSIBILIDAD DE MEJORAR LOS RESULTADOS DE LOS PROYECTOS
ANÁLISIS CUALITATIVO DE LAS CONCLUSIONES Y RECOMENDACIONES DE LAS MISIONES
Evaluaciones temáticas del PCT: Apicultura y sericultura (1998) y legislación (1999)
1. En esta nota se ofrece un análisis de las conclusiones de evaluaciones de proyectos de campo del PNUD y con cargo a fondos fiduciarios, realizadas por misiones independientes, y de evaluaciones temáticas de proyectos del Programa de Cooperación Técnica (PCT) de la FAO.
2. Este informe es el cuarto que se presenta a los Órganos Rectores sobre los resultados de distintas evaluaciones de proyectos de campo desde el Informe sobre la Evaluación del Programa (PER) 1992-93. En ese documento (C 93/4, Capítulo 4) se hizo un resumen de las evaluaciones de todos los proyectos ejecutados en el período 1985-91. En el Informe sobre la Ejecución del Programa (PIR) 1994-95 (que abarcaba evaluaciones realizadas de 1992 a 1994) y en el PIR 1996-97 (que abarcaba evaluaciones realizadas hasta 1997) se incluyeron informes posteriores sobre los resultados de las evaluaciones de proyectos. El presente informe, correspondiente a 1994-99, abarca los períodos sobre los que se había informado en los PIR anteriores y está actualizado para incluir el bienio de 1998-99. El año 1994 es apropiado como punto de partida para el estudio ya que en él se introdujeron varias mejoras en el proceso de evaluación de la FAO, incluidos requisitos específicos para abordar las cuestiones de la eficacia en función de los costos y una mayor atención a los efectos y repercusiones, así como a los factores que contribuyen a la sostenibilidad de los proyectos.
3. La nota incluye no sólo información cuantitativa presentada en los PIR, sino
también un análisis más detallado de los factores asociados con los efectos y
repercusiones, y valoraciones cualitativas basadas en informes sobre determinadas esferas
temáticas. Se trata sobre todo de buscar las esferas que han de mejorarse, especialmente
para conseguir los efectos y repercusiones de los proyectos. El análisis se basa en las
conclusiones de misiones tripartitas independientes que evaluaron 279 proyectos entre
1994 y 19991. En lo que concierne a las esferas de
actividad, los proyectos examinados mostraron un grado razonable de concordancia con la
distribución del programa de campo de la FAO en general (véase el Cuadro 1). En 1997 se
iniciaron evaluaciones del PCT2 por temas, con un
estudio de proyectos sobre control de la calidad de los alimentos, cuyos resultados se
notificaron en el Informe sobre la Evaluación del Programa 1998-99 (Capítulo 4). Este
informe se centra en la apicultura y la sericultura (1998) y en la asistencia en materia
de legislación (1999). El Servicio de Evaluación evalúa proyectos del PCT agrupados por
temas concretos, con el fin de extraer enseñanzas para el diseño de proyectos similares
en el futuro, determinar los logros de cada proyecto, mejorar la eficiencia en función de
los costos y ofrecer una base para la presentación de informes de rendición de cuentas.
4. El Departamento de Cooperación Técnica, en consulta con el Servicio de Evaluación,
elige los temas que han de evaluarse. Para esta evaluación se eligeron la apicultura y la
sericultura con el fin de abordar una "esfera problemática" y atendiendo al
gran número de solicitudes. Estos temas son importantes para los pequeños agricultores
de muchas partes del mundo, pero representan una proporción muy pequeña del programa
general de la FAO. No obstante, en los tres bienios que precedieron al estudio se habían
recibido y aprobado un gran número de peticiones de proyectos del PCT en estas esferas.
Algunos de estos proyectos habían tropezado con notables dificultades de ejecución, de
las que el Departamento de Cooperación Técnica tenía conocimiento antes de emprender el
estudio. La asistencia en materia de legislación es uno de los ámbitos en los que se
reciben más peticiones de proyectos del PCT y ésta fue la principal razón por la que se
eligió ese tema. En la evaluación no sólo se examinaron proyectos exclusivamente
pertenecientes a la esfera jurídica, sino también proyectos relacionados con otras
cuestiones que tenían un componente jurídico.
Porcentaje del total de proyectos evaluados | Porcentaje correspondiente a esta esfera técnica en el Programa de Campo total de la FAO financiado con fondos extrapresupuestarios* | ||
Sistemas de producción agrícola y de apoyo a la agricultura | 40 | 46 | |
De los cuales | Recursos naturales | 10 | 12 |
Cultivos | 17 | 17 | |
Ganadería | 4 | 7 | |
Políticas alimentarias y agrarias, planificación, nutrición y cuestiones jurídicas | 7 | 11 | |
Pesca | 7 | 8 | |
Montes | 31 | 22 | |
Desarrollo sostenible | 15 | 13 | |
De los cuales: | Desarrollo y transferencia de tecnologías | 7 | n.a. |
La mujer en el desarrollo y la población | 5 | n.a. | |
Desarrollo rural y reforma agraria | 2 | n.a. | |
Total | 100 | 100 | |
* Expresado en su valor en 1996-97 y basado en el PIR 1996-97
|
5. En el Cuadro 2 infra se presenta información estadística sobre las evaluaciones realizadas por región y fuente de fondos. También se ofrece información mundial sobre los tipos de evaluaciones realizadas (a mitad del período, al final o a posteriori).
Región | PNUD | Fondos Fiduciarios | TOTAL | ||||||
94-95 | 96-97 | 98-99 | 94-95 | 96-97 | 98-99 | 94-95 | 96-97 | 98-99 | |
África | 43 | 40 | 37 | 40 | 47 | 41 | 41 | 44 | |
Asia y el Pacífico | 49 | 50 | 57 | 16 | 25 | 22 | 36 | 36 | 34 |
América Latina y el Caribe | 2 | 2 | 3 | 28 | 21 | 22 | 12 | 12 | 16 |
Norte de África, Cercano Oriente y Europa | 6 | 6 | - | 12 | 5 | 2 | 8 | 6 | 1 |
Interregionales | - | - | - | 7 | 9 | 7 | 3 | 5 | 5 |
Total | 100 | 100 | 100 | 100 | 100 | 100 | 100 | 100 | 100 |
Por tipo de evaluación | |||||||||
A mitad del período | 51 | 42 | 40 | ||||||
Al final | 48 | 54 | 45 | ||||||
A posteriori | 1 | 4 | 15 | ||||||
TOTAL |
100 | 100 | 100 |
6. Como se indicó anteriormente, la forma de presentación de los informes sobre la evaluación de proyectos se modificó en 1994 para ampliar su ámbito y tener más en cuenta las preocupaciones expresadas por los Órganos Rectores. En el Cuadro 3 se examinan los resultados de los proyectos en los tres últimos bienios en comparación con los notificados a los Órganos Rectores en el PER 1992-93.
Aspecto | En porcentaje 1985-91 |
En
porcentaje |
||||
Deficiente |
Satisfactorio | Bueno |
Deficiente |
Satisfactorio | Bueno |
|
Diseño de los proyectos | 26 |
56 |
18 |
21 |
40 |
39 |
Ejecución | 29 |
49 |
22 |
9 |
39 |
52 |
Productos de los proyectos: | ||||||
Calidad | 9 |
62 |
29 |
7 |
43 |
50 |
Cantidad | 13 |
57 |
30 |
8 |
44 |
48 |
Efectos de los proyectos | 16 |
60 |
24 |
11 |
39 |
50 |
7. Los resultados indican una mejora en el curso del tiempo. Se han realizado esfuerzos considerables para mejorar el diseño de los proyectos, por ejemplo aumentando la competencia del personal mediante programas de capacitación y perfeccionando las directrices sobre programación y evaluación. Igualmente importantes han sido las normas rigurosas establecidas por los donantes para aceptar propuestas de financiación, incluidos los requisitos relativos al diseño de los proyectos. Asimismo, ha aumentado el número de proyectos cuyos efectos se clasifican como "buenos".
8. El Cuadro 4 muestra que los resultados de los proyectos, determinados por las misiones de evaluación, fueron muy satisfactorios en lo que concierne a sus beneficios para los países. Los posteriores análisis de las esferas que han de mejorarse deberán tener en cuenta estas conclusiones básicamente positivas.
Se consideró que los proyectos: | ||||
Habían resuelto un verdadero problema de desarrollo | Problema de gran importancia | 85% | Problema importante | 98% |
Habían tenido efectos en relación con el uso previsto de los productos | Se preveía que al menos el 80% de los productos se utilizarían conforme a lo previsto | 50% | Se preveía que al menos el 60% se utilizarían conforme a lo previsto | 89% |
Tendrían probablemente repercusiones sostenibles | Repercusiones considerables | 45% | Algunas repercusiones sostenibles | 86% |
Eran eficaces en función de los costos para conseguir efectos sostenibles | El enfoque más eficaz en función de los costos | 73% |
9. Sólo 18 evaluaciones (6 por ciento) se realizaron a posteriori. Por consiguiente, en casi todas las evaluaciones se preveían probables repercusiones en el curso del tiempo, pero con frecuencia los efectos (utilización de los productos por los beneficiarios) eran ya evidentes, especialmente en el caso de los proyectos evaluados al término de la ejecución del proyecto o al acercarse este término (evaluaciones finales). Hubo cierta discrepancia entre las regiones (véase el Cuadro 1 del Anexo). En particular, las misiones consideraron que era de prever un uso menor de los productos y unas repercusiones menos sostenibles en el caso de los proyectos evaluados en el Cercano Oriente y Europa. Aunque las razones de esto no fueron uniformes, las misiones observaron que el diseño de los proyectos mostraba constantemente un optimismo excesivo en cuanto a lo que podrían conseguir dentro de los límites de los presupuestos y los marcos temporales de los proyectos y sobrestimaban también la capacidad del personal nacional4.
10. Se examinaron los proyectos para determinar sus efectos en relación con diferentes tipos de objetivos, a saber a) mejoras en las políticas, la planificación y la legislación, b) fortalecimiento de la capacidad institucional nacional, c) adopción de mejoras técnicas, d) ampliación de las actividades experimentales y e) inversiones posteriores. Los efectos más insatisfactorios correspondieron a las inversiones posteriores y los más satisfactorios a la adopción de mejoras técnicas y el fortalecimiento institucional. Como era de prever, el riesgo de una falta de repercusión fue mayor en el caso de los proyectos que entrañaban la adopción de mejoras en las políticas, la planificación y la legislación, la repetición de actividades experimentales y las inversiones posteriores. En esos proyectos, el logro de repercusiones suele depender de que se tomen decisiones positivas en niveles superiores a aquellos en los que tal vez se haya desarrollado el proyecto (si no hay seguimiento, no puede haber una gran repercusión).
11. El análisis que se ofrece a continuación se centra en la determinación de las posibles esferas que han de mejorarse, sobre la base de las valoraciones efectuadas por las misiones de evaluación acerca de la calidad de la selección, el diseño y la gestión de los proyectos. También se examinan los factores concretos que más contribuyeron a limitar los efectos y las repercusiones de los proyectos, así como su eficacia en función de los costos.
Esferas en las que había posibilidades de mejora, en orden aproximado de importancia | Porcentaje de proyectos con las puntuaciones indicadas (en una escala de 5 puntos en la que 1 indica la mayor posibilidad y 5 la menor necesidad de mejora) | ||
1+2 | 4+5 | 3 | |
Diseño de proyectos - Realismo | |||
· Determinación de los requisitos previos y riesgos para el éxito del proyecto | 37 | 24 | 39 |
· Duración del proyecto demasiado breve | 515 | n.d. | n.d. |
· Planificación del trabajo | 34 | 28 | 38 |
· Expectativa de asignación de recursos nacionales | 21 | 38 | 41 |
· Expectativa de que se seguirán utilizando los resultados una vez terminado el proyecto | 15 | 53 | 32 |
Calidad del diseño del proyecto - valoración global | 21 | 39 | 40 |
· claridad de los objetivos inmediatos | 25 | 46 | 29 |
· especificación de los productos y los objetivos | 21 | 45 | 34 |
· eficacia en función de los costos del enfoque del proyecto | 13 | 51 | 36 |
Gestión de la ejecución - valoración global | 9 | 52 | 39 |
· aportaciones del Gobierno a la gestión | 23 | 37 | 40 |
· aportaciones de la FAO a la gestión, de las cuales | 9 | 54 | 37 |
- FAO - observaciones por escrito | 20 | 39 | 41 |
- FAO - visitas a los países | 16 | 50 | 34 |
A. Aspectos del ciclo de los proyectos en que las misiones observaron la mayor necesidad de mejora: | Porcentaje de proyectos | ||
Selección de los proyectos | 13 | ||
Diseño de los proyectos | 33 | ||
Supervisión de los proyectos | 24 | ||
B. Deficiencias en los proyectos que más probablemente limitarían los efectos y repercusiones sostenibles - en orden aproximado de importancia | Porcentaje de casos indicados | ||
Diseño de los proyectos | Fallos de las instituciones nacionales | 49 | |
Falta de recursos financieros nacionales para el seguimiento | 42 | ||
Insuficiencia de mano de obra nacional | 17 | ||
Formulación y ejecución | Participación insuficiente de los beneficiarios | 18 | |
Falta de compromiso nacional | 13 | ||
C. Factores que tendrían una eficacia en función de los costos especialmente limitada | Porcentaje de casos indicados | ||
Programación - planificación del trabajo | 21 | ||
Procedimientos del gobierno | 27 | ||
Procedimientos de la FAO | 19 | ||
D. Conclusiones de las misiones sobre los aspectos de los proyectos que podrían haber aumentado la eficacia en función de los costos | Más | Menos | |
Diseño de los proyectos |
Orientación/concentración en los objetivos centrales del proyecto | 39 | 3 |
Diseño y ejecución | Recurso a la capacitación nacional | 37 | 2 |
Recurso al sector privado | 41 | 5 | |
Recurso a ONG | 36 | 7 | |
Recurso a la capacidad del gobierno | 24 | 11 | |
Recurso a expertos nacionales | 25 | 4 | |
Recurso a personal con contratos de breve duración | 27 | 10 | |
Procedimientos | Delegación de facultades | 30 | 3 |
12. Diseño de los proyectos: El análisis cuantitativo demostró que el diseño era el aspecto más deficiente de los proyectos evaluados: las misiones indicaron que en el 33 por ciento de los casos el diseño era el aspecto del proyecto donde había mayor necesidad de mejora (Cuadro 6). Como puede observarse en el Cuadro 5, en opinión de las misiones el diseño de los proyectos adolecía de un optimismo excesivo en cuanto a lo que podía lograrse en el curso del proyecto. El 51 por ciento de los proyectos se consideraron demasiado breves y el análisis indicó una falta de realismo en cuanto a la duración que estaba correlacionada con la reducción de los efectos y repercusiones. En los proyectos cuyos resultados no alcanzaban el nivel óptimo desde el punto de vista de los efectos y repercusiones, el análisis indicó que quienes los habían formulado habían sido excesivamente optimistas, en particular con respecto a la utilización que podía hacerse de los productos del proyecto. Los proyectos tendían también a incluir expectativas poco realistas acerca de la capacidad y los recursos de las instituciones nacionales (Cuadro 6). Además, no se había prestado suficiente atención a los riesgos y a los requisitos previos para el éxito de los proyectos (Cuadro 5).
13. En un cuestionario independiente sobre los factores que habían tenido los efectos más negativos sobre la eficacia en función de los costos de los proyectos, se indicó que la programación había sido el factor más importante en el 21 por ciento de los casos (Cuadro 6). Tendía a haber unas expectativas excesivas acerca de las aportaciones que era razonable prever que los gobiernos harían al proyecto (Cuadro 5). Otros defectos estaban menos generalizados, pero se habría podido mejorar considerablemente una proporción importante de proyectos en lo concerniente a la claridad de los objetivos y destinatarios inmediatos. También se observó que era necesario centrar más los proyectos en el 39 por ciento de los casos (Cuadro 6). Un análisis ulterior reveló que el hecho de no especificar suficientemente los beneficiarios estaba relacionado con los resultados insatisfactorios en cuanto a los efectos y repercusiones.
14. Las misiones comprobaron que del 20 al 40 por ciento de los proyectos habrían sido más eficaces en función de los costos si hubieran confiado en mayor medida en la capacitación nacional y hubieran recurrido más al sector privado, ONG, expertos nacionales y personal con contratos de breve duración, así como a la capacidad del gobierno. Sin embargo, también es digno de señalar el hecho de que en ciertos casos estas características estaban demasiado acentuadas; por ejemplo, se consideró al parecer contraproducente un uso intenso de ONG y personal con contratos de breve duración o una fuerte dependencia de la capacidad del gobierno (Cuadro 6).
15. Ejecución y gestión de los proyectos: Los proyectos que habían dado resultados insatisfactorios desde el punto de vista de los efectos y repercusiones adolecían en particular de una gestión inadecuada, siendo la gestión interna el aspecto más deficiente, aunque la supervisión de la FAO era también una esfera que podía mejorarse. En opinión de las misiones, tanto los procedimientos de los gobiernos como los de la FAO habían limitado los resultados y en el 30 por ciento de los casos se indicó como problema una delegación insuficiente de facultades (Cuadro 6). Por lo que respecta a lo que puede considerarse como un defecto tanto de diseño como de ejecución, la participación de los beneficiarios podría haberse mejorado en el 18 por ciento de los casos (Cuadro 6).
16. Algunas de las cuestiones antes indicadas fueron amplificadas por un examen cualitativo de las conclusiones y recomendaciones de las evaluaciones, especialmente en relación con las esferas de los proyectos respecto de las cuales había un volumen considerable de conclusiones análogas.
17. Creación de capacidad: Los proyectos de fortalecimiento institucional evaluados en los últimos años indican que la atención se ha desplazado cada vez más del fortalecimiento o ampliación de los departamentos gubernamentales al fortalecimiento de la capacidad de las instituciones vigentes para dotarlas de nuevas funciones, como por ejemplo las actividades forestales comunitarias o la planificación ambiental. Las misiones no fueron en general optimistas acerca de la sostenibilidad de los resultados de los proyectos anteriores de expansión institucional, debido a la escasez de recursos de los gobiernos. Los proyectos más recientes se han formulado de manera que se promueva la autosuficiencia y la propiedad de la población mediante enfoques participativos y colectivos. Con respecto a ambos tipos de fortalecimiento institucional, las misiones concluyeron en general que la duración de los proyectos era demasiado breve y que era fundamental una fase posterior para consolidar los resultados. Esto indica que:
18. Apoyo a las políticas: Se han señalado anteriormente los resultados relativamente insatisfactorios de los proyectos en materia de apoyo a las políticas desde el punto de vista de la consecución de sus efectos y repercusiones. Los proyectos destinados a fortalecer directamente las políticas y la planificación ejercieron más influencia cuando identificaron las cuestiones principales y apoyaron el diálogo nacional entre los niveles comunitario y político, que cuando proporcionaron asesoramiento directo. También se observó que casi todos los logros en materia de políticas no eran el resultado de proyectos especializados en políticas, sino de proyectos relacionados con el fomento institucional y el apoyo al desarrollo. Por consiguiente, un proyecto relacionado con el desarrollo de una zona puede tener influencia sobre las políticas de tenencia de tierras, mientras que un proyecto sobre actividades forestales comunitarias puede influir en los criterios aplicados a la extensión.
19. Participación popular: En ocasiones se criticaron proyectos en los que la participación popular había sido importante por prestar excesiva atención al establecimiento de nuevos grupos participativos, cuando no habían logrado introducir otras mejoras a través de los grupos. Otras críticas se refirieron al hecho de que los grupos no eran necesariamente el mejor instrumento de desarrollo en algunas situaciones y que podría haberse fomentado en cambio la iniciativa privada en pequeña escala. Como en el caso de los proyectos relativos a la producción, los progresos fueron limitados salvo en los casos en que la población consideró que los grupos (habitualmente económicos) le reportaban beneficios claros. En ocasiones se indicó que los proyectos de participación popular eran demasiado breves, a la vez que cubrían una zona excesivamente amplia. Esto tiende a indicar que los proyectos participativos deben centrarse inicialmente en una zona pequeña y trabajar intensivamente con unos pocos grupos, con el fin de crear una capacidad duradera en estos grupos y en el personal de apoyo que trabaja con ellos.
20. Es necesario fortalecer los vínculos revelados por el análisis cualitativo entre proyectos de creación de instituciones, participación popular y políticas. Se señaló el peligro concreto de que los proyectos de participación popular funcionaran como entidades independientes en lugar de establecer asociaciones locales sostenibles con las ONG y los organismos gubernamentales interesados. Análogamente, las misiones observaron que la capacitación era uno de los productos más valiosos de los proyectos destinados a la creación de capacidad. El supuesto básico era al parecer que las personas con mayores conocimientos especializados contribuirían al desarrollo aun en el caso de que la tarea concreta para la cual habían recibido capacitación no fuera sostenible.
21. Fomento de la producción y ordenación de tierras: En el caso de los proyectos destinados a fomentar la producción y mejorar la ordenación de tierras, se observó con frecuencia que no se había prestado suficiente atención a los aspectos económicos y comerciales. Había unos cuantos ejemplos de demostraciones experimentales que no habían tenido repercusión por falta de una base jurídica, y en particular por falta de una tenencia clara del recurso en cuestión. Había también un gran número de casos en que las misiones habían pedido que se mejorara el seguimiento y la evaluación para determinar qué criterios y conjuntos de medidas estaban resultando en realidad aceptables para la población y estaban produciendo las mejoras previstas. Asimismo, unas cuantas misiones pusieron de relieve que estos aspectos habían sido factores importantes para conseguir efectos y repercusiones sostenibles.
22. Cuestiones de género: Aunque no hubo un conjunto amplio de conclusiones sobre las razones de la eficacia de las actividades relacionadas con cuestiones de género, varias misiones señalaron casos en que los proyectos no se habían orientado concretamente a las mujeres, aun cuando éstas eran los actores principales, y otros indicaron que se habían obtenido resultados satisfactorios cuando se habían incluido conjuntos de medidas, extensión y capacitación expresamente destinados a las mujeres. En algunas circunstnacias, la utilización de personal femenino para llegar a las mujeres había sido beneficiosa, incluso en sociedades en las que no había ningún tabú que prohibiera a los hombres comunicarse con las mujeres.
23. Proyectos regionales: Con respecto a los proyectos regionales, se sacaron, en particular, las siguientes conclusiones cualitativas:
24. Conclusiones y recomendaciones generales: El presente informe muestra una notable mejora general del diseño y ejecución de los proyectos y la obtención de productos durante el período transcurrido desde el último examen (1985-91). No obstante, cabe señalar que casi todas las conclusiones y cuestiones planteadas son muy similares a las que figuraban en el PER 1992-93. Se recomienda que, dados los defectos persistentes en el diseño de los proyectos, se sigan haciendo ulteriores esfuerzos en el contexto de la organización descentralizada de las actividades operacionales, con inclusión, en particular, de a) la preparación de directrices actualizadas sobre formulación y diseño de proyectos, prestando especial atención a las esferas en las que es necesario introducir mejoras; b) la ulterior capacitación del personal de la FAO, especialmente en las oficinas descentralizadas, sobre el tema; y c) el fortalecimiento de los mecanismos existentes para examinar y evaluar propuestas de proyectos, tanto en las oficinas descentralizadas como en la Sede.
25. En este informe se presentó también un examen limitado de los aspectos cualitativos de determinados tipos de proyectos y se sacaron algunas conclusiones en diversas esferas. Se sugiere que, en el futuro inmediato, la presentación de informes sobre resultados de evaluaciones prosiga en esta dirección y que las síntesis de informes sobre evaluaciones se basEn en determinadas esferas programáticas y temas intersectoriales, en consonancia con las prioridades del Marco Estratégico, o, de ser posible, en la labor realizada en determinadas regiones. En las evaluaciones programáticas se examinarán también sistemáticamente actividades del Programa Ordinario y actividades de campo conexas. Este criterio sería coherente con el que se aplicó en la evaluación del PCT. Se considera que este análisis permitirá formular recomendaciones más precisas para someterlas al examen de la Administración y de los Órganos Rectores, siempre que se base en una muestra de proyectos suficientemente grande. Este análisis más amplio podrá repetirse cada dos o tres bienios, cuando se haya realizado un nuevo conjunto de evaluaciones de gran envergadura.
26. Ambas evaluaciones se realizaron aplicando metodologías similares. De acuerdo con la política de la FAO, las evaluaciones se llevaron a cabo con la ayuda de consultores externos. Para el ejercicio de 1998 se recurrió a dos consultores (uno para la apicultura y otro para la sericultura), mientras que en el examen de la legislación de 1999 participaron cuatro consultores, uno para cada una de las regiones visitadas. Por lo que respecta al examen de la apicultura y la sericultura, se evaluaron todos los proyectos (22) aprobados en los tres bienios anteriores, mientras que en el caso de la legislación se examinó una muestra de 31 proyectos (34 por ciento) en 17 países.
Apicultura y sericultura
27. La apicultura y la sericultura son fuentes de ingresos potencialmente importantes para los pequeños agricultores de países en desarrollo. La apicultura, en particular, puede ser importante para los campesinos sin tierras y reviste gran interés para la producción agrícola y la conservación de los ecosistemas en general, debido al papel que desempeñan en la polinización. La sericultura es una actividad económica especialmente importante para las mujeres, que son las que más participan en tareas como colocar los gusanos maduros en bastidores e hilar las hebras, que requieren un alto coeficiente de mano de obra.
28. La mayoría de los proyectos se ocupan de problemas de desarrollo importante, en general relacionados con la lucha contra enfermedades (varroa en las abejas y pebrina en los gusanos de seda). Sin embargo, algunos de ellos no estaban bien justificados por razones técnicas o no habrían satisfecho los criterios de aprobación del PCT si se hubieran conocido mejor las condiciones. Se comprobó que casi todos los proyectos consistían en esfuerzos aislados y no formaban parte de un programa más amplio financiado por gobiernos o donantes.
29. Se consideró que cuatro de los proyectos habían tenido graves dificultades de ejecución. Con pocas excepciones, la actuación de los consultores internacionales había sido satisfactoria. No obstante, se señaló que podían haberse conseguido economías en algunos proyectos (especialmente sobre sericultura) en los que se habían utilizado varios expertos con titulación similar. Asimismo, los consultores nacionales a los que se había recurrido en algunos países tendían a tener los mismos conocimientos especializados que los consultores internacionales (aunque algunos carecían de titulación técnica). Se estimó que el respaldo técnico de la FAO había sido en general mejor para los proyectos de sericultura que para los de apicultura. Un problema grave fue que las relaciones finales o los informes de terminación se presentaron con retraso o no se presentaron.
30. Las misiones de evaluación clasificaron los distintos proyectos con arreglo a una escala de tres puntos (bueno, satisfactorio, insatisfactorio), teniendo en cuenta todos los aspectos y aplicando los criterios siguientes:
31. Los resultados fueron los siguientes6:
Calidad | Total | Pertinencia | Diseño | Ejecución | Efectos/ utilización de los productos |
Repercusión/ sostenibilidad |
Bueno | 8 | 7 | 2 | 6 | 8 | 8 |
Satisfactorio | 6 | 6 | 12 | 10 | 6 | 2 |
Insatisfactorio | 5 | 7 | 6 | 3 | 5 | 9 |
Sin clasificar7 | 1 | - | - | 1 | 1 | 1 |
32. Se estimó que el número de proyectos insatisfactorios era demasiado alto. En general, los proyectos sobre apicultura más satisfactorios eran los que se ocupaban de brotes de enfermedades (varroa) en países donde la apicultura tenía importancia económica. Sin embargo, se consideró que varios proyectos sobre apicultura habían fracasado porque el margen para difundir sus resultados entre los apicultores del país era reducido o porque su justificación técnica era deficiente. Dado que los costos iniciales son mucho más bajos, es probable que la apicultura tenga más interés que la sericultura para casi todos los pequeños agricultores. Sin embargo, se observó que era necesario que los proyectos fueran más pertinentes para la mayoría de los apicultores del país, en lugar de tratar de conseguir los métodos de producción más modernos. Una consecuencia de este planteamiento es que la capacitación no tuvo la repercusión deseada entre los productores.
33. La sericultura puede ser una actividad apropiada para la asistencia del PCT, siempre que haya un plan de desarrollo del sector y que se establezca claramente la función del proyecto del PCT. La evaluación reveló que las probabilidades de conseguir que los proyectos de sericultura tengan una repercusión sostenible son mucho menores en los países donde esta actividad tiene una tradición limitada y no existen oportunidades de comercialización.
34. Se observó que no se habían establecido vínculos suficientes entre las enseñanzas sacadas de los proyectos y la labor normativa de la FAO, ni se había hecho una transferencia adecuada de las enseñanzas de un proyecto a otro.
Legislación
35. Se comprobó que los proyectos examinados eran sumamente pertinentes para los problemas de desarrollo de los países receptores y que la asistencia recibida de la FAO era muy apreciada. El diseño de los proyecto tendía a ser bastante general en cuanto a la descripción de los problemas que habían de abordarse y el planteamiento adoptado para su ejecución, pero las perspectivas de aumentar el volumen de información facilitadas son bastante limitadas. La misión inicial que se envía al país soluciona por lo general las posibles deficiencias en el diseño del proyecto, al identificar las cuestiones con mayor precisión y decidir las estrategias de ejecución.
36. La calidad de los consultores internacionales y de los funcionarios de la Oficina Jurídica (LEG) (que actuaron como consultores jurídicos en 13 de los proyectos examinados) fue en general muy satisfactoria. El hecho de que la FAO posea un gran acervo de competencia internacional en diversos aspectos de la legislación sobre recursos naturales se consideró su principal ventaja comparativa y la principal razón por la que se solicita proyectos del PCT. El respaldo técnico de los componentes jurídicos de los proyectos ha sido en general excelente, manteniéndose un intercambio activo entre los funcionarios de LEG, los consultores y el personal nacional de contraparte. En algunos casos, ha habido un seguimiento continuado después de la terminación del proyecto por parte de funcionarios de LEG, mientras la legislación seguía el curso de los procesos nacionales. Esto fue muy apreciado por los gobiernos de los Estados Miembros.
37. Utilizando los criterios antes mencionados para la evaluación de la apicultura/sericultura, la clasificación de los proyectos jurídicos (o de los componentes jurídicos de los proyectos) fue la siguiente:
Calidad | Total | Pertinencia | Diseño | Ejecución | Efectos/ utilización de los productos |
Repercusión/ sostenibilidad |
Bueno | 11 | 22 | 15 | 17 | 11 | 9 |
Satisfactorio | 17 | 9 | 15 | 10 | 12 | 12 |
Insatisfactorio | 3 | 0 | 1 | 4 | 8 | 10 |
38. Aunque la mayoría de los proyectos eran pertinentes y se habían ejecutado bien, se estimó que su repercusión final había sido poco satisfactoria. En casi todos los países donde el seguimiento y la repercusión no habían sido satisfactorios, el motivo pudo encontrarse, en particular, en circunstancias nacionales como trastornos económicos o la incapacidad para conseguir que un borrador de legislación que el Departamento interesado hubiera considerado aceptable en el momento de la ejecución del proyecto siguiera adelante en el sistema legislativo. Con el fin de asegurar un conjunto completo de medidas de asistencia, la evaluación recomendó que en los proyectos se preparan normalmente, junto con las leyes, reglamentos sobre la ejecución.
39. Los dos factores más importantes para el probable éxito de los proyectos fueron un alto grado de participación de los interesados en su ejecución y un marco normativo favorable para conseguir las reformas legislativas deseadas. Casi todos los proyectos hicieron un esfuerzo considerable para asegurar amplias consultas con los posibles interesados. Algunos proyectos que tuvieron un éxito notable incluyeron también un componente normativo, y en ellos hubo una estrecha relación entre las actividades jurídicas y normativas. Se estimó que ciertos factores podían tener efectos negativos sobre el éxito de un proyecto, como por ejemplo la sustitución de su principal promotor o "paladín", los proyectos a los que se pide que medien en controversias internas y los proyectos en que los componentes legislativos constituyen medidas suplementarias ajenas a la orientación principal del proyecto. También ha de tenerse en cuenta que las reformas legislativas propuestas que tratan de modificar unos acuerdos administrativos establecidos hace tiempo suelen tropezar con resistencia.
40. El Servicio de Evaluación ha realizado ya tres evaluaciones temáticas de
proyectos del PCT, de las que ha sacado algunas enseñanzas y recomendaciones generales
que se señalan a continuación:
ANEXO
Información estadística seleccionada, basada en cuestionarios de evaluación de proyectos
Anexo - Cuadro 1: Resultados de los proyectos por regiones |
||||||||||||||
Se consideró que los proyectos | ||||||||||||||
África | Asia y el Pacífico | América Latina y el Caribe | Cercano Oriente y Europa | Interregio-nales | África | Asia y el Pacífico | América Latina y el Caribe | Cercano Oriente y Europa | Interregio-nales | |||||
Número de cuestionarios de evaluación de proyectos analizados | 115 | 100 | 38 | 16 | 10 | |||||||||
Grado en que los proyectos resolvieron un verdadero problema de desarrollo |
||||||||||||||
Problema de gran importancia | 88% | 88% | 78% | 81% | 70% | Problema importante | 98% | 99% | 100% | 88% | 100% | |||
Efectos en relación con el uso previsto de los productos | ||||||||||||||
Al menos el 80% de los objetivos | 46% | 55% | 59% | 8% | 62% | Al menos el 60% de los objetivos | 91% | 89% | 91% | 50% | 100% | |||
Repercusiones sostenibles previstas | ||||||||||||||
Repercusiones considerables | 48% | 47% | 44% | 19% | 40% | Algunas repercusiones sostenibles | 91% | 83% | 88% | 69% | 90% | |||
Eficacia en función de los costos para conseguir efectos sostenibles | ||||||||||||||
El enfoque más eficaz en función de los costos | 79% | 69% | 79% | 36% | 70% |
Anexo - Cuadro 2: Resultados de los proyectos por sectores/subsectores |
|||||||||||||||
Se consideró que los proyectos | |||||||||||||||
Recursos naturales | Cultivos | Ganadería | Montes | Pesca | Recursos naturales | Cultivos | Ganadería | Montes | Pesca | ||||||
Número de cuestionarios de evaluación de proyectos analizados | 29 | 49 | 12 | 85 | 19 | ||||||||||
Grado en que los proyectos resolvieron un verdadero problema de desarrollo |
|||||||||||||||
Problema de gran importancia | 86% | 84% | 92% | 90% | 94% | Problema importante | 100% | 94% | 100% | 99% | 100% | ||||
Efectos en relación con el uso previsto de los productos | |||||||||||||||
Al menos el 80% de los objetivos | 38% | 65% | 45% | 51% | 53% | Al menos el 60% de los objetivos | 77% | 100% | 91% | 95% | 87% | ||||
Repercusiones sostenibles previstas | |||||||||||||||
Repercusiones considerables | 41% | 60% | 45% | 46% | 59% | Algunas repercusiones sostenibles | 85% | 92% | 82% | 91% | 82% | ||||
Eficacia en función de los costos para conseguir efectos sostenibles | |||||||||||||||
El enfoque más eficaz en función de los costos | 74% | 77% | 90% | 75% | 75% |
El Cuadro 3 del Anexo se compiló tomando como base un examen de los informes de las misiones a fin de sacar enseñanzas cualitativas para predecir la probabilidad de conseguir efectos y repercusiones. Incluye los factores que habían recibido una puntuación especialmente alta en la escala de 1 a 3 en lo concerniente a sus efectos y repercusiones (columna b), es decir la escala que va de efectos y repercusiones nulos a moderados. En la columna c) se comparan estas puntuaciones con las recibidas por esos factores (también con arreglo a una escala de 1 a 3, es decir de insuficientes a satisfactorios pero no buenos) en el total de proyectos (columna a). Cuanto mayor es la diferencia en la columna c), mayor es la precisión con la que el factor en cuestión predice efectos y repercusiones insuficientes.
Anexo - Cuadro 3: Factores que se consideran especialmente correlacionados con unos resultados insuficientes en lo que concierne a la consecución de efectos y repercusiones |
|||
Porcentaje de proyectos que recibieron las puntuaciones más
bajas de la escala (1, 2 o 3 para este factor en una escala de 5 puntos) |
|||
Factor | Respecto del total (a) |
Respecto de los proyectos con efectos y repercusiones moderados o
insuficientes (b) |
(b) - (a) (a) |
Previsiones realistas acerca de la utilización de los productos en el momento del diseño del proyecto | 47 | 65 | 38 |
Diseño del proyecto, en particular | |||
· duración demasiado breve del proyecto | 51 | 59 | 15 |
· especificación de los beneficiarios | 44 | 55 | 25 |
Cuestiones relacionadas con la ejecución, en particular | |||
· gestión interna | 49 | 69 | 41 |
· visitas de supervisión de la FAO | 50 | 59 | 18 |
· Aportaciones del Gobierno | 63 | 78 | 24 |
_________________________________
1 En total se evaluaron 301 proyectos y en 279 casos (93 por ciento del total) los informes cumplieron las normas en cuanto a exhaustividad y calidad de la evaluación.
2 El PCT forma parte del Presupuesto Ordinario de la Organización, financiado mediante las cuotas de los Estados Miembros. Los proyectos del PCT son de breve duración (no más de 24 meses) y tienen un presupuesto máximo de 400 000 dólares, su objeto es resolver problemas urgentes con que se enfrentan Estados Miembros en desarrollo de la FAO. La finalidad que se pretende es que los proyectos desempeñen una función catalizadora y pongan en marcha actividades importantes de seguimiento por parte del Gobierno.
3 El análisis que figura a continuación se refiere al período 1994-1999.
4 Los resultados relativos al Cercano Oriente y Europa son considerablemente inferiores a los de otras regiones, pero se basan en una muestra de proyectos mucho menor.
5 Con respecto a esta cuestión concreta, a las misiones sólo se les ofrecen tres opciones: demasiado breve (51%), demasiado larga (3%), más o menos apropiada (46%).
6 Dos de los proyectos evaluados eran continuaciones de proyectos anteriores, por lo que el número total de los resultados en cada columna es 20 y no 22.
7 Era demasiado pronto para valorar la ejecución del proyecto.