Elección del modelo más adecuado
La elección del modelo de evaluación dependerá en gran medida de la información que se dispone sobre los beneficiarios y posibles grupos de control. En el caso de los PAT, una de las mayores dificultades se relaciona con el alto nivel de incertidumbre, al principio de los proyectos, del estatus jurídico de la tenencia de la tierra. Esta situación impide poder identificar correctamente los beneficiarios posibles y por lo tanto los grupos de control en la etapa ex-ante de los PAT.
En esta perspectiva y ante la diversidad de modelos para la evaluación de impacto, cabe agruparlos en tres familias correspondientes a la estrategia específica de comparación de resultados de la intervención y de capacidad de atribuir la causalidad entre las acciones del programa y los resultados. Estos son los siguientes:
- Modelos con grupos de comparación
- Modelos comparativos con controles de referencia
- Modelos unitarios de comparación
Evaluación clásica
Para realizar una evaluación de tipo experimental, es necesario comparar el grupo de beneficiarios del proyecto contra un grupo con las mismas características pero que no participó en este, una evaluación de este tipo requiere mínimamente cuatro tomas de datos: dos en situación ex ante y dos ex post.
El impacto sería igual al diferencial entre el cambio ocurrido en el grupo intervenido menos el cambio ocurrido en el grupo no intervenido.
Ver formula y consideraciones
Im = CGI - CGNI
Im = Impacto
CGI = Cambio Grupo intervenido
CGNI = Cambio Grupo No intervenido
Para el modelo experimental se requiere la denominada línea base o medición inicial y la evaluación ex post o medición final.
Para poder llevar a cabo un modelo experimental clásico, es necesario planificar la evolución al inicio del proyecto o por lo menos antes de la intervención directa con los hogares. De igual manera, para el diseño conceptual de la línea de base y del cuestionario se debe prever que la mayoría de variables deberán ser utilizadas igualmente para la evaluación ex post con el fin de poder comparar ambas situaciones.
Modelos con grupos de comparación
El modelo experimental clásico o la evaluación de la repercusión no siempre son factibles debido a que la línea de base se la realiza generalmente al inicio del proyecto y no en etapa ex ante. De igual manera, es difícil su realización debido a los elevados costos que implica la recolección de información relativa al grupo control. En estos casos, los modelos con grupos de comparación pueden constituir una buena alternativa para evaluar los impactos de los programas. A continuación se presentan los modelos que utilizan esencialmente la comparación entre un grupo intervenido y un grupo de control.
Ver tipos de control
Ver tipos de control
Controles aleatorios
Las poblaciones potencialmente beneficiarias de los procesos de regularización de la tenencia pueden dividir al azar en un grupo experimental y se les administra la intervención, y los controles aleatorios los cuales no están sujetos a la intervención o el Modelo experimental clásico.
Controles construidos
Consiste en confrontar las poblaciones objeto la intervención con un grupo equivalente- denominado grupo de controles construidos- que ha sido apartado voluntariamente de la intervención, en este caso de la regularización de la tenencia o titulación. Estos pueden ser grupos construidos de forma no estadística pero que deben tener condiciones similares al grupo intervenido y los resultados deben ser medidos en los mismos momentos para los dos grupos.
Modelos comparativos con controles de referencia
Los modelos comparativos con controles de referencia utilizan estadísticas de fuentes segundarias que se refieran al mismo tema evaluado o que contengan la información para construir el o los indicadores que interesan para la evaluación de impactos, como por ejemplo las bases de datos catastrales, sistema de seguimiento de los procesos de regularización, censos, registros administrativos, etc. Para estos modelos se puede también utilizar datos de referencia de estándares pre existentes.
Ver tipos de control
Ver tipos de control
Controles estadísticos
Las poblaciones objeto, participantes y no participantes son comparadas y se registran las diferencias estadísticas entre ambos grupos. El grupo no intervenido surge de una construcción de estadísticas existentes, por ejemplo en un PAT se puede medir el incremento del acceso a crédito en relación al periodo grupo intervenido y estos resultados se pueden comparar contra las estadísticas de solicitud u otorgamiento de crédito en la zona para los mismos periodos.
Controles genéricos
Los efectos de la intervención entre las poblaciones objeto se comparan con normas establecidas respecto a los cambios típicos que ocurren en la población objeto. La información proporcionada mediante los controles genéricos puede ser utilizada para estimar lo que habría ocurrido sin la intervención del Proyecto. En la práctica, generalmente los programas contemplan mediciones solamente para el grupo intervenido, ello dificulta conocer los factores distorsionantes en la relación causa-efecto. El modelo que se elija dependerá de los recursos y del momento en el cual se opere la evaluación. Sin embargo, para los diferentes modelos, con excepción del modelo experimental, es necesario construir claramente los supuestos que se manejan en las hipótesis para poder realizar las comparaciones y poder atribuir una relación de causalidad entre el proyecto y los resultados observados.
Evaluación con modelos unitarios de comparación
Los modelos unitarios de comparación se refieren a aquellos en los que la comparación se realiza dentro del mismo grupo intervenido, esto se puede realizar si la intervención se llevó a cabo en momentos distintos o si los grupos intervenidos presentan características diferentes. Estas condiciones deben ser conocidas para poder tener una referencia estandarizada entre los dos grupos.
Ver tipos de control
Ver tipos de control
Controles reflexivos
Las poblaciones objeto que reciben la intervención se comparan entre sí contra las medidas tomadas antes de la intervención. Por ejemplo se pueden escoger grupos de control que fueron seleccionados para participar en los proyectos y beneficiar de él, por ejemplo mediante un título de propiedad, pero que aún no han cumplido el proceso administrativo de regularización. De esta manera se garantiza que éste cumpla con las mismas características que los demás beneficiarios del Programa, y por lo tanto es comparable, aunque aún no haya obtenido los efectos esperados, por ejemplo la obtención de un crédito. En este caso, esta diferencia puede ser considerada un contrafactual. Este modelo debe ser escogido sólo si la variable central de cambio es claramente asociada a la intervención del programa, esto es generalmente el caso cuando se trata de servicios monopólicos, como el de la titulación de tierras.
Controles Reconstruidos dentro del grupo intervenido
Dentro del grupo intervenido se forman dos subgrupos a partir del nivel de exposición a la intervención. Por ejemplos, se puede comparar territorios intervenidos por más tiempo que otro y a partir de las diferencias entre ambos establecer el cambio. Por ejemplo se pueden escoger dos grupos que fueron seleccionados para participar en el proyecto, en este caso para recibir un título de propiedad, pero que aún no han aún terminado el proceso administrativo de regularización. De esta manera se garantiza que el grupo cumpla con las mismas características que todos los beneficiarios del Programa, y que por lo tanto sea comparable. Ademaos si este grupo no ha beneficado aún de los efectos esperados ligados al título, por ejemplo la obtención de un crédito, esto puede ser considerado un contrafactual.
- Fuente: Autores
Algunas recomendaciones
Es importante señalar que el modelo a emplear dependerá no sólo de la información disponible sino también de las condiciones que se tengan en cuanto a recursos y tiempos de la evaluación. Es en función a estos factores que se debe definir el modelo más pertinente a utilizar para escoger el modelo de evaluación.
A continuación se presentan cuatro casos específicos y la sugerencia de modelos alternativos recomendados para su implementación en relación a sus condiciones previas.
Ver la recomendación del modelo a utilizar según las condiciones para el estudio
CONDICIONES PARA EL ESTUDIO | MODELOS RECOMENDADO |
|---|---|
Se cuenta con línea base y evaluación ex post para los 2 grupos (intervenido y control) |
|
Se tiene línea base del grupo intervenido, pero no se tiene posibilidad de un grupo control |
|
No se tiene línea base, pero se cuenta con evaluación ex post para 2 grupos |
|
No se tiene línea base ni grupo control, sólo evaluación ex post del mismo grupo |
|
Conviene igualmente recalcar que para seleccionar adecuadamente los grupos control, es importante considerar la posibilidad de *efectos de Spillover* de los procesos de RST. Por ejemplo, puede ocurrir que los procesos de RST en colonias de asentamientos informales motiven a los municipios o programas de gobierno a invertir en infraestructuras públicas dentro de estas, y que a su vez estas infraestructuras generen un incremento del valor de las propiedades (Capital económico de los MVS) y un mejor acceso a servicios para los hogares que ahí residen (Capital físico de los MVS). De esta manera una amplia proporción más amplia de la población recibiría beneficios, aunque los beneficiarios representen sólo una parte de esta. Siguiendo este ejemplo, la evolución con un grupo control dentro de la misma colonia el cual no recibirá un título de propiedad, podría no evidenciar impactos significativos entre beneficiarios y no beneficiarios del proyecto. En este caso, sería erróneo concluir que el Programa no generó efectos substanciales, cuando la realidad puede ser que tuvo más efectos de los esperados. Por esta razón, importante analizar las situaciones específicas del diseño y los efectos posibles del programa para seleccionar un grupo control que no será influenciado por el desarrollo del proyecto, en ninguna de sus fases.