El diseño de control experimental o aleatorio es considerado el diseño de evaluación técnicamente más robusto, el cual consiste en la selección aleatoria de los beneficiarios dentro de un universo totalmente definido de individuos⁵. El proceso de asignación aleatoria de las intervenciones o servicios del programa crea dos grupos estadísticamente idénticos entre sí, uno que participa en el programa (grupo de tratamiento, Tr = 1) y otro que, cumpliendo todas las condiciones para participar, está fuera de él (grupo de control, Co = 0). La aleatorización, es un proceso en el que la selección de los grupos de tratamiento y de control es aleatoria dentro de un universo bien definido de personas. En este caso, no debería haber diferencia (en el valor esperado) entre los dos grupos.

La medición de impacto consiste entonces en cuantificar, una vez transcurrido el tiempo pertinente de intervención del programa, la(s) variable(s) de impacto, tanto para el grupo de tratamiento como para el grupo de control – en ambos simultáneamente y para el mismo período de tiempo – para luego analizar las diferencias que existen entre ambos. En términos operativos, esta medición se debe hacer sobre muestras estadísticamente representativas de ambos grupos y calcular el impacto promedio del programa sobre una variable resultado.

Cabe recalcar que el modelo tiene una desventaja de orden práctico, el hecho de que las políticas públicas partan de diagnósticos de focalización e identificación de los beneficiarios y la aleatorización se refiere a la viabilidad política de excluir de la cobertura de un programa, aleatoriamente, a un grupo de beneficiarios elegibles y, que como tales, necesiten los servicios del programa. Por lo tanto es totalmente cuestionable la asignación aleatoria si se tienen en cuenta los fines de las políticas sectorizadas y/o focalizadas.

Los diseños cuasi experimentales tienen como diferencia esencial con los experimentales puros, el hecho que la participación de los individuos en el programa no es una selección aleatoria de beneficiarios. En su lugar la participación en el programa se da:

1. porque son los propios individuos los que eligen participar
2. porque un agente oficial toma esa decisión
3. por las dos situaciones agrupadas

En los diseños cuasi-experimentales, el contrafactual se define a partir de los individuos que no participan en el programa y que constituirán el grupo de comparación⁶. Cabe recalcar que este diseño presente un problema de validez, que se refiere a la imposibilidad de generalizar los resultados de la evaluación para la población objetivo en su conjunto. Esto puede ocurrir, por ejemplo, cuando las muestras no son representativas, o cuando los programas no son representativos, ya sea por un efecto de escala o porque el tratamiento difiere de la implementación planificada.

Dentro de este diseño existen métodos de pareo o controles construidos, en los cuales se intenta obtener una comparación ideal que corresponda al grupo de tratamiento en una población amplia. De igual forma, el tipo de correspondencia de uso más generalizado es la puntuación de la propensión (propensity score matching en ingles), en la cual el grupo de comparación se compara con el grupo de tratamiento sobre la base de un conjunto de características observadas o usando la “puntuación de la propensión” (probabilidad proyectada de participar dadas las características observadas). Mientras más precisa sea la puntuación de la propensión, mejor será la correspondencia. Un buen grupo de comparación proviene del mismo entorno económico y se le ha aplicado el mismo cuestionario por parte de entrevistadores similarmente capacitados que el grupo de tratamiento (ver Ficha diseño de cuestionarios).

Para el tratamiento de la información de este diseño, existen varios procesos:

1 . Método de doble diferencia o diferencia en las diferencias
Este compara un grupo de tratamiento y uno de comparación en situación ex ante (primera diferencia) y después de un programa o ex post (segunda diferencia). Se deben eliminar los comparadores cuando se utilizan puntuaciones de la propensión y si tienen puntuaciones fuera del margen observado para el grupo de tratamiento. En este caso, este método corresponde al tipo cuasi experimental debido a que la selección de grupos se realiza por medio de criterios de elegibilidad y focalización que establecen diferencias tanto observables como no observables⁷.

2 . Métodos de variables instrumentales o control estadístico
Este usa una o más variables que influyen en la participación, pero no en los resultados dados la participación. A través de este método, se identifica la variación exógena en los resultados atribuibles al programa, reconociendo que su establecimiento no es aleatorio sino intencional. Las “variables instrumentales” se usan primero para predecir la participación en el programa y luego se observa cómo varía el indicador de resultados con los valores proyectados⁸.

3 . Método de Comparaciones reflexivas
Para este método se realiza una encuesta básica o de referencia de los participantes antes de la intervención y luego se realiza una encuesta de seguimiento. La encuesta básica proporciona el grupo de comparación y el efecto se mide mediante el cambio en los indicadores de resultado antes y después de la intervención.