Trabajo

¿Por qué existe tan poca evidencia?

1. Medir impacto fuera del laboratorio es complejo. Medir el efecto de un programa  en la realidad sobre un resultado es muy complejo porque existen múltiples variables que podrían estar sesgando el resultado para un lado o para otro. 
2. Temporalidad de los incentivos. Producir evidencia en políticas públicas es difícil ya que requiere tiempo y quienes gobiernan tienen horizontes temporales más cortos, por lo que no existen incentivos para invertir en información que puede terminar siendo usada por la próxima administración.
3. Carácter bien público de la evidencia.   Dado que la evidencia no solo beneficia a aquellos que la producen, el beneficio de quien toma la decisión de generar evidencia es menor al beneficio social de producirla.
4. Aversión al riesgo y paradigma sobre el rol de la evaluación. La percepción que tienen los gobiernos acerca del rol de la evaluación se asocia a mecanismos de control, monitoreo y transparencia, lo que dista de ser el objetivo final de una evaluación de impacto que es aprender si el programa está cumpliendo su objetivo social.

TIPOS DE EVALUACIÓN

La evaluación de impacto, en la que se centra este curso, es sólo uno de los distintos tipos de evaluación que pueden llevarse a cabo. La imagen siguiente contextualiza la evaluación de impacto dentro de la evaluación de programas, y esta, a su vez, dentro de la "evaluación" en general:

[pic 1]

La primera categoría de "Evaluación" incluye todo tipo de evaluaciones; desde evaluaciones presupuestarias hasta evaluaciones del desempeño de instituciones, y también la evaluación de programas. Uno de los tipos de evaluación de programas posibles es la evaluación de impacto. 

En las siguientes unidades, examinamos los principales tipos de evaluación de programas existentes, y el papel esencial que juega la evaluación de impacto dentro de ellas. En concreto, se cubren los siguientes temas:

• Evaluación de necesidades
• Evaluación teórica de programas
• Evaluación de procesos
• Evaluación de impacto
• Evaluación Costo-Efectividad

La sección se compone de dos videos. Se explican los distintos tipos  de  evaluaciones  de  un programa y se usa la evaluación de un programa de viviendas llamado TECHO como ejemplo. La sección tiene una duraciónaproximada de 35 minutos. 

DEFINICIÓN: EVALUACIÓN DE NECESIDADES

La evaluación de necesidades recolecta información descriptiva, de carácter cualitativo y cuantitativo, acerca de los problemas y las necesidades enfrentadas por la población objetivo de un programa.

Una evaluación de necesidades nos permite: 

• Definir la población objetivo a ser atendida.
• Identificar la naturaleza y el alcance de los problemas sociales que efrenta la población objetivo.
• Determinar las posibles causas de dichos problemas sociales.
• Detallar las medidas que ya existen para enfrentar esos problemas.

La evaluación de necesidades puede ser conducida, realizada, y ejecutada utilizando indicadores sociales, encuestas y censos, entrevistas, etc.

DEFINICIÓN: EVALUACIÓN TEÓRICA DEL PROGRAMA

La evaluación teórica de un programa describe la lógica causal de cómo y por qué un programa producirá los cambios deseados o previstos. La evaluación teórica de un programa establece los posibles mecanismos a través de los cuales el programa incidirá para causar el efecto esperado.

La evaluación teórica de un programa nos permite:

• Mapear la cadena de causalidad, partiendo de los insumos de la intervención y finalizando con el impacto.
• Establecer los supuestos detrás de cómo pensamos que el programa producirá impactos.
• Definir indicadores para medir cada paso de la cadena causal.
• Si el programa no produce los impactos esperados, determinar en qué parte de la cadena causal se produjo el fallo y por qué.

La evaluación teórica de programas se verá en más detalle en el próximo módulo, Teoría de Cambio.

DEFINICIÓN: EVALUACIÓN DE PROCESOS

La evaluación de procesos usa información cualitativa y cuantitativa para analizar la implementación de un programa. Se estudia si el programa cumple con su diseño original y se documenta su desarrollo y funcionamiento. La evaluación de procesos no busca examinar el impacto del programa.

La evaluación de procesos nos permite:

• Determinar si los bienes y servicios del programa se están entregando a la población objetivo.
• Identificar si los bienes y servicios se están entregando a las personas que deberían recibirlas, y si se están entregando en el tiempo preestablecido.
• Monitorear la conducta del equipo de implementación.
• Establecer si los recursos se están gastando de forma adecuada.

DEFINICIÓN: EVALUACIÓN DE IMPACTO

La evaluación de impacto de un programa busca establecer una relación causal entre un programa y una serie de resultados. La evaluación de impacto nos dice si el programa es lo que en realidad causa los cambios que se observan en la población que participa en el programa. 

La evaluación de impacto nos permite:

• Determinar si un programa está teniendo los efectos deseados en la población objetivo.
• Identificar qué componentes de un programa son más importantes para producir un impacto.
• Testear programas alternativos para establecer cuál tiene mayor impacto en la población objetivo.
• Determinar si los resultados de un programa se pueden replicar en diferentes contextos.

La evaluación de impacto es el tema principal de este curso; en los módulos que siguen se describirá en más detalle: la definición de causalidad e impacto, los métodos empleados para evaluar impacto y las fortalezas y debilidades de cada uno, estrategias para la implementación de evaluaciones de impacto, entre otros temas.

DEFINICIÓN: EVALUACIÓN COSTO-EFECTIVIDAD

La evaluación costo-efectividad toma el tamaño del efecto de un programa sobre una variable (por ejemplo, asistencia escolar) y lo divide por el costo de producir ese efecto (es decir, el costo total del programa). Por ejemplo por cada $100 gastados, un programa de transferencias monetarias condicionadas en México aumentó la asistencia escolar de los niños en 0.03 años. En República Dominicana, un programa que informa a padres de familia sobre los retornos económicos a la educación aumentó en 3.1 años la asistencia escolar por cada $100 gastados. Por lo tanto, el programa de República Dominicana es mucho más costo-efectivo en cuanto a la asistencia escolar.

Una evaluación de costo-efectividad nos permite:

• Comparar programas con objetivos similares y determinar cuál nos dará el mayor impacto por dólar gastado.
• Determinar si el mismo programa produce resultados de costo-efectividad diferentes dependiendo del contexto en el que se realice.

• EVALUACIÓN COSTO-EFECTIVIDAD: TECHO
•  
• (2 points possible)
• Imaginemos que el costo total de entregar una sola casa TECHO es de USD$1500 ($1000 por la casa, $500 por el transporte y gastos logísticos) y que cada hogar aumenta la satisfacción con la calidad de vida de los habitantes en 20.7 puntos porcentuales. ¿Cuál sería la relación de costo-efectividad del programa en términos de aumento en puntos porcentuales en la satisfacción con la calidad de vida?
• Ingresa la costo-efectividad del programa por 100 dólares gastados: (En la respuesta, en vez de una coma usa un punto para representar los decimales. Incluye hasta 4 decimales en la respuesta.)

Resultado es 1.38 se divide 1500 /100 = 15 y luego 20.7 /15=1.38

EXPLANATION

En general, para calcular la costo-efectividad de un programa se calcula el impacto del programa por cada 100 dólares gastados. Para obtener este valor es necesario dividir la totalidad del costo en 100 (1500/100=15) y luego dividir el impacto del programa por éste valor.

20.7/(15)=1.38

RESUMEN: TIPOS DE EVALUACIONES DE PROGRAMAS 

[pic 2]

Si bien cada una de éstas evaluaciones se pueden realizar independiente una de la otra, es recomendable seguir la jerarquía que presenta la imagen.

EVALUACIÓN DE NECESIDADES

Responde preguntas como: 

• ¿Cuál es la naturaleza y la magnitud del problema?
• ¿Cuáles son las características de la población objetivo?
• ¿Cuáles son las necesidades de la población?
• ¿Qué servicios ya existen para responder estas necesidades?
• ¿Cuánto servicio es requerido y por cuánto tiempo?

EVALUACIÓN TEÓRICA 

Responde preguntas como:

• ¿Qué población específica debe ser atendida?
• ¿Cómo el programa puede identificar, contactar y atender a la población objetivo?
• ¿Qué actividades deberían organizarse para cumplir estos objetivos?
• ¿Cuál es la mejor forma de entregar los servicios?
• ¿Cuáles son los resultados esperados de la intervención?

EVALUACIÓN DE PROCESOS

Responde preguntas como:

• ¿Los servicios se están entregando tal como se planificó?
• ¿Se entregó el programa a las personas correctas?
• ¿Existe parte de la población objetivo que no recibe el programa?
• ¿Cómo se administran los recursos?
• ¿Están los beneficiarios satisfechos con el servicio?

EVALUACIÓN DE IMPACTO

Responde preguntas como:

• ¿La intervención tiene los efectos esperados sobre los beneficiarios?
• ¿Algunos grupos de beneficiarios están más afectados por la intervención que otros?
• ¿En qué magnitud mejoró el problema?
• ¿Existen efectos adversos no planificados?
• ¿Se mantienen los efectos en el tiempo?

EVALUACIÓN COSTO-EFECTIVIDAD

Responde preguntas como:

• ¿Los recursos son usados de manera eficiente?
• ¿Es el costo del programa razonable en relación con la magnitud del impacto?
• ¿Existen intervenciones alternativas que cumplirían los mismos objetivos a menor costo?

Cuando evaluar el impacto

CUÁNDO EVALUAR IMPACTO

• Cuando existen preguntas causales sin respuestas.
• Cuando existe incertidumbre sobre la mejor estrategia de intervención para atacar un problema.
• Cuando se está implementando un programa piloto.
• Cuando se prevé escalar un programa.
• Cuando un programa se está implementando de manera gradual.
• Cuando el programa incorpora nuevos servicios o beneficiarios.

CUÁNDO NO EVALUAR

• Cuando ya existe suficiente evidencia sobre la efectividad de la intervención.
• La pregunta a responder con la evaluación ya ha sido contestada.
• Cuando el programa no está maduro.
• El diseño del programa está sujeto a modificaciones.
• Cuando no es posible identificar un grupo de comparación válido.

La teoría del cambio

SUPUESTOS

Al elaborar una teoría de cambio, debe prestarse atención a los factores que no se explicitan y que son requeridos para que cada paso de la cadena causal conduzca al siguiente. Dichos factores o supuestos suelen estar implícitos en la teoría de cambio, y también pueden representarse explícitamente en el esquema de la cadena causal.

...