Blog

Evaluación de Impacto

¿Por qué evaluar?

Los programas y políticas de desarrollo son elaborados para cambiar los resultados.

Saber si los resultados han cambiado es crucial para los hacedores de políticas públicas; si bien es cierto, se acostumbra a realizar informes de gastos, estos no garantizan una medición contundente en los programas con respecto al logro de objetivos para el cambio de resultados.

La evaluación de impacto se circunscribe en la formulación de políticas públicas basadas en evidencia caracterizados por el cambio de enfoque centrando la atención en los productos y resultados en vez de insumos. Este tipo de evaluación permite además de una rendición de cuentas objetiva y oportuna, innovación y aprendizaje.

La evaluación de impacto mide los cambios en el bienestar de los individuos que se pueden atribuir a un proyecto, un programa o una política específicos.

El reto fundamental en una evaluación de impacto consiste en identificar la relación causal entre el programa o la política y los resultados de interés

El monitoreo y evaluación de Progresa[2] propiciaron su continuidad y mejora, se le cambió la denominación primero a Oportunidades y por último a Prospera; también contribuyó a la rápida adopción de sistemas de transferencias condicionadas en todo el mundo, y a la adopción en México de una legislación que establece la evaluación de todos los proyectos sociales. En Perú se implementó el programa Juntos[3].

¿Qué es la evaluación de Impacto?

La evaluación de impacto es uno de los numerosos métodos que existen para apoyar las políticas públicas basadas en evidencia, incluidos el monitoreo y otros tipos de evaluación.

Monitoreo

En contraste con el monitoreo, que es permanente, las evaluaciones se llevan a cabo en momentos concretos en el tiempo y a menudo requieren una perspectiva externa de los técnicos expertos.

Las evaluaciones tratan de responder 3 tipos de preguntas:

  • Preguntas descriptivas, centran la atención en los procesos, las condiciones, las relaciones organizacionales y las opiniones de las partes interesadas.
  • Preguntas normativas, evalúan las actividades e investigan si los objetivos se cumplen o no. Estas preguntas pueden aplicarse a los insumos, las actividades y los productos.
  • Preguntas de causa y efecto, investigan qué diferencia produce la intervención en los resultados.

La evaluación de impacto utiliza datos cuantitativos, pero es importante aclarar otros métodos hacen uso de datos tanto cuantitativos como cualitativos.

¿Cuál es el impacto (o efecto causal) de un programa en un resultado de interés?

La pregunta anterior incorpora la dimensión causal, en la cual se centra la atención con el objeto de determinar resultados atribuibles a la aplicación de un programa o proyecto.

El contar con reglas de operación claras y bien definidas para un programa no solo tiene un valor intrínseco en las políticas públicas y en una gestión solvente de los programas: también es esencial para construir buenos grupos de comparación, lo cual constituye la base de las evaluaciones de impacto rigurosas.

La elección de un método de evaluación de impacto está determinada por las características operativas del programa, en particular sus recursos disponibles, los criterios de elegibilidad para seleccionar a los beneficiarios y los plazos para la implementación del programa.

Cualquiera que sea el método utilizado, éste debe contemplar la estimación del contrafactual, es decir: cual habría sido el resultado de los participantes del programa si no hubieran participado en el mismo.

1.       Categorías de la Evaluación de Impacto.

Se desarrollan simultáneamente con el diseño del programa y se incorporan en la implementación del mismo. Los datos de línea de base se recopilan antes de implementar el programa, tanto en el grupo de tratamiento[4] como en el grupo de comparación[5]. Esta categoría produce resultados solventes y creíbles, por 3 motivos:

  1. Recopila y analiza datos de línea de base de los grupos (tratamiento y comparación) antes de iniciar el programa, lo cual garantiza la similitud de los grupos y permite evaluar la efectividad de la focalización.
  2. Definir la medida de éxito del programa en la etapa de planificación centra al programa como la evaluación en los objetivos previstos. Los responsables[6] de políticas deberían definir objetivos claros para el programa y formular preguntas claras que la evaluación debe contestar.
  3. Los grupos de tratamiento se definen antes de la implementación de la intervención que será evaluada.

Las evaluaciones retrospectivas evalúan el impacto del programa después de que se lo haya implementado, y los grupos de tratamiento y de comparación se    generan ex post.

2.       Pruebas de eficacia y efectividad.

La función principal de la evaluación de impacto es producir evidencia del desempeño de un programa y resulta útil cuando las conclusiones se pueden aplicar a una población de interés más amplia.

Los estudios de eficacia evalúan si un programa puede funcionar en condiciones ideales.

Los estudios de efectividad evalúan si un programa realmente funciona en condiciones normales.

Análisis Complementario

Proceso constante de seguimiento a través de la recopilación de datos para fundamentar la implementación, administración y decisiones referidas a un programa o proyecto. Es aplicable a insumos, actividades y productos, pero también puede incluir resultados.

1.       Simulaciones ex ante.

Se utilizan datos disponibles para simular los efectos esperados de una reforma de programas o políticas en los resultados de interés.

Son de mucha utilidad al momento de medir la efectividad esperada relativa de una gama de opciones de diseño de programas alternativos en los resultados.

Dependen de la disponibilidad de datos de gran alcance y calidad.

Son utilizados para simular futuros efectos potenciales, más que para medir efectos reales de programas implementados.

Se suelen utilizar como la base de los análisis económicos de los proyectos, especialmente antes de que se introduzca una reforma o se implemente un proyecto.

2.       Los métodos mixtos.

Son características de evaluaciones que integran el análisis cuantitativo y cualitativo. Contribuyen a generar hipótesis y enfocar las preguntas de investigación antes de recopilar datos cuantitativos, así como para presentar perspectivas y visiones novedosas del desempeño de un programa durante y después de su implementación.

Los datos se generan a través de una gama de enfoques, incluidos grupos focales, historiales y entrevistas con beneficiarios seleccionados y otros informantes clave.

Referencias

Del Villar, R., Murillo, J. A., & Backal, D. (1998). La Crisis Financiera en Asia: Orígenes y Evolución en 1997 y 1998. México.

Gertler, P., Martínez, S., Premand, P., Rawlings, L., & Vermeersch, C. (2017). La evaluación de impacto en la práctica. Washington. Obtenido de http://www.worldbank.org/ieinpractice

  

[1] Texto fuente: Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings y Christel M. J. Vermeersch. 2017. La evaluación de impacto en la práctica, Segunda edición. Washington, DC: Banco Interamericano de Desarrollo y Banco Mundial. doi:10.1596/978-1-4648-0888-3. Licencia de atribución: Creative Commons CC BY 3.0 IGO.

[2] Progresa: Programa innovador del gobierno de México basado en transferencias condicionadas.

[3] Revisar antecedentes.

[4] Grupo de Tratamiento: Grupo que recibe la intervención.

[5] Grupo de Comparación: Grupo que no recibe o no es objeto de la intervención.

[6] No se deberían emprender evaluaciones de impacto a menos que los responsables de las políticas estén convencidos de la legitimidad de las mismas y de su valor para fundamentar decisiones clave de las políticas públicas

Jaime Estela
administrator
Bach. en Economía por la Universidad Nacional Pedro Ruiz Gallo, Lambayeque - Perú. Me desempeño como Gerente de Administración de la Cooperativa de Ahorro y Crédito Señor de Huamantanga y como Gerente de Ventas de ROYMA S.R.L. He trabajado en PERÚ EN ACCIÓN, RENIEC, SUNAT, entre otros.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *