Propuesta Metodológica Para La Evaluación De Proyectos De Desarrollo Agrícola.

Basado en las ideas sobre la evaluación de impacto sistémico de Jocelyne Delarue y Hubert Cochet.

Qué se mide en una evaluación de impacto?

La evaluación del impacto de los proyectos y / o programas tiene como objetivo la medida de la diferencia entre dos situaciones, una real y una hipotética. Así, una evaluación de impacto mide la diferencia entre la situación resultante de la ejecución de un proyecto, y la situación que habría tenido lugar si el proyecto no se hubiese aplicado. Este principio es enunciado en la mayoría de los libros y manuales dedicados a los métodos de evaluación de proyectos (Bridier y Michailof 1980; Casley y Lury, 1982; Gittinger, 1985; Dufumier, 1996; Baker, 2000).

1. La situación hipotética.

La idea de hacer la diferencia [con - sin] proyecto puede resultar evidente, sin embargo, no siempre se implementa pues la reconstitución de la situación “sin el proyecto” se enfrenta a inconvenientes metodológicos. Cómo habría evolucionado la situación de la población en ausencia del proyecto? Entre los cambios observados, cuáles son atribuibles en su totalidad o en parte, al proyecto? Cuáles, por el contrario se habrían producido de todos modos, si el proyecto no se hubiese aplicado? Y en qué basarse para abordar esta cuestión? Frente a estas dificultades, muchos evaluadores optan por comparar las situaciones que realmente pueden observar, es decir : la situación final “con proyecto” con la situación de partida “antes del proyecto”.

Sin embargo, el diferencial resultante [con - antes de], procura información menos pertinente sobre el impacto del proyecto que el diferencial [con – sin]. En efecto, la utilización de la situación “antes del proyecto” como un indicador de base, implica la aceptación de una hipótesis fuerte : el statu quo de las sociedades rurales y su incapacidad para evolucionar por fuera del proyecto. En otras palabras, construir la situación hipotética “sin el proyecto” y utilizarla como indicador de base, permite tener en cuenta la evolución natural de la población y evita así asignar al proyecto efectos de acontecimientos externos.

La comparación [con – sin] necesita el pronóstico de la evolución de la situación de las personas involucradas en el proyecto en ausencia del mismo. Sin embargo, una observación de este tipo es, por definición, imposible. Ante esta dificultad resulta interesante incluir al estudio un grupo* de población de individuos no afectados por el proyecto, cuyas características fundamentales se asimilen a las de los beneficiarios del proyecto. De esta manera, y bajo ciertas condiciones, la evolución natural (sin proyecto) del grupo* podría corresponder a aquella que hubiesen tenido los beneficiarios del proyecto, permitiendo así una comparación [con – sin] aportando elementos efectivos sobre el impacto del proyecto.

Ahora, en sentido estricto, el diferencial [con – sin] no sólo corresponde al impacto del proyecto, sino también a las diferencias existentes previamente entre individuos de ambos grupos. Este fenómeno se conoce como "sesgo de selección" en la medición del impacto. Para evitar este problema, la comparación debe realizarse entre individuos muy similares, lo que implica identificar agricultores cuyos sistemas y dinámicas de producción sean semejantes antes del proyecto.

2. Delimitación del proyecto y construcción de indicadores para un diferencial [con - sin] .

El estudio del impacto de un proyecto a través del diferencial [con – sin] necesita la identificación clara del alcance del proyecto, la definición del intervalo de tiempo a evaluar y la definición de los indicadores de impacto.

Como se señaló anteriormente el escenario “sin proyecto” toma en cuenta la evolución “natural” de la población y evita de esta manera, una asignación arbitraria de efectos, por ejemplo aquellos en relación con proyectos antiguos o con procesos endógenos de la comunidad. Entre más exhaustiva sea la definición de las características de la población en situación “sin proyecto”, mejor se podrá delimitar el alcance del mismo.

Los impactos del proyecto pueden evaluarse en diferentes momentos del tiempo y según el momento escogido estos pueden variar. En efecto, los proyectos agrícolas en general, ven afectados sus rendimientos en función del comportamiento de variables externas como el clima o los precios relativos. Por otro lado, los resultados de la evaluación pueden variar en función del número de comparaciones que se realicen, ya que es posible realizar una sola o múltiples comparaciones. En el primer caso se compara la situación en la que se pone en marcha el proyecto con la situación en la que sus efectos se desvanecen completamente (esto puede ser después de la fecha de finalización oficial del proyecto); y en el segundo caso, antes de comparar la situación inicial con la situación final, se compara la situación inicial con una o más situaciones anteriores a la finalización del proyecto. La ventaja de la segunda opción es que arroja resultados preliminares a través de los cuales es posible reorientar del programa.

Por último, los indicadores de impacto de un proyecto agrícola deben permitir la identificación de los efectos directos así como las externalidades del proyecto, y a la vez para la población objetivo como para las poblaciones cercanas. Una externalidad es una acción que afecta positiva o negativamente el bienestar o las oportunidades disponibles de un individuo o de un grupo de personas sin que esta acción esté en relación con un pago o una compensación (Pretty, Brett et all). De esta manera, un programa agrícola puede conseguir aumentar la producción o la productividad de un bien y al mismo tiempo afectar positiva o negativamente el medio ambiente o la salud de un grupo de personas. Así, puede ser poco pertinente escoger un indicador que a pesar de corresponder con los objetivos del proyecto, no permite evaluar los efectos inesperados. Comúnmente por ejemplo, se escoge como indicador el ingreso monetario de las familias. Sin embargo, en la mayoría de los países en desarrollo, una parte de las cosechas siempre va al auto-consumo, por lo cual resulta más apropiado escoger un indicador de ingreso que incluya el costo de oportunidad del auto-consumo.

Los métodos de evaluación para medir el impacto de los proyectos.

En esta sección se estudian algunos de los métodos de evaluación más populares que permiten la comparación de la situación final o “con proyecto” y la situación hipotética o “sin proyecto”.

1. Los métodos cuantitativos.

Las evaluaciones llamadas “cuantitativas” son aquellas que utilizan métodos estadísticos que miden el impacto de un proyecto sobre una muestra de individuos muy grande. A pesar de su nombre, estas no son las únicas evaluaciones que utilizan métodos de colecta y de análisis de datos cuantitativos.

Este tipo de evaluaciones determinan el impacto de un proyecto a través de una comparación entre la situación de los individuos del afectados por el proyecto, o grupo tratamiento, y la situación de individuos que no se vieron afectados por el proyecto, o grupo control. Dentro de las evaluaciones cuantitativas, las evaluaciones de tipo experimental o en inglés randomized controlled trial (RCT), son conocidas como las más rigurosas dado que estas disminuyen efectivamente el riesgo de “sesgo de selección”. Para esto, los individuos que van a hacer parte del estudio, tanto el grupo tratamiento como el grupo control, son escogidos de forma aleatoria, garantizando así la equivalencia estadística de los individuos (Duflo y Kremer, 2003).

Una evaluación experimental es ideal para una situación en la que los grupos tratamiento y control son fácilmente diferenciables y donde el grupo control sea realmente excluido por el programa evaluado. En efecto, las RCT en general han sido utilizadas para medir el impacto de programas que consisten el la entrega de un bien (equipo escolar, comida gratuita, medicamentos etc.) o de una subvención (Duflo y Kremer, 2003).

A pesar de las ventajas en cuanto a la simplicidad teórica y al rigor estadístico de este tipo de evaluaciones, resulta difícil concebir la aplicación de una RCT en el dominio del desarrollo rural. En efecto, la mayoría de los proyectos agrícolas implican una complejidad mucho mayor a la entrega de un bien o de una subvención, sobretodo cuando se realizan inversiones productivas al comienzo de los proyectos (organización de las parcelas, sistemas de riego etc.). Además, el riesgo de que un individuo del grupo control pase al grupo tratamiento y viceversa es considerable, así como la existencia de efectos indirectos del programa sobre los no-beneficiarios, lo que implicaría un sorteo aleatorio deficiente.

2. Los métodos basados en las teorías de la economía neoclásica.

A diferencia de las evaluaciones experimentales, este tipo de métodos no miden los indicadores de impacto sobre un gran número de individuos. Al contrario, estas evaluaciones proponen el cálculo del diferencial de impacto a partir de datos parciales a través de modelos basados en las teorías neoclásicas tales como el equilibrio de Pareto y la racionalidad económica de los agentes. Los dos tipos de evaluaciones más conocidos son : el método del excedente económico y los métodos econométricos a partir de las funciones de producción (Mareida et al., 2000; Masters et al., 1996).

Aquí, la elaboración de los escenarios “con” y “sin” proyecto se

...