Taller De Psicopedagogía

Asignatura: Evaluación de programas de intervención

Curso y Titulación: 2º de Psicopedagogía

Objetivo básico del tema:

Con el desarrollo del presente tema se pretende conseguir que el alumno pueda introducirse en la evaluación de diferentes programas de intervención psicopedagógica, utilizando determinados estándares, criterios e indicadores de evaluación.

Otros objetivos del tema son:

Comprender el significado y la utilidad de algunos de los estándares, criterios e indicadores que regulan la evaluación de programas.

Elaborar criterios e indicadores de la evaluación de programas.

Aplicar criterios, estándares e indicadores en la evaluación de al menos un programa de intervención psicopedagógica.

Contenidos:

1. Criterios, estándares e indicadores. (pág, 3)

2. Algunas propuestas de criterios de evaluación (pág. 5)

3. Formalización de indicadores de evaluación (pág. 6)

4. Algunas propuestas de indicadores de evaluación (pág. 11)

5. Utilidad de los indicadores en la evaluación de programas (pág. 18)

Desarrollo del tema:

Se apoya en la explicación de los conceptos ya indicados y en la presentación de un caso práctico que requiera la elaboración de criterios e indicadores para la evaluación de programas y su aplicación a un programa concreto.

Materiales:

Documento de desarrollo de los contenidos del tema, incluyendo ejemplos de criterios e

indicadores.

2. Programas de intervención psicopedagógica.

3. Bibliografía (ver pág. 19).

Autoevaluación:

Una vez finalizado el tema, se tratará de determinar si el alumno domina el objetivo básico del módulo. Para ello, se utilizará una prueba escrita, con varias preguntas de respuesta breve. Además el alumno completará una práctica sobre la elaboración y aplicación de criterios e indicadores para la evaluación de programas (ver pág. 20).

criterios, estándares e indicadores

Aunque se ha comentado con anterioridad, conviene recordar de nuevo que la evaluación de programas requiere valorar la información obtenida sobre los componentes de un programa comparándola con algún referente interno o externo de calidad, es decir, con un criterio. En alguna propuesta se ha planteado la posibilidad de abordar la evaluación de programas sin contar con criterios previamente establecidos (Cronbach, 1981). La idea de una evaluación sin criterios no supone, contra lo que la propia expresión parece sugerir, que se establezcan valoraciones sobre un programa sin establecer elementos de comparación; por el contrario, plantea la posibilidad de criterios emergentes al proceso mismo de evaluación.

Comencemos, no obstante, definiendo los términos claves de este tema; criterio, estándar, indicador, descriptor... Un criterio es un objetivo de calidad respecto del que puede ser valorado un programa de intervención psicopedagógica. Ese criterio puede establecerse en forma de normas o estándares y en forma de criterios no estándares.

Las normas (estándares) son unidades de medición (Dewey,1934). Las que se manejan en el sistema educativo proceden, según Noriega y Muñoz (1996), de dos fuentes principales:

Legislativa: las disposiciones legales establecen multitud de “declaraciones de expectación” obligatorias en cuanto a su cumplimiento. Reciben el nombre específico de normas legales.

Cuando situamos como estándar de calidad de un proyecto curricular o de un programa especial (p.e. adaptación curricular) la adaptación a las características del entorno y los alumnos, simplemente nos estamos haciendo eco de una norma legal que establece la necesidad de que el PCC u otros programas se elaboren teniendo en cuenta las características del entorno y los alumnos.

Epistemológica: los especialistas y profesionales en un determinado área de las Ciencias de la Educación han llegado a una serie de conclusiones que sirven para elaborar las directrices con las que guiar los procesos educativos.

Fijar normas o estándares de evaluación requiere de un importante nivel de consenso social, para que sean reconocidas tienen que ser aceptadas colectivamente. Así, respecto del contenido del programa un criterio estándar de calidad es la coherencia entre el programa y las bases socio-psico-pedagógicas (la teoría) en que dice ampararse. Este criterio permitiría, valorar la medida en que el programa se apoya en unos fundamentos teóricos sólidos. En relación con el desarrollo del programa, un criterio que cuenta con el suficiente respaldo entre los evaluadores es el de la conformidad con la planificación: la constatación de un nivel aceptable de conformidad entre planificación y desarrollo es un término que permite establecer la calidad de la aplicación de un programa.

Los estándares admiten diferentes gradaciones, desde un mínimo exigible hasta un óptimo deseable. Esta característica permite conducir el proceso de evaluación a través de estándares que matizan la frecuencia o el grado de aproximación de la realidad evaluada. La cualificación métrica del estándar puede ser:

Por presencia/ausencia

Por frecuencia de aparición del mismo, como se representaría en una escala del tipo Nunca....Siempre.

Por valoración cualitativa, en escalas del tipo: Deficiente.... Excelente (Noriega y Muñoz, 1996: 10).

Los criterios no estándares adoptan la forma de argumentaciones o “razones” en las que se fundamentan las valoraciones sobre los componentes de un programa. En relación con el Proyecto Curricular de Centro, ejemplos de criterios de evaluación serían: “Atender las necesidades de los alumnos mediante la orientación y regulación de los procesos de enseñanza y aprendizaje”; “Difundir los criterios y procedimientos de evaluación para democratizar su aplicación”; “Establecer medidas de atención a la diversidad para regular el esfuerzo educativo de los alumnos”, etc. Por supuesto, que establecer criterios no estandarizados requiere previamente de un acuerdo intersubjetivo.

La valoración de la ratio de egresados matriculados o el número de alumnos por aula pueden considerarse como criterios con referencia a normas standar cuando se utilizan en relación con la media global, mientras que el tipo de metodología docente o el sistema utilizado en la evaluación de los alumnos constituyen criterios cuyas normas no son estándar y por tanto reclaman previamente un consenso intersubjetivo para que cada observador pueda “leer el mismo valor” a partir de los datos que ofrece un instrumento o indicador. De lo contrario, lo que para unas personas son criterios de calidad para otras simplemente son “datos”(De Miguel, 1991:xxxii).

Aplicar este tipo de criterios exige familiaridad con lo que representan los juicios y valoraciones, habilidad para proveerse de razones que justifiquen esos juicios y, por supuesto, entender porqué unos criterios y no otros resultan relevantes para juzgar el programa que se evalúa. Entonces, como señala Eisner (1993), aplicar criterios no estandarizados es una empresa intelectualmente mucho más compleja que aplicar una norma.

Normas y criterios no estándares, para ser aplicados en un proceso de evaluación, tienen que concretarse bajo la forma de un conjunto de variables empíricamente observables y que proporcionen información -cuantitativa o cualitativa- pertinente sobre el programa objeto de evaluación, es decir, mediante indicadores.

Cuando el indicador tiene una expresión numérica se le conoce con el nombre de índice. La ratio, la tasa, la frecuencia, etc. son ejemplos típicos de índices numéricos utilizados en la evaluación de programas. Cuando el indicador no traduce una expresión numérica sino que se define en forma escalar o aparece como valoración o argumentación se le denomina descriptor. Un descriptor puede, por tanto, indicarnos la presencia/ausencia de un elemento a evaluar, el grado de consecución del mismo o un juicio de valor/una argumentación sobre el elemento objeto de evaluación.

2. ALGUNAS PROPUESTAS DE CRITERIOS de evaluación

En el modelo de evaluación de programas desarrollado por Pérez Juste (1995) encontramos referencias a los criterios de evaluación recomendables en cada uno de los momentos en que dicho modelo secuencia el proceso evaluativo: el programa en sí mismo, el programa en su desarrollo y el programa en sus resultados.

EL PROGRAMA EN SÍ MISMO

Calidad intrínseca del programa

1. Contenido del programa:

Coherencia entre el programa y las bases socio-psico-pedagógicas en que dice ampararse.

2. Calidad técnica del programa:

Especificación precisa y clara de las metas.

Congruencia externa entre metas y teoría.

Coherencia interna entre las partes del plan.

Adecuación de los sujetos, evitándose tanto la falta de motivación cuanto la inexistencia de desafío o el exceso de exigencia (falta de realismo).

3. Evaluabilidad del programa:

Claridad y precisión del lenguaje utilizado.

Claridad en relación con los criterios y referencias de evaluación.

Previsión de las decisiones a tomar.

Definición inequívoca de las variables.

Explicitación de los componentes fundamentales del programa.

Adecuación al contexto

1. Necesidades y programas:

Existencia y calidad técnica del diagnóstico de necesidades.

Coherencia entre las necesidades detectadas y priorizadas y el programa formulado.

2. Establecimiento de prioridades:

Atendiendo a elementos de carácter técnico/experto (relevancia/

...