Biodiversidad

CONSTRUCCIÓN DE INSTRUMENTOS DE MEDIDA PARA LA

EVALUACIÓN UNIVERSITARIA

JOSÉ MUÑIZ y EDUARDO FONSECA-PEDRERO

CIBERSAM, Universidad de Oviedo

RESUMEN: En el artículo se analizan los problemas metodológicos implicados en la

evaluación universitaria. Se trata de analizar todos aquellos aspectos técnicos y de

procedimiento que son necesarios para llevar a cabo evaluaciones rigurosas en el ámbito

universitario, tanto en lo relativo a investigación, como a la docencia y gestión. Para

ello se repasarán los distintos componentes de un proceso evaluativo integral, a saber,

qué se evalúa, partes legítimamente implicadas, quién evalúa, cómo se evalúa, feedback

a las partes, planes de mejora, y opinión de las partes. Se hará especial hincapié en los

requisitos metodológicos necesarios para que los instrumentos de medida utilizados en

la evaluación sean fiables y válidos. Para ello se describen diez pasos necesarios que

hay que seguir para construir y analizar este tipo de instrumentos de medida. Se finaliza

discutiendo las perspectivas de futuro en el ámbito de la evaluación universitaria.

PALABRAS CLAVE: Evaluación, Universidades. Construcción de tests. Escalas.

ABSTRACT: In this paper, we analyze the methodological problems involved in the

evaluation of universities. We describe the technical and procedural aspects required to

carry out rigorous assessments in the college context, particularly with respect to

research and teaching. We start by reviewing the different components of the integral

evaluation process, such as determining what is assessed, who are the assessors, how to

asses in a technically sound way, providing feedback to all stakeholders, developing

improvement plans derived from the evaluation, and measuring the opinions of those

involved in the evaluation process. Special attention is paid to the technology and the

methodology required for developing reliable and valid assessment instruments. Ten

steps followed to develop rigorous and objective assessment instruments are described

in detail, pointing out the possible difficulties and problems to be found. Finally, we

discuss future directions for college evaluation.

KEY WORDS: Evaluation. University. Test development. Scaling.

1. INTRODUCCIÓN

Parafraseando al clásico bien podría decirse

que un fantasma recorre la Universidad Española,

es el fantasma de la evaluación, de repente todo el

mundo se ha puesto a evaluar a todo el mundo a

todas horas.

__________________________________________

Fecha de recepción 08-10-2008 · Fecha de aceptación 17-12-2008

Correspondencia : José Muníz

CIBERSAN, Universidad de Oviedo

Tal vorágine evaluativa tiene como

finalidad legítima la elaboración de un diagnóstico

riguroso que permita mejorar los tres grandes

parámetros que determinan la calidad de una

Universidad: Investigación, Docencia y Gestión.

Ciertamente, sin una evaluación precisa de esos

tres parámetros no se puede hacer un diagnóstico

riguroso y certero que permita generar planes de

mejora basados en datos empíricos. Los rankings

de universidades, tanto nacionales como

internacionales ejercen una fuerte presión y nadie

quiere quedarse atrás (Buela-Casal, Bermúdez,

Sierra, Quevedo-Blasco y Castro-Vázquez, 2009).

Desde un punto de vista metodológico, una

evaluación integral de cualquier organización o

institución como es la Universidad requiere

JOSÉ MUÑIZ & EDUARDO FONSECA-PEDRERO

Revista de Investigación en Educación, ISSN: 1697-5200

14

disponer de un modelo general de evaluación que

integre y dé sentido a las distintas evaluaciones

específicas que necesariamente se llevarán a cabo.

Más allá de algunas deficiencias y limitaciones

técnicas de las evaluaciones concretas realizadas,

seguramente la limitación estructural más

importante en la evaluación actual de las

universidades es la carencia de un modelo general

que integre y guíe las evaluaciones sectoriales. Este

modelo general debe de dar respuesta clara y

operativa al menos a siete cuestiones clave:

- qué se evalúa

- cuáles son las partes legítimamente

implicadas en la evaluación

- quién evalúa

- cómo se evalúa: qué metodología utilizar

- qué feedback se ofrece a las partes

implicadas

- planes de mejora generados por la

evaluación

- opinión de las partes implicadas sobre la

evaluación.

A continuación se comentan de forma

somera los problemas implicados en cada una de

estas facetas, para finalmente centrarnos en lo que

constituye el núcleo central de este artículo, a

saber, cómo se evalúa, qué propiedades métricas

deben de tener los instrumentos de evaluación

universitaria para obtener datos fiables y válidos

que sirvan para tomar decisiones fundadas.

Conviene dejar claro ya desde el principio que

disponer de instrumentos de evaluación

técnicamente adecuados no garantiza en absoluto

un proceso evaluativo global exitoso, es una

condición necesaria, pero no suficiente. Si se

dispone de excelentes instrumentos de medida

desde el punto de vista métrico, pero se descuida

alguno de los siete aspectos citados del modelo

integral de evaluación habremos fracasado en el

proceso de evaluación.

1.1. Qué se evalúa

Lo primero y fundamental que hay que hacer

cuando se planifica una evaluación es definir de

forma clara, concisa y operativa aquello que se

desea evaluar. Esto parece obvio y de sentido

común, pero a menudo los objetivos de la

evaluación aparecen confusos y pobremente

definidos, con lo cual la evaluación está condenada

al fracaso, utilícese la metodología que se utilice.

Una definición operativa, es decir, susceptible de

ser medida, obliga a buscar un compromiso entre la

riqueza del constructo a medir y la objetividad de

los instrumentos de medida utilizados. Tan vano es

plantearse grandes objetivos que son imposibles de

medir de forma rigurosa, como medir de forma

muy precisa aquello que es irrelevante pero muy

medible. La virtud está en el punto medio, hay que

llegar a un compromiso para evaluar lo esencial del

constructo, y hacerlo de forma válida y fiable, lo

uno sin lo otro conduce a una evaluación fracasada.

En el contexto de la evaluación universitaria

existen numerosos objetivos de evaluación, pero

casi todos ellos se pueden clasificar en tres grandes

bloques: individuos, productos y sistemas. En el

caso de los individuos se evalúan alumnos,

profesores, personal de administración y servicios,

o gestores (Rectores, Decanos, Directores de

Departamento, etc.). La evaluación de cada uno de

estos aspectos conlleva una problemática específica

en la que resulta imposible entrar aquí, véase, por

ejemplo Centra (1993), Fernández (2008),

Fernández, Mateo y Muñiz (1995, 1996), Aleamoni

(1999), Beran y Violato (2005) y Marsh y Roche

(2000) para todo lo relativo a la evaluación del

profesorado. Conviene llamar la atención sobre la

escasa formación que los profesores universitarios

suelen tener sobre la metodología de la evaluación

educativa, imprescindible para llevar a cabo una

evaluación objetiva de los estudiantes (Brennan,

2006; Joint Committee on Standards for

Educational Evaluation, 2003). En cuanto a los

productos evaluados la gama es ciertamente

amplia, destacando los proyectos de investigación,

artículos, tesis, libros, curricula, planes de estudios,

etc. En cuanto a los sistemas evaluados pueden

citarse los departamentos, facultades, institutos,

grupos de investigación, másters, bibliotecas, y

universidades como tales.

Como se puede ver las dimensiones para

evaluar en el contexto universitario son muchas y

variadas, si bien no conviene que los árboles nos

impidan ver el bosque, los dos grandes parámetros

que determinan la calidad de una Universidad son,

por un lado, la calidad de los alumnos, y por otro,

la calidad de los profesores. La calidad de una

Universidad viene dada por el producto de esos dos

factores, igual que el rendimiento de un alumno

viene dado por el producto de su capacidad por su

esfuerzo. Atraer a los mejores alumnos y a los

mejores profesores es lo que garantiza la calidad de

una Universidad, si bien hay otros factores

complementarios de interés, tales como el número

de alumnos por profesor, las bibliotecas, las

facilidades informáticas, el tamaño de la

Universidad, la gestión realizada, la calidad de

aulas, laboratorios, instalaciones deportivas, cultura

de empresa, y un largo etcétera. La mayoría de los

CONSTRUCCIÓN DE INSTRUMENTOS DE MEDIDA PARA LA EVALUACIÓN UNIVERSITARIA

...