Validez Y Confiailidad

validez

La validez es una de las dos cualidades básicas que debe poseer un examen o, en general, todo instrumento de medida. La otra es la fiabilidad. Se dice que un examen es válido cuando evalúa efectivamente aquello que pretende evaluar (por ejemplo, la motivación de un individuo o su competencia comunicativa en una lengua). La validez, por tanto, consiste en el grado de adecuación de una prueba -o de una de sus partes- a lo que se considera que mide. Supone, como dice T. McNamara (2000) «hacerle un test al test».

De lo anterior se desprenden dos características: 1) la validez de una prueba está necesariamente ligada al propósito para el que ésta fue diseñada: una prueba válida para un propósito puede no serlo para otro; y 2) no es un concepto absoluto: las pruebas no son válidas o inválidas, sino válidas en mayor o menor grado para medir lo que pretenden.

Existen distintos métodos para determinar la validez, a los que algunos autores denominan «tipos» de validez. Éstos pueden englobarse en tres categorías:

a. Métodos internos (o tipos de validez interna): establecen la validez de una prueba mediante el análisis de su propio contenido. Algunos de ellos son los siguientes:

o Método de la validez aparente: permite establecer la validez de una prueba a partir de la opinión intuitiva de individuos, incluso no expertos -alumnos, administradores de la prueba, etc.-, sobre ella. Aunque en ocasiones ha sido considerado un método poco científico, resulta ser muy importante enevaluación, porque una prueba sólo es tomada en serio por los usuarios si es percibida como válida.

o Método de la validez racional o de contenido: permite determinar la validez de una prueba comprobando si los ítems de ésta contienen una muestra representativa de aquello que se pretende medir. Así, por ejemplo, se pide a un grupo de expertos que marque en una lista la destreza que creen que evalúa cada ítem.

o Método de la validez de respuesta: consiste en averiguar la validez de una prueba a través de técnicas destinadas a obtener información introspectiva de los alumnos sobre cómo han respondido a los ítems de esa prueba (p. ej., mediante entrevistas para averiguar por qué respondieron de cierta manera y no de otra).

b. Métodos externos (también llamados tipos de validez externa, empírica o de criterio): establecen la validez de una prueba comparándola con los resultados obtenidos por los mismos alumnos en otras pruebas. Esa comparación se realiza mediante instrumentos estadísticos (normalmente, el coeficiente de correlación, que mide numéricamente el grado en que dos conjuntos de resultados resultan coincidentes).

o Método de la validez concurrente: supone comparar los resultados de la prueba con los de otro instrumento (examen, autoevaluación, notas del profesor, etc.). Ambas pruebas deben evaluar a los mismos alumnos en un mismo momento y los resultados deben poder expresarse numéricamente para poder establecer el mencionado coeficiente de correlación.

o Método de la validez predictiva: supone comparar los resultados de la prueba con los de otra, que pretenda medir la misma habilidad y que es administrada a los mismos alumnos con posterioridad a la primera.

c. Método de la validez de constructo: posee atributos, tanto de los métodos internos, como de los externos. Teniendo en cuenta que un constructo es una conceptualización teórica sobre un aspecto del comportamiento humano que no es medible u observable por medios directos (como ocurre, por ejemplo, con la actitud o la comprensión auditiva), este método de validación consiste en evaluar hasta qué punto una prueba mide los constructos sobre los que ella misma se sustenta. Ello puede hacerse de diversas formas: solicitando a expertos que expliciten los constructos en los que se basan los ítems de la prueba (de forma, pues, análoga al método de validez de contenido) o mediante métodos estadísticos (la matriz multirrasgo-multimétodo de L. F. Bachman, el análisis factorial, etc.).

En todo caso, una prueba no puede ser válida si no es fiable (es decir, no puede medir lo que pretende si no puede hacerlo de forma precisa).

En cuanto al cumplimiento del requisito de validez en la evaluación de la competencia comunicativa de los aprendientes de segundas lenguas, éste resulta imprescindible en todas las pruebas, pero muy especialmente en las que se administran a una población de estudiantes numerosa y máxime si se trata de pruebas oficiales (por ejemplo, los exámenes DELE).

Los procedimientos más utilizados para determinar la confiabilidad mediante un coeficiente son:

1. Medida de estabilidad (confiabilidad por test-retest). En este procedimiento un mismo instrumento de medición (o ítems o indicadores) es aplicado dos o más veces a un mismo grupo de personas, después de un periodo de tiempo. Si la correlación entre los resultados de las diferentes aplicaciones es altamente positiva, el instrumento se considera confiable. Se trata de una especie de diseño panel. Desde luego, el periodo de tiempo entre las mediciones es un factor a considerar. Si el periodo es largo y la variable susceptible de cambios, ello puede confundir la interpretación del coeficiente de confiabilidad obtenido por este procedimiento. Y si el periodo es corto las personas pueden recordar cómo contestaron en la primera aplicación del instrumento, para aparecer como más consistentes de lo que son en realidad (Bohrnstedt, 1976).

2. Método de formas alternativas o paralelas. En este procedimiento no se administra el mismo instrumento de medición, sino dos o más versiones equi¬valentes de éste. Las versiones son similares en contenido, instrucciones, duración y otras características. Las versiones —generalmente dos— son admi¬nistradas a un mismo grupo de personas dentro de un periodo de tiempo relativamente corto. El instrumento es confiable si la correlación entre los resultados de ambas administraciones es significativamente positiva. Los patrones de respuesta deben variar poco entre las aplicaciones.

3. Método de mitades partidas (split-halves). Los procedimientos anteriores (me¬dida de estabilidad y método de formas alternas), requieren cuando menos dos administraciones de la medición en el mismo grupo de individuos. En cambio, el método de mitades-partidas requiere sólo una aplicación de la medición. Específicamente, el conjunto total de ítems (o componentes) es dividido en dos mitades y las puntuaciones o resultados de ambas son comparados. Si el instrumento es confiable, las puntuaciones de ambas mitades deben estar fuertemente correlacionadas. Un individuo con baja puntuación en una mitad, tenderá a tener también una baja puntuación en la otra mitad. El procedimiento se diagrama en la figura 9.5.

La confiabilidad varía de acuerdo al número de ítems que incluya el instrumento de medición. Cuantos más ítems la confiabilidad aumenta (desde luego, que se refieran a la misma variable). Esto resulta lógico, veámoslo con un ejemplo cotidiano: Si se desea probar qué tan confiable o consistente es la lealtad de un amigo hacia nuestra persona, cuantas más pruebas le pongamos, su confiabilidad será mayor. Claro está que demasiados ítems provocarán cansancio en el respondiente.

4. Coeficiente alfa de Cronbach. Este coeficiente desarrollado por J. L. Cronbach requiere una sola administración del instrumento de medición y produce valores que oscilan entre O y 1. Su ventaja reside en que no es necesario dividir en dos mitades a los ítems del instrumento de medición, simplemente se aplica la medición y se calcula el coeficiente.

La manera de calcular este coeficiente se muestra en la

siguiente sección.

5. Coeficiente KR-20. Kuder y Richardson (1937) desarrollaron un coeficiente para estimar la confiabilidad de una medición, su interpretación es la misma que la del coeficiente alfa.

La validez de contenido es compleja de obtener. Primero, es necesario revisar cómo ha sido utilizada la variable por otros investigadores. Y en base a dicha revisión elaborar un universo de ítems posibles para medir la variable y sus dimensiones (el universo tiene que ser lo más exhaustivo que sea factible). Posteriormente, se consulta con investigadores familiarizados con la variable para ver si el universo es exhaustivo. Se seleccionan los items bajo una cuidadosa evaluación. Y si la variable tiene diversas dimensiones o facetas que la componen, se extrae una muestra probabilística de ítems (ya sea al azar o estratificada —cada dimensión constituiría un estrato—). Se admi¬nistran los ítems, se correlacionan las puntuaciones de los ítems entre si (debe haber correlaciones altas, especialmente entre ítems que miden una misma dimensión) (Bohrnstedt, 1976), y se hacen estimaciones estadísticas para ver si la muestra es representativa. Para calcular la validez de contenido son necesarios varios coeficientes.

La validez de criterio es más sencilla de estimar, lo único que hace el investi¬gador es correlacionar su medición con el criterio, y este coeficiente es el que se toma como coeficiente de validez (Bohmstedt, 1976). Esto podría representarse así:

La validez de constructo se suele determinar mediante un procedimiento deno¬minado “Análisis de Factores”. Su aplicación requiere de sólidos conocimientos estadísticos y del uso de un programa estadístico apropiado en computadora.

...