Proyecto Internacional Para La

El Proyecto Internacional Para La

Producción De Indicadores De Resultados Educativos De Los Alumnos (Proyecto PISA) De La OCDE

Guillermo Gil Escudero

Marco del proyecto

Este proyecto tiene un carácter experimental dirigido al establecimiento de un sistema internacional de indicadores de la situación de la educación. Los objetivos básicos del proyectoson, en primer lugar, proporcionar a los países miembros de la OCDE un marco institucional en el que examinar la validez y relevancia de los indicadores educativos, definir los límites en los que se pueden desarrollar, comparar las experiencias nacionales relacionadas con la implantación de evaluaciones a gran escala y compartir las experiencias de mejora de la calidad de los sistemas educativos y, en segundo lugar, producir indicadores que aporten información útil sobre los sistemas educativos.

El proyecto está organizado en cinco grandes grupos de trabajo --cuatro redes y un grupo técnico- - dirigidos al estudio, definición, propuesta y experimentación de indicadores de la educación.

El grupo técnico está dirigido al desarrollo y perfeccionamiento de los indicadores estadísticos de la educación tradicionales tales como los datos de escolarización, de gastos en educación, de recursos, etc. La Oficina de Planificación y Estadística del Ministerio de Educación es la responsable de los trabajos de este grupo en España. La Red A tiene como campo de competencia los indicadores de los resultados educativos, de modo específico el desarrollo de indicadores en las áreas de conocimiento, destrezas y actitudes de los estudiantes, que sean relevantes para la política y que permitan la comparación válida entre sistemas educativos y a través del tiempo.

El proyecto pretende desarrollar un sistema de indicadores de la educación que sean comparables internacionalmente y que sean de utilidad para proporcionar información relevante para la toma de decisiones y la definición de las políticas educativas.

Resultados básicos

El primer tipo de producto lo constituyen conjuntos de indicadores fundamentales que proporcionarán un perfil básico de los conocimientos, destrezas y competencias de los estudiantes en cada país así como de los distintos subgrupos que sean de interés en función de sus características sociales.

Estos indicadores que se pretenden obtener abarcan la evaluación de los contenidos, los procesos, las actitudes, las conductas y los hábitos imbricados en el contexto de las áreas más importantes de contenido definidas de modo muy amplio, en vez de un modo restrictivo en el marco de una materia de conocimiento definida.

El segundo tipode producto lo constituye un conjunto de indicadores contextuales que reflejarán el modo en el que los resultados de los estudiantes se relacionan con variables importantes de carácter demográfico, social, económico y educativo.

El tercer tipode producto estará formado por indicadores de las tendencias de los resultados a través del tiempo. Un aspecto importante del diseño del proyecto es su capacidad de poder supervisar las variaciones en los resultados de los alumnos a través del tiempo, siendo la naturaleza cíclica del proyecto uno de sus puntos fuertes. Al recopilarse cada tres años datos sobre las mismas áreas de competencia se permitirá, utilizando las metodologías psicométricas adecuadas, desarrollar indicadores para evaluar el cambio a lo largo del tiempo.

El cuarto tipo de producto que se propone obtener con este proyecto consistirá en una base amplia de datos que permitirá llevar a cabo análisis ulteriores más detallados bien dirigidos a la toma de decisiones políticas o bien al desarrollo del conocimiento básico en el campo de la investigación educativa.

Ciclo de estudios

El proyecto tiene un carácter permanente, estando organizado en ciclos de estudios de cuatro años con un año de solapamiento entre ellos:

El primer año de cada ciclo está dedicado fundamentalmente al diseño del estudio, en concreto, al desarrollo del marco conceptual de la evaluación, la especificación y construcción de las pruebas y los items, el muestreo para la prueba piloto y el desarrollo de los procedimientos de administración de los instrumentos.

El segundo año se dedica principalmente a la realización de la prueba piloto de las pruebas y cuestionarios, e tercero a la obtención de datos definitiva y la elaboración de los resultados preliminares, y el cuarto al análisis y difusión de los resultados obtenidos.

Dado el desarrollo del conocimiento actual sobre el ritmo de cambio en el tiempo de los resultados educativos y sobre la precisión de las medidas del rendimiento académico, parece que una evaluación global de las áreas de la lectura en la lengua de instrucción, las matemáticas y las ciencias constituye un mecanismo razonable y suficiente para la supervisión de los sistemas educativos en lo que se refiere a los resultados académicos de los alumnos y a las tendencias y cambios en los mismos.

Cada tres años una de estas tres áreas será el foco principal de los estudios de modo que se realizará un análisis detallado de cada una de ellas cada nueve años. Estas áreas de contenido serán las prioritarias en la recogida de datos durante los tres primeros ciclos del proyecto, es decir, es sus primeros nueve años, ya que son las materias por las que muestran un mayor interés los responsables de los sistemas educativos, porque son prácticamente universales en todos los países y porque pueden ser medidas de un modo internacionalmente válido, debido fundamentalmente a la acumulación de experiencia a través de las investigaciones internacionales previas.

Instrumentos

Un aspecto especialmente relevante a tener en cuenta en un estudio internacional comparativo de estas características es el que se refiere a la equivalencia conceptual y psicométrica de los instrumentos, tanto pruebas de rendimiento como cuestionarios, una vez traducidos a los diferentes lenguajes en los que se administrarán las pruebas.

Pruebas de rendimiento

Para el desarrollo de los instrumentos en cada una de las áreas el diseño prevé definir un marco conceptual, o matriz de especificación de las pruebas, que defina y delimite los contenidos y capacidades a evaluar. Los currícula nacionales constituirán uno de los criterios, aunque no el único, para determinar los contenidos de las pruebas. Con esta finalidad, se recopilará información detallada sobre los currícula y los programas de evaluación de los países participantes para servir de fuente de información para el desarrollo del marco conceptual de las áreas a evaluar.

Cuestionarios de contexto

En el diseño del proyecto se incluye la obtención de datos de las características y del contexto de los alumnos y de las escuelas con el objeto de proporcionar información sobre los determinantes del rendimiento escolar y sobre la magnitud de su influencia. En principio, los cuestionarios se diseñarán de modo que, permitiendo obtener la información relevante, no supongan la utilización de un periodo de tiempo extenso para su cumplimentación.

El componente focalizado se diseñará específicamente para cada ciclo del proyecto con el objetode analizar en detalle algún tema de especial interés para la política educativa. Para el primer ciclo de estudios se ha seleccionado el tema de las relaciones entre el estatus socioeconómico y el rendimiento, por lo que el componente específico estará dirigido a obtener estimaciones fiables y detalladas de los niveles culturales, educativos y socioeconómicos del entorno de los alumnos.

Aunque el diseño del proyecto no incluye la recopilación de datos tomando como fuente de información a los profesores, los países que así lo deseen podrán desarrollar cuestionarios adicionales con el objeto de obtener información más detallada sobre el profesorado y sus prácticas pedagógicas.

Población y muestras a evaluar

Para la delimitación de la población a estudiar en el proyecto, se han tenido en cuenta las ventajas y desventajas de las alternativas de definir la misma en términos de edad o de curso. Dadas las grandes diferencias en la organización de los sistemas educativos es muy difícil, si no imposible, llegar a un acuerdo sobre la comparabilidad de los resultados tomando como base un curso o grado escolar, debido fundamentalmente a las diferencias en el inicio de la escolaridad y en el desarrollo curricular de los diferentes países. La delimitación de la población a estudiar en términos de edad proporciona un punto estándar en todos los países, aunque tiene el inconveniente de no tener un referente educativo específico. No obstante, la edad es claramente definible y fácilmente comprensible por las audiencias a las que van dirigidos los resultados de los estudios.

La edad objetivo del estudio se ha elegido tomando como criterio la edad más alta en la que la escolarización en los países de la OCDE es prácticamente universal. En consecuencia, la población elegida ha sido la de los alumnos que cumplen 15 años en el año de obtención de datos (para el primer ciclo que tomará los datos en el año 2000 será la cohorte de alumnos nacidos durante el año 1984), siendo esta la edad en la que la mayoría de los alumnos de los países miembros de la OCDE terminan su escolaridad obligatoria. En el caso de que los

...