EDUCACIÓN

EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM

PRUEBAS PISA: NIVELES DE DESEMPEÑO

Y CONSTRUCCIÓN DE PREGUNTAS
Luis Piscoya
Hermoza

1. I NTRODUCCIÓN

E
n este artículo nos proponemos describir las características de lo que puede
denominarse el Proyecto PISA (OECD Programme for International Student
Assessment) que constituye el esfuerzo de mayor envergadura y complejidad,
dentro de la comunidad internacional, para medir los conocimientos y habilidades de
los escolares de 15 y 16 años, en términos que permitan la comparación fiable de los
puntajes obtenidos, por muestras tomadas en los centros educativos, de una pluralidad
de países instalados en diversas culturas. Creemos que una presentación, aunque
sea preliminar, de los alcances del proyecto PISA es importante no sólo por su
envergadura y generalidad sino, principalmente, por las peculiaridades que caracterizan
a su concepción de la medición de la calidad de los servicios que ofrecen los sistemas
educativos en actual vigencia, la misma que está ligada a las más avanzadas ciencias
y tecnologías de la educación y a una comprensión explícita del rol central que debe
cumplir la educación en cualquier proyecto social orientado por una visión de futuro
racionalmente fundada.
El contexto dentro del cual deben entenderse los objetivos sociales y educacionales
del proyecto PISA es, en medida significativa, extraño a la realidad educacional de
nuestro país. En efecto, han transcurrido ya aproximadamente 40 años desde que
países vecinos como Chile, Colombia y Brasil establecieron sistemas de pruebas
nacionales con la finalidad de medir anualmente los rendimientos escolares en el
nivel de la educación básica, a fin de contar con indicadores de la calidad de los
aprendizajes producidos por los sistemas educativos como justificación del gasto
público que realizan los estados en infraestructura, equipamiento, sueldos de los
docentes y materiales educativos, con cargo a los impuestos que pagan los miembros
de la comunidad nacional. Sin embargo en el Perú, salvo el caso de las denominadas
pruebas de madurez mental que tuvieron vida efímera en la década de 1950, no ha
existido proyecto alguno para la aplicación cíclica de pruebas nacionales a los escolares
del nivel de educación básica, pese a que el desarrollo científico y tecnológico en la
materia ha sido notable y a que el perfeccionamiento y abaratamiento de los equipos
informáticos ha sido creciente, lo cual ha facilitado que los sistemas de pruebas
nacionales sean de uso generalizado en la región, en Europa y en amplios sectores
asiáticos, encontrándonos entre las pocas excepciones.
La difusión de las pruebas nacionales y de las internacionales en América Latina
ha sido una consecuencia de la influencia de las aplicaciones educacionales de la
psicometría a través del Educational Testing Service de New Jersey. Esta institución
desarrolló una metodología para la elaboración de pruebas de selección múltiple, de
calificación automática y de aplicación masiva, entre las que destaca el SAT (Scholastic
21
Aptitud Test) que es el instrumento de selección de postulantes que usan hasta la
fecha la mayor parte de las universidades norteamericanas. Utilizando esta misma
metodología se han establecido en América Latina pruebas internacionales, algunas

Educación , Año I, N.° 2, diciembre 2004; pp. 21-34

EDUCACIÓN
PRUEBAS PISA
de las cuales tienen su origen en Estados Unidos y
Canadá. Entre ellas puede mencionarse a Civic
Education Study, IALS (International Adult Literacy
Survey), ALL (Adult Literacy and Lifeskills), PIRLS
(Progress in International Reading Literacy Study),
TIMSS (Third International Mathematics and Science
Study) y TIMSS-R, entre otras. Al respecto, debemos
señalar que el Perú, con excepción de la prueba
LLECE de UNESCO, no ha participado en ninguna
de estas pruebas que permiten comparaciones en
la región, mientras que Argentina, Colombia, Brasil,
Chile, México y, ocasionalmente, Bolivia y Costa Rica
registran participaciones reiteradas entre 1991 y el
año 2002.
Seguramente, lo que singulariza con mayor nitidez
y relevancia al Proyecto PISA es su peculiar
concepción de la alfabetización que excede en mucho
lo que tradicionalmente se ha entendido en caste-
llano al respecto, esto es, saber leer, escribir y realizar
operaciones aritméticas muy elementales.
Normalmente no diríamos, de acuerdo con
nuestros estándares, que un alumno al concluir el
quinto grado de secundaria está aceptablemente
alfabetizado o que es objetivo de la educación
secundaria alfabetizar a nuestros escolares que se
encuentran entre 15 y 16 años. En nuestro lenguaje
decimos que alfabetizamos a quien no ha tenido
acceso oportuno al sistema escolar y si lo realizamos
con éxito hemos resuelto una emergencia, pero
todavía nos encontramos muy lejos de un mínimo
educativo deseable. Por ejemplo, nunca he escucha-
do que el uso del plano cartesiano o que la solución
de ecuaciones de primer grado sean parte de un
programa de alfabetización, pero sí del plan de
estudios de educación secundaria.
En contraposición a lo anterior, lo que podemos
denominar el Enfoque PISA (PISA literacy approach) se
propone definir cada área de evaluación, esto es
matemática, ciencias, comprensión de lectura y solución
22 de problemas no principalmente en términos de
capacidades y destrezas minimalistas, sino en términos
de los conocimientos y habilidades que se requieren
para lograr una participación plena en la cada vez más
compleja sociedad del siglo XXI. Este planteamiento,
que es completamente compatible con lo que piensan
sobre evaluación de la educación los especialistas
respetados por la comunidad académica internacional,
evita las discusiones bizantinas de quienes se
encuentran enfrascados en debates curriculares hace
tres décadas tratando de dirimir devotamente si elaboran
el plan de estudios a partir de un listado de objetivos
conductuales skinnerianos o de competencias "cons -
tructivistas". Esta es la herencia pesada que dejaron,
pienso que involuntariamente, los teóricos iniciales del
SAT, cuyos planteamientos han sido tergiversados por
quienes han pretendido, primero, medir las aptitudes
con independencia de los conocimientos y, luego,
escribir currículos a partir de competencias y destrezas
disolviendo por resolución ministerial las disciplinas
científicas.
El énfasis del proyecto PISA en tomar en el plano
cartesiano como eje X los conocimientos y como eje
Y un conjunto de habilidades generales o de desem-
peños identificables (recuperar información, Interpre-
tar textos, reflexionar y valorar) se manifiesta clara-
mente en el hecho de que cada una de sus etapas
ha estado definida por una dimensión del conoci-
miento o por aquello que lo viabiliza y fortalece. Las
pruebas PISA 2000 estuvieron orientadas preferente-
mente a evaluar la comprensión de lectura pero no
en términos de "aprender a leer" sino de "leer para
aprender". Así se entiende el sentido instrumental de
la lectura, que no se limita al texto literario sino que
incorpora de manera equilibrada la lectura de diagra-
mas y curvas en el plano cartesiano, la comprensión
de diagramas de flujo, organigramas, mapas, tablas
de doble entrada y signos icónicos. Todo ello es parte
no sólo de los informes científicos sino también de
los administrativos, de los informes periodísticos o
de la señalización de las estaciones del Metro que
todavía no hay en Lima pero que existe en la mayor
parte de las ciudades del planeta que son represen-
tativas de la compleja sociedad contemporánea. En
armonía con lo expuesto, las pruebas PISA 2003, en
las que han participado 40 países, han estado
orientadas eminentemente a evaluar matemática y
las pruebas PISA 2006, en las que participarán 60
países, privilegiarán la evaluación de las ciencias
básicas.
 EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM
Lo antes dicho prueba suficientemente que el enfoque
PISA parte de los conocimientos científicos que
constituyen la herramienta de supervivencia, desarrollo y
dominio más potente que ha creado la cultura occidental
a partir de la racionalidad del pensamiento filosófico
griego y de su correspondiente matemática. Desde esta
entrada, enraízada en la tradición filosófica y científica, se
definen las preguntas de las pruebas en términos de
tareas, que miden las habilidades y destrezas necesarias
para utilizar la comprensión de lectura como herramienta
para aprender e incrementar el conocimiento, y la
matemática y las ciencias como herramientas para ser
empleadas en el mundo real poniéndolas en
funcionamiento en la solución de necesidades presentes
y en la previsión de futuras, más que en la elaboración
de respuestas exitosas a las preguntas del currículum
escolar. De esta manera no se pierde el sentido de la
educación en la descomposición artificial y psicologista
de competencias en capacidades, destrezas y
habilidades que asumidas como funciones o entidades
independientes se multiplican en átomos que nada
tienen que ver con el carácter estructural e integrador de
las producciones científicas. En lugar de ello, los
conductores académicos de PISA proponen tareas con
temas adecuadamente definidos que se distinguen por
su grado de organización lógica, por la riqueza simbólica
del lenguaje utilizado y por el grado en que demandan
ejercitar habilidades como intuir, razonar, argumentar,
comunicar, modelar y plantear y solucionar problemas.
Estos criterios son suficientes para definir operacional-
mente, por ejemplo, seis niveles de desempeño en
matemática y construir 85 preguntas (tareas) que
expresan una meta teórica que no se espera que escolar
alguno pueda responder en su totalidad.
Estando el presente número de la revista Educación
dedicado a la innovación y evaluación pedagógicas, en
lo que sigue procederemos a exponer el aporte de los
teóricos de las pruebas PISA en la definición de los
niveles de desempeño para la medición de los
conocimientos y habilidades que requieren los
escolares de 15-16 años para afrontar con éxito los
desafíos del futuro. Incluiremos también algunos
criterios específicos para orientar la construcción de
preguntas, y luego presentaremos como anexo algunos
cuadros que muestran los resultados de las pruebas
UNESCO 1998-2000, y PISA 2000 y 2003, y sus
implicancias. El Perú sólo participó en las dos primeras
con resultados extremadamente deficientes que no han
recibido hasta la fecha la atención que merecen de los
responsables de la conducción y administración de
nuestro preocupante sistema educativo. En la medida
que consideramos que los referidos cuadros hablan
por sí mismos, hemos omitido, esta vez, comentario
alguno para dejar la tarea de reflexión y enjuiciamiento
completamente a cargo del lector.
2. PRUEBAS DE COMPRENSIÓN DE LECTURA
2.1. Niveles de Desempeño
Las pruebas PISA de comprensión de lectura se
proponen medir cinco niveles de desempeño, en
sentido decreciente, del más complejo al más simple,
los mismos que combinan en diversos grados de
complejidad las siguientes habilidades: a)
recuperación de información; b) interpretación de
textos; y c) razonamiento y evaluación. A continuación,
presentamos un cuadro que es, en lo principal, una
versión castellana del autor de este artículo del
cuadro que se encuentra en el capítulo II, página 42
del informe PISA 2000.
23
EDUCACIÓN
PRUEBAS PISA
NIVELES DE DESEMPEÑO DE LAS PRUEBAS PISA 2000 DE COMPRENSIÓN DE LECTURA
Habilidades Recuperación de
Niveles información
Localiza y posiblemente s ecuen-
cia o combina múltiples piezas
con información implícita, parte
de la c ual puede encontrarse fue-
5.º ra del c uerpo principal del texto.
Infiere qué información del texto
es relevante para la tarea. Trata
con información altamente plausi-
ble o c on alternativas en conflicto.
Localiza y posiblemente s ecuen-
cia o combina múltiples piezas
con informac ión, cada una de las
cuales puede incluir criterios
4.º diversos dentro de un texto con
forma o contex to poco común.
Infiere qué información del texto
es relevante para la tarea.
Localiza y en algunos casos re-
conoce las relaciones entre pie-
zas de información, cada una de
las cuales puede incluir una diver-
3.º sidad de criterios. Trata con infor-
mación alternativa.
Localiza una o más piezas de in-
formación cada una de las cuales
puede incluir diversos criterios. Tra-
2.º ta con información alternativa.
Localiza una o más piezas inde-
pendientes con información explí-
1.º cita que satisface típicamente un
solo criterio, con escasa o ningu-
na información en conflic to.
24
Interpretación de
textos
Construye el significado de un
lenguaje con matices sutiles o
demuestra una comprensión ple-
na y detallada de un texto.
Hace inferencias en base a un
texto complejo para comprender y
aplicar categorías en un contexto
poco común y para construir el sig-
nificado de un segmento del texto
teniendo en c uenta el texto como
un todo. Trata con ambigüedades ,
ideas poco comunes e ideas ex-
presadas negativamente.
Integra varias partes de un texto
para identificar la idea principal,
comprende una relación o cons-
truy e el significado de una pala-
bra o frase. Compara, contrasta o
categoriza teniendo en cuenta va-
rios criterios. Trata con informa-
ción alternativ a.
Identifica la idea principal de un
texto, comprende relaciones, cons-
truye o aplica categorías simples o
construye el signific ado de una par-
te limitada de texto que contiene
información no-obvia y que requie-
re referentes de bajo nivel.
Reconoce el tema principal o el
propósito del autor en un texto
sobre un tópico familiar cuando la
información requerida por el texto
es muy visible.
Razonamiento y
evaluación
Evalúa c rític amente o hipotetiza
recurriendo a conocimiento espe-
cializado maneja conceptos poco
comunes y muestra una com-
prensión profunda de textos lar-
gos o complejos.
Usa conocimiento público o for-
mal para hipotetizar sobre un tex-
to o evaluarlo críticamente. Mues-
tra comprensión cuidadosa de un
texto largo o complejo.
Hace c onexiones o comparacio-
nes, da explicaciones o evalúa
una característica de un texto.
Demuestra una c omprens ión
detallada del texto con respec to al
conocimiento cotidiano o recurre
al conocimiento menos común.
Hace c omparaciones o c onexio-
nes entre el texto y el conoci-
miento exterior al mis mo o explica
una c aracterística del texto recu-
rriendo a la experiencia personal
y a actitudes.
Hace una conexión simple entre
el texto y el conocimiento cotidia-
no o común.
 EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM
2.2. Intervalos de los Niveles de Desempeño
En el siguiente cuadro detallamos los intervalos
correspondientes a cada nivel de desempeño en las
pruebas PISA de comprensión de lectura. El 1.º es el
nivel de desempeño más bajo considerado dentro
de la escala de calificación. Sin embargo, este nivel
no corresponde a un estándar mínimo aceptable sino
a un estándar mínimo registrado en los países de la
OECD, que coincide con el puntaje que corresponde
al valor del promedio menos tres desviaciones
estándar ( s ). Cabe señalar que los escolares
peruanos obtuvieron en promedio, en el año 2001,
un puntaje inferior a 335, lo que los ubica en una
posición, estadísticamente, bajo 0.
ESTÁNDARES DE LAS PRUEBAS PISA POR NIVEL
DE DESEMPEÑO EN COMPRENSIÓN DE
LECTURA
Niveles Intervalo
5.º más de 625
4.º 553 - 625
3.º 481 - 552
2.º 408 - 480
1.º 335 - 407
2.3. Naturaleza de las Tareas o Preguntas de
Comprensión de Lectura
El contenido de las tareas expresada por las
preguntas ha sido clasificado en 31 categorías que
presentamos, luego, de mayor a menor orden de
complejidad. Asimismo, en la medida que las
pruebas PISA de comprensión de lectura han sido
estandarizadas, después de detallar el contenido de
las preguntas propias de cada categoría, hemos
añadido entre paréntesis el puntaje estándar que con
una probabilidad de 0.62 alcanzaría el estudiante
capaz de contestar la pregunta correspondiente a
dicha categoría. Naturalmente, para este estudiante
la probabilidad de contestar preguntas corres-
pondiente a estándares menores al de la pregunta
de referencia es mayor que 0.62.
2.3.1. Manejo de hipótesis acerca de un fenómeno
inesperado teniendo en cuenta conocimientos
externos al texto y toda la información relevante
contenida en un cuadro complejo sobre un
tópico relativamente no familiar (puntaje
aproximado: 822).
2.3.2. Análisis de varios casos descritos asociándolos
a las categorías presentadas en un diagrama
de árbol en el que parte de la información
relevante se encuentra en notas a pie de páginas
(puntaje aproximado: 727).
2.3.3. Manejo de hipótesis acerca de un fenómeno
inesperado tomando en cuenta el conoci-
miento externo al texto y parte de la informa-
ción relevante, contenida en un cuadro
complejo, sobre un tópico relativamente no
familiar (puntaje aproximado: 705).
2.3.4. Evaluación del episodio final de una larga
narración en relación a un tema implícito
(puntaje aproximado: 652).
2.3.5. Distinguir matices del lenguaje en una na-
rración respecto al tema principal, en presen-
cia de ideas en conflicto (puntaje aproxima-
do: 645).
2.3.6. Localizar información en un diagrama de
árbol usando información contenida en notas
de pie de página (puntaje aproximado: 631).
2.3.7. Construir el significado de una oración rela-
cionándolo con un contexto amplio en una
narración (puntaje aproximado: 603).
2.3.8. Manejar hipótesis acerca de una decisión
relacionándola con la evidencia mostrada en
un gráfico para inferir el tema principal de un
gráfico múltiple (puntaje aproximado: 600).
2.3.9. Comparar y evaluar el estilo de dos cartas
abiertas (puntaje aproximado: 581).
2.3.10. Evaluar la parte final de una narración en relación
con la trama (puntaje aproximado: 567).
2.3.11. Inferir una relación analógica entre dos fenó-
menos discutidos en una carta abierta (pun- 25
taje aproximado: 542).
2.3.12. Identificar la información de partida implicada
por la construcción de un gráfico (puntaje
aproximado: 540).
EDUCACIÓN
PRUEBAS PISA
2.3.13. Construir el significado de citas cortas de una
narración en relación con la atmósfera o
situación inmediata (puntaje aproximado:
539).
2.3.14. Conectar evidencias dadas en una narración
con conceptos personales para justificar un
punto de vista opuesto (puntaje aproximado:
537).
2.3.15. Explicar las motivaciones de un personaje
vinculándolas a eventos descritos en una
narración (puntaje aproximado: 529).
2.3.16. Inferir la relación entre dos gráficos presen-
tados con convenciones diferentes (puntaje
aproximado: 508).
2.3.17. Evaluar la aplicabilidad de un diagrama de
árbol para propósitos particulares (puntaje
aproximado: 486).
2.3.18. Localizar información numérica en un dia-
grama de árbol (puntaje aproximado: 485).
2.3.19. Conectar la evidencia descrita en una
narración con conceptos personales para
justificar un punto de vista particular (puntaje
aproximado: 480).
2.3.20. Localizar y combinar información en un
gráfico lineal y luego usarla para inferir un
valor numérico desconocido (puntaje aproxi-
mado: 478).
2.3.21. Comprender la estructura de un diagrama
de árbol (puntaje aproximado: 477).
2.3.22. Aparear categorías dadas en un diagrama de
árbol para describir casos en situaciones en
las que la información relevante está en una
nota a pie de página (puntaje aproximado: 473).
2.3.23. Interpretar información proporcionada en un
párrafo para comprender el escenario de una
narración (puntaje aproximado: 447).
2.3.24. Distinguir entre variables y características
estructurales de un diagrama de árbol
(puntaje aproximado: 445).
26 2.3.25. Identificar los propósitos de dos textos cortos
(puntaje aproximado: 421).
2.3.26. Localizar las partes de la información implícita
en un texto que contiene organizadores fuertes
(puntaje aproximado: 405).
2.3.27. Inferir la idea principal de un gráfico de barras
desde su título (puntaje aproximado: 397).
2.3.28. Localizar un fragmento de información literal
en un texto con estructura clara (puntaje
aproximado: 392).
2.3.29. Localizar información explícita en una
sección corta, previamente especificada, de
una narración (puntaje aproximado: 367).
2.3.30. Localizar un fragmento con información
explícitamente definida en un texto con títulos
(puntaje aproximado: 363).
2.3.31. Reconocer el tema de un artículo que tiene
subtítulos claros y redundancia considerable
(puntaje aproximado: 356).
3. PRUEBAS PISA DE MATEMÁTICA
3.1. Contenidos y habilidades
Las pruebas PISA 2003, como hemos señalado
antes han estado destinadas principalmente a medir
los conocimientos y habilidades que se expresan a
través del concepto de Mathematical Literacy que
puede traducirse literalmente al castellano como
Alfabetización Matemática pero que, ciertamente,
debe entenderse en el contexto que hemos descrito
en la Introducción. Estas pruebas estuvieron
destinadas a medir el desempeño de los escolares
en cuatro áreas: espacio y figura, cambio y relaciones,
cantidad e incertidumbre. La primera incluye
fenómenos geométricos y espaciales, y propiedades
de los objetos. La segunda incluye relaciones entre
variables y una comprensión de lo que ellas
representan, incluyendo ecuaciones. La tercera
incluye fenómenos numéricos, relaciones y modelos
cuantitativos. La cuarta explora fenómenos estadís-
ticos y probabilísticos.
Como puede observarse, las áreas no están
planteadas en el nivel del conocimiento del formalismo
matemático sino en el nivel de la identificación y manejo
de situaciones problemáticas que se expresan en
estados fenoménicos, las mismas que deben ser
manejadas utilizando herramientas matemáticas.
 EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM

Las habilidades requeridas para utilizar los • Habilidades de razonamiento. Requiere

conocimientos incluidos en las cuatro áreas antes
mencionadas no se entienden como entidades sino
como conjuntos de destrezas que se clasifican en tres
conglomerados distinguibles aunque generalmente
operen en conjunto.
• Habilidades para la reproducción de informa-
ción. Referentes a la reproducción del conoci-
miento así como al reconocimiento de tipos de
problemas y procesos matemáticos realizando
operaciones rutinarias. Estas habilidades se
aplican a las tarea más simples.
• Habilidades de conexión o ligaduras. Exigen ir
mas allá de los problemas de rutina para hacer
interpretaciones y vincular situaciones diferentes,
pero todo ello en contextos relativamente
familiares. Estas habilidades se usan en la
solución de problemas de mediana dificultad.
intuición y razonamiento tanto como creatividad
en la identificación de los elementos que
constituyen un problema matemático. Estos
problemas a menudos son complejos, requie-
ren hacer conexiones y tienden a ser los más
difíciles de las pruebas PISA.
3.2.Niveles de desempeño en las pruebas PISA
de Matemática
La calificación de las prueba PISA de Matemática
incluye seis niveles de desempeño, en sentido
decreciente, del más complejo al más simple. Cada
uno de estos niveles combina por grado de comple-
jidad cada una de los conjunto de habilidades antes
descritos. En lo que sigue presentamos una versión
castellana del cuadro contenido en la página 5 del
sumario ejecutivo del informe PISA 2003.

NIVELES DE DESEMPEÑO EN LAS PRUEBAS PISA 2003 DE MATEMÁTICA

Los estudiantes pueden conceptualizar, generalizar y utilizar información basada en sus investigaciones y el modelamiento
de situaciones problemáticas complejas. Pueden vincular diferentes fuentes de información y representaciones y hacer
traducciones flexibles entre ellas. Son capaces de alcanzar el razonamiento y el pensamiento matemático avanzado.
6 Aplican la intuición y comprensión acompañadas de un manejo diestro de la relaciones y operaciones matemáticas en
el nivel formal y simbólico para desarrollar estrategias y aproximaciones nuevas para manejar situaciones novedosas.
Pueden comunicar y formular con precisión sus acciones y razonamientos considerando sus hallazgos, interpretaciones,
argumentos, y la adecuación de estos a la situación original.
Los estudiantes pueden desarrollar y trabajar con modelos aplicables a situaciones complejas identificando restricciones
y especificando presuposiciones. Pueden seleccionar, comparar y evaluar estrategias apropiadas de solución p ara tratar
problemas complejos relativos a estos modelos. Pueden trabajar estratégicamente usando habilidades de razonamiento
5 y de pensamiento bien desarrollado, representaciones adecuadamente vinculadas, caracterizaciones formales y simbólicas
e intuiciones propias de las situaciones complejas. Pueden razonar sobre sus acciones y formular y comunicar sus
interpretaciones y razonamientos.

Los estudiantes pueden trabajar eficientemente con modelos explícitos aplicables a situaciones concretas, pero complejas
que pueden incluir restricciones y demandar presuposiciones. Pueden seleccionar e integrar diferentes representaciones,
4 incluyendo las simbólicas, para ligarlas directamente a situaciones problemáticas del mundo real. En este nivel los
estudiantes pueden utilizar habilidades bien desarrolladas y razonamiento flexible junto con algunas intuiciones.
Pueden construir y comunicar explicaciones y argumentaciones basadas en sus interpretaciones, argumentos y acciones.
Los estudiantes pueden ejecutar procedimientos previamente descritos incluyendo aquellos que requiere decisiones
secuenciales. Pueden seleccionar y aplicar estrategias simples de solución de problemas. Pueden interpretar y usar
3
representaciones basadas en diferentes fuentes de información y razonar directamente sobre ellas. Pueden desarrollar
comunicaciones cortas informando sus interpretaciones, resultados y razonamientos.
Los estudiantes pueden interpretar y reconocer situaciones en contextos que requieren sólo inferencias directas. Pueden
extraer información relevante de una sola fuente y hacer uso de un modo especifico de elaborar representaciones.
2
Pueden utilizar algoritmos básicos, fórmulas, procedimientos o convenciones. Pueden hacer uso del razonamiento
directo y de interpretaciones literales de los resultados.
Los estudiantes pueden responder preguntas dentro de contextos familiares en los que toda la información relevante 27
está presente y las preguntas están claramente definidas. Son capaces de identificar información y de realizar
1 procedimientos rutinarios siguiendo instrucciones directas en situaciones explicitas. Pueden realizar actividades que son
obvias y que se siguen inmediatamente del estimulo dado.
EDUCACIÓN
PRUEBAS PISA
3.3.Puntajes de los Niveles de Desempeño en
Matemática
El más alto nivel de desempeño se encuentra
alrededor de los 750 puntos. Los estudiantes se
caracterizan por asumir un rol activo y creativo en su
enfoque de los problemas matemáticos. Interpretan
y formulan los problemas en términos matemáticos.
Manejan información más compleja y ensayan un
número de pasos de proceso. En este nivel identifican
y aplican herramientas relevantes y conocimientos,
con frecuencia, a un contexto problemático no familiar.
Usan la intuición para identificar un método adecuado
para encontrar la solución y muestran dominio de
procesos cognitivos de orden superior tales como
generalización, razonamiento y argumentación para
explicar y comunicar resultados.
Alrededor de los 570 puntos de la escala los
estudiantes son capaces normalmente de interpretar
ligar e integrar diferentes representaciones de un
problema o diferentes piezas de información. Usan y
manipulan un modelo dado incluyendo a menudo
álgebra u otras representaciones simbólicas.
Verifican y registran proposiciones o modelos dados.
El trabajo típico de estos estudiantes se realiza a
través de estrategias, modelos o proposiciones
dadas, por ejemplo, a través del reconocimiento y
extrapolación a partir de un modelo. Seleccionan y
aplican conocimientos matemáticos relevantes, para
solucionar un problema, que pueden incluir un
pequeño número de pasos de proceso.
El más bajo nivel de la escala se encuentra alrededor
de los 380 puntos. Los estudiantes usualmente son
capaces de completar un procedimiento de pasos
simples consistente en reproducir hechos matemáticos
básicos o procesos, o son capaces de aplicar
habilidades computacionales simples. Normalmente
reconocen información a partir de un diagrama o de un
texto que es familiar y simple, en el cual se proporciona
la formulación matemática o se la facilita visiblemente.
Cualquier interpretación o razonamiento típico de este
28
nivel incluye el reconocimiento de un elemento simple y
familiar de un problema dado. La solución demanda la
aplicación de un procedimiento rutinario consistente en
un procedimiento de pasos simples.
En este caso no es posible incluir un cuadro
distinguiendo niveles con estándares mínimos debido
a que las pruebas PISA-2000 en el área de matemática
no han sido estandarizadas y sólo se dispone de
información detallada reciente de PISA-2003 que será
materia de un próximo artículo. En cuanto a los
resultados de las pruebas PISA-2000 de Matemática,
podemos señalar que en los países de la OECD y sus
socios los estudiantes ubicados en el 5% superior
obtuvieron un promedio de 655 puntos. Sin embargo,
los países ubicados en las posiciones superiores de
este 5% tuvieron puntajes promedio mayores que 680
puntos. En esta situación se encuentra Hong Kong-
China, Japón, Nueva Zelandia y Suiza. En el nivel
inferior de la escala se encuentra que el 75% de los
estudiantes de los países de la OECD lograron al
menos 435 puntos y más del 95% de estos países
alcanzó 326 puntos. En esta pruebas la muestra de
escolares peruanos alcanzó 292 puntos, esto es, 34
puntos menos que el puntaje más bajo registrado en
los países de la OECD y 42 puntos menos que el
promedio de Brasil que se ubicó en el penúltimo lugar
entre los 41 países registrados como participantes en
las pruebas Pisa.
3.4. Criterios para la construcción de preguntas
o tareas de Matemáticas
Como regla general de construcción de ítems en esta
área, se puede señalar que una pregunta de
matemática es buena si el hecho de contar con una
calculadora de mano o con una computadora no
otorga al sujeto examinado ventaja significativa para
responderla correctamente.
Las tareas más simples requieren conectar e
integrar material. Exigen al estudiante aplicar una
representación simple o una técnica aplicable a una
pieza simple de información. Las tareas menos simples
requieren que el estudiante integre más de una pieza
de información usando diferentes representaciones, o
diferentes herramientas matemáticas, o conocimientos
en una secuencia simple de pasos.
Hay tareas que requieren representar e interpretar
un material para razonar sobre la situación y los
 EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM

métodos. Tales tareas varían en un rango que va desde 4.1.Niveles de desempeño y puntajes en las
el reconocimiento de una fórmula usual a la formulación, pruebas de ciencias
traducción o creación de un modelo adecuado dentro
El más alto nivel de desempeño en la comprensión y
de un contexto inusual y demandan el uso de la intuición,
manejo de lenguaje científico (aproximadamente 690
el razonamiento y la generalización.
puntos) se manifiesta en el hecho de que los
estudiantes son generalmente capaces de crear o
usar modelos conceptuales para hacer predicciones
4. LAS PRUEBAS PISA 2000 DE CIENCIAS
o dar explicaciones. Analizan la investigación científica
para comprender, por ejemplo, el diseño de un
La evaluación focalizada en las ciencias, como hemos
experimento o para identificar la idea o hipótesis que
señalado antes, está programada para el año 2006.
está siendo sometida a prueba. Comparan datos para
Sin embargo, en el año 2000 y en el año 2003 se ha
evaluar puntos de vista alternativos o perspectivas
evaluado este ámbito pero no con la suficiente
diferentes. Comunican argumentos científicos y
amplitud e intensidad, razón por la que la información
proporcionan descripciones detalladas y precisas.
disponible no es particularmente detallada. Empero,
Los estudiantes que alcanzan aproximadamente
revisando lo realizado en las dos oportunidades
550 puntos son normalmente capaces de usar
anteriores se aprecia que las pruebas incidieron en
conceptos científicos para hacer predicciones o
el uso del conocimiento científico-empírico o
explicaciones. Reconocen preguntas que pueden ser
científico-factual en el manejo de situación reales
respondidas por la investigación científica y/o
poniendo énfasis en la lógica de la identificación
identifican detalles acerca de aquello que implica la
planteamiento y solución de problemas.
investigación científica. Seleccionan información
En general, la comprensión de lenguaje de las
relevante a partir de datos en competencias y de
ciencias naturales y de la ciencias sociales se mide
cadenas de razonamiento esquematizadas en
a través de la presencia de las siguientes habilidades:
gráficos o evaluando conclusiones.
• Comprensión de conceptos científicos.
El tercer nivel de la escala, aproximadamente 400
• Capacidad para reconocer preguntas científi-
puntos, se manifiesta en que los estudiantes son
cas relevantes.
capaces de recordar información científica factual
• Identificación de los procesos que la investiga-
simple (nombres, hechos, terminología, reglas
ción científica implica.
simples) y usan el conocimiento científico común para
• Capacidad para relacionar evidencias fácticas
derivar conclusiones o evaluaciones.
con hipótesis y conclusiones.
Las pruebas PISA en esta área tampoco han sido
• Capacidad para comunicar con claridad y
estandarizadas. La información disponible sobre los
precisión procesos y resultados científicos.
países de la OECD revela que el 5% superior tuvo un
• Capacidad para usar conceptos científicos de
promedio de 657 puntos, el 10% superior alcanzó un
alto nivel de abstracción o cadenas lógicas de
promedio de 627 puntos y el 25% superior logró un
razonamientos.
promedio de 572 puntos. En el extremo de menor
• Conocimiento y manejo de modelos conceptuales
rendimiento se registra que más del 75% de los
simples y de modelos de análisis de datos para
países OECD alcanzó al menos 432 puntos, más del
ensayar enfoques alternativos.
90% alcanzó 368 puntos y más del 95% 332 puntos.
29
EDUCACIÓN
PRUEBAS PISA
Entre los países que no son miembros de la OECD,
han tenido un desempeño destacado Hong Kong -
China cuyos promedios han sido de 671, 645, 448,
426 y 391 puntos para los percentiles 95º, 90º, 25º,
10º y 5º, respectivamente. Claramente estos indica-
dores estadísticos revelan rendimientos más altos
que los de los países de la OECD. Japón y Corea,
considerando sólo los promedios, han mostrado
rendimientos aún más altos que Hong Kong-China.
Los escolares peruanos en esta área obtuvieron un
puntaje promedio de 333, esto es, 42 puntos menos
que Brasil que se ubica en el penúltimo lugar de los
30
41 países que participaron en PISA 2000 y 167 puntos
por debajo del promedio de los países de la OECD.
BIBLIOGRAFÍA
UNESCO, OECD (2003). Literacy Skills for the World
of Tomorrow - Further Result s from PISA 2000. 389 p.
OECD, PISA (2004). First Results from PISA 2003
Executive Summary. 37 p.
OECD, PISA (2004). Learning for Tomorrows's World,
First Results from PISA 2003. 471 p.
 EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM

CUADROS ANEXOS

CUADRO 1

UNESCO 1998-2000
GRADIENTES SOCIOCULTURALES POR RENDIMIENTO EN LENGUAJE POR PAÍS

CUADRO 2

UNESCO 1998-2000
GRADIENTES SOCIOCULTURALES POR RENDIMIENTO EN MATEMÁTICA POR PAÍS

31
EDUCACIÓN

PRUEBAS PISA

CUADRO 3

Resultados de PISA-OCDE 2000.2002

Posición Lectur a Matemáticas Ciencia L+M+C
1 Japón 522 557 550 1629
2 Hong Kong 525 560 541 1626
3 Corea 525 547 552 1624
4 Finlandia 546 536 538 1620
5 Canadá 534 533 529 1596
6 Nueva Zelanda 529 537 528 1594
7 Australia 528 533 528 1589
8 Reino Unido 523 529 532 1584
9 Irlanda 527 503 513 1543
10 Austria 507 515 519 1541
11 Suecia 516 510 512 1538
12 Bélgica 507 520 496 1523
13 Francia 505 517 500 1522
14 Suiza 494 529 496 1519
15 Islandia 507 514 496 1517
16 Noruega 505 499 500 1504
17 Rep. Checa 492 498 511 1501
18 Estados Unidos 504 493 499 1496
19 Dinamarca 497 514 481 1492
20 Liec htenstein 483 514 476 1473
21 Hungría 480 488 496 1464
22 Alemania 484 490 487 1461
23 España 493 476 491 1460
24 Polonia 479 470 483 1432
25 Italia 487 457 478 1422
26 Fed. Rus a 462 478 460 1400
27 Portugal 470 454 459 1383
28 Grecia 474 447 461 1382
29 Latvia 458 463 460 1381
30 Luxemburgo 441 446 443 1330
31 Israel 452 433 434 1319
32 Bulgaria 430 430 448 1308
33 Tailandia 431 432 436 1299
34 México 422 387 422 1231
35 Chile 410 384 415 1209
36 Argentina 418 388 396 1202
37 Macedonia 373 381 401 1155
38 Indonesia 371 367 393 1131
39 Albania 349 381 376 1106
40 Brasil 396 334 375 1105
41 Perú 327 292 333 952

Fuente: OECD (2003) PISA, Literac y Skills for the World of Tomorrow, Furthern Results.
From PISA 2000. Paris, France. Tabla 3.3, p.287.
32
 EDUCACIÓN, Revista Semestral de la Facultad de Educación de la UNMSM

CUADRO 4

Rendimiento de los estudiantes en lectura combinada, ciencias y matemática en

la escala PISA vs. ingreso nacional

1. Dólares USA convertidos a dólares PPPs (paridad del poder de compra).

2. Sólo instituciones públicas.
3. Año de referencia: 1998.
4. Año de referencia: 2000.
5. Sólo instituciones públicas y privadas independientes.

Fuente: OECD (2003c) para los países de la OECD. Y para los países que no son de la OECD la fuente ha sido el Banco Mundial.

Traducción del autor 33

EDUCACIÓN

PRUEBAS PISA

CUADRO 5

PISA-2003
Rendimiento promedio en la escala PISA de matemática

Va ri ación de las pos icione s en el Ranking*

Ranking i ncl uy endo paí ses que no

Ra nki ng pa ra pa íses de l a OECD
perte nec en a la OECD
Posición Máxima Posición Mínima Posición Máxima Posición Mínima
Hong Kong-China — — 1 3
Países con un promedio est adísticamente

Finlandia 1 3 1 4
significativo sobre el promedio de OECD

Corea 1 4 1 5
Noruega 1 5 2 7
Liechtenstein — — 2 9
Japón 2 7 3 10
Canadá 4 7 5 9
Bélgica 4 8 5 10
Macao-China — — 6 12
Suiza 4 9 6 12
Australia 7 9 9 12
Nueva Zelanda 7 10 9 13
República Checa 9 14 12 17
Islandia 10 13 13 16
Dinamarca 10 14 13 17
Francia 11 15 14 18
Suecia 12 16 15 19
Países con un Austria 13 18 16 20
Promedio
estadísticamente Alemania 14 18 17 21
semejante Irlanda 15 18 17 21
al de OECD República Eslovaca 16 21 19 24
Noruega 18 21 21 24
Luxemburgo 19 21 22 24
Polonia 19 23 22 26
Países con un promedio est adísticamente

Hungría 19 23 22 27
España 22 24 25 28
Latvia — — 25 28
Estados Unidos 22 24 25 28
significativo por debajo de OECD

Federación Rusa — — 29 31
Portugal 25 26 29 31
Italia 25 26 29 31
Grecia 27 27 32 33
Servia — — 32 34
Turquía 28 28 33 36
Uruguay — — 34 36
Tailandia — — 34 36
México 29 29 37 37
Indonesia — — 38 40
Túnez — — 38 40
Brasil — — 38 40

* Nota: Debido a que la información se ha recogido por muestreo no es posible precisar una posición exacta de los países en el ranking. Sólo ha
sido posible precisar para cada país su posición máxima y mínima con un 0.95 de probabilidad.

34