qwertyuiopasdfghjklzxcvbnmqwerty uiopasdfghjklzxcvbnmqwertyuiopasd fghjklzxcvbnmqwertyuiopasdfghjklzx cvbnmqwertyuiopasdfghjklzxcvbnmq wertyuiopasdfghjklzxcvbnmqwertyui opasdfghjklzxcvbnmqwertyuiopasdfg hjklzxcvbnmqwertyuiopasdfghjklzxc vbnmqwertyuiopasdfghjklzxcvbnmq wertyuiopasdfghjklzxcvbnmqwertyui opasdfghjklzxcvbnmqwertyuiopasdfg hjklzxcvbnmqwertyuiopasdfghjklzxc vbnmqwertyuiopasdfghjklzxcvbnmq wertyuiopasdfghjklzxcvbnmqwertyui opasdfghjklzxcvbnmqwertyuiopasdfg hjklzxcvbnmrtyuiopasdfghjklzxcvbn

mqwertyuiopasdfghjklzxcvbnmqwert yuiopasdfghjklzxcvbnmqwertyuiopas
Cmo aplicar el modelo de Rasch a la medicin psico-social? Un enfoque prctico Captulo 3 20/07/2012 Margaret Wu y Ray Adams Traductor Emilio Ortiz Trepowski

Captulo 3: Desarrollando exmenes desde la perspectiva de TRI Construcciones y esquemas

Qu es una construccin? En el Captulo Uno, los trminos variables latentes y construcciones fueron usados para referirnos a los atributos psico-sociales que resultan de inters para su medicin. Cmo son estas construcciones concebidas y definidas? Puede una construccin ser un concepto arbitrariamente definido o necesita una construccin tener propiedades especficas en trminos de medicin? Primero, discutamos que es una construccin. Consideremos el siguiente ejemplo. Yo soy un oyente regular de la estacin de radio RII (Radio para el Incapacitado en Imprenta). A estos oyentes de RII se les recuerda constantemente que 1 en 10 de nuestra poblacin no puede leer lo que est escrito en imprenta. Esta afirmacin propone una interesante pregunta para m. Esto es, si yo quisiera medir la habilidad de la gente para leer en imprenta, cmo lo hara? Y cmo esta habilidad difiere de las habilidades de lectura que estamos acostumbrados a medir a travs de los exmenes de logros? Para poder responder estas preguntas, el punto de inicio es claramente explicar la construccin de tal examen. Hablando vagamente, la construccin puede ser definida como qu es lo que estamos intentando medir. Necesitamos tener una clara idea de qu es lo que estamos intentando medir antes de que empecemos a desarrollar un instrumento de examinacin. En el caso de RII, mi primera impresin es que esta estacin de radio es para personas con problemas de visin. Por lo tanto, para medir la habilidad de leer en imprenta, teniendo en mente la evaluacin de los oyentes de RII, es necesario medir el grado de los problemas de visin de la gente. Esto, ninguna duda cabe, es una visin sobresimplificada de los servicios de RII. De hecho, RII puede tambin servir a aquellos con bajos niveles de habilidades de lectura que no necesariamente tienen un problema de visin. Ms an, las personas con bajos niveles de logros en materia de lectura pero tambin con bajos niveles del lenguaje de Espaol no se beneficiaran de RII. Por ejemplo, muchos migrantes pueden tener dificultades para leer los peridicos pero ellos tienen tambin dificultades para escuchar las transmisiones en espaol. Tambin hay personas como yo, que emplean mucho tiempo en demoras de trfico, y que encuentran ms fcil escuchar a los peridicos que leer los peridicos.

As la definicin de habilidad de leer impresos, para RII, no es fcil y directamente definible. Si alguna vez un instrumento de examinacin es desarrollado para medir esto, la construccin necesita ser cuidadosamente examinada. Relacionando validez con la construccin Del ejemplo de arriba, es claro que la definicin de una construccin est estrechamente relacionada con temas de validez. Esto es, las inferencias hechas desde puntajes de exmenes y el uso de puntajes de exmenes deben reflejar la definicin de una construccin. En la misma forma, cuando las construcciones estn definidas, uno claramente debe anticipar el camino en que los puntajes de exmenes sern usados, o al menos dejar claro a los usuarios de los exmenes las inferencias que pueden sacarse desde los puntajes de exmenes. Hay muchos diferentes propsitos para la medicin. Un profesor de clase puede establecer un examen para medir la extencin en la cual los estudiantes han aprendido dos tpicos cientficos enseados en el semestre. En este caso, los tems del examen sern sacados del material que fue enseado, y los puntajes del examen sern usados para reportar la proporcin de conocimiento/ habilidades que los estudiantes han adquirido de las instrucciones de clases en ese semestre. En este caso, la construccin del examen ser el material que fue enseado en clase. Los puntajes del examen no sern usados para reflejar la habilidad cientfica general de los estudiantes. En el desarrollo de exmenes que tienen una amplitud nacional, a menudo es el caso que el contenido, o el porcentaje de cubrimiento del curriculum, es usado para definir la construccin del examen. Por lo tanto, uno podra desarrollar un examen de matemticas basado en el Esquema Estndar del Curriculum. Esto es, lo que es examinado es la extensin en la cual los estudiantes han obtenido la matemtica prevista por el Curriculum. Cualquier otra inferencia hecha acerca de los puntajes de los exmenes tales como la habilidad para entrar a cursos, o empleo, o niveles generales de habilidad matemtica, no ser tratada con cautela. Qu pasa si uno quiere hacer inferencias acerca de las habilidades de los estudiantes ms all del conjunto de tems de un examen? Qu supuestos tendrn que ser asumidos acerca del examen y de los tems de este examen de manera que se pueda proveer alguna generalizacin sobre los puntajes de los estudiantes? Considere el caso de los exmenes de PISA (Programme for International Student Assessment) , donde las construcciones no fueron basadas en el curriculum escolar, puede uno hacer afirmaciones acerca de que los puntajes de PISA reflejan los niveles de alfabetizacin matemtica general, lectura y cientfica? Cules son las 3

condiciones bajo las cuales uno puede hacer inferencias ms all del conjunto de tems de un examen? La respuesta corta es que la TRI nos ayuda a relacionar la construccin con el tipo de inferencia que podemos hacer. La construccin y la teora de la respuesta a item (TRI) La nocin de una construccin tiene un significado especial en la teora de la respuesta a item. Bajo el enfoque de la teora clsica de los exmenes, todas las inferencias son hechas acerca del verdadero puntaje del alumno en el examen. No hay ninguna generalizacin acerca de cualquier variable latente que una persona podra poseer. Bajo los enfoques de la teora de la respuesta a item, un examen se establece para medir el nivel de una variable latente en cada individuo. Las respuestas a item y los puntajes de exmenes reflejan el nivel de esta variable latente. La variable es latente porque no es directamente observable. La Figura 9 muestra un modelo de variable latente bajo el enfoque TRI.

En la Figura 9 la variable latente es la construccin a ser medida. Algunos ejemplos de variables latentes podran ser la proficiencia en geometra, severidad del asma, status profesional de los profesores, la familiaridad con los deportes, etc. Dado que nadie puede directamente medir una variable latente, los tems sern desarrollados para apuntar a la variable latente. La respuesta de una persona a un item es observable. En este sentido los tems son a veces conocidos como variables manifiestas. A travs de los patrones de respuestas a los tems, podemos hacer algunas inferencias acerca del nivel de la variable latente para una persona. 4

Los tems representan pequeas ideas de una idea ms grande que es la variable latente. Por ejemplo, si la variable latente es la proficiencia en geometra, entonces los tems son preguntas individuales acerca de conocimientos especficos en geometra. Las flechas en la Figura 9 indican que el nivel de la variable latente determina la respuesta probable a los items. Es importante observar la direccin de las flechas. Esto es, el patrn de respuesta a los tems est dirigido por el nivel de la variable latente. No es el caso que la variable latente est definida por las respuestas a los tems. Por ejemplo, el ndice de precios al consumidor (IPC) est definido como el promedio de los precios de un nmero fijo de bienes. Si los precios de estos bienes son considerados como tems, entonces el promedio de estos tems define el IPC. En este caso, el IPC no debe ser considerado como una variable latente. Ms bien, es un ndice definido por un conjunto fijo de algunas entidades observables. No podemos cambiar los bienes y todava retener el mismo significado del IPC. En el caso de TRI, dado que el nivel de la variable latente determina la probabilidad de las respuestas a cada item, los tems pueden ser cambiados, siempre y cuando apunten a la misma variable latente, y todava seremos hbiles para medir el nivel de la variable latente. Otra forma de distinguir la teora clsica de los exmenes con relacin a la TRI es que, bajo la teora clsica de los exmenes slo consideramos el lado derecho de la Figura 9 (pequeas ideas) como se muestra en la Figura 10.

Consecuentemente, bajo la teora clsica de los exmenes, podemos slo hacer inferencias acerca de los puntajes en este conjunto de tems. No podemos hacer inferencias acerca de ninguna variable latente, dado que el modelo no hace ninguna suposicin acerca de estas latencias. Como un resultado, no podemos hacer inferencias ms all del conjunto de tems que estn siendo examinados. En contraste, bajo la TRI, el conjunto de tems est orientado a apuntar a una variable latente. En la medida que usamos a los tems para apuntar a una variable latente, podemos intercambiar tems en el examen y todava medir la misma variable latente. Por supuesto, esto se apoya en el supuesto de que los tems usados apuntan ciertamente a la misma variable latente. Este supuesto necesita ser testeado antes que podamos afirmar que el puntaje total del examen refleja el nivel de la variable latente. Esto es, lo que se necesita establecer es si las flechas en la Figura 9 pueden ser dirigidas desde la variable latente a los tems. Puede bien darse el caso de que algunos tems no apuntan a la variable latente, como se muestra en la Figura 11.

Uni-dimensionalidad El modelo TRI que se muestra en la Figura 9 indica que hay una variable latente y que todos los tems apuntan a esta variable latente. Podemos decir que este modelo es uni-dimensional, y que hay UNA variable latente de inters, y que el nivel de esta variable latente es el foco de la medicin. Si hay mltiples variables latentes a ser medidas en un solo examen, y los tems 6

apuntan a diferentes variables latentes, decimos que el modelo TRI es multidimensional. Siempre que los puntajes de los exmenes son computados como la suma de puntajes individuales de los tems, hay una asuncin implcita de uni-dimensionalidad. Esto es, para que los puntajes agregados de los tems tenga significado, todos los tems deben apuntar a la misma variable latente. De otra manera, un puntaje agregado no es interpretable, porque el mismo puntaje total para los estudiantes A y B podra significar que el estudiante A tiene un logro ms alto en la variable latente X y un logro bajo en la variable latente Y, y viceversa para el estudiante B. La naturaleza de la construccin - latencia psicolgica o construccin arbitraria? La idea terica de las variables latentes tal como se mostr en la Figura 9 parece sugerir que existen diferentes habilidades (trazos latentes) dentro de cada persona, y que la construccin debe reflejar una de estas distintas habilidades para que el modelo TRI se mantenga. Este no es necesariamente el caso. Considere el siguiente ejemplo. La lectura y la matemtica son consideradas como diferentes variables latentes en la mayora de los casos. Esto es, un estudiante que es bueno en leer no es necesariamente bueno en matemticas. De manera que en general, uno no podra administrar un examen que contenga tanto habilidades matemticas como de lectura y computar un puntaje total para cada estudiante. Tal puntaje total sera difcil de interpretar. Sin embargo, considere el caso de la habilidad de resolver problemas matemticos, donde cada problema requiere una cierta cantidad de habilidad de lectura y otro tanto de proficiencia matemtica para arribar a una respuesta. Si un examen consiste de problemas a resolver donde cada item requiere la misma combinacin de habilidad de lectura y habilidad matemtica, el examen podra todava ser considerado uni-dimensional, con una nica variable latente llamada solucin de problemas. Desde este punto de vista, el hecho de que un examen sea unidimensional depende de la extensin en la que los tems estn examinando la misma construccin, donde la construccin puede ser definida como un compuesto de habilidades (Reckase, Ackerman y Carlson, 1988). En breve, las variables latentes no tienen que corresponder con la existencia fsica de distintos trazos o habilidades. Las variables latentes son, por lo general, construcciones arbitrarias. Consideraciones prcticas de uni-dimensionalidad

En la prctica, es difcil que encontremos dos tems que examinan exactamente la misma construccin. Todos los tems requieren diferentes habilidades compuestas. As, todos los exmenes con ms que un item son multi-dimensionales en algn grado. Por ejemplo, el cmputo de 7x9 puede envolver bastante diferentes habilidades cognocitivas que el proceso de computar 27+39. Para computar 7x9, es posible que solo se requiera la tarea de recordar para aquellos estudiantes que han memorizado las tablas de multiplicar. Para computar 27+39, algn conocimiento de tipo procedimental es requerido. Sin embargo, podramos decir que estos dos tems computacionales estn todava muy cerca para examinar la misma construccin, digamos, resolver un crucigrama. De manera que en la prctica, la dimensionalidad de un examen debe ser vista en trminos de utilidad prctica del uso de los puntajes de exmenes. Por ejemplo, si el propsito de un examen es seleccionar a los estudiantes que entrarn en una academia de msica, entonces un examen de la habilidad musical puede ser construido. Si se est seleccionando un acompaante de un coro, entonces la habilidad especfica de ejecutar el piano puede ser el foco primario. Similarmente, si una posicin administrativa est siendo anunciada en los peridicos, uno podra administrar un examen de habilidades generales incluyendo tanto tems literarios como matemticos. Si un oficial para una compaa de relaciones pblicas est siendo solicitado, se podra centrar el foco del examen slo en habilidades literarias. Esto es, el grado de especificidad de un examen depende de las utilidades prcticas de los puntajes de examen. Consideraciones prcticas y tericas en el informe de puntajes de sub-escala En los exmenes que evalan logros, existe tambin el tema de cmo deben reportarse los puntajes en trminos de dominios o ramos de conocimientos. Tpicamente, se percibe que es ms informativo si una descomposicin de los puntajes del examen es otorgada, de manera que se reporten los logros de los estudiantes en sub-reas de dominios cognocitivos. Por ejemplo, un examen de matemticas es a menudo reportado por un desempeo general en el examen, y tambin por desempeos en sub-categoras matemticas tales como Nmeros, Mediciones, Espacio, Datos, etc. Pocas personas se preocupan acerca de lo apropiado o no de tales procedimientos de reportes, dado que esto se correlaciona con las clasificaciones de las matemticas en el curriculum. Sin embargo, cuando se considera el reporte desde el punto de vista de la TRI, hay una asuncin implcita que siempre que se reporten sub-escalas, estas subescalas se relacionan con diferentes trazos latentes. Las clasificaciones del curriculum, por lo general, no toman en consideracin los trazos latentes. Ms an, dado que el reporte a nivel de sub-escala implica que las sub-escalas no pueden ser consideradas como mediciones de la misma variable latente, es tericamente incorrecto combinar las sub-escalas como una nica 8

medida de algn trazo latente. Esta contradiccin terica, sin embargo, es generalmente ignorada en la prctica. Uno podra argumentar que, dado que la mayora de las dimensiones cognocitivas estn altamente correlacionadas (por ejemplo, Adams y Wu, 2002), todava se puede justificar la combinacin de sub-escalas dentro de un ramo cognocitivo. Resumen En resumen, el desarrollo de un esquema es esencial antes de la construccin del examen. No es solo para satisfacer protocolos. Es un paso para establecer claramente en nuestras mentes qu es lo que estamos intentando medir. Ms an, si queremos hacer inferencias ms all de los desempeos de los estudiantes en el conjunto de los tems de un examen, necesitamos hacer ms supuestos acerca de la construccin. En el caso de la TRI, empezamos por relacionar la construccin de un examen a algn trazo latente, y desarrollamos un esquema para proveer una clara explicacin de este trazo latente. Debe notarse que hay dos lados de la moneda que debemos tener en cuenta. Primero, ningn conjunto de dos tems pueden medir exactamente la misma construccin. Si el tamao de la muestra es suficientemente grande, todos los tems mostrarn una inadecuacin cuando sean examinados para chequear la unidimensionalidad. Segundo, a pesar de que es imposible encontrar tems que miden la misma construccin, las habilidades cognocitivas estn altamente correlacionadas de manera que, en la prctica, en lo que debemos estar concentrados es no tanto en la unidimensionalidad, sino ms bien si el examen es lo suficientemente unidimensional para nuestros propsitos. Por lo tanto, es esencial relacionar la construccin con temas de validez para justificar lo apropiado de los tems, y la significacin de los puntajes del examen. Referencias Adams, R.J. y Wu, M.L. (2002). PISA 2000 technical report. Paris: OECD. Reckase, M. D., Ackerman, T.A. y Carlson, J.E. (1988). Building a unidimensional test using multidimensional items. Journal of Educational Measurement, 25, 193-203. Puntos de discussion (1) En muchos casos, los clientes de un proyecto proveen un esquema pre-definido conteniendo guas especficas para el examen, tal como se muestra en la Figura 12.

Estos esquemas y las guas para exmenes son usualmente desarrollados sin tener en cuenta ningn modelo de variable latente. Consecuentemente, cuando estudiamos los tems desde el punto de vista de los modelos TRI, a menudo encontramos el dilema de rechazar un item porque no encaja en el modelo TRI, pero el item pertenece a la gua especificada por el cliente. Cmo se reconcilia los ideales de medicin con las demandas de los clientes? (2) Hasta qu punto hacemos que nuestro examen sea uni-dimensional? Considere un examen de deletreo. Las palabras que se deletrean tienen en general diferentes poderes discriminantes, como se muestra en los siguientes ejemplos.

10

Podemos elegir slo palabras para deletrear que tienen el mismo poder discriminante para asegurar que tenemos uni-dimensionalidad, y llamar a eso un examen de deletreo? Si incluimos una muestra aleatoria de palabras para deletrear con variados poderes discriminantes, qu consecuencias se tienen en trminos de alejarnos del ideal de la medicin? (3) Podemos asumir que los estados de desarrollo desde K a 12 forman una escala unidimensional? Si no, cmo hacemos para comparar a lo largo de los aos de nivel? Ejercicios En SACMEQ, algunas variables fueron combinadas para formar una variable compuesta. Por ejemplo, las siguientes siete variables fueron combinadas para derivar un puntaje compuesto, ZPHINT: 24. Qu tan a menudo una persona que no es su profesor se asegura que usted ha hecho su tarea? (Por favor elija slo un casillero) PHMWKDON

11

25. Qu tan a menudo una persona diferente a su profesor usualmente lo ayuda en su tarea? (Por favor elija slo un casillero) PHMWKHLP

26. Qu tan a menudo una persona diferente a su profesor le pide que usted le lea? (Por favor elija slo un casillero) PREAD

12

27. Qu tan a menudo una persona que no es su profesor le pide a usted hacer clculos matemticos? (Por favor elija slo un casillero) PCALC

28. Qu tan a menudo una persona que no es su profesor le realiza preguntas acerca de qu ha estado usted leyendo? (Por favor elija slo un casillero) PQUESTR

29. Qu tan a menudo una persona que no es su profesor le hace preguntas acerca de qu ha estado usted haciendo en matemticas? (Por favor elija slo un casillero) PQUESTM

13

30. Qu tan a menudo una persona que no es su profesor mira el trabajo que usted ha completado en el colegio? (Por favor elija slo un casillero) PLOOKWK

El puntaje compuesto ZPHINT es un agregado de las siete variables de arriba. Pregunta 1. En el contexto de TRI, el valor de ZPHINT puede ser considerado como el reflejo del nivel de una construccin, donde las siete variables individuales son variables manifiestas. En unas pocas lneas, describa cul es esta construccin.

Pregunta 2. Para que la variable compuesta sea significativa e interpretable en el contexto de TRI, cules son los supuestos subyacentes con relacin a las siete variables manifiestas?

14

15