El Plan de Evaluacin del Aprendizaje Estudiantil en la Universidad de Puerto Rico Recinto de Ro Piedras: Retos, oportunidades y resultados

Nadia Cordero William Estpar

Oficina de Evaluacin del Aprendizaje Estudiantil Decanato de Asuntos Acadmicos Universidad de Puerto Rico - Rio Piedras

Objetivos de la presentacin

Familiarizar

a los participantes con aspectos relevantes del proceso de assessment del aprendizaje estudiantil en el Recinto de Ro Piedras de la Universidad de Puerto Rico.

Presentar un resumen de los hallazgos y logros obtenidos. Discutir los retos enfrentados durante el proceso. Exponer oportunidades encontradas a travs
de esta experiencia.

Brindar recomendaciones para la

implementacin efectiva de procesos de assessment del aprendizaje estudiantil en instituciones de educacin superior.
Oficina de Evaluacin del Aprendizaje Estudiantil

Asuntos y situaciones que preceden al proceso

Centro para la Excelencia Acadmica (CEA)

Desarrollo profesional de docentes (1998-2005)
Hacia una comunidad de aprendizaje (1999) Taller de assessment de Douglas Eder (2002)

Fortalecer el rea temtica de assessment del CEA con talleres adicionales a cargo de diversos profesores expertos en el tema

MSCHE (2002) Cambio de estndares

Documentos de la MSCHE: Caractersticas de Excelencia y
Assessment del Aprendizaje Estudiantil: Opciones y Recursos

Proceso para elaborar el autoestudio Necesidad de desarrollar una poltica institucional de

assessment del aprendizaje estudiantil.
Oficina de Evaluacin del Aprendizaje Estudiantil

Asuntos y situaciones que preceden al proceso (Cont.)

Revisin

del Bachillerato de todos los programas subgraduados del Recinto (Certificacin 46 SA, 20052006)

Desarrollo de un alineamiento de los objetivos de

aprendizaje de la Facultad y del programa acadmico con el Perfil del Egresado del Recinto de Ro Piedras.

Discusin

y aprobacin del Plan de Evaluacin del Aprendizaje Estudiantil por el Senado Acadmico (Certificacin 68 SA, 2005-2006)

El Perfil del Egresado del Recinto es el principio gua que

enmarca la evaluacin del aprendizaje estudiantil.

Actividades
tema

de adiestramiento de los profesores en este

Oficina de Evaluacin del Aprendizaje Estudiantil

El assessment del aprendizaje estudiantil en los programas acadmicos o concentraciones est regulado por:

Oficina de Evaluacin del Aprendizaje Estudiantil

Qu es el Plan de Evaluacin del Aprendizaje Estudiantil?

Es un marco de referencia para implementar un sistema de recopilacin de evidencias acerca del aprendizaje del estudiantado, acorde con lo establecido en el Perfil del Egresado de la UPR-RP.

No dicta o prescribe las actividades y los instrumentos de assessment que deben usar las Facultades o Escuelas, los Departamentos, los Programas Acadmicos o Concentraciones con el fin de evidenciar el alcance del aprendizaje de los estudiantes.

Oficina de Evaluacin del Aprendizaje Estudiantil

A partir del Perfil del Egresado de la UPRRP se han identificado los siguientes dominios de aprendizaje:

Comunicacin efectiva Investigacin y creacin Pensamiento crtico Responsabilidad social Razonamiento lgico matemtico Competencias de informacin Conocimiento, destrezas y aptitudes propias de la disciplina

Integracin del conocimiento Curiosidad intelectual Capacidad para el estudio independiente Aprendizaje continuo Sensibilidad tica y esttica Aprecio, cultivo y compromiso con los valores e ideales de la sociedad puertorriquea

Oficina de Evaluacin del Aprendizaje Estudiantil

Creacin de la Oficina de Evaluacin del Aprendizaje Estudiantil

Se establece una vez aprobado el Plan de Evaluacin del Aprendizaje Estudiantil (2006).

En el comienzo, la Oficina analiza las propuestas de revisin curricular de los programas acadmicos antes de ser sometidas al Senado Acadmico para su aprobacin. Se crean las posiciones de Coordinador (2006), Coordinador Asociado (2008) y Tcnico de Assessment (2008) para llevar a cabo la misin de esta Oficina. Se identifica un formato del Plan de Assessment del Aprendizaje Estudiantil y del Informe Anual.
Oficina de Evaluacin del Aprendizaje Estudiantil

Retos iniciales

Entendimiento

del concepto assessment del aprendizaje estudiantil, tanto individual como colectivo Es una moda que pronto pasar. Por qu hay que llevarlo a cabo? A quin se le enviar la informacin? Me afecta mi libertad de ctedra!. Me evaluarn con la informacin recopilada?

Dificultad para el desarrollo e implantacin de un plan

Cmo hacerlo? Qu evaluar? Cmo analizar la informacin
recopilada? Cmo elaborar e implantar acciones transformadoras?
Oficina de Evaluacin del Aprendizaje Estudiantil

Retos iniciales (cont.)

Personal de la Oficina Capacitacin del personal docente

Desarrollo de instrumentos apropiados para el
proceso Mltiples reuniones individuales

Implementacin del proceso

Cmo entusiasmar la participacin de los
docentes en el proceso? Cmo sintetizar los datos recopilados? Cmo diseminar los resultados?
Oficina de Evaluacin del Aprendizaje Estudiantil

Proceso integrado del assessment del aprendizaje estudiantil en el Recinto de Ro Piedras

Oficina de Evaluacin del Aprendizaje Estudiantil

Niveles en los que ocurre el assessment

A nivel de inicio en la Facultad de Estudios Generales Comunicacin efectiva oral y escrita en espaol e ingls Razonamiento cientfico Responsabilidad social Pensamiento crtico Destrezas de informacin A nivel institucional Razonamiento lgico-matemtico Comunicacin efectiva A nivel de programas acadmicos
Oficina de Evaluacin del Aprendizaje Estudiantil

Proceso de Assessment del Aprendizaje Estudiantil en los programas subgradudos de la UPR-RP

Oficina de Evaluacin del Aprendizaje Estudiantil

El proceso de assessment del aprendizaje estudiantil se dirige a contestar las siguientes preguntas:

En qu medida estn los estudiantes logrando los aprendizajes que se esperan, segn se expresa en la misin de la Institucin y en las metas y los objetivos de los programas acadmicos o concentraciones? Cmo evidenciamos el logro de esos aprendizajes? Qu acciones y decisiones debemos tomar en la sala de clases, en los programas acadmicos o concentraciones y en la Institucin a partir de los hallazgos?

Oficina de Evaluacin del Aprendizaje Estudiantil

Documentos oficiales para el assessment del aprendizaje estudiantil

Plan de Assessment del Aprendizaje Estudiantil del programa acadmico o concentracin Informe Parcial y Anual de Assessment del Aprendizaje Estudiantil Plan de 5 aos

Matriz Curricular

Oficina de Evaluacin del Aprendizaje Estudiantil

Pginas oficiales de la OEAE para la continua diseminacin de resultados

Blog (www.oeaeuprrp.blogspot.com)

Pgina de Scribd (http://www.scribd.com /OEAE_UPRRP)

Oficina de Evaluacin del Aprendizaje Estudiantil

Procesos a seguir en el desarrollo e implantacin del Plan de Assessment del Aprendizaje Estudiantil

Oficina de Evaluacin del Aprendizaje Estudiantil

Oficina de Evaluacin del Aprendizaje Estudiantil

Ciclo de Assessment
Definimos un ciclo de assessment de acuerdo a las siguientes etapas:
1) Seleccin de las competencias o dominios del aprendizaje que se van a evaluar y que estn alineados con los del programa acadmico y con el Perfil del Egresado,
2) Identificacin de las actividades educativas en las cules se avaluarn los dominios del aprendizaje,

3) Adaptar o desarrollar instrumentos de assessment para recoger datos pertinentes, 4) Seleccin de las instancias en que se medirn los dominios escogidos en un curso o en diferentes cursos del programa acadmico,
5) Recopilacin, anlisis e interpretacin de los datos recogidos,

6) Proponer acciones transformadoras. Estas acciones se implementarn y se evaluarn en el prximo ciclo de assessment que incluir otros dominios del aprendizaje que se avaluarn .

El periodo de tiempo establecido para un ciclo es un ao.

Oficina de Evaluacin del Aprendizaje Estudiantil

Qu hacer una vez iniciado el proceso de assessment del aprendizaje?

Una vez iniciado el proceso de assessment en un programa acadmico y despus de analizar los datos recopilados, debemos hacernos las siguientes preguntas y reflexionar:

Qu han aprendido nuestros estudiantes? Estamos satisfechos con los hallazgos? De no ser as, qu vamos a hacer al respecto?

Proponer acciones transformadoras en las reas por mejorar y evaluarlas.

Oficina de Evaluacin del Aprendizaje Estudiantil

Apoyo al proceso de assessment

Reuniones individuales con los Coordinadores de Avalo y personal de apoyo en los programas acadmicos.
Brindar continuamente recomendaciones de documentos enviados (e.g., planes, informes, instrumentos).

Enfatizar el uso de mltiples medidas (e.g., diferentes actividades educativas).

Enfatizar que se mida en mltiples instancias (i.e., momentos en que se recopila informacin en el curso o en varios cursos) Ayudar en el diseo de documentos para facilitar el proceso de anlisis e interpretacin de datos.

Auscultar comentarios y recomendaciones de las personas que participaron para conocer qu se puede mejorar del proceso.
Oficina de Evaluacin del Aprendizaje Estudiantil

Resultados del proceso de assessment del aprendizaje estudiantil

Oficina de Evaluacin del Aprendizaje Estudiantil

Nmero de Programas Acadmicos Subgraduados que han participado en los Ciclos de Assessment del Aprendizaje Estudiantil (2008-2012)
70

Nmero de Programas Acadmicos

68 (97%)

66 (94%)
58 (83%)

64 (91%)

60

50

40

30

20

10

Ciclo de Primer Ciclo Segundo Ciclo Tercer Ciclo Adiestramiento y (2009-2010) (2010-2011) (2011-2012) Aprendizaje (2008-2009) Ciclos de Assessment del Aprendizaje Estudiantil (2008-2012)

Oficina de Evaluacin del Aprendizaje Estudiantil

Cantidad de ciclos en que han participado los Programas Acadmicos Subgraduados (2009-2012)
70

Nmero de Programas Acadmicos

60

57 (81.4%)

50
40 30 20 10

9 (12.9%) 3 (4.3%) 1 (1.4%) Dos ciclos Tres ciclos No ha participado

Un ciclo

Participacin en Ciclos de Assessment del Aprendizaje Estudiantil

Ao acadmico 2012-2013 63 programas han entregado Plan de Assessment (90%)

Oficina de Evaluacin del Aprendizaje Estudiantil

Nmero de programas que han evaluado los dominios de la misin expresados en el Perfil del Egresado de la UPR-RP por Ao Acadmico
70

63
Nmero de Programas Acadmicos 60 52 50 40 30 20 10 0
Comunicacin Efectiva Pensamiento Crtico Investigacin y Creacin Responsabilidad Conocimientos, Competencias de Social Destrezas o Informacin Actitudes

57

58 54 51

57 49

55

52

47

45
41 34

46

2009-2010

2010-2011 29
19 2011-2012

30

Dominios de la Misin de la UPR-RP

Oficina de Evaluacin del Aprendizaje Estudiantil

Dominios de la misin de la UPR-RP evaluados por los Programas acadmicos (2011-2012)

Comunicacin Efectiva

57 58

Dominios de la misin de la UPR-RP

Pensamiento Crtico Investigacin y Creacin

51
45

Responsabilidad Social
Razonamiento Lgico Matemtico Conocimiento, Destrezas o Actitudes Aprendizaje Continuo Capacidad para Estudio Independiente Curiosidad Intelectual Competencias de Informacin

16
55 0 6 7 52 16

Sensibilidad Etica y Esttica

Integracin de conocimiento

39
23 10 20 30 40 50 60 70

Aprecio, cultivo y compromiso con los ideales de

Nmero de Programas Acadmicos

Oficina de Evaluacin del Aprendizaje Estudiantil

Resultados de assessment de los dominios del aprendizaje por los programas acadmicos (2011-2012)
Dominio de aprendizaje
Nmero de programas acadmicos que evaluaron ese dominio Nmero y porcentaje de programas acadmicos que alcanzaron el logro esperado

Comunicacin Efectiva
Pensamiento Crtico Investigacin y Creacin

57
58 51 45 52

42 (73.7%)
39 (67.2%) 39 (76.5%) 31 (68.9%) 36 (69.2%)

Responsabilidad Social
Competencias de Informacin Conocimiento, Destrezas o Actitudes propios del programa

55 16 6 7 39
16

34 (61.8%) 4 (25.0%) 4 (66.7.0%) 7 (100%) 29 (74.4%)

5 (31.3%)

Razonamiento Lgico Matemtico

Capacidad para Estudio Independiente Curiosidad Intelectual

Integracin de Conocimiento
Sensibilidad tica y Esttica Aprecio, cultivo y compromiso con los ideales de la sociedad puertorriquea y en el contexto caribeo e internacional

23

23 (100%)

Oficina de Evaluacin del Aprendizaje Estudiantil

Resultados de assessment de los dominios del aprendizaje por los programas acadmicos (2011-2012)
Nmero de programas acadmicos que han evaluado dominios del aprendizaje en: Facultad o Escuela (nmero total de programas que participaron en el ciclo de assessment 2011-2012 en parntesis)
Administracin de Empresas (10) Educacin (23) Estudios Generales (0) Humanidades (12)

Mltiples medidas

Mltiples instancias

10 (100%) 23(100%) No particip 9 (75.0%)

10 (100%) 23(100%) No particip 11(91.7%)

Ciencias Naturales (8)

Ciencias Sociales (7) Arquitectura (0) Comunicacin (3)

7 (87.5%)
7 (100%)

7 (87.5%)
7 (100%)

No particip
3 (100%)
Oficina de Evaluacin del Aprendizaje Estudiantil

No particip
3 (100%)

Acciones Transformadoras propuestas por los programas acadmicos (2011-2012)

Nmero de programas acadmicos que:

Facultad o Escuela (nmero total de programas que participaron en el ciclo de assessment 2011-2012 en parntesis)
Administracin de Empresas (10) Educacin (23) Estudios Generales (0) Humanidades (12) Ciencias Naturales (8) Ciencias Sociales (7) Arquitectura (0) Comunicacin (3)

Propusieron acciones transformadoras en al menos un dominio evaluado 10 (100%) 23 (100%)

No particip

Implementaron y evaluaron acciones transformadoras de aos anteriores 10 (100%) 23 (100%)

No particip

La implementacin de acciones transformadoras pueden implicar acciones presupuestarias 0 (0.0%) 0 (0.0%)

No particip

12 (100%) 8 (100%) 7 (100%)

No particip

5 (41.7%) 6 (75.0%) 5 (71.4%)

No particip

7 (58.3%) 2 (25.0%) 1 (14.3%)

No particip

3 (100%)

0 (0.0%)

1 (33.3%)

Oficina de Evaluacin del Aprendizaje Estudiantil

Diseminacin de resultados

En reuniones del Comit de Currculo del Programa o en reuniones departamentales. En reuniones de Facultad o Escuela.

En las pginas electrnicas de los Departamentos y de las Facultades o Escuelas.

En presentaciones especiales sobre procesos exitosos, de adiestramiento en el proceso, entre otros, organizadas por la OEAE, el CEA y otras unidades de la Institucin. En el blog de la OEAE (oeaeuprrp.blogspot.com). En Informes Anuales de la OEAE al Decanato de Asuntos Acadmicos y a la Oficina de la Rectora del Recinto. En foros o conferencias de assessment en Puerto Rico o en el exterior. En documentos dirigidos a las agencias acreditadoras.
Oficina de Evaluacin del Aprendizaje Estudiantil

Resultados: Reflejos de Mejoramiento en el proceso de assessment del aprendizaje estudiantil

Una mejora se observa en el proceso de assessment del aprendizaje estudiantil a travs de los ltimos tres aos:

los profesores y coordinadores de assessment de los programas adquieren confianza y entendimiento del proceso
ha crecido el inters de los miembros de la facultad que estn participando en este proceso, segn evidenciado en el nmero mayor de instancias y medidas informadas. se observa una mejora en la calidad de los instrumentos que utilizan los profesores. el nmero de cursos en los que se hace assessment del aprendizaje estudiantil ha aumentado en los ltimos dos aos.
Oficina de Evaluacin del Aprendizaje Estudiantil

Resultados: Reflejos de Mejoramiento en el proceso de assessment del aprendizaje estudiantil (cont.)

Hay aumento en la diseminacin de los resultados de assessment en foros, tales como reuniones de Departamentos y de Facultad, pginas electrnicas de Departamentos y de Facultad, y en talleres. Se observa progreso en el aprendizaje estudiantil en importantes dominios de educacin general.

Se evidencia el compromiso de la Administracin del Recinto al tomar las siguientes medidas para fortalecer una cultura de assessment: Asignacin de recursos econmicos para dar compensaciones o descarga acadmica para la coordinacin de los esfuerzos de assessment en cada programa.

Oficina de Evaluacin del Aprendizaje Estudiantil

Resultados: Reflejos de Mejoramiento en el proceso de assessment del aprendizaje estudiantil (cont.)

La mayora de las acciones transformadoras que implementaron no requirieron compromisos presupuestarios.

se

Muchas de ellas se implementaron en el mismo semestre en una segunda o tercera instancia, otras en el segundo semestre, si el curso es de un ao, impactando de inmediato el aprendizaje estudiantil de ese grupo de estudiantes. (assessment formativo).

Un gran nmero de programas acadmicos estn evaluando acciones transformadoras que fueron propuestas en ciclos anteriores e implementadas en un ciclo posterior, cerrando de este modo el ciclo de assessment, y proveyendo as un continuo esfuerzo para mantener o mejorar el aprendizaje estudiantil.

Oficina de Evaluacin del Aprendizaje Estudiantil

Retos continuos
Mantener el momentum alcanzado en el proceso. Proveer disponibilidad para consultas en todo momento y por diferentes vas.

Proyectar que no se puede perder de perspectiva el assessment del aprendizaje estudiantil:

Fortalecer principalmente el aprendizaje de nuestros

estudiantes

Cumplir con los requerimientos de los

programas en la comunidad acadmica.

Brindar informacin relevante a la

comunidad exterior, incluyendo a las agencias acreditadoras.
Oficina de Evaluacin del Aprendizaje Estudiantil

Retos continuos (cont.)

Enfatizar la evaluacin del curso a la vez que se hace el assessment del aprendizaje mediante la evaluacin por criterios. Fomentar que el proceso de assessment en el programa sea uno dinmico que est en una continua reflexin de los hallazgos de cada ciclo y de los documentos de avalo relacionados. Cambios de facultad en las diferentes posiciones administrativas y en la coordinacin del proceso de assessment en un programa.

Cambios de administradores en puestos claves (e.g., Decanos, Director de Departamento o Programas) que desconocen el proceso y no proveen la direccin adecuada.
Limitados recursos para fortalecer el proceso.

Oficina de Evaluacin del Aprendizaje Estudiantil

Oportunidades

Adiestramiento continuo de los miembros de la facultad en temas relacionados al assessment del aprendizaje estudiantil. Esto incluye profesores de nuevo reclutamiento.

Cambios en la coordinacin de los procesos de avalo en los programas acadmicos. Cambios en la direccin de un programa acadmico. Utilizar docentes de nuestra Institucin especialistas en materias relacionadas al assessment para crear concensos en:

el desarrollo de definiciones
la elaboracin de objetivos de aprendizaje en el diseo de instrumentos para evaluar
el aprendizaje estudiantil

en la redaccin de planes de accin

Oficina de Evaluacin del Aprendizaje Estudiantil

Oportunidad concretizada

Desarrollo de aplicacin en lnea para facilitar el proceso de evaluar el aprendizaje estudiantil

Colaboracin con el Departamento de Ciencias de Cmputos

(experiencia prctica para dos grupos de estudiantes)

Dos versiones (profesor y administrador)

Desarrollo de rbricas
Anlisis de datos Planes futuros:

o Fase II Fomentar el uso del programado

entre otros docentes

o Fase III Integrar la aplicacin al Sistema

de Informacin de la UPR-RP
Oficina de Evaluacin del Aprendizaje Estudiantil

Recomendaciones para docentes

Comience con los profesores que estn convencidos de la

utilidad del assessment.

Renase

con los indecisos para explicarle por qu hacer assessment y tratar de convencerlos a participar en los esfuerzos de assessment del aprendizaje estudiantil del Recinto.

Provea

formatos de informes sencillos que los programas acadmicos deben rendir no ms de dos veces al ao. cursos, en qu actividades educativas y establezca un logro esperado realista.

Decida cules dominios de aprendizaje va a evaluar, en qu Brinde continuamente retroalimentacin del proceso.
Oficina de Evaluacin del Aprendizaje Estudiantil

Recomendaciones para docentes (cont.)

Disee instrumentos de assessment a usar para los dominios escogidos y decida las instancias en que van a medir. Recolecte y analize los datos por criterio. Desarrolle documentos que faciliten el proceso de anlisis de datos. No lleve a cabo procesos de avalo aislados. Use la instancia de evaluacin del curso para hacer assessment de un dominio dado.
Establezca acciones transformadoras para atender aquellos criterios que no alcanzaron el logro esperado. Implemente y evale las acciones transformadoras propuestas en una prxima instancia o en el prximo ciclo.

No pierda el momentum del proceso.

Oficina de Evaluacin del Aprendizaje Estudiantil

Recomendacin: Hacer assessment del proceso de assessment

Las

personas que dirigen el proceso, tanto a nivel de programas en la Facultad o en la Institucin, deben reflexionar continuamente acerca del mismo.

Discutir cmo se puede mejorar el proceso. Desarrollar mecanismos que faciliten el proceso.

Enlazar los procesos de assessment con otras actividades

recurrentes en los programas acadmicos e institucionales.

Analizar cmo se usa la informacin recopilada. Ser estratgico en las decisiones a tomarse.
Oficina de Evaluacin del Aprendizaje Estudiantil

A modo de conclusin

Los hallazgos de assessment

proveen evidencia del estado actual del aprovechamiento estudiantil en

multiples instancias.

A pesar de que se han identificado reas por mejorar, los resultados

globales demuestran que los estudiantes estn alcanzando los niveles de ejecutoria esperados.

apoyan el hecho de que los estudiantes estn recibiendo una preparacin

acadmica slida que los prepara para proseguir estudios graduados o competir favorablemente en un ambiente profesional de trabajo relacionado a su rea de estudios.

Los procesos de assessment del aprendizaje estudiantil en los programas acadmicos subgraduados.

demuestran un momentum que va en la direccin correcta para asegurar que se le provee al estudiante suficientes oportunidades para alcanzar los logros esperados a nivel del curso, del programa y de la Institucin.
Es importante mantener este momentum.
Oficina de Evaluacin del Aprendizaje Estudiantil

Muchas gracias por su atencin!

Preguntas?

Oficina de Evaluacin del Aprendizaje Estudiantil

Cmo contactarnos?

Correo electrnico: oeae.uprrp@upr.edu

Pginas electrnicas: http://www.oeaeuprrp.blogspot.com http://www.scribd.com/OEAE_UPRRP Telfonos
Cuadro: (787) 764-0000 Extensiones: 85011-85014

Oficina de Evaluacin del Aprendizaje Estudiantil