Indicadores para evaluar el posgrado o un problema de concepcin de su papel y de sus formas de evaluarlo1 ngel Daz Barriga2 Con el establecimiento

de Padrn de Posgrados de Excelencia, ahora Padrn Nacional del Posgrado, se dio en Mxico el inicio de un modelo de acreditacin de programas de posgrado. Una acreditacin que se confi inicialmente al CONACYT y que ahora realizan de alguna forma de manera conjunta el CONACYT, en una vinculacin directa con la Subsecretara de Educacin Superior.

1. Notas iniciales antes de discutir el tema de los indicadores de evaluacin, pero que guarda relacin con el mismo. Considero importante resaltar dos aspectos que en mi opinin condicionan el programa. Una visin preponderantemente vinculada a la formacin de cientficos, en la lgica de formar cientficos jvenes cuya vocacin sea dedicarse no slo a la academia, sino a las actividades de investigacin. Esto gener que en los criterios de formulacin del Padrn se privilegie la perspectiva de formar cientficos (de alguna forma recuerda el surgimiento del SNI, cuando las reas de las llamadas ciencias estructuraron los criterios de evaluacin de los investigadores con los que mundialmente utiliza la comunidad cientfica) y la dificultad que tuvieron las ciencias sociales y las humanidades en encontrar y establecer su identidad de evaluacin en esta perspectiva. Por ejemplo, frente a la idea de ponderar un artculo en una revista arbitrada internacional, ponderar la publicacin de un libro o un reporte que tiene una connotacin especfica en un contexto particular, frente a la idea de ponderar el factor de impacto de la revista donde se publica, o el lugar que ocupa el investigador en el conjunto de autores del artculo, o el nmero de citas que tiene un artculo ponderar la investigacin de largo plazo, la
1 Documento elaborado para la reunin de trabajo con Coordinadores de Posgrado de la UNAM. Direccin General de Estudios de Posgrado. UNAM. (1 de junio de 2006) 2 Investigador del Centro de Estudios sobre la Universidad. UNAM e-mail: adbc@servidor.unam.mx

2 investigacin que tiene un impacto en la acogida que le dan sus colegas El problema en el caso de los indicadores de los programas de posgrado se encuentra en que su definicin es clara y certera para una comunidad con vocacin de investigacin. Varios ejemplos se pueden dar en este sentido, pero que desconoce otra realidad de la vida profesional y del desarrollo del pas, y es la necesidad de contar con profesionistas especializados de alto nivel. Este es el segundo problema, referido a la concepcin general del Padrn Nacional del Posgrado. Un padrn establecido nuevamente para reconocer la formacin para la investigacin, aunque plantee como concesin y no como perspectiva la posibilidad de una maestra profesionalizante, que tiene muchos elementos espejo de la maestra en investigacin3. Para el doctorado esta pequea diferencia dejar de existir. Aunque en el ao 2000 se hizo llegar al grupo de funcionarios que asuman la responsabilidad de la educacin superior en el pas las crticas al establecimiento del Padrn de Posgrados de Excelencia, en particular el desconocimiento de las necesidades de formacin profesional. Se puede afirmar que los fsicos que se responsabilizaron de esta actividad no alcanzaron a entender el tema que se plantea cuando se establece la dicotoma entre un posgrado orientado a la formacin de investigacin y otro orientado hacia la formacin profesional. Es un problema de concepcin que directamente afecta a los indicadores de evaluacin. No es un aspecto imposible de ponderar, pero desde el punto de vista de la investigacin llama la atencin que por ejemplo en Estados Unidos exista con claridad una doble va para el posgrado: el posgrado en investigacin (impartido en las Universidades que se reconocen por sus ranking como Universidades de Investigacin) y el posgrado profesional que ofrecen otras instituciones. Programas que cumplen otra funcin social.

Es recomendable observar el fraseo que sobre ambos temas se establece en el Manual para la Evaluacin del Posgrado Nacional (PNP) Para el caso de las maestras en investigacin manifiesta El alumno participar en actividades de investigacin conducidas por profesores del posgrado, mientras que el lenguaje empleado en las maestras con orientacin profesional es Participar en proyectos terminales de carcter profesional, docente o empresarial

3 En un intento de caracterizacin de ambas orientaciones del posgrado podramos afirmar Concepcin del posgrado
Meta Condiciones alumnado del Posgrado de investigacin Formar investigadores Jvenes Con buenos antecedentes acadmicos Dedicacin de Tiempo Completo Con capacidad de graduarse en los tiempos previstos Posgrado Profesional Formar en un conocimiento experto profesional El estudiante debe contar con experiencia profesional Un promedio mnimo, pero sobre todo desarrollo de habilidades y competencias de su mbito Difcil dedicacin de t/c (Atencin a graduacin sera tema pendiente porque quiz se tendran que instrumentar otras opciones: I&D, Reporte analtico de experiencia profesional, (La reconocida patentes) Acceso a un grupo de profesores que tiene conocimiento experto Escenarios no slo educativos, sino escenarios reales (lleva a conservar parte de su compromiso laboral) Infraestructura de biblioteca, cmputo, bases de datos Seminarios y talleres con una orientacin profesional Profesores con posgrado Parte significativa conservando su experiencia profesional

Condiciones que ofrece el programa

Integrarse a un grupo de investigacin Infraestructura necesaria para su proyecto (laboratorios, equipo, cmputo, insumos, acceso a bases de datos) Seminarios especializados

Planta acadmica

Impacto

Investigadores (con todas sus credenciales: doctorado y pos-doc, publicaciones arbitradas, reconocido por el SNI) Dedicacin de tiempo completo Atender la necesidad que tiene el pas para consolidar e incrementar su planta de investigacin en todas las reas del conocimiento nfasis en las llamadas disciplinas acadmicas (Fsica, Qumica, Biologa, Matemticas, Sociologa, Economa, Filosofa, Literatura, Psicologa, Historia, Geografa, Economa, etc) En disciplinas que integran conocimientos: Medicina, ingeniera, Educacin Mayor dificultad en disciplinas con alto componente profesional (Contadura, Administracin, Derecho)

Campos disciplinarios

Atender a la necesidad que tiene el pas para contar con profesionistas que a partir de su conocimiento experto incidan en la atencin de diversos campos de conocimiento nfasis en disciplinas vinculadas a profesiones liberales (Derecho, Ingeniera, Medicina, Contadura) En disciplinas que cuentan con ambos mbitos el profesional y de la investigacin: Economa. Sociologa, Psicologa, Educacin Mayor dificultad en disciplinas acadmicas.

Aunque el Manual de Evaluacin del Posgrado que acompaa a la convocatoria dedica ms de 12 pginas a trabajar las caracterizaciones de un posgrado profesionalizante y otro de investigacin (slo a nivel maestra), tengo la impresin de que la perspectiva profesionalizante esta

4 construida desde la perspectiva de investigacin y no de los procesos profesionales. Una visin distinta de la perspectiva profesional del posgrado llevara a desmitificar el papel que en este momento se le asigna a la investigacin 2. El problema de los indicadores de evaluacin La determinacin de indicadores de evaluacin es un resultado y no un punto de partida. Articula tres elementos: a) la concepcin que se tenga del posgrado, b) la perspectiva que se tenga de la evaluacin y, c) la visin burocrtica que se tenga de la informacin. Los indicadores que empleados en la evaluacin de 2006 expresados en el Manual de Evaluacin del Posgrado se organizan en 9 rubros: Valoracin general (con 8 tems) Operacin del programa (12 tems) Plan de estudios (7 tems) Evaluacin (6 tems) Planta acadmica (12 tems) Seguimiento de la Trayectoria de Egresados (2 tems), Produccin Acadmica (1 tem), Infraestructura (12 tems), Vinculacin (4 tems) y Recursos Financieros (4 tems) Un examen del Manual de Evaluacin del Posgrado y de los formatos para llenar dicho documento permite esbozar como conclusin: a) Se trata de un universo de indicadores diverso, (Se pide informacin sobre planes de estudio, trayectorias de egresados, planta acadmica separada de produccin acadmica) repetitivo, (El tema valoracin es un resumen de todos los dems) con disparidades respecto de la informacin que solicitan b) Se trata ms de un informe que de un acto de auto-evaluacin. No es ni cumple con las normas de una autoe-evaluacin. Ms an, la cantidad de informacin exigida permite pensar que en la meta para calificar en el programa se ver obligado a llenar el formato ms que a analizar desde una perspectiva organizacional cules han sido los aspectos que son exitosos del programa, cules son sus puntos crticos y que tareas realiza frente a ello. c) Se trata de una perspectiva burocrtica de la evaluacin, que se relaciona con la identidad burocrtica de la cultura mexicana. Las personas tienen que llevar permanentemente copias y copias de documentos para que sea creble lo que manifiestan. Esto es la lgica de la evaluacin es llenar un formato y acompaarlo de mltiples evidencias (copias) que permitan demostrar que lo que se afirma es cierto. d) Los mecanismos de flexibilizacin que se exigen a los programas de posgrado no se tienen en los sistemas de evaluacin del mismo.

5 Rigidez en la fecha, rigidez en el formato, rigidez en los indicadores de evaluacin. e) Las coordinaciones de posgrado se han convertido, no slo en instancias acadmicas de impulso al desarrollo del programa, de organizacin de actividades complementarias (conferencias), sino tambin en reas de gestin de informacin en la ausencia de un sistema de cmputo que permita la recopilacin de la informacin desde su lugar de origen: inscripcin o reinscripcin, informes de trabajo del personal acadmico, curriculum del personal acadmico, etc y en reas que coordinan o gestan tareas de investigacin en educacin (Estudios de trayectorias de egresados, estudios que en estricto sentido no se refieren slo a la calidad del programa, sino a otros factores dinmica del empleo). Entre estas exigencias desmedidas se encuentra por ejemplo el indicador: Existencia de estudios o registros sobre programas de licenciatura que pueden constituir una demanda potencial para los estudios de posgrado f) El mecanismo de informacin de igual manera est concebido para posgrados de investigacin. Esto es para posgrados que en general tienen un nmero ms acotado de estudiantes que los que pudiramos denominar posgrados de formacin profesional g) Los indicadores de evaluacin estn claramente orientados a la investigacin, los que se han formulado para la formacin profesionalizante son adaptaciones de una perspectiva de investigacin. (Ver los ejemplos en el cuadro que se presenta a continuacin)

6
Ejemplos de derivacin de criterios de la investigacin hacia el rea profesionalizante
Indicadores Maestras investigacin Existencia de estudios sobre graduados que participan en sociedades cientficas y en el SNI Existencia de lneas de investigacin consolidadas Indicadores Maestras Profesionalizante Cantidad de graduados que cuentan con certificacin y re-certificacin profesional (tema prcticamente inexistente en Mxico Existencia de lneas de trabajo de carcter institucional en la propia institucin o en instituciones o empresas del ramo que tengan relevancia a nivel nacional o internacional. Las lneas debern estar asociadas a convenios Participacin de la planta acadmica y de los alumnos en reuniones profesionales de alcance nacional e internacional Idoneidad y eficacia de los mecanismos para la evaluacin de la productividad acadmica de la planta Deber contar con un ncleo bsico de profesores de T/C, adems un nmero de profesores de reconocida calidad en el mbito de su profesin con dedicacin menor. (Maestra 6 t/c). 3 profesores por cada lnea de trabajo del programa 50% de la planta deber haber obtenido su grado ms alto en una institucin diversa a la que ofrece el programa Proporcin significativa de profesores de t/c que haya hecho estancias temporales en instituciones del sector productivo o social vinculadas al programa Productividad reciente y original. Un producto profesional relevante cada ao por cada profesor; 80% de los profesores dar evidencia de prctica profesional relevante en los ltimos tres aos Tipo de productos: Libros o captulos tcnicos o de texto, presentaciones en eventos acadmicos, evidencias del ejercicio de la prctica profesional relevante, sistemas de cmputo, informes tcnicos de proyectos

Participacin de la planta acadmica y de los alumnos en reuniones profesionales de alcance nacional e internacional Idoneidad y eficacia de los mecanismos para la evaluacin de la productividad acadmica de la planta La planta docente ser fundamentalmente de tiempo completo. Maestra 8 (con cinco acadmicos con doctorado) Doctorado 12, con 9 con doctorado). 3 profesores por cada lnea de investigacin 50% de la planta deber haber obtenido su grado ms alto o laborado en una institucin diversa a la que ofrece el programa Un nmero de profesores que hayan hecho estancia posdoctoral o sabtica en otras instituciones Productividad reciente y original, en medios de prestigio acadmico nacionales e internacionales de su campo de conocimiento. 1 o 2 artculos pro profesor en revistas indizadas cada ao Tipos de trabajo: Artculos de investigacin, libros o captulos en libros cientficos y de texto, Presentacin en eventos acadmicos, Patentes, Prototipos experiementales

7 3. Construccin de indicadores o modificacin del sistema de evaluacin El problema de la evaluacin del posgrado no es un problema de indicadores, los indicadores desempean un papel fundamental porque orientan el trabajo de evaluacin en las actuales condiciones, pero fundamentalmente cargan de trabajo administrativo a las coordinaciones, con independencia de la necesidad de crear un sistema informtico de registro y manejo de la informacin desde su lugar de origen y no como una captura especfica para la evaluacin. Los indicadores son la parte ms tangible del acto de evaluacin, y en cierto sentido son los que hacen que orientan la evaluacin, pero en ltima instancia reflejan una concepcin de la evaluacin y una concepcin del posgrado, de su sentido y su para qu. Si aspiramos a influir en los indicadores de evaluacin, necesitamos hacer ver su articulacin con esas concepciones ms amplias. En varios trabajos recientes he analizado el carcter judicativo que tiene la evaluacin en Mxico4, una perspectiva desarrollada ms para calificar los programas y sujetos de la educacin que para impulsar su mejora. La retroalimentacin y la evaluacin formativa (la que da cuenta de los procesos) son acciones que explcitamente han sido dejadas de lado por las acciones de evaluacin. En los hechos se ha convertido en una accin en donde se pide que se llene un formulario que demanda exhaustivamente de informacin, acto al que se le denomina autoevaluacin (documento que en general no es conocido por la comunidad que integra el programa) y que en las actuales condiciones del formato no puede ser conocido, no est hecho para ser conocido. Seguido de una entrevista con un grupo de evaluadores de pares, los que en general recibieron una capacitacin de 1 da, en donde adems se les entregaron los expedientes a evaluar y de la recepcin de un resultado. La comunidad sabe y, en su caso festeja, el haber sido aceptada en el Programa Nacional del Posgrado. La evaluacin tiene que convertirse en una actividad ms acadmica, recuperar su sentido amplio en el campo de las ciencias de la educacin y convertirse en un instrumento que permita retroalimentar el funcionamiento del programa de posgrado.
4

Cfr. Daz Barriga, A. Riesgos de los sistemas de evaluacin y acreditacin de la Educacin Superior. Ponencia presentada en el Seminario Regional de Nuevas tendencias de la Evaluacin en Amrica Latina. Buenos Aires, Junio 2005, IESALCUNESCO-CONEAU. http://angeldiazbarriga.com/doctos/archivos/riesgos_sistemas_adreditacion.pdf

Los dos elementos de la evaluacin no cambian en ninguna propuesta: Autoevaluacin y evaluacin de pares. Con una diferencia el acto de autoevaluacin tiene que centrarse mucho ms en la descripcin de procesos acadmicos, en ese sentido es importante restringir los indicadores a un nmero menor pero en ncleos ms significativos: Plan de estudios, Planta acadmica y Estudiantes. Los indicadores que se presentan en estos rubros no son necesariamente reemplazables, pienso que merecen una construccin ms acadmica. Esto es que no se limite a porcentaje de cursos, porcentaje de profesores, porcentaje de publicaciones, sino que d cuenta de los procesos que hay detrs de la construccin de una propuesta curricular y de la operacin de la misma, que hablen mucho ms de la forma como los seminarios se llevan adelante, que plantee como van los estudiantes construyendo sus esquemas intelectuales que les permitan posicionarse en un campo especfico. No es tan importante hablar de cuantas publicaciones se tienen, sino presentar los proyectos ms relevantes que se han trabajado en cada perodo o las acciones profesionales que se han impulsado. (Los indicadores de infraestructura y financiamiento son secundarios pero se podran integrar) Pero la construccin de otra perspectiva de evaluacin requiere ser acompaada por otro proceso, la modificacin de la concepcin que se tiene de que los posgrados de investigacin son mejores que los posgrados con orientacin profesional. Son distintos, pero ambos deben tener calidad. Slo que la calidad de los posgrados profesionales no puede una adaptacin de criterios de los posgrados de investigacin. Para ello es necesario construir el sentido del posgrado nacional desde las necesidades de desarrollo del pas en el marco de la globalizacin. El tema en este sentido es muy claro los posgrados profesionales pueden otorgar el grado de maestra y doctorado, en varias reas responden a necesidades prioritarias del pas. Si el CONACYT se sigue negando a considerar la posibilidad de este tipo de programas doctorales, la tendencia del posgrado ser: unas pocas instituciones privadas de lite seguirn impulsando posgrados en algunas reas especficas y en algunos campos educacin se seguir impulsando que las privadas sobre todo aquellas instituciones que no tienen la mnima calidad acadmica ofrezcan indiscriminadamente estos estudios

9 Algunos ejemplos
Doctorado en Economa. Orientacin Finanzas Posgrado de investigacin UNAM. Orientacin finanzas. Estudio conceptual de Keynes y Schumpeter. Estudio sobre la Moneda, la poltica monetaria Posgrado profesional ITAM. Programa que maneja instrumentos finacieros (Valor del dinero, Estados financieros de las empresas, margen de utilidad, venta de swapp. Perspectiva Economtrica Orientado a formar profesionales expertos para Banco de Mxico, Bolsa Mexicana de Valores, Fondo Monetario Internacional UNAM. MADEMS (Slo maestra) Posgrado orientado a formar profesores que puedan mejorar su desempeo en el aula

Educacin

DIE UNAM UAA. Posgrados orientados a formar investigadores en algunas de las subreas del campo de la educacin

Slo habra que tener claro que si el pas quiere un sistema educativo de calidad se debe ofrecer opciones de formacin en posgrado (Maestra y Doctorado) no slo a los profesores de enseanza media superior, sino a los profesores de primaria, secundaria y educacin superior. El reto es enorme slo en educacin primaria se encuentran 800 mil profesores, en secundaria 550, en educacin superior 220 mil. En Estados Unidos existen programas de liderazgo educativo orientados para profesores de primaria. En Mxico los programas de posgrado para profesores tienden a reproducir la lgica de los programas de investigacin. La realidad es que en educacin han proliferado muchos programas en instituciones que no garantizan la mnima calidad5 Son slo dos ejemplos pero que permitiran incorporar un aspecto fundamental a la discusin. Se requiere formular posgrados profesionales que promuevan un conocimiento experto en diversos mbitos disciplinarios que respondan a las problemticas que enfrenta el pas. Intencionalmente plantee dos ejemplos donde no hay patentes, donde no hay, sobre todo en el segundo, instituciones de prestigio nacional los profesores pueden trabajar en una escuela comn y corriente donde en vez de impulsar la vocacin de investigacin, se impulse el desarrollo profesional.

En la zona metropolitana se podran identificar fcilmente ms de 10 instituciones, en el norte, mientras que en el centro ya existe un programa abierto que concede el doctorado y en el norte varios programas conceden el doctorado.

10 En el caso de los posgrados orientados a la investigacin, quiz no es factible modificar los indicadores, aunque es necesario limitarlos a lo sustantivo, mientras que en el caso de los posgrados de orientacin profesional es indispensable conformar indicadores acordes a sus caractersticas. El tercer aspecto es la limitacin de los indicadores. Hemos enunciado que se deben limitar a lo sustantivo, que es necesario que se describan procesos. Lamentablemente no hay otra forma que realizar descripciones someras de algunos procesos significativos referidos a varios elementos que afectan la formacin del estudiante. Limitar a tres mbitos la evaluacin sera ms que suficiente: Plan de Estudios, Planta Acadmica y Estudiantes. El problema no est en los indicadores que actualmente se presentan en el Manual de Evaluacin, sino en la posibilidad de abrir un espacio para describir los procesos ms significativos, para presentar aunque sea de manera somera algunos de los resultados de la investigacin y/o desarrollos profesionales impulsados por el programa. Una recapitulacin En todo caso, lo que se requiere es identificar mecanismos que por una parte permitan el mejoramiento de la calidad de la oferta de estudios de posgrado que se tiene en el pas, pero por otra parte, tambin se requiere darle contenido a la expresin pertinencia social tan utilizada en la poltica educativa. Pertinencia social atae lo que permite resolver grandes problemas a nivel nacional, alguno de los cules guardan una estrecha relacin con la investigacin, mientras que otros se refieren a la dominio experto de un mbito profesional. El pas requiere de programas de posgrado (Maestra y Doctorado) claramente orientados a la investigacin y/o desarrollo profesional. Pero los criterios del desarrollo profesional se deben construir desde la sociologa de las profesiones y no desde el sistema de evaluacin de la investigacin. El reto en este punto es enorme El pas debe modificar su concepto deshausiante y competitivo de la evaluacin, la evaluacin no es el espacio para competir por recursos econmicos o para colgarse medallitas de logro. La evaluacin tiene como funcin generar procesos de retroalimentacin que contribuyan a la mejora global del posgrado a nivel nacional y no a la concentracin de recursos en muy pocos programas.