La Evaluacin de la Educacin Superior:

En bsqueda de la calidad

dilvo.ristoff@mec.gov.br

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

La Estria de Patton
En el principio cre Dios los cielos y la tierra, y al observar lo que haba
hecho, dijo:
-Mira como es bueno lo que hizo!
Y esto fue por la maana y la tarde del sexto da.
En el sptimo da Dios descans. Fue entonces que su arcngel se acerc
y le pregunt:
Seor, como usted sabe si lo que ha creado es bueno? Cules son sus
criterios? Qu datos basan su juicio? Lo que, ms precisamente, el
Seor estaba esperando? Usted no est demasiado involucrado en su
creacin para hacer una evaluacin desinteresada?
Dios pas el da pensando en estas preguntas y por la noche tuvo un
sueo muy inquieto. En el octavo da Dios dijo:
-Lucifer, va al infierno!
Y as naci, iluminada de gloria, la evaluacin.
La verdadera historia del Paradiso.
(mi traduccin)

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Las Preguntas de Lcifer

1.

Seor, como usted sabe si lo que ha creado es

bueno?

2.

Cules son sus criterios?

3.

Qu datos basan su juicio?

4.

Lo que, ms precisamente, usted estaba

esperando?

5.

Usted no est demasiado involucrado en su

creacin para hacer una evaluacin desinteresada?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

cmo sabe si lo que ha creado es bueno?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Qu datos basan su juicio?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Lo que, ms precisamente, usted estaba esperando?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Quales eran sus objetivos?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

El Seor no est demasiado involucrado?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Preguntas bsicas en la literatura

1.
2.
3.
4.
5.

Cul es la definicin de evaluacin?

Cules son las funciones de la evaluacin?
Cules son los objetos de la evaluacin?
Qu tipo de informacin sobre el objeto debe ser recogido?
Qu criterios deberan utilizarse para juzgar el mrito y el
valor de un objeto medido?
6. A quin debe servir la evaluacin?
7. Cmo es el proceso de evaluacin?
8. Qu mtodos de investigacin deben ser utilizados en la
evaluacin?
9. Quin debe hacer la evaluacin?
10. Con qu criterios debe ser juzgada la evaluacin?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Definicin ms comn
La investigacin sistemtica del valor y del
mrito de algn objeto "(Comit Conjunto
de Estndares de Evaluacin, 1981).

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Funciones de la Evaluacin
formativa
mejora
Gestin,
administrativa
toma de decisiones

psicolgica
Motivacin

Selectin,
ativa
Certificacin, regulacin
Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Objetos de la Evaluacin
Dos conclusiones principales se pueden extraer
de la literatura:
1. qualquier cosa, por as decirlo, puede ser
objeto de evaluacin, y la evaluacin no
debe limitarse a la evaluacin de los
estudiantes o de los profesores y del
personal tcnico-administrativo y
2. identificacin del objeto de la evaluacin
es una parte importante en el desarrollo del
proyecto evaluativo.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Las 3 miradas del Sinaes

Instituciones
Programas
Estudiantes

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Las 10 dimensiones del Sinaes

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

Dipes/Mec

Misin y Plan de Desarrollo Institucional

Polticas de Enseanza, Investigacin e extensin
Polticas de personal y condiciones de trabajo
Organizacin y gestin
Infraestructura Fsica
Comunicacin con la sociedad
Poltica de ayuda a los estudiantes
La responsabilidad social de las IES
Planificacin y evaluacin
La sostenibilidad financiera

ristoff.dilvo@gmail.com
Julho de 2015

Evaluacin de los Programas de Pregrado

Professores

Proyecto
Pedaggico

Resultados
Enade

Dipes/Mec

Infraestructura

Cuestionrio
Enade

ristoff.dilvo@gmail.com
Julho de 2015

habitante (estudiante)

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Critrios para hacer juicios sobre mrito o valor

1.
2.
3.
4.
5.

Dipes/Mec

el logro de los objetivos (importantes);

Identificacin de las necesidades de los solicitantes
potenciales o reales de la evaluacin;
Respuesta a los ideales o valores sociales;
Atencin a los estndares establecidos por expertos
o otros grupos relevantes;
Comparacin con la calidad de los objetos
alternativos.

ristoff.dilvo@gmail.com
Julho de 2015

Bases para julgar o valor

Objetivos

Ideales o
Valores
Sociales

Pareceres de
Especialistas

Dipes/Mec

Necesidades
de los
stakeholders

Objetos
alternativos

ristoff.dilvo@gmail.com
Julho de 2015

18

A quien debe servir la evaluacin?

1.
2.
3.
4.
5.

Dipes/Mec

Los grupos de inters (stakeholders);

Los tomadores de decisiones;
Los formuladores de polticas;
Los solicitantes;
La sociedad en general.

ristoff.dilvo@gmail.com
Julho de 2015

Mtodos
"En el estado actual de la arte puede
ser un signo de sabidura no
declararse ni un adepto de
metodologas cuantitativo y
cientfico-sumativas ni de
metodologias cualitativonaturalista-descriptivas" (Nevo).
Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Quin debe hacer la evaluacin?

Las personas con
1. competencia en los mtodos de medicin y de
investigacin;
2. Compreension del contexto y de la sustancia del
objeto de la evaluacin;
3. habilidad en las relaciones humanas;
4. integridad personal;
5. Clareza y objetividad;
6. responsabilidad.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Competncia en medicin

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Comprensin de la naturaleza del objeto

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Nasrudim y el Halcon
Un da, el mul Nasrudim encontr un halcn en el alfizar de la
ventana. Nunca haba visto un ave de esta especie en toda su
vida.
"Pobre criatura", exclam compasivo. "Cmo pudieron te dejar
llegar a este estado!"
Tom un par de tijeras, corto las garras del halcn, recort el pico y
se pod sus plumas.

"Ahora", exclam Nasrudim satisfecho, "ahora tienes ms cara de

pjaro!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Competncia en investigacin

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Habilidad en relaciones humanas

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Integridad

Integridad!!!!
Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Clareza e objetividad!!!!
3. Encontrar x

Aqui es!!
Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Responsabilidad!!!!

Usted hizo el lo. Tiene que limpiarlo!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Quien debe hacer la evaluacin

1. Evaluadores internos
2. Evaluadores externos

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Cmo evaluar la evaluacin?

A travs de las siguientes atributos:
1.
2.
3.
4.

Dipes/Mec

Utilidad;
Viabilidad;
Propiedad, y
Exactitud.

ristoff.dilvo@gmail.com
Julho de 2015

Utilidad
Que sea util!!!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Viabilidad

Que sea economicamente

viable!!!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Viabilidad

Que sea tecnicamente viable!!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Viabilidad

Dipes/Mec

Que sea politicamente viable!!

ristoff.dilvo@gmail.com
Julho de 2015

La trampa

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Enade valorizado

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Enade como publicidad institucional

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Exactitud

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Justcia
para una seleccin justa,
todos hacen la misma
prueba: subir a ese rbol!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Agonia de la omission

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Agonia de la omission

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

El peso de los instrumentos

datos

Autoevaluacin

evaluacin

evaluacin
evaluacin

datos

datos
Dios
!!!

IES

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

El peso de los datos

Si yo hubiera sabido que me queran que
utilizara todos estos datos no les habia
pedido.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

El peso de los datos

un mapa no debe ser tan grande como el territorio!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Como enfrentar la Agonia de la omission - leveza

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Como se deshacerse de lo que nos mantiene?

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Como enfrentar la Agonia de la omission - prioridad

priorizar o morir!!!
Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Como enfrentar la Agonia de la omission - equilbrio

Esforzarse para mantener el equilibrio incluso cuando

usted da la prioridad

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Cmo enfrentar la agonia de la omission?

Utilizar una metodologa que asigna ponderaciones
colectivas sobre la importancia y la viabilidad
operativa de cada uno de sus indicadores establece
salvaguardias esenciales para el xito del proyecto
evaluativo, buscando al mismo tiempo superar la
agona de la omisin y escapar de la simplificacin
que descaracteriza a la realidad compleja de las
Instituciones de Educacin Superior.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Datos interpretados?
datos que no son interpretados son
estriles;
polticas y decisiones que no son
sustentadas por los datos son ocas y
estn condenadas a fallar.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Datos interpretados?
Los juicios y inferencias slo
pueden sostenerse si estn bien
anclados en datos fiables y
verificables, y con un alto grado de
exactitud en sus representaciones.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Utilizacin de los datos

Entre los diferentes usos que se han destacado, est la percepcin de
que la disponibilidad de un sistema de indicadores (en Brasil
los Censos Anuales de Educacin Bsica y Superior, entre
muchos otros) abre una amplia gama de posibilidades de
incrementar el intercambio de cooperacin entre los entes
federados e de construir planificacin segura y polticas fiables,
negociadas, legitimadas y duraderas.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Cmo mejorar la Utilizacin de los datos?

1. Timing (Es intil tenermos buenos datos, si estn
disponibles despus de que los administradores ya han tomado
decisiones importantes sobre el futuro de un proyecto o
programa).

2. respuestas a las preguntas de stakeholders.

"Muchas evaluaciones," Patton escribe, "estn diseadas de una
manera genrica. Cuando los tomadores de decisiones as
reciben, su reaccin es: 'Bueno, eso es interesante. Pero no me
ayuda a decidir. No respondi a mi pregunta!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Participacin e empoderamiento?
cabe sealar que los buenos proyectos promueven y
permiten que las IES se sientan no slo participantes,
pero respetadas en su identidad.
Este principio de respeto a la identidad institucional
rechaza la construccin de rankings.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Participacin y criatividad

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Participacin y transparncia

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Participacin es soporte

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

Toma de decisiones?
Los tomadores de decisiones saben que, al momento
de decidir, nunca podran tener en las manos todo el
conocimiento. An as, tienen que decidir.
Poder, sin embargo, decidir sobre una base de datos
cuidadosamente recopilados y organizados es el sueo
de todo rector, pro-rector, decano o gerente. Tener
acceso a informacin confiable y oportuna permite a
los dirigentes y responsables por la educacin
producir inferencias creativas convincentes, y tomar
decisiones sabias, y demostrar que estn dispuestos a
aprender con los xitos y evitar los errores ya
realizados.
Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

El potencial de la evaluacin
El proyecto evaluativo, cundo hace la
integracin y transformacin de los datos
bsicos en una informacin estratgica y
descriptiva y fcilmente disponible al acceso
del pblico, promete ser una poderosa
herramienta para la planificacin y la toma de
decisiones.

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

EVALUADOR

IES

No llores!
Nosotros lo hemos
organizado todo!!!!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015

OBRIGADO!!!

Dipes/Mec

ristoff.dilvo@gmail.com
Julho de 2015