Evaluacion en Mexico

L A EVA L UA CI N DE
P R O Y E C T O S , P R O G R A M A S Y C A M P A A S DE
"A L FA BET IZA CIN P A R A EL D E S A R R O L L O "
H . S . Bhola
Manuales y Libros de Referencia del IUE
1. Handbook on Learning Strategies for Post-Literacy and Continuing
Education
por Adama Ouane
(1989) I SBN 92 820 1053 8
2. Handbook on Training for Post-Literacy and Basic Education
por Adama Ouane, Mercy Abreu de Armengol y D . V . Sharma
(1990) I SBN 92 820 1054 6
3. Evaluating "Literacy for Development" Projects, Programs and
Campingns
porRS. Bhola
Publicacin conjunta con la Fundacin Alemana para el Desarrollo
Internacional (D SE) - D S E Ref. 1624C/a (1990) I SBN 92 820 1059 7
4. Handbook on Evaluation for Post-Literacy and Basic Education
En preparacin.
M anuales y Libros de Referencia del lUE 3
LA EVALUACIN DE
P R O Y ECT O S , P R O G R A M A S Y C A M P A A S DE
"ALFABETIZACIN P A R A EL DES A R R O L L O "
Planificacin, diseo y ejecucin
de la evaluacin y utilizacin de
sus resultados
H . S . Bhola
Instituto de la U N E S C O para la Educacin (IUE)
Fundacin A lemana para el Desarrollo Internacional (DS E )
El Instituto de la U N E S C O para la Educacin, H amburgo, es una entidad
jurdicamente autnoma. A unque los P rogramas del Instituto obedecen a las
directrices fijadas por la Conferencia G eneral de la U N E S C O slo el Instituto
es responsable de sus publicaciones. L a U N E S C O no es responsable de sus
contenidos.
L os puntos de vista, la seleccin de hechos y las opiniones expresadas
son de los autores y no coinciden necesariamente con la posicin del Instituto
de la U N E S C O para la Educacin, H amburgo.
L as formas de designacin empleadas y la presentacin del material en
esta publicacin no implican la expresin de ningn tipo de opinin por parte
del Secretariado de la U N E S C O en lo relativo al status jurdico de cualquier
pas o territorio, o de sus autoridades, en lo concerniente al trazado de fronte-
ras de cualquier pas o territorio.
I S BN 92 820 1059 7
Instituto de la U N E S C O para la Educacin y Fundacin A lemana para el
Desarrollo Internacional, 1991.
P ortada: Patricia Martnez
T raduccin al espaol a cargo de M ercy A breu de A rmengol
Instituto de la U N E S C O para la Educacin
Feldbrunnenstrasse 58
W- 2000 H amburg 13
A lemania
Fundacin A lemana para el Desarrollo Internacional (DS E )
H ans-Bckler-S trasse 5
W- 2000 Bonn 3
A lemania
D S E R ef. 16 24 C / a
Impreso por la Oficina Regional de Educacin de la
U N E S C O para A mrica Latina y el Caribe, O R E A L C .
S antiago, Chile, 1992
TABLA D E CONTENIDOS
Nota al Lector
Prlogo
Introduccin
PA RT E I
La Evaluacin: Contexto, Funciones y Modelos
1. Evaluacin - Definiciones, Contexto, Objetivos y
Funciones
2. Paradigmas y Modelos de Evaluacin
Seccin A : D os Paradigmas Bsicos de Evaluacin
Seccin B : Modelos de Evaluacin
PA RT E II
La Planificacin y la Gestin de la Evaluacin
3. La Planificacin de la Evaluacin
4. Ejecucin y Gestin de la Evaluacin
PA RT E ni
Sistema de Informacin para la Gestin (SIG)
STG - Teora, Preguntas y D iseo 79
La Elaboracin de una Propuesta para Desarrollar
un Sistema de Informacin para la Gestin 95
El Proceso en una Mirada: Herramientas y
Tcnicas para la Ejecucin de un SIG 111
Seccin A : Anlisis Conceptual 112
Seccin B : Formulacin de Indicadores 129
Seccin C: Elaboracin de Pruebas de Rendimiento 134
Seccin D : Pruebas de Actitudes, Observacin de
Acciones y Resultados 146
Seccin E : Anlisis de los Datos 146
La Elaboracin de Informes Peridicos y
Especiales Basados en los Datos del SIG 151
PA RT E IV
La Evaluacin a la Manera Naturalista
La Evaluacin Naturalista - Teora, Preguntas y D iseo 165
La Elaboracin de una Propuesta para un
Estudio Evaluativo a la Manera Naturalista 179
El Proceso en una Mirada: Herramientas y
Tcnicas de la Evaluacin Naturalista 186
Vil
12. La Elaboracin de Informes sobre Evaluaciones
Naturalistas y de Informes Peridicos
a la Manera Naturalista 199
PARTE V
La Evaluacin a la Manera Racionalista
13. La Evaluacin Racionalista - Teora, Preguntas y
D iseo 207
14. La Elaboracin de una Propuesta para un
Estudio Evaluativo a la Manera Racionalista 223
15. El Proceso en una Mirada: Herramientas y
Tcnicas de la Evaluacin Racionalista 232
Seccin A : Herramientas e Instrumentos 234
Seccin B : La Recoleccin de D atos 243
Seccin C: El Procesamiento y la Presentacin
de los D atos 246
Seccin D : Anlisis Estadstico de los D atos 268
16. La Elaboracin de Informes de
Evaluacin Racionalista y la Promocin de
la Utilizacin de los Resultados 271
PARTE VI
Algunas Inquietudes Importantes Relacionadas con la Evaluacin
17. Los Aspectos Polticos de la Evaluacin,
Etica y Estndares 287
18. La Capacitacin en Evaluacin en el Tercer Mund o 295
19. Conclusiones 310
Glosario de Trminos 313
N O TA AL LECTOR
Este libro presenta un tratamiento integral de la evaluacin que incluye la
teora, la planificacin y la prctica de la misma. Quienes tienen alguna
familiaridad con la evaluacin como disciplina pueden leer este material
en el orden en que se presenta en este libro. Otros pueden leer las distintas
partes del libro segn lo crean apropiado a sus intereses sin seguir ese
orden.
Quienes son responsables de la planificacin y administracin de la
evaluacin en programas de alfabetizacin y desarrollo, en una primera
lectura pueden saltarse al Captulo 2, "Paradigmas y Modelos de
Evaluacin" en la Parte I de este libro. D eben leer la Parte II completa y
entonces proseguir con las Partes III, I V y V segn consideren apropiado.
Aquellos que ejercen la prctica de la evaluacin y tienen necesidad
inmediata de disear y llevar a cabo evaluaciones pueden leer el Captulo
1, "Evaluacin - Definiciones, Contexto, Objetivos y Funciones" y el
Captulo 3, "La Planificacin de la Evaluacin". Podran continuar entonces
con las diferentes partes o captulos segn lo necesiten.
Invito a los lectores a enviar al autor las ideas y sugerencias que
puedan usarse en una subsiguiente revisin del libro para hacerlo ms til
a los lectores. Estas sern recibidas con mi agradecimiento. Por favor
dirjase a:
Professor H. S . Bhola
School of Education
Indiana University
Bloomington, Indiana 47405
U. S . A .
PROLOGO
D esde 1980, el Instituto de la UN E S C O para la Educacin (IUE) ha hecho
investigaciones y promovido proyectos, programas y campaas de
alfabetizacin con fines de desarrollo, en el contexto de su compromiso
con la educacin permanente. Un aspecto importante de sus esfuerzos ha
sido ofrecer oportunidades de capacitacin, basadas en la investigacin, a
funcionarios del sector de desarrollo educativo, a quienes formulan las
polticas y a quienes ejercen la prctica en este campo. La orientacin
impartida incluye las estrategias de aprendizaje, la capacitacin del personal
que se desempea en los niveles intermedios y de base en estos proyectos
y la evaluacin de programas de post-alfabetizacin y de educacin bsica
no formal.
Con este manual, escrito por H. S . Bhola, el I UE comparte con una
amplia audiencia los procesos y estrategias pertinentes para evaluar
programas de alfabetizacin para el desarrollo. L a primera versin del
libro del Profesor Bhola le fue comisionada por la Fundacin Alemana
para el Desarrollo Internacional (D SE) y recibimos con agrado la iniciativa
de esta institucin de invitar al I UE, a terminar y publicar esta versin
revisada.
E n lugar de conjuntos de procedimientos que pueden aplicarse a todas
las situaciones indiscriminadamente, aqu encontramos las preguntas y los
lineamientos que deben ser considerados para disear estrategias realistas
y apropiadas para la evaluacin formativa y sumativa. N o slo se cubren
los diversos modelos tericos sino tambin, sobre todo, los aspectos
prcticos de la evaluacin con ejemplos de estudios de caso, cuestionarios,
instrumentos y procesos, extrados tanto de la extensa y ampliamente
reconocida experiencia del autor en este ca mpo como de otros proyectos
que se han realizado.
El libro trata de la evaluacin de los resultados del aprendizaje, de las
estructuras administrativas del proyecto y de la capacitacin en servicio.
Finalmente, se considera el contexto amplio del desarrollo educativo, puesto
que la evaluacin no tiene lugar en un vaco socio-poltico. Los logros se
miden en relacin con los objetivos, los cuales son un reflejo y una parte
de la toma de decisiones polticas.
Al referirse al debate metodolgico existente en este campo, el Profesor
Bhola acertadamente se rehusa a elegir enfoques exclusivamente cualitativos
o cuantitativos. El asunto clave es la necesidad de moverse de un paradigma
XU
positivista hacia lo que l denomina un enfoque "naturalista", lo cual
concuerda con la metodologa de investigacin que por largo tiempo ha
caracterizado al I UE. Esto no quiere decir que la medicin sea obsoleta,
sino que la seleccin de enfoques y metodologas apropiados (cuantitativos
y cualitativos) est estrechamente ligada al tipo de informacin requerida,
al contexto y a los problemas de evaluacin que estn en juego. Un asunto
importante es, por lo tanto, la integracin del proceso evaluativo dentro del
programa educativo total.
Este es un libro prctico que intenta prestar ayuda a los planificadores,
capacitadores y trabajadores de campo para introducir en sus programas
procesos internos de evaluacin, para planificar la produccin del tipo de
informacin requerida para tomar mejores decisiones con la finalidad de
mejorar los programas, de monitorear el cumplimiento de los objetivos y
de comprender y mejorar los procesos informales de evaluacin existentes.
D e hecho, el desarrollo de la evaluacin es fundamentalmente el desarrollo
de una "cultura de aprendizaje" dentro de una organizacin o una
comunidad.
Estamos agradecidos con el Profesor Bhola por su concienzuda revisin
de la versin original y reconocemos que sin la valiosa cooperacin de la
D S E no habra sido posible esta publicacin. D oy las gracias en particular
al D octor Joseph Mller, de la D S E , por su apoyo y asesora. D entro de
nuestro Instituto, particularmente expreso agradecimientos al D octor Ad a ma
Ouane, coordinador de los estudios del I UE sobre evaluacin de la
alfabetizacin, la post-alfabetizacin y la educacin no formal y al seor
Peter Sutton, a la seora Wil ma Grankow y al seor Dietlind Oschlies,
quienes supervisaron la publicacin y edicin del texto original en ingls.
La seora Mercy Abreu de Armengol tuvo la responsabilidad de traducir
la versin original inglesa y Juan D . Armengol edit la versin en espaol
que ahora ofrecemos a nuestra audiencia de habla hispana.
Paul Blanger
Director
Instituto de la UN E S C O
para la Educacin
INTROD UCCIN
Este es un libro sobre evaluacin, tema que en la actualidad tiene un
marcado inters social. La evaluacin ha llegado a ser importante tanto
por razones profesionales c o m o polticas. Los planificadores y
administradores profesionales quieren que la evaluacin garantice un mejor
cumplimiento de los programas y de ah derive que estos tengan una
mayor efectividad. Los polticos demandan evaluaciones para promover
una mayor justificacin de utilidad general. Las evaluaciones de proyectos,
programas y campaas de alfabetizacin se hacen necesarias por el mismo
conjunto de razones.
Si la alfabetizacin es un D erecho Huma no, "la alfabetizacin por la
causa de la alfabetizacin" encuentra justificacin. Los derechos humanos
y la satisfacciones humanas no deben tener que ser justificados por razones
extrnsecas. Sin embargo, en el mund o real todava hay que justificar la
alfabetizacin con criterios de funcionalidad. E n los aos 60 y 70 los
criteriosde funcionalidad estaban restringidos a lo econmico. Por fortuna,
durante los 80, el concepto de funcionalidad se expandi para incluir lo
econmico y lo poltico, lo social, lo educativo, lo cultural y lo ambiental.
E n este libro aceptamos la alfabetizacin como un derecho huma no, pero
al mismo tiempo como algo ms que un simple ornamento ideolgico. L a
alfabetizacin se ve como un "potencial aadido" a las capacidades
individuales y a las posibilidades colectivas. Se la considera como que
capacita a los individuos para realizar transacciones efectivas con todos
los aspectos de su ambiente -econmico, poltico, social, educativo y
cultural. Se ve la alfabetizacin como un "capital simblico" que las
naciones deben aunar con el "capital material" para lograr tanto la
democratizacin como la modernizacin de sus pueblos.
Aunque este libro est dirigido a quienes trabajan en alfabetizacin, es
un libro para todos los que laboran en programas de desarrollo. Ser de
inters para los educadores que se desempean en situaciones formales y
no formales, para los que trabajan en extensin agrcola, educadores, y
planificadores familiares as como para cooperativistas.
E n este libro hablamos de evaluar la "alfabetizacin para el desarrollo"
-proyectos, programas y campaas. Estos tres enfoques para la entrega de
servicios de alfabetizacin son, en efecto enfoques diferentes en lo que
2
concierne a las polticas de alfabetizacin. Cada uno de estos enfoques
implica un nivel diferente de compromiso poltico y un estilo diferente de
movilizacin de personas y recursos. Sin embargo, en cuanto a la evaluacin
de los proyectos, programas y campaas de alfabetizacin no hay diferencias
significativas. Por lo tanto, la planificacin, administracin y ejecucin de
las tres formas de entregar los servicios de alfabetizacin sigue siendo la
misma , salvo algunas diferencias de intencin y estilo.
E n este libro hemos tomado una serie de posiciones profesionales
definidas. He mos llegado a stas sobre la base de experiencias acumuladas
al conducir talleres de evaluacin para trabajadores que se desempean en
el ca mpo de la alfabetizacin y agentes de desarrollo en Amrica Latina,
Asia y Africa -particularmente la serie de talleres realizados en Tanzania,
Kenia, Botswana, Malawi y Zimba bwe entre 1979 y 1989.
E n primer lugar, estamos comprometidos con la ideologa de la
evaluacin interna. Creemos que quienes trabajan en alfabetizacin y los
agentes de desarrollo deben prestar seria atencin a las evaluaciones internas.
Estas evaluaciones absorben relativamente menos recursos y pueden usarse
inmediatamente para mejorar la efectividad de los proyectos, programas y
campaas de alfabetizacin. Los que trabajan en alfabetizacin deben
dejar las evaluaciones externas a personal de fuera, que pueda hacerlas
para satisfacer sus necesidades especiales de tipo poltico y sobre las
polticas. D e hecho, si ellos han conducido sus propias evaluaciones internas,
podrn colaborar mejor con los evaluadores externos.
Segundo, hemos llegado a tomar la posicin de que la "informacin"
es el concepto maestro en la planificacin y la ejecucin, y no necesaria-
mente la "evaluacin". Creemos que lo que se necesita para una efectiva
ejecucin es informacin para la toma de decisiones; y que toda informacin
no tiene necesariamente que generarse por medio de estudios evaluativos
especialmente diseados. D e manera rutinaria se generan datos tiles en
las campaas, programas y proyectos de "alfabetizacin para el desarro-
llo", en los procesos mismos de su planificacin y ejecucin. Cuando se
recogen y se guardan sistemticamente para recuperarlos y utilizarlos
posteriormente, estos datos constituyen un Sistema de Informacin para la
Gestin (SIG). Nos hemos dado cuenta de que estos datos y los informes
peridicos que escribe el personal, constituyen, efectivamente, la
informacin ms utilizada por los que toman las decisiones diarias. Es por
esta razn, que el diseo, la instalacin y la utilizacin de un SI G es ahora
una parte importante del libro, y se presenta como la piedra angular de la
3
planificacin y administracin de cualquier evaluacin. D ebemos
apresurarnos a aadir que estos SIGs pueden ser sistemas que emplean
papel y lpiz, y no necesitan esperar por la tecnologa computarizada.
Tercero, nos hemos dado cuenta de la inmensa utilidad de los enfoques
de indagacin naturalista en la evaluacin. He mos aprendido que con
bastante frecuencia la bsqueda para la as llamada evaluacin cientfica y
objetiva no era ms que un ejercicio del "cientfico" sin mucho "buen
sentido". Estamos convencidos de que no es una debilidad sino un mrito
el que una evaluacin sea contextual, responsiva y cualitativa, ya que
tratamos de dar "un marco al flujo" de las realidades en el terreno. He mos
encontrado que la evaluacin naturalista puede ser cientfica y sistemtica;
y en sus propios trminos, puede ser objetiva, confiable y vlida. Los
trminos ms pertinentes al estudio de las acciones humanas eran
consistencia, coherencia y credibilidad. Co m o evaluadores tenamos que
ser capaces de hacer "afirmaciones garantizadas" dentro de una "red de
verosimilitudes" ms que dentro de una "red de causalidades". E n efecto,
hay preguntas que slo la evaluacin naturalista puede abordar y contestar.
La presente edicin lleva como tema central el anlisis de la evaluacin
naturalista; esta ya no es un anexo como en una versin anterior. Aun as,
no sugerimos que los evaluadores dejen de contar! Ni tampoco rechazamos
lo que hemos denominado evaluacin racionalista (ER). L o que s sugerimos
es que la E R se use slo cuando sea la que mejor puede responder a las
preguntas sobre la evaluacin.
Cuarto, el autor ha descubierto la necesidad de un proceso de
"planificacin de la evaluacin". Mucho se habla en la literatura sobre
planificacin de la "planificacin del desarrollo" y la "planificacin
educativa" pero no es tan frecuente hacer referencia a la "planificacin de
la evaluacin". Nos hemos percatado de que para los evaluadores internos
y externos es importante tener primero una visin integral de todas sus
necesidades de informacin para luego desarrollar una agenda de evaluacin.
D icha agenda debe responder, por una parte, a necesidades de informacin
verdaderamente prioritariasy, por otra, debe ser sensible a las restricciones
de recursos existentes. E n consecuencia, esta edicin del libro pone
suficiente atencin al concepto y proceso de la planificacin de la
evaluacin. Este puede ser tambin uno de los primeros libros que presta
debida atencin al proceso de la "administracin de la evaluacin" y que
presenta un modelo particular de generar informacin evaluativa para ser
utilizada en la administracin de programas de alfabetizacin y desarrollo.
4
Este es un libro para todos los evaluadores en cualquier parte del
mund o, pero es de especial utilidad para los planificadores, capacitadores
y trabajadores de ca mpo del Tercer Mund o. Este hecho ha determinado el
enfoque general, el contenido y el nivel de anlisis que se presentan en el
libro. Para algunos agentes de desarrollo en el Tercer Mund o, este puede
ser el primer libro que ellos lean sobre evaluacin. Por lo tanto se ha
prestado mucha atencin a la eleccin del lenguaje, as como a la
organizacin del contenido en el libro. Hemos tratado de escribir con
claridad y en forma sencilla, sin caer en el simplismo. La discusin de la
evaluacin implica un vocabulario tcnico en el que se introduce al lector.
Sin embargo, se presenta como apndice un glosario de trminos para
capacitar a los lectores en el dominio del "lenguaje del discurso" en el rea
de la evaluacin. Se ha organizado el contenido de manera tal que los
lectores puedan conocer el argumento presentado y llegar al punto. Con
frecuencia se ponen de relieve algunos puntos importantes a manera de
enumeraciones mejor que en prrafos de corrido. Un conjunto de cuadros
distribuidos a lo largo del libro resume el argumento total en grficos.
Para algunos agentes de desarrollo y capacitadores, adems de ser el
primer libro que lean sobre evaluacin, ste puede ser el nico libro sobre
el tema al que tengan acceso en el lugar donde trabajan. Por eso el libro ha
tratado de ser lo ms completo posible; cubre todo el rango de tpicos que
comprende desde la teora de la evaluacin hasta la prctica en este campo.
Por una parte, introduce al lector en la teora de la evaluacin y en las
polticas sobre evaluacin existentes en las organizaciones y las
comunidades. Por la otra, estimula al lector a aplicar en forma prctica los
conceptos y las tcnicas que se presentan en el libro.
Esperamos que el libro permita que los agentes de la alfabetizacin y
el desarrollo realicen por s mismos evaluaciones de su trabajo en pequea
escala. Ser de mayor provecho introducir a los lectores en esta materia en
una situacin de taller. Sin embargo, no es algo inconcebible para un
trabajador inteligente en el ca mpo de la alfabetizacin o desarrollo a que
siga y use el libro para llevar a cabo un estudio evaluativo en pequea
escala sin necesidad de gran ayuda externa.
La idea de publicar este libro en la forma como se presenta se concibi
en la Conferencia Mundial sobre Educacin para Todos que tuvo lugar en
Jomtien, Tailandia, del 5 al 9 de marzo de 1990. All se reunieron delegados
de casi todas las naciones del mund o, que resolvieron trabajar por la
universalizacin de la alfabetizacin de adultos y la educacin primaria
5
hacia el ao 2000. Un tema importante de la conferencia fue que el xito
de la dcada de la "Educacin para Todos" deber juzgarse por los resultados
de las polticas nacionales tal como aparecen en la vida de las naciones y
por las consecuencias que tenga la adquisicin de conocimientos en la
vida de los nios, los jvenes y los adultos.
Sinceramente esperamos que esta humilde contribucin sea til para
evaluar los resultados y las consecuencias de proyectos, programas y
campaas de alfabetizacin para el desarrollo y la educacin para todos
que se realicen en los diez ltimos aos de este siglo.
H. S . Bhola
Universidad de Indiana
Bloomington, Indiana
Estados Unidos
Parte I
L a Evaluacin: Contexto, Funciones y
M odelos
Esta Parte del libro analiza cuestiones relacionadas con la definicin, el
contexto, los objetivos y las funciones de la evaluacin, y presenta
descripciones y anlisis de paradigmas y modelos de evaluacin. Se divide
en los siguientes captulos:
1. Evaluacin-Definiciones, Contexto, Objetivos y Funciones, y
2. Paradigmas y Modelos de Evaluacin.
CAPITULO I
EVALUACIN -
DEFINICIONES, CONTEXTO, OBJETIVOS Y FUNCIONES
La evaluacin es el proceso de juzgar el mrito o valor de algo. Como
seres humanos, participamos en el proceso de evaluacin de sentido comn
todo el tiempo. Sin embargo, la evaluacin profesional es algo ms que
sentido comn. Se organiza razonablemente, es tan precisa como sea
posible, y sus resultados son tanto garantizados como pblicamente
defendibles. El objetivo esencial de realizar la evaluacin profesional es
generar informacin que pueda usarse en la planificacin y la puesta en
prctica de programas para mejorar la calidad de vida. La evaluacin,
puede tomar muchas formas, por ejemplo, diagnstico de necesidades,
levantamiento de una lnea de base, evaluacin del estudiante, evaluacin
del personal, pruebas de actitud y de rendimiento, evaluacin del currculo,
anlisis de la capacidad organizativa, evaluacin del producto, apreciacin
del impacto, anlisis de costo-beneficio, autoevaluacin y otras. La
evaluacin ha llegado a adquirir funciones que van ms all de lo
informativo. Con frecuencia cumple funciones institucionales, sociales,
histricas y polticas.
La evaluacin de sentido com n
La palabra valor est contenida en la palabra "evaluacin". E n efecto,
evaluacin significa asignacin de valores para juzgar la cantidad, el grado,
la condicin, valor, calidad o efectividad de algo.
Co m o seres humanos somos evaluadores perpetuos. Evaluamos las
cosas cuando vamos de compras. Evaluamos a las personas cuando
escogemos a nuestras amistades, esposo/a, y trabajadores. Evaluamos los
libros para leer y las pelculas que ir a ver. Evaluamos bares y restaurantes
cuando hacemos planes para una velada. Evaluamos nuestras acciones
personales y oficiales, y sus efectos. Evaluamos comunidades y ambientes
para tomar decisiones sobre la compra o arrendamiento de una casa o al
seleccionar la escuela para nuestros hijos. Evaluamos los manifiestos de
10 Evaluacin - Definiciones, Contexto, Objetivos y Funciones
un partido y la sinceridad de los lderes, y emitimos nuestros votos sobre
esa base.
La evaluacin, segn lo expuesto hasta ahora, es un acto personal y
frecuentemente permanece en el dominio de lo personal. Podemos ser ms
o menos tmidos y ms o menos cautos acerca de nuestras evaluaciones
personales, pero stas siguen basndose en nuestras impresiones. Son
evaluaciones de sentido comn.
El sentido comn debe continuar ocupando una posicin central en lo
que podramos llamar la evaluacin profesional. Pero en la evaluacin
profesional vamos ms all del mero sentido comn. Con la evaluacin
profesional adquirimos un contexto social, ya que entramos al dominio
pblico e institucional. Actuamos a nombre de instituciones de desarrollo,
gastamos fondos pblicos y tenemos responsabilidades ante la gente.
Nuestras evaluaciones deben poder fundamentar las afirmaciones que se
hagan y defenderse pblicamente.
E n aos recientes, la evaluacin ha emergido como un rea de
especializacin que nos ensea cmo ser ms perceptivos yms lgicos al
mismo tiempo. Nos ha enseado mucho acerca de c mo hacer
descripciones, emitir juicios y escribir recomendaciones que sean
defendibles.
Q u es la evaluacin?
Con lo que hemos ledo anteriormente podemos, desde luego, construir
nuestras propias definiciones de evaluacin. Aqu presentamos algunos
ejemplos de la literatura publicada sobre evaluacin:
Egon G. Guba e Yvonna S. Lincoln han definido la evaluacin "como
el proceso de describir un evaluado [la entidad que se evala] y juzgar su
mrito y valor". Mrito significa la bondad inherente a algo mientras que
valor se refiere a la utilidad comparativa de algo para alguien en un
contexto particular.
Daniel L . Stufflebeam defini la evaluacin como "el proceso de
delinear, obtener y suministrar informacin til para juzgar alternativas de
decisin". Marvin C. Alkin describe la evaluacin como "el proceso de
indagar las reas de decisin que interesan, seleccionar la informacin
apropiada y recolectar y analizar la informacin para reportar datos
resumidos de utilidad para que los que toman las decisiones seleccionen
Evaluacin - Definiciones, Contexto, Objetivos y Funciones 11
entre alternativas". Lee J. Cronbach define la evaluacin simplemente
como "la recoleccin y uso de la informacin para tomar decisiones sobre
un programa educativo".
Un libro reciente sobre evaluacin
1
recomienda que aceptemos la
siguiente definicin: "Un estudio evaluativo es aquel que se disea y se
realiza para ayudar a un pblico a juzgar y mejorar el valor de un objeto
educativo".
Co m o vemos, hay algunos temas comunes en las anteriores definiciones
que pueden subrayarse. La evaluacin debe generar informacin. Esta
informacin debe ser defendible. D ebe haber un mtodo para recolectarla.
Por eso la evaluacin debe organizarse. E n lo posible, la informacin debe
tener la cualidad de ser exacta y precisa. Y lo ms importante, la informacin
debe ser aprovechada para mejorar algn programa educativo, de
capacitacin o de desarrollo. Esta orientacin de recoger "informacin
para tomar decisiones" es la ms caracterstica de la teora de la evaluacin
de hoy y su rasgo distintivo ms notable.
Algunas definiciones y diferenciaciones adicionales, deben ser discutidas
aqu. Empecemos con una distincin entre evaluacin e investigacin.
Distincin entre evaluacin e investigacin
La evaluacin y la investigacin son dos actividades profesionales diferentes,
aunque con frecuencia se confunden. Esto ocurre porque el evaluador y el
investigador usan diseos de indagacin, metodologas, herramientas e
instrumentos similares y tienen intereses parecidos en que sus hallazgos
puedan defenderse. Con bastante frecuencia la misma persona puede actuar
como evaluador en un proyecto de alfabetizacin y como investigador en
otra situacin. Sin embargo, la evaluacin y la investigacin difieren de
manera significativa en trminos de sus marcos de indagacin y los objetivos
de su tarea. El cuadro de la pgina 12 clarifica estas distinciones.
Evaluacin y supervisin
Es posible hacer otra distincin til entre evaluacin y supervisin. La
supervisin misma es difcil de definir. E n su peor acepcin la supervisin
se asemeja a las funciones de vigilancia que ejercen los de arriba sobre los
Evaluador Investigador
Orientado hacia la poltica y la
planificacin; busca clarificar
alternativas de planeacin y mejorar la
ejecucin del programa
Su lealtad es a una campa a, programa
o proyecto de alfabetizacin en
particular; la eleccin de tpicos de
evaluacin est determinada por las
necesidades de informacin de los q ue
toman las decisiones.
Las elecciones metodolgicas son
"cientficas" pero no experimentales y
con bastante frecuencia naturalistas. La
norma para juzgar los resultados es la
aplicabilidad a la situacin del
programa y la adaptabilidad a otras
situaciones similares.
El marco de tiempo para producir los
resultados es establecido por el
programa.
Las recompensas profesionales
consisten en la utilizacin de los
resultados por los q ue toman las
decisiones y la comprobada mejora en
la ejecucin del programa.
Orientado hacia la disciplina y lo
acadmico; busca avances en las
fronteras del conocimiento en su propia
disciplina.
Su lealtad es hacia una determinada
disciplina acadmica; la eleccin de los
tpicos de investigacin est
determinada por las necesidades de la
teora y de la investigacin en esa
disciplina.
Las elecciones metodolgicas son
"cientficas" y con frecuencia hay
nfasis en el control. Pueden preferirse
mtodos experimentales o cuasi-
experimentales. La norma para juzgar
los resultados es la generalizacin o la
transferencia.
El marco de tiempo para la produccin
de resultados es fijado por el
investigador y por la lgica interna de
la pregunta de investigacin.
Las recompensas profesionales
consisten en la publicacin de los
resultados en revistas profesionales y
los comentarios favorables por parte de
los colegas.
de abajo. E n el mejor de los casos, la supervisin se considera como un
proceso educativo en el cual los colegas con ms experiencia asesoran a
los relativamente nuevos en su trabajo y apoyan a los que son capaces de
funcionar autnomamente. Por otra parte la evaluacin no siempre ha de
ser un enjuiciamiento negativo. Entendida as, una buena supervisin
posibilitar que varios funcionarios de un programa analicen y evalen su
propio desempeo en relacin con las necesidades del programa, y les
permitir aprender y crecer en su trabajo.
E n efecto, la distincin entre evaluacin y supervisin se est
debilitando. La supervisin est incorporando estrategias de evaluacin.
E n esta monografa sustentamos la posicin de que la supervisin no
puede, de hecho, separarse de la evaluacin; y que efectivamente, la
evaluacin puede y debe contribuir al crecimiento individual de los que
sean supervisados. An ms, sugerimos que cada visita de supervisin al
campo se convierta en una oportunidad de hacer una evaluacin naturalista
de algn aspecto del programa en cuestin.
Categoras y tipos de evaluacin
Hacer la distincin entre evaluacin e investigacin o entre evaluacin y
supervisin no ha resuelto los problemas de definicin en el rea de la
evaluacin. Se han propuesto y promovido numerosas categoras, tipos y
clases de evaluacin, lo cual no necesariamente ayuda, sino que de hecho
le complica la vida a quienes formulan polticas y a quienes ejercen la
prctica.
Algunas categorizaciones de la evaluacin son sumamente tericas y
en la literatura se presentan como paradigmas y modelos de evaluacin.
E n el prximo captulo hablaremos de algunos de ellos. Otras
categorizaciones estn enraizadas en ciertos valores -evaluacin interna o
externa y controlada versus participativa. Algunas evaluaciones usan
categoras pragmticas y categoras no tan puras de asignacin de recursos
de tiempo y esfuerzo, por ejemplo, el monitoreo y las apreciaciones rpidas.
Algunas distinguen procesos de productos -la evaluacin formativa versus
la evaluacin sumativa.
Algunas distinguen entre las unidades de anlisis-evaluacin del
estudiante, evaluacin grupal, evaluacin del programa y evaluacin del
impacto en comunidades o subculturas. Finalmente, hay una serie completa
de rtulos evaluatvos derivados de los objetivos de la evaluacin, las
tareas de la evaluacin o de lo que se est evaluando. Existe una considerable
sobreposicin entre estas distintas categoras.
L a categorizacin de evaluacin empleada en este libro puede
describirse mejor como terica. D efinimos la evaluacin como un proceso
de generacin de informacin. Este proceso se ve que est constituido por
tres enfoques para la recoleccin de informacin: (1) informacin
operacional -tpicamente numrica- generada en el proceso mismo de
ejecucin del programa; (2) informacin experiencial -recogida tpicamente
por medio de estrategias naturalistas- que nos informa acerca de cmo los
participantes del programa lo vivencian y acerca de su significado en la
vida real de ellos; y (3) informacin comparativa y correlativa, generada
por medio de estrategias de evaluacin ms racionalistas.
Monitoreo y apreciaciones rpidas
E n la literatura sobre el desarrollo ha habido mucho inters recientemente
en cuanto a estrategias para reunir informacin evaluativa de retorno sobre
la ejecucin de los programas. Se plantea que los estudios evaluatvos
tpicos frecuentemente demoran demasiado tiempo para que los que toman
las decisiones esperen por los resultados. Las decisiones del programa con
frecuencia demandarn que se le tome el pulso rpidamente para publicar
un boletn informativo acerca del estado del programa. L a puntualidad es
importante. C o m o respuesta a esta necesidad, los evaluadores han
desarrollado enfoques descritoscomo monitoreo y apreciaciones rpidas.
E n el diccionario el significado de monitorear es mirar, observar,
controlar y, a veces, ajustar. E n la literatura sobre la evaluacin, monitorear
es, efectivamente, controlar el progreso de un programa en marcha para
detectar sus deficiencias o fracasos y permitir a los que toman las decisiones
regular las actividades y emprender acciones correctivas. Por lo tanto, el
monitoreo es un aspecto importante de la evaluacin. Sin embargo, es slo
una parte y no la totalidad de la evaluacin. El monitoreo considera los
datos de la ejecucin, que se generan de manera rutinaria en el proceso de
ejecucin del programa y advierte a los que toman las decisiones de los
vacos existentes entre lo esperado y la realidad. As, el monitoreo es un
control sistemtico del progreso de un proyecto en el marco de sus metas
originales, sus procedimientos y sus resultados-una especie de auditora de
la ejecucin. Un buen monitoreo normalmente requiere la existencia de un
Sistema de Informacin para la Gestin (SIG) que lo apoye manteniendo
registros de insumos y resultados y de otros indicadores relacionados. Ms
adelante tendremos mucho ms que decir en este libro sobre Sistemas de
Informacin para la Gestin (SIGs).
Las apreciaciones rpidas son evaluaciones breves, realizadas en
condiciones de emergencia para investigar las causas de un fracaso, anticipar
problemas u obtener resultados rpidos sobre el impacto de un programa.
Las apreciaciones rpidas son hijas de la necesidad. Se llevan a cabo
cuando no hay tiempo para esperar por una evaluacin regular.
Una apreciacin rpida usar los datos del monitoreo que se generan
en forma rutinaria en el programa en los procesos de planificacin y
ejecucin al igual que datos secundarios de otras fuentes. Ad ems, recoger
datos frescos con el propsito de dar respuesta a preguntas significativas.
Tales datos pueden incluir, por ejemplo, informes personales de los
funcionarios del programa.
Las apreciaciones rpidas pueden ser menos exhaustivas y menos
completas que los estudios evaluativos regulares, pero hay que prepararse
cuidadosa y sistemticamente para hacerlas. Los equipos que harn la
apreciacin deben constituirse con cuidado y deben recibir una clara
orientacin acerca de la informacin que deben recolectar y los juicios que
deben emitir. El equipo tendr que pensar en la mezcla de datos cuantitativos
y cualitativosque deben tratar de obtener. Los instrumentos deben disearse
cuidadosamente y someterse a prueba. Las muestras deben ser pequeas,
pero, de nuevo, hay que elegirlas con mucho cuidado. D eben cumplirse
los trminos de tiempo, pues no deja de ser una apreciacin rpida. Un
marco de tiempo de unas cuatro a seis semanas es el caracterstico de estas
apreciaciones.
Evaluacin interna versus evaluacin externa
L a cuestin de la evaluacin interna en contraposicin con la extema es
realmente la cuestin para quin realizar la evaluacin. Las dimensiones
de externalidad pueden ser muchas: el donante internacional frente a la
nacin beneficiada; un agente de una institucin evaluando un programa
de otra institucin; una unidad evaluando a otra dentro de la misma
institucin; y un especialista en evaluacin evaluando el trabajo de un
especialista en el programa, dentro de la misma unidad.
En nuestra definicin la evaluacin interna significa que son las mismas
personas involucradas en el programa las que realizan su evaluacin, y
an cuando empleen a un especialista como consultor, son ellos quienes
mantienen el control del proceso evaluativo -al formular las preguntas, al
elegir los mtodos, el diseo del estudio, el anlisis y recoleccin de datos,
al establecer los criterios de xito del programa y al usar la informacin
evaluativa en una futura planificacin. Los procesos y resultados de la
evaluacin no se mantienen en secreto para nadie a no ser para proteger a
personas inocentes. As, la evaluacin interna es aquella que es realizada
dentro del sistema del programa por los especialistas del programa mismo.
L a evaluacin extema es la que realizan evaluadores que provienen de
fuera del sistema.
Se afirma con frecuencia que la evaluacin extema es ms objetiva
que la interna, la cual es rechazada por ser supuestamente subjetiva y
poltica. Por otra parte, los especialistas en el programa a menud o temen a
las evaluaciones extemas, de las cuales dicen que son "evaluaciones por
paracadas" -generalmente apuradas, superficiales, poco informadas y,
algunas veces claramente polticas.
D ebe sealarse que las evaluaciones extemas no son inherentemente
objetivas; y que las evaluaciones internas no son carentes de credibilidad
en mod o alguno. Tanto las evaluaciones internascomo las extemas pueden
ser m u y polticas y por lo tanto, sospechosas. Por otra parte, tanto unas
c omo otras, pueden servir propsitos importantes en el contexto de
necesidades especiales. Puede haber casos en que es necesaria una
evaluacin externa para tomar decisiones sobre polticas y decisiones de
planificacin en algunos niveles de decisin. Sin embargo, casi siempre es
la evaluacin interna la que tiene ms sentido, y posibilita a los que
ejercen la prctica tomar el control de su programa, ayudndoles a crecer
en este proceso.
Evaluaciones participativa, colaboradora y colectiva
Los valores de nuestro tiempo, centrados en las personas, han conducido a
una conceptualizacin y a la puesta en prctica de lo que se ha llamado
evaluacin participativa. E n esencia, la evaluacin participativa (o
participatoria) significa que no es una evaluacin hecha por un experto
que viene de fuera, esplndidamente aislado de la gente, envuelto en la
pretensin de la objetividad, sino una evaluacin realizada por todos los
interesados conjuntamente, interactuando entre s. Todos los involucrados,
y en particular, los estudiantes y participantes en las actividades del
programa construyen juntos sus propios significados y hablan a nombre de
ellos mismos, en su propio lenguaje. La evaluacin cooperativa o
colaborativa es la denominacin que se da a un enfoque algo similar.
Finalmente, se ha intentado hacer evaluaciones colectivas de procesos y
acontecimientos por parte de colectividades numerosas, en seminarios o
grupos grandes reunidos en salones o estadios que proporcionan testimonios
sobre cmo ha funcionado un programa y cmo lo han vivenciado las
personas en su vida cotidiana.
Evaluacin formativa versus evaluacin sumativa
Los conceptos de evaluacin "formativa" y "sumativa", introducidos por
Michael Scriven, han llegado a ser de los conceptos ms usados en las
discusiones sobre evaluacin. A mbos se comprenden sin dificultad. La
evaluacin formativa es la evaluacin de un producto curricular o de un
programa durante el proceso mismo de formacin. El nfasis radica en el
proceso. La informacin generada puede utilizarse para mejorar el currculo
que se est elaborando o el programa mientras se est ejecutando. La
evaluacin sumativa consiste en sumar las cosas. Se realiza al finalizar un
programa de alfabetizacin o al trmino de una fase en el desarrollo
curricular dentro del programa.
Formas de evaluacin relacionadas con objetivos y con tareas
C o m o indicamos anteriormente, los objetivos de la evaluacin estn
siempre relacionados con la informacin. Los evaluadores luchan por
recolectar informacin utilizable. Pero puede necesitarse informacin
utilizable acerca del contexto del programa, acerca de la calidad de los
insumos del programa, acerca de los procesos de instruccin y de
organizacin o acerca de los resultados y productos. Nuevamente, la
intencin puede ser de modificar y mejorar, de comparar o contrastar, o de
tomar decisiones acerca de continuar o terminar un programa de desarrollo
o de capacitacin.
A continuacin primero enunciamos y despus describimos brevemente
las diversas formas que puede tomar la evaluacin en relacin con sus
objetivos o tareas:
1. Diagnstico de necesidades
2. Levantamiento de una lnea de base
3. Evaluacin del estudiante
4. Pruebas de rendimiento y de actitudes
5. Evaluacin de personal
6. Evaluacin del currculo
7. Evaluacin institucional u organizational
8. Evaluacin del producto
9. Evaluacin del impacto
10. Evaluacin de costo-beneficio
11. Auto-evaluacin
1. Diagnstico de necesidades
Los evaluadores pueden tener que realizar diagnsticos de necesidades en
distintos niveles del sistema. Pueden llevar a cabo un diagnstico general
de necesidades a nivel nacional para que stas se tengan en cuenta en el
diseo de la campaa, programa o proyecto de "alfabetizacin para el
desarrollo". Tambin pueden hacer un diagnstico de necesidades a nivel
comunitario para averiguar qu requiere de los agentes de la alfabetizacin
y el desarrollo una campaa, programa o proyecto particular. Finalmente,
pueden realizarse diagnsticos de necesidades dentro de los grupos de
educandos y sujetos de la capacitacin para seleccionar el contenido de la
enseanza y para disear estrategias de enseanza apropiadas. Es tpico
que un buen diagnstico de necesidades cubra todas las circunscripciones
o distritos involucrados en el sistema pertinente -los estudiantes adultos,
los facilitadores, los capacitadores, los supervisores de ca mpo, los
administradores de los departamentos de educacin y de extensin, los
lderes comunitarios y otros miembros de las mismas comunidades. El
diseo final del programa debe hacerse con base en los diversos perfiles
de necesidades generadas por los diferentes grupos, los cuales se renen
por medio de un proceso honesto de negociacin de las necesidades.
2. Levantamiento de lnea de base
Esto se emprende para establecer una lnea de base sobre la situacin
econmica, social y cultural con respecto a la cual pueden juzgarse despus
los cambios. Los trabajadores del desarrollo comunitario y la alfabetizacin
generalmente levantan una lnea de base extensa en las comunidades a las
cuales van a servir. Hasta donde es posible, los evaluadores deben ya usar
datos de lnea de base disponibles para disear los programas de capacitacin
en evaluacin para los agentes de la alfabetizacin y el desarrollo. Sin
embargo, es posible que en las lneas de base existentes no se hayan
anticipado las necesidades especiales de informacin requeridas por los
agentes de la alfabetizacin o sus capacitadores. E n este caso se justifica y
aun se hace necesaria la realizacin de un nuevo lanzamiento.
T oma nd o un ejemplo especfico: Las necesidades especficas de
informacin de los evaluadores-capacitadores pueden relacionarse con (1)
consideraciones sobre roles y (2) consideraciones sobre conocimientos.
Un evaluador-capacitador que est preparando promotores de salud
necesitar conocer, por ejemplo, las prcticas actuales de crianza de los
nios y las prcticas de salud dentro de las comunidades; el nivel de
conocimientos sobre nutricin; la ausencia o no de huertas caseras; el
nivel de consumo de protenas animales. Al mismo tiempo, estar interesado
en cmo las madres adquieren comnmente estos conocimientos; si existen
roles educativos tradicionales para difundir esta informacin; qu otros
roles seculares ms modernos ha introducido ya el gobierno en esas
comunidades; y qu expectativas puede uno tener acerca de la introduccin
del nuevo rol del promotor de salud familiar.
Co m o puede suponerse, los agentes de la "alfabetizacin para el
desarrollo" tendrn que disear el levantamiento de lneas de base que se
ajusten a sus necesidades especiales de informacin acerca de los niveles
de alfabetizacin existentes, patrones de bsqueda de informacin, roles
educativos y relacionadoscon el desarrollo, existentes en la comunidad, y
nivelesde conocimiento sobre desarrollo en la comunidad.
3. Evaluacin del estudiante
Los agentes de la alfabetizacin se han resistido por mucho tiempo a
evaluar al estudiante. Su posicin era que los hombres y mujeres adultos
que asisten a clases de alfabetizacin no deben sentirse insultados al ser
sometidos a "exmenes" ni humillados al colocarse en la categora de
aprobado y reprobado. Tambin se citaban razones pragmticas. Se discuta
que las motivaciones de quienes asisten a clasesde alfabetizacin eran tan
bajasque usaran cualquier excusa para desertar del programa, y el terror a
la prueba les proporcionara, seguramente, una excusa para hacerlo.
Las agencias donantes que han proporcionado subvenciones y prstamos
para los trabajos de alfabetizacin en el Tercer Mu n d o han insistido
persistentemente en que debe realizarse una evaluacin del estudiante para
apreciar los resultados de estos esfuerzos. La mayora de los programas de
alfabetizacin a los cuales se ha otorgado fondos son obligados a realizar
evaluaciones del estudiante. La mayora de las evaluaciones de quienes
aprenden terminan siendo una combinacin de pruebas de rendimiento y
de actitudes. Se est intentando hacerlas lo menos amenazantes para los
adultoscomo humanamente sea posible.
4. Pruebas de rendimiento y actitudes
Ha y bastante superposicin entre la concepcin de "evaluacin del
estudiante" y "pruebas de rendimiento y actitudes". Se puede llegar a saber
muc ho sobre el aprendizaje del educando al aplicar pruebas de
conocimientos sobre cuestiones agrcolas, de salud y cooperacin, y sobre
sus actitudes acerca de la planificacin familiar y la integracin nacional.
Una gran parte de la evaluacin dentro de un sistema de alfabetizacin
consiste en aplicar pruebas. Se aplican pruebas cuando el participante
entra al proyecto y cuando termina. Las pruebas incluyen el conocimiento
adquirido; el diagnstico de habilidades y su ejecucin; sus motivaciones,
actitudes y valores; y las habilidades comunicativas y productivas. Algunas
de estas pruebas no se aplican a los educandos mismos sino a otros
individuos en las comunidades de mod o que se registre cmo se han
difundido sus nuevos conocimientos y se han filtrado nuevas actitudes en
las comunidades.
5. Evaluacin del personal
L a evaluacin del personal implica una valoracin de las competencias y
el compromiso de los funcionarios en un programa! Qu tan efectivos
son los planificadores, administradores, especialistas, capacitadores,
educadores y promotores de campo?
E n la mayora de los pases en desarrollo del mund o -como tambin en
pases desarrollados- las polticas de personal son talesque una vez que se
ha empleado a una persona no es fcil despedirla. Una vez incorporados,
no pueden despedirse ni transferirse. En ese caso, la evaluacin del personal
puede hacerse con el propsito de "desarrollo del personal".
6. Evaluacin del currculo
Poco se piensa sobre el currculo en relacin con programas de
"alfabetizacin para el desarrollo". Pero estos programas s tienen un
currculo en el sentido general de un "curso de estudio" y un "curso de
accin". E n el contexto de la evaluacin de la instruccin de la
alfabetizacin, un tema frecuente entre los evaluadores ser el currculo.
Ellos necesitarn evaluar aspectos particulares de los materiales de
instruccin -una cartilla, un manual, un conjunto de cuadros, un juego de
simulacin. Ellos querrn evaluar un mtodo particular de enseanza o de
capacitacin, por ejemplo, la animacin por un equipo versus un tutor
nico. Pueden someterse a prueba diferentes sistemas de ejecucin de un
programa: cursos por correspondencia versus escuelas nocturnas; la
enseanza individual o de las familias, etc. Finalmente, puede ser de inters
para los evaluadores la efectividad general de un currculo de "alfabetizacin
para el desarrollo".
7. Evaluacin institucional u organizational
La calidad de las instituciones u organizaciones determina la calidad de
los servicios que podrn producir y entregar. D esafortunadamente, en
general parece haberse prestado m u y poca atencin por parte de quienes
trabajan en programas de alfabetizacin y de los especialistas en desarrollo
a las caractersticas organizacionales. Las instituciones pueden estudiarse
desde dos dimensiones generales: (1) el clima organizacional y (2) la
capacidad organizacional. Esta ltima se determina a travs de la
justificacin de los recursos de la orlganizacin en relacin con su misin.
El clima organizacional es la conceptualizacin de la vida social de la
organizacin -la identificacin de sus miembros con la misma y su
satisfaccin o insatisfaccin con los patrones y estilos que existen en la
organizacin para la toma de decisiones.
8. Evaluacin del producto
Los programas de desarrollo o de alfabetizacin tienen como resultado
diversos productos: cartillas, libros de seguimiento, manuales para los
maestros, personal capacitado e instituciones locales c omo centros
comunitarios, cooperativas o bancos. Algunos de estos productos sern
evaluados como un aspecto en la evaluacin curricular y otros de la
evaluacin del personal. Sin embargo, la evaluacin de los productos
merece evaluacin especial y requiere diferentes estrategias, dependiendo
del producto de que se trate, el cual puede ser un libro, una pelcula o un
objeto artesanal producido para generar ingresos.
9. Evaluacin del impacto
El estudio del impacto de las iniciativas de alfabetizacin o post-
alfabetizacin en los beneficiarios debe ir ms all de someter a prueba los
currculos, los materiales y los estudiantes dentro de las situaciones de
instruccin organizadas. Los evaluadores deben ir a las comunidades en
las cuales sus educandos trabajan y viven. Sin embargo, sus preguntas
deben enfocarse en forma aguda. Encajaba el educador como agente de
cambio en el ambiente social? Era l en su nuevo rol capaz de ensear,
demostrar y resocializar? Aprendieron los estudiantes? Hubo desarrollo
comunitario como resultado? Estas preguntas pueden contestarse si se ha
levantado antesuna lnea de base de datos.
El estudio del impacto en las comunidades debe fijar cierto tiempo
para que las nuevas ideas pasen por un perodo de adaptacin y aplicacin
por las comunidades. D eben tener tiempo para relacionarlas, aprenderlas y
adoptarlas. Estos "perodos de penetracin" pueden ser largos, de muchos
meses o aun aos. E n el estudio del impacto de nuevos roles y nuevas
enseanzas en las comunidades, los evaluadores deben observar tanto las
consecuencias anticipadas como las no esperadas que producir la
introduccin de nuevos agentes de cambio, nuevos aprendizajes y nuevas
actitudes. Habrn surgido nuevos conflictos en relacin con los roles
tradicionales? Estar surgiendo un nuevo grupo de poder dentro de las
comunidades debido a los nuevos roles desempeados? Ha introducido el
agente de cambio una burocratizacin que trae por resultado la destruccin
de las iniciativas locales? Estn aplicando los educandos sus aprendizajes
a la vida cotidiana?
10. Evaluacin de costo-beneficio
E n la literatura sobre evaluacin dentro del sector del desarrollo se emplean
dos trminos que son: anlisis de costo-beneficio y anlisis de costo-
efectividad. A mbos implican hacer comparaciones entre los costos y los
resultados, pero la naturaleza de la comparacin es diferente.
El anlisisde costo-beneficio es posible cuando a los resultados puede
drseles claros valores monetarios. Esta clase de anlisis econmico pocas
veces es posible en las reas de la educacin y la extensin, en las cuales
los efectos intangibles son ms significativos, pero a los cuales no es
posible asignar valores numricos. El anlisisde costo-efectividad se utiliza
cuando los resultados no pueden expresarse en trminos monetarios debido
a la ausencia de precios de mercado para estos. Por lo tanto, los niveles de
los resultados se comparan en proporcin a los costos en que se ha incurrido
en cada caso.
11. Auto-evaluacin
Aprender a evaluar constituye un crecimiento profesional. Emprender una
auto-evaluacin significa crecimiento tanto en sentido profesional como
personal, y en niveles ms profundos. E n su forma ms simple, la auto-
evaluacin es introspeccin. Esta introspeccin puede darse tanto en la
dimensin de la clarificacin de valores como en la del anlisis de las
discrepancias entre lo que se esperaba, lo que era posible y lo que realmente
se logr. Este anlisis puede ir ms all de las impresiones personales y
puede basarse en anotaciones y registros.
Funciones de la evaluacin
Las funciones de la evaluacin van ms all de los objetivos normalmente
establecidos. Sus objetivos generalmente son informativos, pero sus
funciones son, al mismo tiempo, informativas, profesionales, socio-
psicolgicas, polticas e histricas.
Informativas: Las funciones informativas de la evaluacin son bastante
obvias. Se trata de proporcionar informacin de retorno y de crear
informacin til -aquella que puede usarse para mejorar los programas en
marcha.
Profesionales: Las funciones profesionales de la evaluacin consisten en
aumentar la comprensin que se tiene de los medios y los fines de un
programa; demostrar la efectividad o el fracaso de los planes y estrategias
empleados; y sugerir acciones de tipo correctivo. Es importante anotar que
las evaluaciones no se realizan meramente para encontrar fallas en un
programa, sino tambin para realzar sus puntos fuertes y sus bondades.
Organizacionales: L a evaluacin cumple funciones organizacionales
importantes. E n el mejor caso, ayuda a las organizaciones a renovarse al
forzar un examen de las metas y propsitos, reduciendo la complacencia
burocrtica y aclarando los procedimientos operativos estndares que
subyacen en las rutinas cotidianas.
Polticas: La s funciones polticas de la evaluacin incluyen el
establecimiento de agendas y la generacin de debates sobre asuntos
importantes. Promueve la posibilidad de rendir cuentas y puede fomentar
la participacin ciudadana. Por una parte, la evaluacin puede legitimar un
programa que est en marcha y por otra, puede encontrar chivos expiatorios
a quienes culpar, y puede acabar con los programas que en primer lugar
los actores polticos han decidido terminar. L a evaluacin puede desempear
algunas funciones polticas radicales tambin, al promover el inters de los
clientes y las partes que de otra manera nunca seran escuchadas.
Socio-psicolgicas: Las funciones socio-psicolgicas de la evaluacin
pueden ser las de pacificacin y mistificacin -dar a los participantes y la
ciudadana un sentimiento de seguridad, al reducir los problemas sociales
complejos a la eleccin entre alternativas relativamente simples. E n sus
aspectos ms positivos puede promover el arbitraje y la resolucin de
conflictos.
Histricas: Finalmente, la evaluacin tiene importantes funciones histricas
-como registrar y documentar acciones, eventos y resultados que de otra
manera quedaran fuera de la memoria colectiva.
E n el prximo captulo, examinaremos los dos paradigmas principales
de la evaluacin y la investigacin, as como los diversos modelos de
evaluacin que han sido propuestos durante los ltimos veinticinco o treinta
aos.
Cosas para hacer o para pensar
1. Cul era su definicin de evaluacin antes de leer este captulo?
Cmo ha cambiado ahora?
2. Ha tenido usted la oportunidad de participar en alguna evaluacin
interna o externa en su vida profesional? Cules fueron sus
experiencias? Fueron utilizados los resultados de esas evaluaciones
por los que toman las decisiones u otras personas?
3. Tiene usted claridad sobre la distincin entre evaluacin e
investigacin? Trate de explicar la diferencia entre ambas de manera
satisfactoria a algn colega.
4. En el captulo que acaba usted de leer se analizaron diferentes formas
de evaluacin. Ha conducido o participado el departamento donde
usted trabaja en la realizacin de una o ms de estas formas de
evaluacin? Cules? Con qu consecuencias?
5. Podra referir usted alguna ancdota sobre las funciones polticas de
la evaluacin?
Nota
1. Madaus, George F. et al., eds. Evaluation models: viewpoints, on
educational and human services valuation. Boston, M A : Kluwer-
Nijhoff, 1983.
CAPITULO 2
PARADIGMAS Y MODELOS DE EVALUACIN
Un modelo es la esencia de la experiencia profesional de quien hace el
modelo. Esta esencia se conforma dentro del marco dado por el punto de
vista particular que tiene el autor del modelo sobre "cmo funciona el
mundo". Puesto que entre los acadmicos y entre quienes ejercen la prctica
de la evaluacin existen diferencias en la manera de ver el mundo y en sus
experiencias profesionales, se han propuesto muchos modelos distintos de
evaluacin, entre ellos el modelo CIPP, el modelo de discrepancias, el
modelo transaccional, el modelo libre de metas, el modelo investigativo,
la evaluacin como iluminacin, el modelo de la crtica por los expertos,
el modelo de la defensa y el modelo participativo, no siendo sta en modo
alguno una lista completa de todos los modelos disponibles en la literatura.
Todos estos diversos modelos (enfoques o estrategias) pueden dividirse
en dos grupos en trminos de los paradigmas que los gobiernan, esto es,
sus posiciones filosficas y las ideologas que los crearon. Estos dos
paradigmas se han denominado: paradigma racionalista y paradigma
naturalista. Sin embargo, entre los dos grupos principales de modelos de
evaluacin hay bastante superposicin en trminos de paradigmas.
E n el Captulo 1 (Evaluacin - Definiciones, Contexto, Objetivos y
Funciones) distinguimos entre la evaluacin de sentido comn y la
evaluacin profesional. La evaluacin profesional puede realizarse con
distintos niveles de comprensin y de sofisticacin. Sin embargo, el uso
del diseo experimental y de tcnicas estadsticas sumamente sofisticadas
no garantiza que la evaluacin sea buena. Puede parecer irnico que mientras
ms sistemticos y formulistas sean los mtodos y el diseo, mayor es la
posibilidad de que en las evaluaciones estos sean usados sin pensar en sus
implicaciones.
Para hacer evaluaciones que contribuyan a una mayor comprensin
por parte de los evaluadores que la realizan y los que toman las decisiones
que la utilizan, hay que conocer la teora de la evaluacin. Entonces, el
desarrollo terico mismo debe mirarse en perspectiva, a travs de la
Paradigmas y Modelos de Evaluacin 27
comprensin de la historia el desarrollo terico de este campo. El presente
captulo busca proporcionar al lector una historia-teora del ca mpo de la
evaluacin. Los diversos modelos de evaluacin propuestos durante los
ltimos treinta aos o ms se analizan tanto en sus contextos tericos (es
decir, paradigmticos) como en sus contextos histricos.
La "Nota al Lector" al comienzo de este libro advierte al estudiante
que se inicia en el campo de la evaluacin que postergue la lectura de este
captulo, algo recargado conceptualmente. Quienes deseen leerlo ahora
deben mantener la idea general de que hallarn que los diversos modelos
de evaluacin se inclinan bien al lado del paradigma positivista o del que
hemos denominado paradigma naturalista. D esde luego, con frecuencia
habr superposiciones conceptuales y repeticiones de la historia.
El lector deber mirar estos modelos como hitos en el camino del
desarrollo terico del campo de la evaluacin.
Algunos revelarn los comienzos de ideasque han llegado a ser parte
de la sabidura convencional. Otros mostrarn claramente cmo se apuntalan
en los mtodos y las tcnicas que ahora son de uso frecuente. Aun otros
pueden sembrar en nuestras mentes las semillas de la duda acerca de cosas
que todos dbamos como ciertas.
Al tratar de usar estos modelos no tenemos que buscar utilizar uno de
ellos en forma pura y completa. Pueden ensayarse mezclas de estos modelos.
Efectivamente, la mayora de los usos de los modelos puede consistir en
tomar prestado su "lenguaje" de presentacin. Repetimos: los paradigmas
y modelos son el objeto de discusin de este captulo. Sin embargo, para
que esta discusin tenga sentido, debemos primero comprender los trminos
"paradigma" y "modelo".
Q u es un paradigma?
Comencemos con la palabra "paradigma". Los significados que da el
diccionario son pretenciosos. El paradigma se define como una lista
ordenada, un cuadro de clases, un patrn o una frmula que define el
mod o general en que deben colocarse los casos especficos de un cierto
orden. E n trminos formales, se ha definido un paradigma como un sistema
axiomtico con un determinado conjunto de supuestos acerca de los
fenmenos sobre los cuales se pretende indagar.
Kuhn
1
, en su estudio sobre las revoluciones cientficas, defini de
28
Paradigmas y Modelos de Evaluacin
manera pintoresca un paradigma como la ideologa creativa de los
cientficos, desde la cual ellos trabajan y la que les proporciona una posicin
lgica y metodolgica particular que les permite producir conocimiento
cientfico o socio-cientfico.
As, los paradigmas de evaluacin son las ideologas creativas de los
evaluadores. Estos paradigmas determinan el pensamiento y el
comportamiento metodolgico de los evaluadores: lo que ellos piensan
sobre la naturaleza de la realidad; y cmo piensan que puede llegarse a
establecer "afirmaciones fundamentadas", esto es, declaraciones dignas de
crdito acerca de la realidad social que nos rodea. Ha y dos paradigmas
bsicos de evaluacin (e investigacin) que analizaremos: el paradigma
racionalista y el naturalista.
Q u es un modelo?
D efiniremos ahora modelo. Formalmente un modelo es un conjunto de
informacin, datos o principios agrupados de manera verbal o grfica (a
veces en forma matemtica) para representar o describir alguna cosa, idea,
condicin o fenmeno. E n un lenguaje menos formal, un modelo es la
esencia del aprendizaje y el pensamiento de un especialista, presentado
clara y brevemente. Los modelos son la progenie de los paradigmas. Es
importante recordar esta relacin de padre a hijo entre los paradigmas y
los modelos. As, los modelos de evaluacin pueden ser presentaciones
verbales, en cuadros o grficas, de los principios que han aprendido los
evaluadores. Son la esencia de sus experiencias por separado, desarrolladas
en el marco de determinados paradigmas. En otras palabras, son un conjunto
de supuestos, un conjunto de valores, un conjunto de preferencias y un
conjunto de procedimientos presentados como una unidad.
Finalmente, los evaluadores pueden hablar a veces de enfoques y de
estrategias de evaluacin. Estos no son ms que mtodos para comenzar o
desarrollar un estudio evaluativo. Presumiblemente, cuando un enfoque o
una estrategia utilizada y sometida a prueba sucesivamente llega a
estandarizarse y formalizarse, adquiere el status de modelo de evaluacin.
2
Dos Paradigmas Bsicos de Evaluacin 29
SE CCI N A : Dos Paradigmas Bsicos de Evaluacin
Ha y dos paradigmas bsicos de evaluacin en la alfabetizacin, la
capacitacin y el desarrollo.
1. Evaluacin Racionalista (ER) y
2. Evaluacin Naturalista (EN)
Esta clasificacin no es completamente satisfactoria. El rtulo de
evaluacin racionalista, E R, se ha utilizado como sustituto de enfoques
positivistas lgicos de la evaluacin, aun cuando somos plenamente
conscientes de que no comprende el conjunto total de supuestos del
positivismo lgico. Y tampoco nos ayuda este rtulo a comprender que
ahora se utilizan diferentes versiones del positivismo, ni que est surgiendo
una versin re-acondicionada del positivismo lgico. Por otro lado, el
rtulo de evaluacin naturalista, E N , tampoco es m u y satisfactorio. Slo
porque la E N se ofrece como alternativa a la evaluacin racionalista, no
debe concluirse que la naturalista es irracional. E N se emplea aqu como
un trmino incluyente para un enfoque que es a la vez constructivo y
colaborativo. Estos dos trminos se explicarn ms adelante. Aqu basta
decir que ambos paradigmas - E R y E N - son "cientficos" aunque se
diferencien en los supuestos que asumen sobre "cmo funciona el mund o"
y "qu y cmo podemos aprender acerca del mund o".
El paradigma racionalista
Al paradigma racionalista tambin se le conoce como paradigma del
positivismo lgico. Asume que la realidad existe "afuera" y cualquiera
puede verla o experimentarla a travs de los sentidos. E n otras palabras,
enfatiza lo explcito -lo que puede afirmarse directamente y con certidumbre.
Seguir este paradigma es tener una actitud "positiva" acerca de las
afirmaciones que se hacen con respecto a la realidad, y depender de ser
"lgicos" al derivar subsiguientes afirmaciones verdaderas sobre la realidad.
Sus tres caractersticas esencialesson: el reduccionismo -que las partes
pueden separarse del todo para estudiarlas sin que haya cambios;
repetibilidad -que lo que alguien ha descubierto puede repetirlo otro; y
refutacin -que lo que se afirma debe poder confirmarse o refutarse. L a
gran esperanza de quienes siguen este paradigma es, desde luego, generar
30 Dos Paradigmas Bsicos de Evaluacin
afirmaciones a manera de leyes, umversalmente generalizables.
A veces se le llama paradigma clsico porque ha sido usado por
mucho tiempo, sigue reglas estrictas y se considera -aunq ue esto no sea
necesariamente correcto- como estndar y autorizado.
El paradigma racionalista sigue los mtodos de las ciencias exactas
algunas veces llamadas restringidas, como la fsica, la qumica y la
ingeniera. Su ideal metodolgico es usar muestras al azar y el experimento
controlado. Bajo ciertas condiciones pueden ser aceptados los diseos
cuasi-experimentales
3
. El paradigma racionalista demanda una clara
definicin de los objetivos de evaluacin y de las variables, un plan de
muestreo, una instrumentacin estructurada q ue genera datos cuantitativos,
tcnicas estadsticas para el anlisis de los datos y generalizacin de los
resultados.
El paradigma naturalista
El paradigma naturalista asume q ue la realidad no existe afuera para q ue
cada quien la vea y la experimente de la misma manera, sino q ue el
mundo se encuentra ( como realidad objetiva) y se elabora (esto es, cada
individuo lo construye socialmente). En efecto, la parte ms importante de
nuestra realidad es construida socialmente. El evaluador o el investigador
busca encontrar los significados q ue las personas llevan en s. El paradigma
naturalista sugiere q ue el comportamiento humano sea estudiado tal como
ocurre naturalmente, en ambientes naturales y dentro de su contexto total.
En otras palabras, el paradigma naturalista es de naturaleza holista por su
orientacin, y busca estudiar la realidad como un todo, sin dividirla
artificialmente en partes y segmentos para ajustara a la conveniencia del
evaluador.
A veces se hace referencia a este paradigma como cualitativo y
fenomenolgico. Esto quiere decir q ue a diferencia del evaluador
racionalista, el naturalista busca primero descubrir los fenmenos y luego
ir en busca de mtodos y modelos. El evaluador naturalista va en busca de
comprender la situacin especfica q ue puede iluminar despus otras
situaciones similares. El evaluador naturalista no pretende obtener leyes
generalizadas, sino ideas perspicaces q ue puedan transferirse de un contexto
a otro.
En la indagacin naturalista, los mtodos empleados son los del
antroplogo y el etngrafo. El evaluador o investigador mi s mo constituye
parte del fenmeno que estudia -no puede considerarse aislado
objetivamente "fuera de" la realidad que estudia. El diseo de E N va
surgiendo; aparece segn el evaluador emprende diferentes pasos y sigue
distintos procedimientos para recolectar datos significativos. Las muestras
son propositivas ms que aleatorias. Los instrumentos son siempre
inestructurados y generan datos cualitativos. Se busca la aplicabilidad y
adecuacin de los resultadosms que su generalizacin.
El paradigma racionalista versus el paradigma naturalista
N o es posible incluir en el mbito de esta monografa un anlisis ms
completo de estos dos paradigmas. E n el cuadro de las pgs. 32 y 33
hemos resumido las diferencias entre estos dos paradigmas de evaluacin
a fin de que el lector pueda examinarlas cuidadosamente.
Ahora se sugiere que muchos de los puntos fuertes que se atribuyen al
paradigma racionalista son meras suposiciones: algunas de stas no tienen
defensa conceptualmente, otras no pueden sustentarse en la prctica. Por
ejemplo, con frecuencia es difcil seleccionar criterios apropiados para
juzgar el mrito o el valor de los programas; y los evaluadores que usan el
paradigma racionalista ocasionalmente terminan eligiendo criterios
restringidos que se acomoden a sus planes experimentales. Las situaciones
experimentales son en esencia incontrolables, a pesar de que se proclame
lo contrario. Es casi imposible la seleccin aleatoria de las muestras. Los
grupos que se estudian frecuentemente se eligen a s mismos y son
sistemticamente diferentes unos de otros.
Es imposible estandarizar los tratamientos experimentales en diferentes
lugares. Nunca se est seguro sobre qu es lo que se est comparando.
Ha y limitaciones en cuanto a la informacin que puede producirse al
emplear este paradigma. Su utilizacin no produce informacin sobre el
proceso ni sobre los efectos netos de intervenciones distintas. Realmente,
se genera mucha informacin que no es til y est "muerta de antemano".
Existen, desde luego, muchas dificultades administrativas en la
utilizacin del paradigma racionalista de evaluacin. Las necesidades del
programa y las de la evaluacin racionalista frecuentemente van hacia
direcciones diferentes. L a eleccin entre grupos que recibirn o no recibirn
tratamiento -y recursos para el desarrollo- no es un asunto fcil de decidir.
DIFERENCIAS ENTRE LOS DOS PARADIGMAS BSICOS
DE EVALUACIN
El Paradigma Racionalista El Paradigma Naturalista
Races filosficas
Positivista
Reduccionista
Libre de valores
Orientacin terica
Somete a prueba la teora existente
Relaciones causales
Diseo
Experimental o cuasi-experimental
para asegurar objetividad y validez
Fenomenolgico
Holista
Cargado de valores
Usa teoras bien fundamentadas
Relaciones plausibles
Conformacin mutua y simultnea
El diseo surge (o se desenvuelve)
asegurando resonancia sin separar a
quien conoce de lo que se conoce
La situacin de la evaluacin/
Investigacin
En el laboratorio o controlada
Muestreo
Aleatorio
Tama o predeterminado
Ecolgica, en el contexto natural
Propositivo, de lite, especializado
El tama o se determina en la marcha,
se completa cuando la informacin
disponible es completa
Orientacin metodolgica
Orientacin hacia los objetivos
Cuantitativa
Libre de objetivos
Cualitativa
Cargada de descripciones
Instrumentos
Estructurados, frecuentemente
intervencionistas
Se busca q ue sean estandarizados e
independientes de sesgos del
evaluador
N o estructurados, con frecuencia q ue
no perturban la situacin natural
El evaluador o investigador mismo se
convierte en una herramienta de
recoleccin de datos.
Preferencia por datos exactos Todo conocimiento es aceptable
DIFERENCIAS ENTRE LOS DOS PARADIGMAS BSICOS
DE EVALUACIN
El Paradigma Racionalista El Paradigma Naturalista
Anlisis de los datos
Tpicamente estadsticos Temticos
Anlisis de contenido de entrevistas,
documentos y observaciones
Informe
Estadstico-analtico
Naturaleza de las declaraciones de
Verdad
Leyes generalizadas
Resultados convergentes conducentes
a hacer predicciones
Realidad tangible nica
Descriptivo, interpretativo
Tpicamente un estudio de caso
Intuiciones acerca de covariaciones
naturales de los acontecimientos
Ideas perspicaces, analogas
Resultados divergentes
Realidades mltiples o una
construccin negociada de la realidad
en su contexto
Puntos fuertes
Proporciona buenas estimaciones de
las diferencias, variaciones y
correlaciones cuando las variables,
realmente, pueden ser definidas
apropiadamente y pueden
establecerse controles razonables
Es responsivo, adaptable, el nfasis
es holista y humaniza la actividad
evaluadora
Puntos dbiles
El buscar acomodar las preguntas de
evaluacin a los mtodos y modos de
anlisis aceptables puede llevar a
escoger preguntas triviales y
artificiales y obtener resultados
triviales e intiles.
El evaluador puede perderse en las
complejidades de la vida real, puede
carecer de habilidades interpersonales
y perceptibilidad individual, por lo
cual puede terminar haciendo
afirmaciones poco significativas,
basadas en meras impresiones
Las cuestiones sobre confiabilidad y validez
Con demasiada frecuencia las discusiones sobre la evaluacin racionalista
(ER) y la naturalista (EN) dan lugar a discusiones sobre su validez y
confiabilidad. Son objetivos los datos recogidos? Son vlidos? Son
confiables? Ahora se acepta ampliamente que hacer estas preguntas con
estas palabras es juzgar la E N contra los estndares de la E R. D esde un
punto de vista prctico esto no es justo, y desde el nivel conceptual es
absurdo.
Lincoln y Guba
4
, en su libro ms reciente, han analizado los diversos
aspectos del rigor tal como se aplican a los dos paradigmas bsicos de la
evaluacin. Ellos plantean que tanto el racionalista como el naturalista
pueden ser cientficos y rigurosos en sus propios trminos. Ellos sugieren
que los trminos apropiados para juzgar qu tan buena y confiable es la
E N son diferentes de los que se usan para la E R, como se muestra en el
siguiente cuadro:
TRMI NOS RACIONALISTAS Y NATURALISTAS
APROPIAD OS PARA D ISTINTOS ASPECTOS D EL RIGOR
Aspecto Trmino Racionalista Trmino Naturalista
Valor de verdad Validez interna Credibilidad
Aplicabilidad Validez externa/
generalizacin Adecuacin
Consistencia Confiabilidad Verificabilidad
Neutralidad Objetividad Confirmabilidad
Quparadigma deben elegir los evaluadores de programas de desarrollo,
educacin y capacitacin?
El paradigma racionalista ha logrado grandes victorias en las ciencias
exactas. Ha producido investigaciones que han borrado enfermedades de
la faz de la tierra y ha puesto al hombre en la luna.
Tanto xito obtuvo este paradigma que los cientficos sociales
(socilogos, psiclogos, economistas, educadores y aun antroplogos)
quisieron imitar el paradigma "cientfico" del fsico y el qumico. Usaron
el paradigma racionalista como venganza. Les hizo sentir realmente
cientficos! Por muchos aos aprendieron el mtodo racionalista y lo
ensearon en la mayora de los departamentos de ciencias sociales de las
universidades.
D urante los ltimos veinte aos se ha llegado a caer en la cuenta de
que el paradigma racionalista ha llevado a los cientficos sociales a sentirse
bien pero no necesariamente a obtener buenos resultados. He m o s
descubierto que demasiadas veces la vida social no encaja en el modelo
experimental. Al tratar de controlar las variables, segmentamos el
comportamiento huma no de una manera que no es natural y realmente
cambiamos la naturaleza misma del comportamiento humano que se estudia.
La agregacin de puntajes y el tratamiento estadstico de los datos puede
parecer elegante e impresionar favorablemente, pero los resultados han
sido triviales y engaosos. E n el comportamiento huma no el contexto es
importante. N o tenemos que estudiar el comportamiento solamente, sino
el comportamiento en-contexto.
La mayora de las veces el paradigma naturalista resulta ms apropiado
para el estudio del comportamiento humano. D espus de haber sido
rechazado como subjetivo y cualitativo, est siendo cada vez ms aceptado.
Segn su metodologa se vaya clarificando y se avance en las tcnicas de
anlisis de los datos, el paradigma naturalista de evaluacin encontrar un
lugar adecuado en la metodologa de la evaluacin.
D eber siempre utilizar el evaluador el paradigma naturalista para la
evaluacin del impacto amplio de los programas de desarrollo, alfabetizacin
de adultos y capacitacin para el desarrollo? La respuesta es: si no siempre,
casi siempre. El consejo que ha dado Lee J. Cronbach parece ser til.
Cronbach
5
seala que en el mund o de la educacin y el cambio social uno
se encuentra con dos contextos diferentes: el contexto del control, en el cual
el evaluador puede controlar la situacin social para ajustara a las
necesidades de la evaluacin (por ejemplo: el estudio de los movimientos
de los ojos al mirar un afiche instructivo de tamao grande); y el contexto de
la acomodacin en el cual el evaluador no puede controlar la situacin
social para ajustarse a las necesidadesde la evaluacin sino acomodarse l
mismo a las realidades existentes (por ejemplo: el estudio de la frustracin
y la agresin entre los nios en un parque de juegos). E n los contextos que
se pueden controlar, que tal vez no sean muchos, es correcto usar el
paradigma racionalista. E n los contextos de acomodacin, sin embargo,
tendra ms sentido el paradigma naturalista porque, por definicin, este
paradigma no busca perturbar las realidadescomo naturalmente existen.
SE CCI N B: Modelos de Evaluacin
Sobre el trasfondo de estosdos paradigmas generales, los especialistas han
propuesto muchos modelos diferentes de evaluacin. Pero por qu hay
tantos modelos de evaluacin? No hay una sola forma correcta de hacer
la evaluacin?
Antes, en este captulo definimos un modelo como lo esencial del
aprendizaje y el conocimiento de un especialista, establecido de manera
clara y parsimoniosa para comunicarlo entre los profesionales y los que
ejercen la prctica. Ha y muchos modelos de evaluacin diferentes debido
a que los distintos especialistashan pasado por experiencias diferentes al
aprender y hacer la evaluacin y al reflexionar sobre sus experiencias han
utilizado diferentes puntos de vista y valores.
Los modelos de evaluacin tambin difieren porque han surgido en
diferentes situaciones en que se desenvuelven los programas: dentro de la
educacin formal o dentro de situaciones de educacin extra-escolar y no
formal; y en situaciones de salud mental en un pas industrializado o
dentro de la educacin para la vida familiar en el contexto de un pas en
desarrollo.
Finalmente, y lo ms importante esque los modelos de evaluacin son
diferentes porque los especialistashan introducido consideracionesde valor
adicional en su eleccin inicial de los paradigmas. Algunos modelos de
evaluacin enfatizan una visin ms sinptica de la evaluacin, sugiriendo
que no slo evaluemos el comportamiento de los llamados beneficiarios
sino tambin el nuestro. Algunos modelos de evaluacin sugieren que se
emplee la imaginacin en las evaluaciones de mod o que no dependamos
Modelos de Evaluacin 37
slo de fros clculos. Tambin los hay que sugieren que las consecuencias
no previstas de las acciones de los programas pueden ser tan importantes
como las que se esperaban y se anticiparon. Por lo tanto, el modelo de
evaluacin debe poder acomodar tanto las consecuencias anticipadascomo
las que no se esperaban. Algunos proponen que la evaluacin sea realizada
como una defensa y confrontacin. Otros sugieren la evaluacin
participativa, en la cual tanto los finescomo los medios son determinados
participativamente por todos los implicados -organizadores, profesionales
y beneficiarios.
Se puede observar claramente que los valores dirigen el desarrollo de
los modelos de evaluacin durante los ltimos veinte aos: (1) hay una
utilizacin exclusiva o complementaria de las estrategias naturalistas; y (2)
existe un movimiento hacia la inclusin de los beneficiarios de los
programas en el diseo y la ejecucin de las evaluaciones. Las palabras
claves son holista y participativa.
A continuacin se analizarn algunos de los modelos de evaluacin a
los que se hace frecuente referencia en la literatura. Las discusiones sern
breves. E n este libro incluimos esta discusin por dos razones: una educativa
y otra poltica. El agente de desarrollo o de la alfabetizacin debe tener
alguna idea de qu modelos de evaluacin existen y cules son sus
caractersticas. Esto es para su fomacin. Pero tambin hay una razn de
tipo poltico. Un agente alfabetizador tambin debe poder justificar su
eleccin de uno o varios modelos; y debe poder sustentarla frente a un
especialista externo. No debemos permitir que los tcnicos y especialistas
nos intimiden con el uso de nombres y frases poco familiares!
Se discutirn los siguientes modelos brevemente:
1. El modelo orientado por objetivos de Tyler
2. El modelo de experimentacin social
3. El modelo CI PP y la cuadrcula E I POL
4. Las dos caras de la evaluacin
5. La evaluacin responsiva
6. El modelo de evaluacin discrepante
7. La evaluacin transaccional
8. La evaluacin libre de metas
9. Los enfoques investigativos
10. La evaluacin iluminativa
11. La evaluacin por expertos
38 Modelos de Evaluacin
12. El modelo de la evaluacin como defensa
13. El modelo de evaluacin participatva, y
14. El modelo de evaluacin como estrategia para la situacin
especfica (3-S).
1. Evaluacin orientada por los objetivos
Este modelo se asocia al nombre de Ralph Tyler y es tal vez el ms
antiguo de los modelos de evaluacin disponibles.
L a evaluacin que se realiza bajo este modelo busca hacer
comparaciones entre los "resultados esperados" y los "resultados reales".
E n otras palabras, los nios o adultos participantes en un programa o
proyecto se examinan para ver si se han logrado los objetivos referidos a la
adquisicin de formas particulares de pensar, sentir y actuar. E n trminos
prcticos, la evaluacin se equipara con las pruebas.
Ha y puntos importantes en este enfoque, que se centra en los resultados,
un concepto que se entiende con facilidad. N o hay necesidad de definir
grupos experimentales y de control, con lo que generalmente se desorganiza
la rutina diaria en las escuelas y en las comunidades y cuya puesta en
marcha puede ser costosa. Las mediciones reflejan objetivos claramente
establecidos, por lo cual la confiabilidad no es una gran preocupacin.
Mientras que las pruebas inicialmente son referidas a criterios, pueden
adquirir funciones con referencia a normas si se hacen comparaciones
entre diferentes situaciones consistentemente.
Sin embargo, este modelo tiene serias desventajas. La informacin
generada por las pruebas es demasiado estrecha para constituir una base
slida y amplia para juzgar el mrito o valor del programa total. La
informacin generada por el modelo es terminal. D a pie a que su utilizacin
directa para mejorar el programa sea m u y poca.
2. El modelo de experimentacin social
Este es un modelo que busca experimentar con grupos socialesya existentes.
La sociedad se convierte en laboratorio.
E n la modalidad experimental clsica, el evaluador que usa este modelo
elige dos grupos, uno que recibe el tratamiento experimental y otro que no
lo recibe. Los conceptos metodolgicos esenciales son: distribucin
aleatoria, control, tratamiento y comparacin.
Los proponentes del modelo han sugerido tambin los que se conocen
como diseos cuasi-experimentales, los cuales se supone que se ajustan
mejor a las realidades del mund o real. Sin embargo, recientemente sus
mismos proponentes han planteado serias dudas con respecto a los diseos
cuasi-experimentales.
3. El modelo Contexto-Insumos-Procesos-Producto (CIPP) y la red EIPOL
6
El modelo CI PP se asocia con frecuencia con el nombre de D aniel L .
Stufflebeam, quien lo ha usado en distintos estudios evaluatvos.
D e acuerdo con este modelo, el nico propsito de la evaluacin es
producir informacin til para las decisiones. Empleando la metfora del
sistema y sus cuatro parmetros (contexto, insumos, procesos, productos),
el modelo habla de cuatro tipos de evaluacin para proporcionar informacin
referida a cuatro tipos de decisiones:
1. Evaluacin de contexto - para proporcionar informacin sobre la
situacin y poder tomar decisiones de planificacin.
2. Evaluacin de los insumos - para tomar decisiones de
programacin como diseo de proyectos alternativos y decisiones
sobre personal.
3. Evaluacin de los procesos - para tomar decisiones relacionadas
con la metodologa y la ejecucin, y
4. Evaluacin de los productos - para evaluar el impacto y tomar
decisiones sobre reciclaje.
El modelo CI PP, cuando se propuso por primera vez, combinaba el
vocabulario de sistemas con la investigacin formal, con su nfasis en la
clarificacin de las necesidades de decisin en la evaluacin, la observacin
estructurada y la tradicin de aplicar pruebas de rendimiento en las escuelas.
El modelo adopt los criterios de validez interna y externa, confiabilidad,
objetividad, pertinencia, importancia, alcance, credibilidad, oportunidad,
permeabilidad y eficiencia de la informacin evaluativa producida. Se le
ha criticado por mostrar poca preocupacin por los valores. Algunas
versiones recientes del modelo han tratado de superar algunas de estas
crticas.
E n la cuadrcula EIPOL, Ravindra H. D ave
7
dividi el "resultado" del
lenguaje de sistemas (llamado el "producto" en el modelo CI PP) en dos
partes: (i) los resultados del aprendizaje y otros resultados "intermediarios"
del programa y (ii) los efectos a largo plazo del programa en los dominios
educativo y socio-econmico. As, los cuatro parmetros del sistema
(contexto, insumos, procesos, productos) se convierten en cinco dimensiones
o fases de la evaluacin, que son: la de la situacin ambiental, la de los
insumos, la de los procesos, la de los resultados inmediatos y la de los
efectos a largo plazo. Combinando estas dimensiones con las cuatro fases
principales del ciclo de un proyecto (pre-planificacin, ejecucin
asimilacin) se genera la llamada Cuadrcula EI POL.
4. El modelo de las dos caras de la evaluacin
Este modelo se asocia al nombre de Robert E . Stake. Se llama as porque
Stake habla de dos semblantes o caras de la evaluacin: la descripcin y el
juicio.
Este modelo se relaciona directamente con la evaluacin de los efectos
en trminos de los objetivos establecidos e implica completar dos matrices
de datos como sigue:
Matriz Descriptiva Matrizde juicio
Intenciones Observaciones Estndares Juicio
Antecedentes x x x x
(Insumos)
Transacciones x x x x
(Procesos)
Resultados x x x x
L a tarea del evaluador es encontrar datos para todas las celdillas en la
tabla para comparar las observaciones con las condiciones y juzgarlas en
trminos de los estndares convenidos entre los organizadores del programa
y los evaluadores. Se debe anotar que en el vocabulario de sistemas los
antecedentes son insumos y las transacciones son procesos. E n su puesta
en marcha, el modelo ha usado muestras aleatorias estratificadas para
recoger informacin especial en combinacin con el mtodo de estudio de
casos.
Este modelo ha llamado la atencin de los evaluadores respecto a la
necesidad de definir estndares sobre los cuales puedan hacerse juicios,
aunque el modelo mismo no ha resuelto el problema de la especificacin
de los estndares.
5. La evaluacin responsiva
Con posterioridad, Stake se ha desplazado hacia el concepto de Evaluacin
Responsiva, un modelo de evaluacin que se acerca ms a las evaluaciones
transaccional y naturalista. N o es pre-ordenada (esto es, no est previamente
definida por el evaluador, como especialista) sino que responde a las
necesidades reales de las audiencias que requieren la informacin. N o se
focaliza en las intenciones del programa sino en las actividades reales. Su
perspectiva es mltiple y utiliza las comunicaciones que naturalmente
ocurren entre todos los implicados. N o slo busca recoger informacin
sino captar el espritu y el misterio del fenmeno en estudio. Por lo tanto
es informal y reiterativa y enfatiza las descripciones fuertes. Co m o puede
observarse esun enfoque m u y humanista de la evaluacin.
6. El modelo de la discrepancia
Este modelo fue propuesto por Ma l com Provus, quien defini la evaluacin
como el arte de describir una discrepancia entre lo esperado y lo ejecutado
en un programa.
Los principios bsicos del modelo son: los estndares, la ejecucin y
la discrepancia. La tarea es comparar la ejecucin con los estndares para
determinar la discrepancia y as poder juzgar el valor o la adecuacin de
un objeto. El modelo sugiere tambin que busquemos las discrepancias en
trminos de cinco aspectos diferentesde un programa:
1. el diseo del programa
2. su instalacin
3. el proceso de ejecucin
4. el producto, y
5. el costo
Superficialmente el modelo parece algo racionalista, pero no lo es. En
realidad, humaniza la evaluacin y la hace responsiva por la manera como
aplica los conceptos de estndares, ejecucin y discrepancia. Por ejemplo,
el evaluador ni establece estndares ni juzga las comparaciones entre
estndares y ejecucin, sino que solamente recoge los datos sobre la
ejecucin e indica las discrepancias. Es el cliente quien debe fijar los
estndares aunque el evaluador le ayude a esclarecer la estructura del
diseo del programa y, as, a establecer estndares apropiados. El cliente
deber sealar qu tipo de informacin le ser ms til para tomar decisiones
y debe hacer los juicios sobre las discrepancias.
Mientras que reconoce la utilidad del mtodo experimental en algunos
casos, el modelo muestra preferencias por los mtodos descriptivos de la
historia y la antropologa y el mtodo de estudio de casos de la sociologa
y la psiquiatra. Por su nfasis relativo en mtodos naturalistas, sugiere que
los evaluadores trabajen en equipos de mod o que puedan confrontar las
percepciones individuales y cuestionar los estndares que se aplican para
describir las discrepancias.
El modelo pretende suministrar permanente informacin a los que
toman las decisiones sobre la ejecucin de un programa en marcha. Tambin
pretende proporcionar informacin que tiene una relacin directa de uno-
a-uno con las decisiones que realmente se toman. N o obstante, los recursos
requeridos para aplicar efectivamente este modelo son considerables en
trminos de personal, tiempo y dinero.
7. La evaluacin transactional
El modelo transaccional de evaluacin tiene sus races en la psicologa
transaccional, la cual considera la percepcin y el conocimiento como
procesos de transaccin. Estas transacciones ocurren entre individuos
concretos en situaciones concretas; y el evaluador, como observador, es
siempre parte del conjunto de transacciones. El modelo se asocia al nombre
de Robert M . Rippey, quien ha desafiado a los educadores y capacitadores
para que se concentren en los procesos educativos -el programa, la clase y
la escuela- ms que en las calificaciones obtenidas por los estudiantes.
Se centra en rendir cuentas sobre las responsabilidades -se pide a los
agentes de cambio que se estudien a s mismos, sus roles, los sistemas en
los cuales desempean esos roles y los sistemas ms amplios que constituyen
el entorno de los sistemas en que se producen los cambios. Las metodologas
recomendadas son informales. E n palabras del mismo Rippey
8
:
Una comparacin con evaluaciones sumativas y formativas tradicionales muestra q ue el
objetivo de la evaluacin es diferente: el sujeto de la evaluacin es el sistema, no el
cliente o los servicios q ue el sistema ofrece. Las variables se relacionan con los aspectos
sociales, psicolgicos y comunicativos del sistema ms q ue con los objetivos manifiestos.
La informacin se devuelve en forma continua al sistema. El evaluador mismo es una
parte ms del sistema en funcionamiento. Las consideraciones convencionales de
confiabilidad, validez y objetividad no son tan importantes como las de oportunidad,
pertinencia y los efectos observables de generar informacin evaluativa. En primer
lugar, la evaluacin intenta transformar la energa conflictiva del cambio en actividad
productiva para clarificar los papeles de las personas involucradasen los cambios que
produce el programa, no para generar nuevos conocimientos o para atribuir causalidad.
D eben hacerse notar los supuestos que se utilizan en el modelo
transaccional de evaluacin con respecto al paradigma bsico y las
posiciones de valor adicionales introducidas en el modelo. Es, en efecto,
un modelo con una carga grande de valores. Enfatiza en la informacin
sobre relaciones y nos exhorta a ser sensibles a las consecuencias no
esperadas. Tambin implica que la evaluacin sea realizada colectivamente
por los protagonistas y diseadores de un programa de cambio y por los
representantes de aquellos a quienes probablemente ste afecte.
8. La evaluacin libre de metas
La idea de una evaluacin libre de metas fue introducida por Michael
Scriven. El seal que con nuestro nfasis sobre las metas establecidas,
nuestra bsqueda se haba centrado completamente en los efectos esperados
-efectos que queramos crear bajo las metas aceptadas del programa. Este
enfoque lleg a ser tan excluyente que con frecuencia desarrollamos una
visin como por entre un tnel: buscar la evidencia de los efectos esperados
y no ver nada ms.
El sugiri que debamos buscar los efectos reales del programa, los
que realmente hubieran ocurrido, ya fuera que hubiesen sido intencionales
o no. Pensaba que esto podra hacerse si concebamos una evaluacin libre
de metas, independiente de los objetivos establecidos para el programa.
Entonces podran combinarse los resultados de la evaluacin centrada en
objetivos y la evaluacin libre de metas. El uso de una evaluacin libre de
metas no debe sugerir una evaluacin en el as llamado "estilo responsivo".
En efecto, Scriven es m u y entusiasta de la evaluacin sumativa y se
interesa por las comparaciones que los consumidores puedan utilizar.
Tambin sugiere que hagamos ms evaluacin del personal (esto es, de los
maestros, trabajadores de campo, etc.) y que las personas rindan cuentas
de sus responsabilidades.
9. Enfoques investigativos a la evaluacin
Jack D . D ouglas
9
ha analizado los mtodos de los investigadores o los
detectives para mostrar cmo las estrategias investigativas podran usarse
para exponer la verdad acerca de las personas en situaciones sociales.
El modelo investigativo no supone la existencia de un mund o de
cooperacin, apertura y veracidad, sino de informacin errada, evasivas,
mentiras y enfrentamientos. Por eso, sugiere estrategias para captar una
situacin de evaluacin, infiltrarse, construir relaciones amistosas y de
confianza y usarlas en un proceso continuo de prueba y control.
El modelo modus operandi sugerido por Michael Scriven es tambin
un mtodo investigativo para estudiar relaciones de causa-efecto a travs
del examen secuencial. Este mtodo reconstruye los procedimientos del
historiador, el detective, el antroplogo y el ingeniero que apunta hacia los
problemas. Este modelo se propone como sustituto de los enfoques
experimentales y cuasi-experimentales cuando las situaciones de ca mpo
impiden su utilizacin. E n esencia, el mtodo implica generar cadenas
hipotticas de eventos causa-efecto y eliminar aquellos que haya sido
imposible que sucedieran. Este es, desde luego, el mtodo caracterstico
del detective.
10. La evaluacin iluminativa
Este modelo evolucioncomo un claro rechazo al modelo de evaluacin
"agrcola-botnico" enraizado en el paradigma cientfico. Se afirmaba que
los grupos y comunidades no podan asignarse al azar a tratamientos como
se haca con las fincas y los terrenos agrcolas, y que a los seres humanos
no se poda administrar tratamientos similares al de sembrar semillas en
un terreno. E n todo caso, los datos cuantitativos generados por el modelo
agrcola-botnico slo proporcionaban descripciones parciales del fenmeno.
Parlett y Hamilton
10
construyeron este modelo iluminativo sobre la base
de dos consideraciones importantes:
1. Los sistemas de instruccin, una vezadoptados, se convierten en
sistemas vivos. Los sistemas vivosno se ajustan a las descripciones
que se presentan en los catlogos. Ocurren modificaciones
importantes en los programas entre como se dibujan en el taller a
c omo se ponen en prctica realmente.
2. Los programas de capacitacin y desarrollo no pueden separarse
del ambiente de aprendizaje en el cual se realizan. Los actores en
este ambiente y las estructuras del medio se constituyen en partes
del sistema de instruccin.
Aunque retienen el uso de los mtodos de muestreo y los cuestionarios
y pruebas estructuradas, Parlett y Hamilton atrajeron nuestra atencin hacia
los mtodos naturalistas centrados en la descripcin y la interpretacin.
Las tres etapas en el proceso de evaluacin sugieren incluir: (a) la
observacin de la situacin educativa; (b) la seleccin de temas mediante
un enfoque progresivo y una indagacin intensiva; y (c) el anlisis y la
explicacin.
11. La evaluacin por expertos
El modelo de evaluacin por expertos propuesto por Elliot W . Eisner
11
rompe claramente con el paradigma cientfico y rescata la tradicin esttica
de las artes. Eisner dice que la enseanza es un arte, y la escolarizacin un
artefacto cultural. Entonces, por qu no hacer evaluacin al estilo de los
entendidos? El afirma que, en efecto, slo un experto que ha pasado toda
una vida en el ca mpo puede proporcionar evaluaciones mediante el uso
sistemtico de la sensibilidad perceptiva, la organizacin de la experiencia
previa y la refinacin de ideas perspicaces o intuiciones que sean
imposibles de obtener de otra forma.
Eisner sugiere dos conceptos interrelacionados: (1) la experiencia en la
educacin (2) la crtica educativa para desempear las tareas de la evaluacin
educativa. L a experiencia constituye el medio a travs del cual pueda
reorganizarse la forma del contexto y sus configuraciones interiores de
mod o que puedan tomarse decisiones inteligentes acerca del contexto. L a
crtica educativa es el arte de la revelacin a travs de la descripcin, la
interpretacin y la evaluacin.
La metodologa que combina la experiencia y la crtica no es de
manera alguna simple o romntica, y ciertamente, puede ser sistemtica y
rigurosa. Los crticos de la educacin pueden aprender a buscar las
cualidades permeables de la educacin en las clases y en situaciones de
capacitacin; y pueden aprender a buscar los significados de indicios ocultos.
Las cuestiones de confiabilidad y validez pueden manejarse por la
corroboracin estructural (validacin mutua de una parte de los datos por
el resto, siendo sustentada la totalidad por las partes que la constituyen); y
por la adecuacin referencial (la existencia de una relacin entre lo que
dice el crtico educativo y el objeto de su crtica). Tambin es posible
hacer generalizaciones en el sentido de que la crtica en educacin llevar
a procesos ms refinados de percepcin en situaciones sucesivas; y suscitar
nuevas anticipaciones en la mente del evaluador.
Los informes de crticas educativas se asemejan algo a los estudios de
caso, pero los estudios de caso en forma de crticas educativas son diferentes
en el sentido de que la crtica misma es una forma de arte. Co m o
descubrimiento crtico, un informe educativo crtico crea una imagen vivida,
que comunica a los lectoresuna comprensin de las realidades educativas.
12. El modelo de la evaluacin como defensa
Este modelo es tambin llamado modelo de evaluacin entre adversarios o
modelo judicial. Co m o lo sugieren estas denominaciones el modelo utiliza
procedimientos casi judiciales para conducir la evaluacin. Es caracterstico
que se permita a dos grupos de personas, unos a favor y otros en contra de
un programa, defender posiciones opuestas ante un jurado educativo
respecto a los asuntos que van surgiendo y son seleccionados para el
juicio. Se establecen las reglas y procedimientos probatorios y se permite
el interrogatorio para comprobar lo declarado anteriormente. Es un juicio
educativo con participacin de un jurado.
Los proponentes del modelo citan varias ventajas del mismo: permite
a los evaluadores desarrollar y utilizar procedimientos explcitos para generar
y evaluar las estrategias de programas alternativos; proporciona un registro
de las decisiones para luego establecer responsabilidades; no slo acomoda
los datos sino tambin las percepciones, opiniones, sesgos y especulaciones,
y puede implicar en el juicio a una gran variedad de interesados.
Por otra parte, hay quienes han encontrado serias fallas en el modelo,
pues dicotomiza las posiciones en "pro" y en "contra" del programa. E n la
vida real, desde luego, no hay slo dos sino muchos aspectos que considerar
sobre un mismo asunto. El modelo convierte la evaluacin en un evento
competitivo. Co m o se decide de qu lado estarn los grupos tirando al aire
una moneda, con frecuencia los "abogados" no se asignan bien y ocurre
que no hay conviccin sobre las posiciones que defienden. Las habilidades
de los jueces y los jurados son m u y variables.
D ebido a los muchos aspectos negativos del modelo y los altos costos
que implica organizar el juicio, el formato que presenta "un caso en la
corte" se ha transformado en "audiencias aclaratorias". Se han eliminado
los jurados, aunque todava es usual emplear una especie de panel. Se
puede llamar a testigos expertos que sirvan para sustentar posiciones en
pro o en contra. Puede haber interrogatorios para comprobar declaraciones.
As se aclaran muchas cuestiones pero las decisiones sobre preferencias y
modificaciones se deja que las hagan quienes escuchan a las partes.
13. El modelo de evaluacinparticipativa
Frecuentemente se asocia el nombre de Paulo Freir, el educador brasilero
y autor de La Pedagoga del Oprimido ( N ew York: Herder and Herder,
1972) con la evaluacin y la investigacin participativas. En esta rea los
evaluadores diseminados por todo el mundo han realizado gran cantidad
de trabajos durante los ltimos diez aos. Se han establecido redes de
investigacin participativa y se han llevado a cabo estudios evaluativos
cuyos resultados han sido publicados.
La investigacin o la evaluacin participativa no es un esfuerzo
cientfico de los profesionales sino un recuento existencial profundo de
una experiencia en q ue toman parte todos los interesados conjuntamente,
en colaboracin. Los educandos se convierten en evaluadores y estos en
estudiantes. Se decide en forma participativa acerca de las metas, los fines,
los estndares y las herramientas de la evaluacin. Cada participante
contribuye con datos personales y recoge parte de los datos q ue deben
obtenerse. Se emprende en forma colectiva el anlisis de los datos. Los
juicios tambin se emiten colectivamente.
En su discurso en el Instituto de Educacin de Adultos de la Universidad
de Dar es Salaam, en 1972, Paulo Freir present los posibles pasos para
una metodologa participativa:
1. El equipo de evaluacin (o investigacin) debe familiarizarse con
investigaciones y evaluaciones realizadas previamente, sin importar
los mtodos utilizados en las mismas.
2. El equipo debe delimitar geogrficamente el rea de accin, aunque
desde el punto de vista cultural no hay fronteras.
3. El eq uipo debe identificar las instituciones oficiales y
organizaciones populares existentes en el rea seleccionada y
hablar con sus dirigentes.
4 . El equipo debe decir honestamente a los lderes q ue ellos han
venido a proponer la posibilidad de q ue todos los miembros de esa
comunidad participen en las discusiones y trabajen conjuntamente.
5. Si los lderes aceptan, el equipo de evaluacin debe celebrar
reuniones no slo con los lderes de las distintas instituciones
sino tambin con otras personas q ue de alguna manera estn
relacionadas con esas instituciones.
6. El equipo deber discutir con la comunidad lo q ue se requiere
para las reuniones, en las cuales pueden encontrarse unas treinta
personas a diario o semanalmente para las discusiones. Estas
reuniones pueden involucrar a casi todos los habitantes de la
comunidad y prolongarse durante varias semanas. L o importante
es obtener la percepcin que tiene la comunidad como una
totalidad.
7. E n esta etapa socilogos, psiclogos, educadores y lingistas
debern incorporarse al equipo de investigacin o evaluacin y
visitar a cada grupo. Deberan registrarse las discusiones efectuadas
en cada reunin. D ebe instarse a que la gente hable si guardan
silencio, de lo contrario, el papel del equipo debe ser slo de
asesora. Un o de los miembros de la comunidad debe presidir
estas reuniones.
8. Puede discutirse sobre muchos temas diversos como la justicia, la
educacin, el gobierno, la industria; pero todos referidos a las
personas en el contexto de realidades concretas.
9. Cuando, los grupos ms pequeos creen haber agotado los tpicos
seleccionados para las discusiones, cada grupo debe escribir sus
conclusiones y presentarlas en sesin plenaria. Los relatores en
dichas sesiones deben ser miembros de la comunidad, no los
especialistas del equipo. Los trabajadores deben convertirse en
intelectuales. D ebe haber una discusin colectiva de cada uno de
los informes de los grupos.
10. El equipo de evaluacin debe hacer ahora un estudio crtico de
las conversaciones de la gente. Este estudio debe ser
interdisciplinario. D eben determinarse los diversos niveles en que
la gente percibe la realidad y resolverse todas sus implicaciones.
Esto no deben hacerlo los cientficos sociales por su cuenta sino
con los miembros de la comunidad.
11. Junto con la gente de la comunidad, el equipo de evaluacin debe
ahora hacer un borrador de una propuesta para emprender las
acciones subsiguientes. El programa no debe resolverse para la
comunidad sino con ella.
Con lo anterior debe quedar claro que la evaluacin participativa no
puede distinguirse del diagnstico de necesidades o la concientizacin de
la comunidad. Tambin se diluye la distincin entre evaluacin e instruccin.
La evaluacin participativa proporciona a los participantes mayores
oportunidades de elevar su nivel de conciencia y consolidar su sentido de
poder y auto-valoracin.
Co m o se seal anteriormente, el Consejo Internacional para la
Educacin de Adultos ha trabajado mucho en la evaluacin participativa y
ha establecido una red de evaluacin participativa a escala mundial. Sin
embargo, no parece que haya habido desviaciones significativas de tipo
metodolgico. Los mtodos han mantenido ms o menos el espritu de la
lista de pasos propuestos por Paulo Freir y presentados aqu
12
.
14. El modelo de evaluacin (3-S) "- como estrategia para la situacin
especfica
Antes de presentar nuestro modelo de evaluacin 3-S, recordemos a los
lectoresque es intil buscar el modelo de evaluacin o una forma correcta
de evaluar la alfabetizacin, la capacitacin o el desarrollo. C o m o nos ha
advertido Cronbach, un modelo puede ajustarse al "contexto del control" y
otro al "contexto de la acomodacin". Un agente alfabetizador puede estar
usando ms de uno de los modelos presentados aqu, en el contexto de un
solo estudio evaluative
Otro punto importante que debe recordarse es que los modelos no se
utilizan como frmulas. Los modelos son para pensar. Raras veces le darn
un conjunto de procedimientos cuyos pasos no puedan cambiarse. Si as lo
hacen probablemente conducirn a cometer errores.
El modelo 3-S, el cual analizaremos a continuacin, es un conjunto
vaco que nos permite seleccionar el modelo apropiado o la combinacin
adecuada de modelos y enfoques que se vaya a usar en un programa o
estudio evaluative La esencia de su concepcin es la siguiente: no comience
con un modelo de evaluacin, sino con un problema. Analice el problema
e identifique sub-problemas, piense acerca de cmo el problema o sus
partes pueden desenvolverse con el transcurso del tiempo; y, finalmente,
piense en el medio en el cual se desarrollar la evaluacin. Las diferentes
partes del problema de evaluacin probablemente requerirn la utilizacin
de distintos modelos y enfoques. Podr ser necesario hacer una encuesta y
un estudio de caso en profundidad. Podrn requerirse pruebas de rendimiento
de los educandos y anlisis de contenido de documentos.
Las exigencias de tiempo pueden demandar tomar el pulso al programa
mediante apreciaciones rpidas aun cuando, idealmente, hubiese sido mejor
hacer una evaluacin ms sistemtica. Finalmente, el evaluador puede
encontrarse en una situacin en la cual no tenga calculadoras ni colegas
que puedan ayudarle con el anlisis de grandes cantidades de datos
numricos, donde no haya fotocopiadoras o mimegrafos, o no se tenga
papel para duplicar los instrumentos necesarios. Este modelo nos ayuda a
pensar sobre las estrategias que habr que seleccionar en situaciones
especiales de la vida real, sobre cmo hacer una "segunda mejor seleccin"
cuando la mejor no es posible.
E n otra publicacin
14
hemos enunciado los siguientes pasos en la puesta
en prctica del modelo 3-S:
1. Articular las relaciones de fines y medios en el programa de
cambio que se va a evaluar.
2. Generar perfiles de necesidades de informacin y asuntos
relacionados con la evaluacin.
3. Desarrollar una agenda de evaluacin especfica para la situacin
4. Elegir metodologas y tcnicas realistas apropiadas
El modelo 3-S ha influido en los enfoques de la planificacin y la
gestin de la evaluacin que se presentan en este libro.
1. Cul de los dos paradigmas bsicos analizados en este captulo tiene
ms posibilidad de generar la informacin ms til en su programa de
desarrollo, de alfabetizacin o de capacitacin para el desarrollo? O
tendr usted que usar una mezcla ambos?
2. Cul o cules de losmodelos descritos en este captulo considera
usted personalmente que le podra ser ms til actualmente? Qu ms
le gustara saber sobre este modelo para poder utilizarlo?
3. Ha podido usted encontrar algn estudio evaluativo terminado que se
ajuste del todo a alguno de los modelos descritos en este captulo?
Notas
1. Kuhn, T. S. The structure of scientific revolutions. Chicago: University
of Chicago Press, 1962.
2. En nuestra discusin en este captulo el trmino "teora" no ha sido
definido ni explicado. Esto es as porque la literatura sobre evaluacin
habla con frecuencia de modelos de evaluacin y pocas veces de la
teora de la evaluacin. Brevemente digamos que, en trminos del
status conceptual, la teora cae entre el paradigma y el modelo. En su
mejor sentido, la teora es un conjunto de leyes y generalizaciones
empricas conectadas deductivamente. Un modelo es frecuentemente
un diagrama esquemtico que conecta la teora con la prctica.
3. Aqu puede hacerse referencia al trabajo de D onald T . Campbell y
Julian C. Stanley, Experimental and quasi-experimental designs for
researchers. Chicago: Rand McNally, 1966.
4. Lincoln, Yvonna S. y Guba, Egon G. Naturalistic inquiry. Beverly Hills,
C A : Sage, 1985.
5. Cronbach, Lee J. et. al. Towards reform of program evaluation. San
Francisco: Jossey-Bass, 1980.
6. Por la iniciales en ingls de las dimensiones de la evaluacin que
considera la situacin ambiental (E), los insumos (I), los procesos (P),
los resultados inmediatos (O) y los efectos a largo plazo (L).
7. D ave, Ranvindra H. " A built-in System of Evaluation for Reform
Projects and Programmes in Education". International Review of
Education, V ol. 26N
2
4, pp. 475-482,1980.
8. Rippey, Robert M . , ed. Studies in transactional evaluation. Berkeley,
C A : McCutchan, 1973, pp. 3-4.
9. D ouglas, Jack D . Investigative social research. Beverly Hills, C A : Sage,
1976.
10. Pariert, M . y Hamilton, D . "Evaluation as illumination: A new approach
to the study of innovatory programs". Occasional Paper, N
Q
9.
Edinburgh: Center for Research in the Educational Sciences, University
of Edinburgh, 1972. V er tambin Richards, Howard, The Evaluation of
Cultural Action. An Evaluative Study of the Parents and Children
Program (PPH). Londres: Macmillan, en asociacin con el International
D evelopment Research Centre, 1985.
11. Eisner, ElliotW . Educational Imagination: The design and evaluation
of school programs. N e w York, N Y : Macmillan, 1979.
12. "Participatory research: D evelopment and issues". A special issue of
Convergence, V ol. X I V , N
9
3,1981.
13. D e las iniciales de las palabras en ingls Situation, Specific y Strategy.
14. Bhola, H. S . Evaluating functional literacy. Amersham, Bucks, U. K . :
Hulton Educational Publications Ltda., 1979. Pginas 25-33.
P arte II
L a Planificacin y la G estin de la Evaluacin
E n esta Parte II de la monografa se discuten los procesos interrelacionados
de la "planificacin y la gestin de la evaluacin". Aqu se explican y se
demuestran los respectivos enfoques. D ebe anotarse que estos dos procesos
se desarrollan a nivel del programa o de la institucin. Por eso, deben
preceder al proceso de "diseo" y de "ejecucin" de estudios evaluativos
individuales. Esta Parte se divide en los siguientes captulos:
3. La Planificacin de la Evaluacin, y
4. Ejecucin y Gestin de la Evaluacin
CAPITULO 3
LA PLANIFICACIN DE LA EVALUACIN
El concepto de "planificacin de la evaluacin" es relativamente nuevo en
la literatura sobre evaluacin. Planificar es elegir. La planificacin de la
evaluacin consiste en elegir de entre los muchos posibles interrogantes
planteadas para la evaluacin. Para generar un conjunto de preguntas
significativas es necesario un enfoque sistmico. El enfoque de la
planificacin de la evaluacin presentado en este captulo sugiere que
todos los sistemas interrelacionados -el de alfabetizacin, el de la
comunidad o de ejecucin, dentro del cual se utilizar la alfabetizacin y,
finalmente, el sistema social circundante- sean descritos en trminos de
los cuatro parmetros del sistema, esto es, el contexto, los insumos, los
procesos y los resultados. Deben plantearse interrogantes acerca de qu
parmetros necesitan ser aclarados, y, en consecuencia, qu informacin
debe generarse para clarificar lo que no est claro. El conjunto ideal de
necesidades de informacin debe ser entonces sometido a los criterios de
conveniencia yfactibilidad. La lista definitiva de necesidades de informacin
de los que toman las decisiones debe conformar la agenda de evaluacin
de un programa particular.
"Planificacin" y "planes" son hoy en da palabras familiares en la mayor
parte del mund o. Tpicamente, un plan es un conjunto de intenciones o
disposiciones propuestas por adelantado; un mtodo, esquema o diseo
para lograr algn objetivo en un futuro inmediato o distante. E n la vida
diaria, la planificacin es el proceso ms o menos intuitivo de desarrollar tal
plan.
La planificacin de la evaluacin profesional
E n la vida profesional de un evaluador los significados esenciales de los
planes y la planificacin siguen siendo los mismos. Sin embargo, para
que un plan de evaluacin realmente sea profesional no debe ser meramente
intuitivo. D ebe ser el resultado de un proceso de planificacin que ha sido
56 Planificacin de la Evaluacin
deliberado, sistemtico, informado, y fundamentado en la realidad. Es
posible cumplir estos criterios si el evaluador ejecuta el proceso de
planificacin como sigue:
1. L a evaluacin debe conceptualizarse como una respuesta a las
necesidades de informacin de los que toman las decisiones.
A un ms, esta respuesta evaluativa debe organizarse para que sea
sistmica y sistemtica. D ebe ser sistmica en el sentido de que
implica un enfoque sistmico. El evaluador debe considerar el
ejercicio evaluativo ligado con el sistema del programa de
alfabetizacin, al sistema de la comunidad o de ejecucin en el
cual se utilizarn las habilidades adquiridas con la alfabetizacin,
y el sistema social circundante, todos al mismo tiempo. Los
distintos sistemas deben ser descritos en trminos sistmicos-
dinmicos, utilizando los parmetros de los sistemas -insumos,
contexto, procesos y resultados.
2. La respuesta evaluativa tambin debe ser sistemtica en el sentido
de que la eleccin de los interrogantes de la evaluacin no se
haga arbitrariamente. N o debe permitir que el evaluador se
paralice ante el primer problema que surja en la evaluacin.
D ebe requerir mirar la totalidad de las necesidades de la
evaluacin -primero y siempre- antes de hacer la seleccin de
determinadas preguntas y elegir las estrategias particulares de
recoleccin de datos.
3. Las descripciones dinmicas respondern preguntas como las
siguientes: Qu insumos, mediante qu procesos, en qu
contextos, llevarn a obtener qu resultados? El planificador de
la evaluacin, con la propia colaboracin de los que toman las
decisiones, debe entonces hacer un listado de las necesidades de
informacin de los que toman las decisiones, las cuales surgen de
estas descripciones dinmicas, al separar lo urgente y lo viable de
aquella informacin que slo "sera bonito tener".
Q u es un sistema?
E n el anterior listado de etapas hemos usado repetidas veces la palabra
sistema. E n este punto es necesario introducir una definicin formal de
Planificacin de la Evaluacin 57
sistema. Este es una disposicin ordenada o una combinacin de partes o
elementos interrelacionados e interdependientes que surgen como una
totalidad. Una familia es un sistema. Una cooperativa es un sistema. Un
programa de alfabetizacin tambin lo es -es un sistema tcnico-social,
podramos aadir. V ivimos, respiramos, trabajamos, votamos, jugamos y
rezamos dentro de sistemas sociales de diversa ndole.
Sistemas y subsistemas
Puede haber sub-sistemas dentro de los sistemas. Los sub-sistemas, a su
vez, pueden estar constituidos por otros sub-sub-sistemas. Por otra parte,
los sistemas pueden ser parte de supra-sistemas y mega-sistemas ms
amplios. Es importante recordar que los lmites de los sistemas y sub-
sistemas no son creados por D ios. Son lmitesque les asignamos nosotros
simplemente porque consideramos que son convenientes, tanto para
entender los sistemas como para intervenir en ellos.
Pensamiento sistmico
El pensar con un enfoque sistmico es el hbito mental de mirar las cosas
como un todo. Es un "pensamiento holista". Es el tipo de pensamiento que
nos permite pensar acerca de mltiples procesos que ocurren
simultneamente y nos ayuda a evitar las limitaciones del pensamiento
lineal. Pensar as es aprender a considerar distintas entidades e individuos
como vinculados entre s en una red de relaciones aun cuando pueden
aparecer como separados, y aislados.
Descripciones sistmicas
Una importante ventaja del pensamiento sistmico es que todos los
sistemas, cualquiera sea su naturaleza, tamao o complejidad pueden
describirse usando los mismos cuatro parmetros (insumos, procesos,
resultados y contexto). El "proceso" como parmetro del sistema pone al
descubierto la dinmica del mismo. Los "insumos" como parmetros nos
dicen de qu vive el sistema. Podemos hacemos una pregunta: Qu
variaciones seran posibles en los insumos y procesos para obtener
diferentes "resultados" en un "contexto" determinado? E n algunos casos
58
Planificacin de la Evaluacin
se podr manipular el "contexto" mismo. L o que se quiere sealar es que
uno puede referirse a la descripcin de un sistema en trminos de estos
cuatro parmetros c omo descripcin en trminos del diseo o como
descripcin dinmica del sistema. Puesto que nuestro objetivo final en la
evaluacin de la alfabetizacin funcional a la post-alfabetizacin es
intervenir en los procesos educativos y de desarrollo para mejorarlos, ese
tipo de descripciones son sumamente tiles.
Descripciones sistmicas de la "Alfabetizacin para el Desarrollo": Tres
sistemas y subsistemas interrelacionados
A manera de demostracin del proceso de desarrollar lo que hemos
denominado "descripciones en trminos del diseo", tomaremos como
ejemplo la pl? ficacin de la evaluacin en un "sistema de alfabetizacin
para el desarrollo". D emostraremos cmo para planear la evaluacin en
este caso, el evaluador no puede dejar de considerar el sistema del programa
de alfabetizacin, el sistema de la comunidad o de ejecucin en el cual se
realizar la alfabetizacin y el sistema socio-econmico total. L a Figura
1, en la pgina siguiente, muestra en forma grfica estas relaciones. El
sistema de alfabetizacin recibe los insumos pertinentes que sern
sometidos a determinados procesos en el contexto social/organizacional
especfico del programa de alfabetizacin. Se obtienen algunos resultados
deseados (y otros no previstos). " X Y Z " en el grfico son los resultados
que no provienen del sistema de alfabetizacin mismo, sino que se
aadieron desde fuera a los resultados del sistema de alfabetizacin para
convertirse en insumos para la comunidad o para el sistema de ejecucin.
D esde luego, el sistema del programa de alfabetizacin debera haberse
diseado de mod o tal que estuviera en perfecta relacin con la comunidad
(o con el sistema de ejecucin), en el cual se habrn de utilizar las
habilidades de alfabetizacin. Es sorprendente ver con cuanta frecuencia
este requisito, que parece obvio, es desatendido por los planificadores.
D entro del sistema de la comunidad o de ejecucin, de nuevo se someten
los insumos a procesos en un contexto determinado para producir los
resultados de este sistema en particular, el cual producir resultados
anticipados y no previstos. Algunos correspondern a lo deseado, otros
no. Estos resultados sern complementados con otros resultados" PQR"
que provienen de otra parte dentro del sistema social y sern tambin
insumos para la dinmica general del sistema social.
P
l
a
n
i
f
i
c
a
c
i
n

d
e

l
a

E
v
a
l
u
a
c
i
n

5
9

<

O

o

<

m

L
U

I
-
(
/
)

(
f
)

U
O
Z
H
U
J
X
I
-
O

Q

<

Q

O

L
U

O

<

O

L
U

3

L
U

L
U

Q

i
-

c
o

C
O

L
U

O

n

<

ISTEM
C
O

<

r
s
i
ABETI
u
-
t

^

S

9

e
r

H

1

-
z
.

=
>

o

'

c
o

Z
D

o

a
.

Z
3

S

t
y

C
/
5

_
i

O

L
U

m

L
U

o

t

1

O
O
Z
I
-
L
X
H
O
-
O

2

3

X

<
/
)

z

0

C
/
)

L
U

O

c
e

Q
.

T

O

Q

Q

Q

<

o

C
/
5

L
U

C
C

L
U

!
^
J

r
s
i

H
-

H
-

>
-
C
O

L
U

X

m

<

c
o

Q
<

t

|

O
O
Z
H
I
U
X
H
O

"
-
i

0

g

S

3

0
)

z

X

L
U

O

c
e

_

2

i
m
.

c
a

(
0

C
D

Q

"
3

c
a

c
a

a
.

c

o

'

c
a

,
N

*

Q
)

c
a

Q
)

T
>

0
)

c
a

_
>

c
o

c

V
)

J
2

o
>

o

c

c
a

C
O

>

L
U

_
o

a
>

o

c

o

'
5

C
O

u

_
a

Q
.

_
o

c
a

c
o

Q
.

a
>

o

o

c
a

o

La descripcin de los sistemas en trminos dinmicos
D esde luego, existen muchas formas diferentes mediante las cuales se
podra describir el desarrollo que experimenta el sistema social, un particular
sistema de comunidad/ejecucin o un sistema de alfabetizacin al servicio
I
N
S
U
M
O
S
P
R
O
C
E
S
O
S
SISTEMA DE
A LFA BETIZ A CIN
Educandos
hombres, mujeres
Facilitadores-
maestros,
extensionistas,
educadores,
polticos
M todos y
materiales
Insumos
tecnolgicos
Infraestructura
Locales
Educativo (formal,
informal)
De Extensin
Concientizacin
Movilizacin
Reorganizacin
social
Coordinacin
Gestin
SISTEMA DE
COMUNIDAD/
EJECUCIN
Insumos del sistema
de alfabetizacin
funcional
Instalaciones para la
post-alfabetizacin
y la educacin
continuada.
Bibliotecas rurales/
urbanas
Servicios de
extensin
Capacitacin
vocacional en las
fbricas
Paquetes de crdito
e informacin
Extensin
educativa
Capacitacin en
administracin
Segunda
socializacin
Organizacin
Fortalecimiento
institucional
Movilizacin
Renovacin cultural
Capacitacin de
personal
SI STEMA
SO CI A L
Insumos del sistema
de comunidad/
ejecucin
Ideologa, voluntad
poltica
Iniciativas de
polticas sobre la
cultura, el
desarrollo, los
medios
Tecnologa/
Infraestructura
Modernizacin
Democratizacin
c
o
N
T
E
X
T
O
S
R
E
s
U
L
T
A
D
O
S
SI STEMA D E
ALFABETI ZACI N
Clima grupa!
Organizacin social -
Conjuntos de
edades,
compaeros, etc.
Cultura local
Polticas comunitarias
Sexismo, actitud ante
el envejecimiento
Ambiente de
aprendizaje de la
comunidad
Individuos
alfabetizados
funcionales
Individuos
polticamente
conscientes
Materiales y mtodos
probados
Facilitadores con
experiencia
Sistemas locales
efectivos
Mejor ambiente de
aprendizaje
SISTEMA D E
COMUNID AD /
EJECUCIN
Polticas
comunitarias
Organizacin social
Estados agrcolas
Cooperativas
Organizacin
industrial
Infraestructuras
educativas y
culturales
Alfabetizados que
utilizan su
alfabetizacin
haciendo
transacciones ms
efectivas con
todos los aspectos
del ambiente -
econmicos,
sociales, polticos,
fsicos
Infraestructuras
dinamizadas
Menos accidentes
Matrcula de
los nios en la
escuela
Renovacin cultural
SI STEMA
SOCI AL
Nacional
Internacional
Sociedad moderna
Sociedad
democrtica
L a alfabetizacin funcional generalizada se a sume con sus tres componentes: (i)
habilidades de alfabetizacin (ii) funcionalidad y (iii) concientizacin. Se reflejan tanto
los contextos rurales y urbanos.
de educandos adultos. Co m o se seal anteriormente, los cuatro parmetros
de los sistemas proporcionan las mejores descripciones sistmicas. D ebe
examinarse el cuadro de las pginas 60 y 61, que muestra esto. La tabulacin
lo explica en s misma. La lista de insumos, procesos, resultados y otras
dimensiones de contextos para los tres sistemas entrelazados, que se ha
descrito en el cuadro no es necesariamente completa.
La generacin de necesidades de informacin
Podemos movemos ahora hacia el tercer y ltimo paso de la planificacin
de la evaluacin: el desarrollo de un conjunto de necesidades de informacin
para los que toman las decisiones. Observando el cuadro anterior, podemos
enfocar las distintas celdas y preguntamos lo mismo:
1. Tienen los que toman las decisiones informacin suficiente sobre
los diversos elementos que aparecen o estn incluidos en las
distintas celdas?
2. Si no, cules son sus necesidades de informacin?
3. Es posible y factible recoger la informacin que se necesite?
(Algunas variables pueden no ser manipulables por los que toman
las decisiones. E n este caso, es posible que una informacin ms
precisa no sea de mucha ayuda).
Con base en este cuadro, podramos hacer una lista como la que se
presenta en las pginas 63 y 64 sobre el sistema del programa de alfabe-
tizacin, el cual puede usarse para generar necesidades de informacin y
luego agendas de evaluacin especficas.
Una lista de este tipo debe hacer ahora que el evaluador compare "lo
que es" con "lo que puede ser". D ebe considerar crticamente sus
experiencias diarias dentro del programa y tratar de articular con claridad
los problemas que ah estaban pero que eran difciles de tratar. Tambin
debe reflexionar crticamente sobre el sistema de enseanza-aprendizaje
existente y el sistema del programa y pensar en que, si se hicieran algunos
cambios, podran obtenerse mejores resultados.
E n todos estos casos, el evaluador deber ser capaz de establecer
algunas necesidades de informacin: Tenemos el problema " X " , pero no
tenemos la informacin " Y " . O si tuviramos la informacin " Y " podramos
PARMETROS
Variables V ariaciones/Opciones
INSUMOS
Maestros
Educandos
Materiales didcticos/
instalaciones
Niveles educativos y clase social particulares
Grado de experiencia en el ca mpo de trabajo
Nivel de compromiso con el trabajo de desarrollo
Competencia como maestro y experiencia en la enseanza
Asignacin directa versus la realizada por un departamento
relacionado
Continuidad versus rotacin
Carga de trabajo del maestro
Antecedentes educativos
Clase social y orientacin de valores
Compromiso con el desarrollo
Motivacin para aprender
Cantidad, diversidad, calidad de los materiales didcticos
Materiales e instalaciones
Materiales nacionales versus importados
Equipos para la instruccin y la duplicacin
Caractersticas de los ambientes de aprendizaje
PROCESOS
Instructional/
Informativo
Estructural/
Organizacional
Conceptualizacin de la enseanza como transferencia de
conocimientos, desarrollo de habilidades, modificacin
de comportamiento, socializacin
Desarrollo de un currculo integrado versusun currculo
orientado por las disciplinas (organizacin de la
instruccin)
Estilosde enseanza y de aprendizaje
Conocimientos sustantivo versus nfasis en los procesos
Presencia versus ausencia de una validacin del currculo
por medio de la evaluacin de las necesidades
Disponibilidad o no de serviciosde consejera y orientacin
Estado de salud de la organizacin
Calificacin de la capacidad organizativa
D e Distribucin Calidad de apoyo administrativo
PARMETROS
Variables Variaciones/Opciones
Relacionado con el Coordinacin con el personal y los servicios de extensin
mantenimiento
CONTEXTOS
Cultura organizativa
Organizativo Relaciones inter-institucionales (horizontales y verticales)
Ambiental Alrededores (cercana a un bar versus situacin de
"retraimiento"
Clima social general del pas
RE SU L T A D O S Adultos alfabetizados en los distintos niveles de
alfabetizacin
Agentes de desarrollo capacitados con distintas competencias
Nacientes identidades de roles
Experiencia diferenciada de los capacitadores
Calidad de los programas de radio
dar un paso promisorio " X " con confianza. Aqu deben mencionarse dos
puntos importantes:
1. Debe distinguirse entre los problemas de evaluacin y los problemas
administrativos. Administrar es dirigir y supervisar la ejecucin o
realizacin de un programa. Si los administradores fallan por razones
de incompetencia o por falta de responsabilidad, el problema es de
tipo administrativo, no de evaluacin. L a evaluacin slo puede apoyar
la administracin devolvindole los datos necesarios y sometiendo a
prueba los supuestos del programa. N o es un sustituto para la toma de
decisiones administrativas.
2. La evaluacin puede requerir un anlisis conceptual o la recoleccin
de datos para un marco referencial y no datos recogidos en terreno.
Algunas veces surgirn preguntas de evaluacin que tendrn que ser
contestadas por medio de anlisis conceptuales y operacionales y no
yendo a recoger datos en el ca mpo. Es realmente empleado en los
protocolos de capacitacin el mtodo participativo que se recomienda
en un programa de capacitacin? Est el concepto de un currculo
integrado realmente incluido en los planes, los materiales y la
organizacin y programacin de la capacitacin? Estas preguntas
demandan respuestas analticas, y no necesariamente tener que recoger
datos. Nuevamente, los documentos de poltica, los planes econmicos
quinquenales de la nacin y los datos de un censo debern ser usados
para construir un marco de referencia para evaluar algn aspecto de la
campaa, programa o proyecto de alfabetizacin.
De las preguntas de evaluacin a las agendas de evaluacin
Las preguntas de evaluacin que se plantean en la etapa anterior pueden
todas ser interesantes y promisorias, pero tal vezno sea posible responderlas
todas en el contexto particular de un programa de alfabetizacin y dentro
de los discursos disponibles. E n esta situacin debe seguirse una agenda
de evaluacin especfica dentro de un perodo de tiempo determinado.
Los siguientes criterios sern tiles para escoger las preguntas de
evaluacin que quedarn incluidas en la agenda de evaluacin:
1. Disponibilidad de opciones para la intervencin
2. Significado de las preguntas de evaluacin
3. Viabilidad de la puesta en prctica del estudio evaluativo
1. Disponibilidad de opciones
Quizs todas las variables que comprende una situacin de alfabetizacin
no puedan ser controladas por los que toman las decisiones. E n otras
palabras, el alfabetizador tal vezno sea capazde cambiar los valores de las
variables de mod o significativo. E n este caso, cuando las variables del
programa son "inmutables", no vale la pena evaluarlas, ya que no ofrecen
opciones para un re-diseo.
2. Significado de las preguntas de evaluacin
Si una variable realmente ofrece una opcin de intervencin, tendr sentido
evaluarla, si en un sentido relativo ofrece una opcin significativa. El
significado tiene que ser en trminos de la efectividad o eficiencia de los
66
Planificacin de la Evaluacin
resultados. En cualquier caso, los resultados del esfuerzo evaluativo deben
valer la pena.
3. Viabilidad en relacin con los recursos disponibles
Las preguntas de evaluacin seleccionadas y el diseo necesario para
realizar la evaluacin debern corresponder a la capacidad del proyecto,
programa o campaa de alfabetizacin. D ebe disponerse de una cantidad
razonable de recursos para evitar frustraciones innecesarias al ponerlo en
marcha.
El concepto de evaluabilidad al cual se hace referencia en la literatura
sobre evaluacin se relaciona con este tipo de preocupaciones.
1. Analice su propio programa de alfabetizacin en trminos de sus
distintos elementos, usando el cuadro presentado anteriormente sobre
INSUMOS-PROSOS-CONTEXTO-Y-RESULTAD OS.
2. Qu necesitara usted saber en su caso concreto acerca de las demandas
ms significativas que hace a los agentes alfabetizadores y agentes de
cambio el "Sistema de ejecucin"? Replantee estas necesidades de
informacin en la forma de un conjunto de preguntas de evaluacin.
3. Cules son algunos de los hechos importantes de la vida poltica y
socioeconmica en su medio que deben quedar reflejados en una agenda
de evaluacin?
Nota
1. V er tambin Bhola, H. S . Evaluation planning, evaluation management
and utilization of evaluation results within adult literacy compaigns,
programs and projects. Bonn: German Foundation for International
D evelopment, 1981. [ERIC D ocument N o . 221 759]
CAPITULO 4
EJECUCIN Y GESTION D E LA EV ALUACIN
La ejecucin y la gestin de la evaluacin como se presentan en este
captulo incluyen tres procesos separados pero interrelacionados. Primero
y, sobre todo, debe desarrollarse la mejor combinacin de estrategias
efectivas y eficientes de recoleccin de informacin. Estas estrategias
deben corresponder a los recursos del programa o institucin de que se
trate y deben generar en su conjunto datos oportunos crebles y confiables.
Sugerimos que esta mezcla de estrategias incorpore el tringulo
metodolgico constituido por el SIG (Sistema de Informacin para la
Gestin), La Evaluacin Naturalista (EN) y, si es posible, la Evaluacin
Racionalista (ER). Segundo, la funcin administrativa debe propiciar un
contexto institucional favorable para que los evaluadores desempeen su
papel: esto es, el rol de los evaluadores debe acoplarse con el de los
programadores para reducir al mnimo los conflictos de roles. Tercero, la
funcin de gestin debe asegurar la real utilizacin de los resultados de la
evaluacin convirtiendo la administracin del programa en una cultura
de aprendizaje que habitualmente utiliza los datos de la evaluacin.
L a gestin de la investigacin (o administracin) ha llegado a ser en las
dos ltimas dcadas una especialidad. Sin embargo, no se ha transferido
esta preocupacin al rea de la evaluacin. Cuando ms, se considera la
gestin de la evaluacin como una cuestin de organizarse para recoger
datos en terreno sin dificultades. Sin embargo, los problemas de la gestin
de la evaluacin van mucho ms all.
Es importante recordar aqu que todava no estamos hablando sobre el
diseo de la evaluacin, esto es, el diseo tcnico de los estudios evaluativos.
Las cuestiones sobre el diseo surgirn ms tarde, en el contexto de cada
estudio particular. Al discutir sobre el enfoque de la gestin de la evaluacin
estamos planteando y respondiendo preguntas que preceden a la cuestin
de diseo.
68 Ejecucin y Gestin de la Evaluacin
El significado de gestin
Gestin es una palabra difusa. Con frecuencia equivale a administracin.
Pero recientemente ha llegado a considerarse como un proceso ms integral
que incluye la planificacin, organizacin, ejecucin y control del trabajo
de otros.
Nuestro concepto de gestin de la evaluacin incluye una mezcla de
decisiones profesionales y organizacionales. Las decisiones profesionales
implican una eleccin entre las estrategias de recoleccin de informacin
de mod o que la informacin recogida cumpla con los criterios de efectividad,
eficiencia y oportunidad. Tambin hay decisiones organizacionales que
considerar. Estas se relacionan con la invencin de roles de evaluacin y
designaciones; y su ubicacin dentro del sistema del programa de mod o
tal que haya un mnimo de conflicto de roles dentro de la organizacin.
El tringulo metodolgico de la evaluacin
Con base en nuestra experiencia en capacitacin sobre evaluacin y la
prctica evaluativa en el Tercer Mund o durante los ltimos quince aos,
particularmente en Kenia
1
, Botswana
2
, Malawi y Zimba bwe, podemos
afirmar que a nivel institucional o del programa, la estrategia de recoleccin
de la informacin debe constituir el tringulo metodolgico de la evaluacin
como se presenta en la Figura 2.
SIG: Sistema de Informacin para la Gestin
Analizaremos completamente el SI G ms adelante en la Parte lu. en este
contexto slo necesitamos presentar los detallesms simples.
Co m o lo sugiere su nombre, un Sistema de Informacin para la Gestin
(SIG) es un sistema de informacin que apoya la gestin efectiva y efi-
ciente de una institucin, programa o proyecto. La informacin importante
acerca de un programa de desarrollo o un proyecto de alfabetizacin se
organiza como sistema de informacin, de mod o que pueda ser almace-
nada sistemticamente y recuperarse fcilmente para ser utilizada por los
que toman las decisiones. Normalmente la informacin es tal como se
genera en el proceso mismo de su ejecucin, por el programa o proyecto.
Aunque se puede utilizar la tecnologa computacional para desarrollar el
E
j
e
c
u
c
i
n

y

G
e
s
t
i
n

d
e

l
a

E
v
a
l
u
a
c
i
n

6
9

2

<

>
-
O

C
O

o

<

Z
>

1

EVA
_
i

<

"
Z
.

O

R A CI
c
e

L
U

'
<
m

ION
O

STA
-
j

^

<

<

z

I
D

_
l

<

>

L
U

O
C

L
U

Z
)

^

h
-
<

X

o

o

o

7
5

c

0
>

L
U

Q

C
O

<

L
U

\
-
c
o

C
O

2

o

M A CI
o
c

O

L
L

~
z
.

2

O

\
-
GES
<

i

<

o
c

IG )
c
/
;

S
*

(
0

3

(
0

>

L
U

S

o

o

O
)

o

o

(
0

3

(
0

>

_

m

t
i

<
3

<
D

O

(
0

=
s

o

S
S

'
o

o
>

C
O

O

=

o

2

O

o

i
r

i
s

C
O

3

O
)

SI G, no es necesario disponer de ella para hacerlo. Son suficientes sis-
temas de informacin para la gestin basados en papel y lpiz si usan
formas de registro, formularios y cuadros que se llenan diaria o peri-
dicamente.
Creemos firmemente que el establecimiento de un SI G siempre debe
ser una parte necesaria en todo enfoque de gestin de la evaluacin. Los
costos iniciales de un SI G, particularmente si se emplean papel y lpiz,
son bajos. Los resultados de establecerlo son valiosos, elevados en
comparacin con los costos.
Se ha encontrado que los datos de un SIG son los que ms frecuente y
ms ampliamente usan los que toman las decisiones al tomar decisiones
cotidianas sobre un programa. Cuntas personas participan? Cuntas
son hombres y cuntas mujeres? D nde viven y trabajan? Cul fue su
calificacin en una prueba de alfabetizacin? Qu cantidad de fertilizantes
compraron? Cunto produjeron por hectrea? Un SIG bien diseado puede
responder todas estas preguntas regularmente y puede ayudar a los que
toman las decisiones a ejecutar acciones adecuadas.
Consideramos que el SIG es un componente necesario del tringulo
metodolgico de la gestin de la evaluacin. El SI G, por s solo, satisfacer
muchas necesidades de informacin de los que toman las decisiones.
Ad ems, el SI G apoyar tanto las actividades de evaluacin naturalista
(EN) como las de la evaluacin racionalista (ER). Contrariamente a lo que
ingenuamente se supone, la E N no significa que todo es cualitativo y
nada cuantitativo! Aunque el evaluador naturalista busca lograr
"construcciones significativas" y no "conteos sin significacin", esto no
quiere decir que no sepa contar. La E N s hace uso de datos numricos; y
desde luego, de estadsticas descriptivas cuando stas son tiles para dar
significado a las realidades mltiples que se presentan. Aqu hay que
puntualizar que el SI G apoyar frecuentemente a la E N : primero, al
estimular al evaluador a que vaya ms all de los simples nmeros y
busque los significados que el cambio tiene para las distintas personas
implicadas; y segundo, al convertirse en el ancla de esos significados.
EN: Evaluacin Naturalista
E n el Captulo 2 presentamos una descripcin bastante detallada del mod o
de indagacin naturalista. Recordemos que se seal que las races
filosficas de la investigacin naturalista eran "fenomenolgicas" y
Ejecucin y Gestin de Id Evaluacin 71
"sistemticas". La E N usa la "teora fundamentada", desarrollada dentro
del "contexto social" de la indagacin misma . Sus muestras son
"propositivas". N o pretende ser objetiva sacando al evaluador del proceso
de indagacin sino que "lo usa como un instrumento" de observacin. La
E N desarrolla "extensas descripciones" que se examinan para encontrar
"temas recurrentes" y se "interpretan" para desarrollar los significados que
tienen para los participantes en sus propias realidades. Las afirmaciones
que se hacen sobre la realidad no son leyes universales sino declaraciones
sobre "realidades mltiples" tal como las vivencian las diferentes personas
involucradas.
El mund o de un capacitador para el desarrollo o agente del desarrollo
que ensea a los funcionarios nuevas habilidades para desempearse en la
educacin y el trabajo de extensin o promoviendo la divulgacin e
incorporacin de nuevos conocimientos, habilidades y actitudes es, en
palabras de Lee Cronbach, un "contexto de acomodacin" en contraste
con el "contexto de control" que slo est disponible en el laboratorio. Por
lo tanto, es comprensible que consideremos la E N como una componente
importante del Enfoque de Gestin de la Evaluacin que aqu sugerimos.
Co m o se afirm anteriormente, los datos del SI G son los ms amplia y
frecuentemente utilizados para la toma de decisiones por los planificadores
y capacitadores en el campo del desarrollo. Ahora sugerimos que las
afirmaciones cualitativas acerca del xito o fracaso de un programa hechas
por quienes han estado en contacto directo con el mismo son el segundo
tipo de "informacin" usado generalmente para tomar decisiones.
Creemos firmemente que en el tan penetrante contexto de la
acomodacin en el mund o del desarrollo, la alfabetizacin y la capacitacin,
la E N puede utilizarse para elaborar afirmaciones "cualitativas" sobre la
vida de un programa o sobre los efectos de la capacitacin, de las cuales se
puede depender y creer ms que de las declaraciones de sentido comn
que hagan las diferentes personas que lo representan y otros que estn
involucrados. Estas afirmaciones, cuando se leen acompaadas de datos
numricos del SI G, darn a los que toman las decisiones una informacin
ms til para mejorar un programa o proyecto en marcha.
Posteriormente en esta monografa (en la Parte TV) discutiremos sobre
el proceso y las tcnicas para llevar a cabo la indagacin naturalista.
ER: Evaluacin Racionalista
E n el Captulo 2 analizamos el concepto de indagacin racionalista en
algn detalle. Se describieron las caractersticas esenciales de la E R. Se la
consider como "positiva' y "reduccionista". Se dijo que busca someter a
prueba hiptesis derivadas de la teora. Su muestreo es aleatorio y usa
diseos experimentales o cuasi-experimentales. Sus instrumentos son
estructurados y el anlisis de los datos es normalmente estadstico. Su
finalidad es desarrollar proposiciones objetivas y con la validez de leyes
universales.
Actualmente estamos cayendo en la cuenta de que los educadores al
igual que otros dentistas sociales, no pueden utilizar la E R con frecuencia.
Esto es porque el mund o del desarrollo y del cambio no pertenece al
contexto del control. El nuestro es un mund o desordenado constituido por
mltiples variables, por entidades que no pueden reducirse a aspectos
aislados para ajustarse a nuestros propsitos. Los supuestos sobre los que
se construyen las metodologas y las tcnicasde la E R, de hecho, no siempre
se verifican en el mund o real.
Entonces, por qu incluir la E R en el tringulo del Enfoque de Gestin
para la Evaluacin que aqu ofrecemos? L a incluimos por dos razones:
una es profesional, la otra, poltica. La primera es que mientras que las
condiciones para la E R (esto es, el contexto del control) puede ser que no
se den con frecuencia, algunas veces existen. En ese caso la metodologa
de la E R puede utilizarse para hacer afirmaciones sobre algunos aspectos
del programa. L a razn de tipo poltico es que la E N como metodologa
tiene todava que alcanzar su legitimidad ante los evaluadores que trabajan
por todo el mund o. Los que toman las decisiones del Tercer Mund o que
tal vezhayan sido formados en las metodologas clsicas de la E R de
pronto no van a utilizar los mtodos de la E N tan slo porque nosotros lo
propongamos. Su preferencia por la E R va a tardar en quebrarse. Entonces
los evaluadores van a tomarse su tiempo para que se enamoren de la E N ,
que aunque parece tener sentido es bastante compleja, desordenada y no
est mu y segura de las cosas!
Los lectores deben darse cuenta de las relaciones entre el SI G y la E N
y la E R que se muestran en la Figura 2. Los aportes del SI G a la E R
pueden captarse fcilmente. Habr momentos en que los datos que existen
en el SI G pueden encajar en el diseo de evaluacin desarrollado a la
manera de la E R. En otros momentos, habr que recoger nuevos datos que
Ejecucin y Gestin de la Evaluacin 73
podrn llegar a ser parte del SIG. Pero el SIG y la E R no son lo mismo.
Son significativamente diferentes. El uso primordial y esencial de los
datos del SI G es para dar el perfil del tamao, el mbito y la supeficie de
la estructura de un proyecto, programa o campaa. Los estudios de E R
reducen el mund o a dimensiones, caractersticas y variables y buscan
elaborar proposiciones normativas y por tanto generalizables, sobre la
realidad.
La relacin entre los estudios de E N y E R pueden no ser tan obvia.
Puede ser muy frecuente (y tal vez as debe ser) que los estudios de E N
planteen algunas preguntas que pueden ser estudiadas en el contexto del
control en que se hacen los estudios de E R. Otras veces, un estudio de E R
puede reclamar que se haga una afirmacin con ms significado adems
del tipo general de comparaciones realizadas entre grupos o entre
comportamientos del mismo grupo antes-despus.
E n la Parte V de la monografa describiremos los detalles de la E R
como modalidad de indagacin.
Relaciones entre los roles del evaluador y el programador
D emasiados esfuerzos evaluativos se ven condenados al fracaso debido a
una concepcin defectuosa del sub-sistema de evaluacin en relacin con
el sistema del programa total. Desafortunadamente, algunos evaluadores
tienen una concepcin muy exclusiva de su papel. Piensan que ellos son
los nicos que funcionan como evaluadores y que todos los dems estn
ah para responder sus preguntas, obedecer y sentir y actuar respetuosamente.
N o se dan cuenta de que en una institucin o un programa que practica la
evaluacin interna, habr menos funcionarios de tiempo completo dentro
del sistema dedicados a la evaluacin que funcionarios que se desempean
en otros aspectos del programa. Estos ltimos jugarn un papel significativo
como evaluadores de tiempo parcial. Pero, en trminos del tiempo de
dedicacin sus insumos para el trabajo evaluativo ser, efectivamente,
mucho mayor que los insumos en trminos de horarios de los evaluadores
de tiempo completo.
Co m o parte del Enfoque de Gestin de la Evaluacin, debe hacerse
comprender a todos los funcionarios de tiempo completo del programa su
papel en la evaluacin y motivarlos a aceptarlo. Sus roles deben ser claros
y concretos. Su relacin con los evaluadores de tiempo completo tambin
debe ser clara. D ebe comprenderse que los evaluadores no asumirn el
papel de inspectores sino el rol tcnico de posibilitar que los otros
funcionarios sean capaces de realizar la evaluacin de su propio trabajo.
El trabajo con consultores externos
E n algunos pases del Tercer Mund o es posible que en el futuro cercano,
los evaluadores estn trabajando con expertos del exterior, quienes se
asignan al programa por un corto o largo tiempo. N o es posible escribir un
guin detallado para establecer las relaciones que deben darse entre los
evaluadores locales y los consultores externos. Sin embargo, deben fijarse
algunas ideas generales.
La iniciativa de la planificacin de la evaluacin y su gestin as como
despus, la ejecucin de la evaluacin, siempre deben estar en manos de
personal local. Al consultor de fuera se le puede solicitar que les colabore,
aun ms, que gue el proceso de planificacin de la evaluacin pero no
debe pedrsele que produzca los planes completos. Son los evaluadores y
los que toman las decisiones locales quienes deben decidir "cul" ser la
pregunta. El consultor externo puede, como experto, proporcionarles
refuerzo.
L o mismo es vlido para las preguntas sobre "cmo". Al consultor
externo no debe pedrsele que elabore el mejor diseo posible para que lo
sigan los evaluadores locales. D e nuevo, las ideas iniciales deben provenir
de los evaluadores locales, quienes conjuntamente con el consultor
trabajarn sobre el diseo.
Por lo tanto, la mejor manera de utilizar los servicios de un consultor
externo es como un capacitador formal y un socializador informal. Nunca
debe considerrsele como un miembro ms del personal, que se incorpora
al equipo.
La creacin de una cultura de aprendizaje en la institucin
Mucho se ha discutido en la literatura sobre la evaluacin acerca del
tpico de la utilizacin de los resultados de la evaluacin.
Se ha sugerido que la utilizacin de la evaluacin es una excepcin
ms que la regla. Con demasiada frecuencia, las preguntas de evaluacin
Ejecucin y Gestin de la Evaluacin 75
estudiadas por el equipo de evaluacin son de poca significacin para los
que toman las decisiones. Y aun ms frecuente es que los resultados de la
evaluacin estn disponibles mucho despus del hecho y demasiado tarde
para ser utilizados. El clima poltico y los problemas pueden haber
cambiado, de manera que lo mejor es olvidarse de los resultados de la
evaluacin y guardarlos en una estantera para que los cubra el polvo.
Se ha comentado que tal vez esperamos demasiado de la "utilizacin"
y con bastante frecuencia no vemos cmo los estudios evaluativos han
influido efectivamente en los que toman las decisiones. Ellos de hecho han
respondido a presentaciones informales de los resultados, segn fueron
apareciendo durante la recoleccin de los datos y los informes provisionales
que se van escribiendo y poniendo a su disposicin. E n muchos casos no
conocemos directamente en qu forma se ha logrado influir en ellos siendo
que realmente, el estudio ha tenido gran influencia.
E n el caso de la evaluacin interna, ser ms probable su utilizacin
aunque esto no siempre sea algo obvio. Efectivamente, en la evaluacin
interna, las personas involucradas en los distintos niveles del sistema
comienzan reaccionando ante la informacin sin que esto constituya una
decisin formal por parte de una autoridad. Esta utilizacin informal puede
enriquecerse ms con la participacin de las autoridades de niveles ms
altos que dispongan que se involucre al personal de los distintos niveles
del programa en el diseo y ejecucin del proceso de evaluacin y mediante
declaraciones concretas por parte de la institucin de su intencin de
tomar decisiones profesionales basadas en la informacin.
La creacin de una cultura de aprendizaje en las comunidades
Este proceso de participacin y establecimiento de normas puede, en efecto,
extenderse a los lderes en las comunidades. Mediante el modelamiento de
comportamientos apropiados, los lderes comunitarios pueden aprender
que las polticas se sometan a la informacin, o por lo menos hacer de la
informacin un aspecto importante de las polticas de desarrollo a nivel
local.
1. Existe un SI G en su proyecto? Si no, hay algunas formas de registro
rudimentario, formularios e informes peridicos?
2. Se ha llevado a cabo algn estudio evaluativo en su programa o
proyecto? Puede usted distinguirloscomo ejemplo de E N o E R?
3. Cree usted que las visitas del nivel central al terreno pueden convertirse
en una especie de evaluacin naturalista hecha por una sola persona?
Cmo?
4. Cules son algunos de los tpicos de evaluacin relacionados con su
programa que se acomodaran mejor en la modalidad de E R?
5. Qu tipo de evaluacin (EN o E R) preferiran los decisores del nivel
ms alto en su pas? Por qu?
Notas
1. Bhola, H. S . Action Training Model (ATM) - An innovative approach
to training literacy workers. N . S . 128. Notes and Comments. Paris:
Unesco, Unit for Cooperation with UN I CE F and W F P, March 1983.
Tambin Bhola, H. S . , "Training evaluators in the Third World:
Implementation of the Action Training Model ( A T M) in Kenya".
Evaluation and Program Planning, V ol. 12, pp. 249-258,1989.
2. Bhola, H. S . , "Building a built-in evaluation system: A case in point".
Ponencia presentada a la Red de Evaluacin (ahora American
Evaluation Association), San Francisco, Octubre 1984. (ERI C
D ocumento N o . E D 256 779).
P arte 111
S istema de I nformacin para la G estin (S IG )
El enfoque de la gestin de la evaluacin presentado en la Parte II, Captulo
4, comprende lo que hemos denominado tringulo metodolgico de la
evaluacin: SIG (Sistema de Informacin para la Gestin), E N (Evaluacin
Naturalista) y E R (Evaluacin Racionalista). D ebe reafirmarse que el SIG
es, sin lugar a dudas, el componente ms importante de la estrategia de
tres componentes para recolectar la informacin. Puede aun sugerirse que
en la asignacin de los recursos para la evaluacin la mayor prioridad
debe drsele al desarrollo de un SIG, por rudimentario que este fuere. En
esta parte del manual, la discusin sobre el SIG se dividir en los siguientes
captulos:
5. SIG - Teora, Preguntas y D iseo
6. La Elaboracin de una Propuesta para Desarrollar un SIG
7. El Proceso en una Mirada: Herramientas y Tcnicas para la
ejecucin de un SIG:
Seccin A : Anlisis Conceptual
Seccin B : Formulacin de Indicadores
Seccin C: Elaboracin de Pruebas de Rendimiento
Seccin D : Pruebas de Actitudes, Observacin de Acciones y
Resultados
Seccin E : Anlisis de los D atos
8. La Elaboracin de Informes Peridicos e Informes Especiales
Basados en los D atos del SIG.
CAPITULO 5
SIG - TEORA, PREGUNTAS Y DISEO
El SIG puede considerarse conceptualmente enraizado en dos ideas
interrelacionadas: es mejor para la toma de decisiones disponer de alguna
informacin que no tener ninguna; y, los programas de accin normalmente
generan informacin til durante el proceso mismo de ejecucin, la cual
puede, a su vez, utilizarse en la toma de decisiones. Los principios esenciales
para el diseo de un SIG son ms bien simples: La dinmica bsica del
programa al cual servir el SIG deber estructurarse como un sistema;
deben identificarse las variables agrupadas bajo cada uno de los cuatro
parmetros del sistema (insumos, procesos, resultados y contextos); deben
formularse indicadores para aquellas variables que no puedan observarse
directamente; deben identificarse fuentes de datos; debe desarrollarse un
sistema de papel y lpiz (o computarizado) de almacenamiento y
recuperacin de los datos; y debe establecerse una rutina sobre la
periodicidad para proporcionar datos como insumos y de suministro de
informes dirigidos a los que toman las decisiones.
La mayora de nosotros, la mayor parte del tiempo, tiende a pensar en
trminos de blanco o negro y dejamos de lado los grises que estn
conformados por el blanco y el negro. Nos parecen ms fciles de manejar
los opuestos claros y directos que las situaciones complejas en las cuales
los opuestos se entremezclan y coexisten.
Los evaluadores y los investigadores no son inmunes a esta tendencia
de pensar en trminos opuestos puros. Los evaluadores tambin continan
haciendo divisiones tajantes entre los que cuantifican y los que usan mtodos
cualitativos. Parece ser que piensan que quienes prefieren los mtodos
cualitativos no saben contar ms que hasta diez! Por otra parte, a los que
cuantifican se les descalifica por considerrseles como "masca-nmeros"
-como si ellos slo se interesaran por los nmeros y nunca por los
significados de las cosas.
Es importante recordar que "cantidad-calidad" no es una dicotoma,
sino una complementacin y, por lo tanto, en s misma no contrapone a la
E N y la E R. En efecto, la utilizacin de la "metodologa cualitativa" no
80 SIG - Teora, Preguntas y Diseo
asegura la utilizacin de una "evaluacin naturalista". La E R puede recoger
primero datos cualitativos y despus cuantificarlos al procesarlos! E n otras
palabras, tanto la E N como la E R pueden usar enfoques cualitativos para
la recoleccin de datos. Es cierto que la E N utiliza enfoques cualitativos
con ms frecuencias que la E R, pero hay mucho ms en la E N que la
utilizacin de mtodos cualitativos para la recoleccin de datos. L o que
distingue a los dos enfoques es el hecho de que estn implicados un
conjunto diferente de supuestos sobre la realidad y nuestro conocimiento
de la misma.
D e manera similar, los evaluadores naturalistas no son alrgicos a los
nmeros. Muchos entre nosotros continan pensando que a ellos quizs no
les interesan losnmeros. Y como un Sistema de Informacin para la
Gestin (SIG) es un sistema de almacenamiento y recuperacin de datos
numricos, los evaluadores naturalistas no estarn interesados en un SI G.
Na da ms alejado de la realidad
E n el Captulo 4 de la Parte II, hemos sugerido que un SIG es el
componente necesario en cualquier enfoque de gestin de la evaluacin; y
que un SI G apoyara a todos los otros esfuerzos evaluativos, sin importar
si se emprenden a la manera naturalista o racionalista. N o hace dao estar
"informado", as sea uno un evaluador naturalista o un evaluador
racionalista.
Q u es un SIG ?
Un SI G (Sistema de Informacin para la Gestin) es lo que indica su
nombre
1
. El sistema es diseado para acumular datos. Normalmente estos
son datos numricos -aunque un SI G con frecuencia se complementar
con archivos que contienen documentos de poltica y planificacin,
materiales didcticos, fotografas, pelculas y videos. Los datos generalmente
se recogen a intervalos de tiempo fijos. Con el fin de satisfacer tanto las
necesidades regulares como las que van surgiendo de los que toman las
decisiones, se recuperan estos datos para generar la informacin til para
la toma de decisiones
2
. Tan importante es la focalizacin en la toma de
decisiones que la denominacin S A D
3
(Sistema de Apoyo de las Decisiones)
est reemplazando al antiguo nombre, SIG. Ahora escomn hablar de
Sistemas Expertos (SE) que combinan las bases de datos con la inteligencia
artificial y apoyan a los que toman las decisiones mejor que el viejo SIG.
SIG - Teora, Preguntas y Diseo 81
Teora y metodologa del SI G
Las cuestiones tericas y metodolgicas de la investigacin y la evaluacin
pueden plantearse en forma de dos preguntas interrelacionadas: Cul es
la naturaleza de la realidad? y Cmo podramos hacer para lograr formular
aseveraciones informadas o basadas en el conocimiento de la realidad?
E n el nivel terico y metodolgico ms profundo, los SI G se
fundamentan en el positivismo, tal como se present en la Parte I, Captulo
2 y se resumir despus en la parte V , Captulo 13. En un nivel superficial,
la teora y la metodologa del SI G puede presentarse como sigue:
D esde luego, las decisiones con frecuencia son y seguirn siendo
tomadas intuitivamente, sin apoyarse en la informacin. Habr, a veces,
instancias en que la informacin disponible esm u y poca, o no m u y
confiable. La idea de un SI G se basa en la concepcin simple de que las
decisiones informadas son posiblemente mejores que las que no se informan;
y que debe hacerse cuanto esfuerzo sea necesario para recogerla y guardarla
de mod o que pueda ser recuperada despus una informacin que sea
confiable y suficiente para las decisiones administrativas que se toman
diariamente.
Un concepto relacionado, que raras veces se explicita, puede ser que
los nmeros proporcionan un contenido til a las afirmaciones cualitativas.
Este es, por ejemplo, un tipo de afirmacin: "Fue probablemente la ms
grande multitud que se haya visto en un partido de ftbol en este colegio".
Si le aadimos lo siguiente: "Los 15.875 asientos disponibles en el estadio
estaban ocupados", podemos ver cmo los nmeros sustentan la emocin
de la afirmacin cualitativa. Obviamente, los datos del SI G apoyarn las
evaluaciones racionalistas, pero no debe relegarse o subestimarse lo que
pueden contribuir a las evaluaciones naturalistas.
Finalmente, el apuntalamiento conceptual de un SI G est dado por el
hecho de que todos los programas generan datos (tanto cuantitativos como
cualitativos) en el proceso mismo de su puesta en prctica. Los datos
cuantitativos son particularmente fciles de obtener y la mayora de las
burocracias los recogen regularmente para rendir cuentas interna o
externamente. Con algn esfuerzo sistemtico y tmido, estos datos pueden
acomodarse a un Sistema de Informacin para la Gestin que sea til y
funcione bien. Nos apresuraremos a agregar que estos pueden ser sistemas
poco costosos que usan papel y lpiz, aunque los micro-computadores
baratos y el software apropiado no deben estar fuera del alcance de la
82
SIG - Teora, Preguntas y Diseo
mayora de los programas que se desarrollan en el Tercer Mund o. D espus
de todo, hoy da se pueden comprar diez o ms micro-computadores por el
precio de un Land-Rover.
Materiales q ue complementan el SIG
Co m o se indic anteriormente, un buen SI G debe complementarse con
materiales impresos y grficos, talescomo los documentos de la poltica
nacional y la planificacin, los materiales de capacitacin, materiales
impresos y audiovisuales relacionados que se utilizan en los programas,
recortes de peridicos y otros. Estos materiales contextales y comple-
mentarios sern necesarios para convertir los datos numricos en
informacin til para tomar decisiones.
Preguntas tpicas q ue puede contestar un SIG
Un SI G normalmente incluye datos numricos, pero estos no necesitan
simplemente representar cantidades. A las cualidades puede asignrseles
nmeros y as constituirse en parte del SI G. Un SI G integral puede incluir
datos sobre insumos, procesos, resultados y contexto. Puede tratar unidades
sociales desde individuos a grupos, instituciones y comunidades. Al
proporcionar datos de acuerdo con distintas series de tiempo, un SI G
puede damos informacin sobre las estructurasde los programas, los niveles
y ritmo de rendimiento de los educandos, la efectividad de los currculos y
el impacto del programa en las comunidades.
Adems de la informacin "antes-despus" recogida en seriesde tiempo,
los datos del S I G pueden utilizarse fcilmente para comprender
correlaciones, por ejemplo entre la lectura y el clculo numrico; y para
comprender, por ejemplo, las diferencias de rendimiento entre hombres y
mujeres en distintos indicadores, o las que resultan de comparar diferentes
mtodos de enseanza o diversos materiales de post-alfabetizacin.
La lista de preguntas que se sugieren a continuacin no es exhaustiva,
pero s indica la probable utilidad de un SI G bien diseado que funciona
adecuadamente.
Preguntas acerca del tamao y la estructura del programa
1. Cul es el nmero de educandos en el programa por (i) regin,
SI G - Teora, Preguntas y Diseo 83
(ii) origen tnico, (iii) gnero, (iv) grupos de edad, (v) ocupacin?
2. Cul es el nmero de grupos de educandos por (i) gnero (todos
hombres, todos mujeres, mixtos), (ii) localizacin (urbana-rural),
(iii) situacin o ubicacin institucional, (iv) su relacin con
enfoques de funcionalidad o concientizacin (v) meses/aos de
incorporacin?
3. Cul es el patrn de estabilidad y cambio en participacin en el
programa a travs del tiempo y en relacin con las motivaciones
expresadas?
4. Cul es el nivel actual de rendimiento (y/o retencin) de los
educandos en (i) alfabetizacin y clculo (ii) funcionalidad, (iii)
concientizacin? Quines llegaron a qu nivel, en qu tiempo y
por cunto tiempo permanecieron?
5. Cul es el nmero de maestros en el programa por (i) gnero,
(ii) edad, (iii) estatus en relacin con la comunidad: de adentro/de
afuera, (iv) calificacin educativa, (v) ocupacin primaria?
Comparaciones y diferencias a travs del tiempo
1. Cules son los patrones de diferencias en cuanto a (i)
motivaciones de los educandos, (ii) permanencia en el programa,
(iii) regularidad de la asistencia, (iv) rendimiento?
2. Cules son las diferencias de rendimiento en relacin con (i) la
ocupacin principal del maestro, (ii) los mtodos de enseanza,
(iii) la lengua empleada en la alfabetizacin, (iv) el currculo
completo?
Correlaciones entre entidades
1. Cul es la correlacin entre (i) rendimiento en la lectura y el
clculo numrico, (ii) el clculo numrico y la funcionalidad, (iii)
la cualificacin del maestro y el rendimiento del estudiante en
general?
Preguntas sobre el impacto
1. Cules han sido las diferencias (positivas o negativas) en el
tiempo en los indicadores de (i) calidad de vida en las
comunidades, (ii) participacin poltica, (iii) salud comunitaria,
(iv) conservacin del ambiente y los bienes culturales, (v) creacin
de un ambiente alfabetizado?
Las anteriores preguntas relacionadascon comparaciones, correlaciones
e impacto tambin aparecern al tratar la E R ms adelante en este libro. La
diferencia entre los dos enfoques (SIG y E R) es que el SI G busca hacer
afirmaciones sobre el tamao, el mbito y la estructura superficial del
programa con el fin de presentar un perfil del mismo, mientras que la E R
lleva a cabo estudios utilizando muestras aleatorias y supuestos
seleccionados para el diseo y el anlisis estadstico con el fin de poder
hacer proposiciones normativas, generalizables.
El diseo de un S I G
El diseo es esencialmente el aspecto prctico de la teora y la metodologa
de algo, el cual especifica las tareas. E n el SI G los problemas de diseo
pueden manejarse como un conjunto de operaciones, as:
1. Describir la estructura dinmica del sistema de accin primero en
trminos de sentido comn de los actores, medios y fines; y
luego traducir la descripcin en trminos de los cuatro parmetros
del sistema: insumos, procesos, resultados y contextos.
2. Visualizar el sistema del programa c omo si funcionara bajo
condiciones ideales y hacer una lista de todas las variables posibles
considerando nuevamente los cuatro parmetros del sistema, para
hacer comparaciones y recuentos.
3. Colocar lo ideal y lo real, lo uno junto a lo otro y seleccionar
aquellas variables que constituirn un SI G completo e integral, y
sobre las cuales haya que recoger o generar la informacin que
servir para la toma de decisiones diarias.
4. Definir, elaborar y analizar conceptos donde sea necesario y
desarrollar indicadores para aquellos conceptos y variables que
no sean directamente observables.
5. Identificar las fuentes de datos sobre los indicadores seleccionados
que harn parte del SI G.
6. Desarrollar un sistema que use papel y lpizpara los registros,
formatos y tabulaciones (u obtener la tecnologa computacional
SIG - Teora, Preguntas y Dise 85
apropiada).
7. Desarrollar un sistema de archivo complementario para incluir
documentos impresos, pelculas, fotografas o cintas de video o
audio.
8. Establecer los intervalos de tiempo para la entrada y recuperacin
de los datos y los patrones de flujo para suministrar los informes
a los que toman las decisiones.
Mediante ejemplos de un SIG que utiliza papel y lpiz, para los
programas de alfabetizacin funcional en Botswana y Ma l a wi
4
proporcionamos breves demostraciones de los pasos que para el diseo de
los SIG se han enunciado.
1. Describir el sistema de accin en trminos del sistema
Recordemos nuestra discusin sobre los sistemas y su descripcin en la
Parte H, Captulo 3: La Planificacin de la Evaluacin. D ebe comprenderse
plenamente la estructura conceptual del programa en cuestin. Comience
con el sistema tal como es realmente en su contexto y desarrolle una
descripcin programtica completa del mismo: El sistema de accin de la
alfabetizacin funcional comprende: (1) alfabetizadores que colaboran con
(2) agentes de extensin, y estn apoyados por (3) capacitadores de los
alfabetizadores y por (4) administradores de los programas, y que usan (5)
materiales didcticos y (6) otros procesos de instruccin para ensear a (7)
los estudiantes adultos, normalmente en (8) la situacin de grupo de una
clase de alfabetizacin, que adquieren (9) nuevos conocimientos, actitudes
y destrezas que ellos pueden aplicar (10) en el hogar (11) en el campo o la
fbrica (12) en las comunidades para contribuir al (13) desarrollo individual
y nacional. Esta descripcin programtica permite entonces distribuir las
variables en trminos de los cuatro parmetros del sistema:
I N S UMOS
Estudiantes
Alfabetizadores
Agentes de extensin
Capacitadores de los alfabetizadores
Administradores del programa
Materiales didcticos
PROCESOS
Enseanza y procesos instruccionales relacionados
RESULTADOS
Nuevos conocimientos, actitudes y destrezas
Mejores hogares, campos, fbricas
Desarrollo individual y nacional
CONTEXTOS
Grupos de alfabetizacin
2. Describir las variables de un sistema de tipo ideal bajo los cuatro
parmetros del sistema
Las variables de un programa de alfabetizacin funcional de "tipo ideal"
deben presentarse en una lista bajo los cuatro parmetros del sistema. Por
ejemplo, podramos tener:
I N S UMOS
Estudiantes
Alfabetizadores
Agentes de extensin
Lderes locales
Capacitadores
Administradores
Materiales didcticos
Instalaciones
Otros recursos relacionados
PROCESOS
Institucional
D e distribucin
Organizacional
PROD UCTOS Y RESULTADOS
Adultos recientemente alfabetizados
Maestros mejor preparados
Capacitadores mejor capacitados
Lderes comunitarios ms efectivos
Mejores materiales de instruccin y capacitacin
Mejor infraestructura desarrollada
Adopcin de innovaciones
Ma yor productividad
CONTEXTOS
Contextos instruccionales
Contextos organizacionales
Contextos polticos
Contextos culturales
Ese tipo de descripcin de un sistema de tipo ideal permitir al diseador
de un SI G hacer un recuento sobre el sistema real en accin tanto (i) con el
propsito de lograr cambios programticos c omo (ii) con el propsito de
anticipar las necesidades de informacin. As, el evaluador ser capaz de
disear un SI G caracterizado por su integralidad y por ser completo.
Naturalmente, no podemos ni necesitamos para nuestro SI G recoger datos
sobre todas las variables que aparecen en la lista. Ser necesario hacer una
seleccin de las variables importantes.
3. Seleccionar las variables importantes que se incluirn en el SIG
La recoleccin y almacenamiento de los datos cuesta dinero. D emasiados
datos pueden crear confusin en el sistema y disminuir la probabilidad de
recuperar y utilizar los datos. Esto significa que el diseador de un SI G
debe comprender los diferentes asuntos de poltica as como las distintas
orientaciones del programa y las posibilidades con que cuentan los que
toman las decisiones. Estos conocimientos servirn de criterios para
seleccionar las variables que deben incluirse en el SI G. E n los programas
de alfabetizacin funcional de Botswana y Malawi se decidi recoger
datos sobre lo siguiente nicamente:
PARTICIPANTES AD ULTOS EN LAS CLASES D E
ALFABETIZACIN
Nombre
Edad
Sexo
Educacin previa
Ocupacin
Fecha de entrada a la clase de alfabetizacin
Expectativas de la participacin en la clase
Nivel de participacin
Razones de ausencias
Nivel de desarrollo de habilidades en distintos intervalos de tiempo
Rendimiento en otros conocimientos y habilidades en temas
relacionados con el desarrollo
Cambios de actitud
Utilizacin de la alfabetizacin
Prctica de las nuevas actitudes
CL A S E D E AL FAB E T I Z ACI ON/ GRUPO
Ubicacin
Accesibilidad
Luz, Ventilacin, Asientos
Fecha de establecimiento
Nombre del supervisor
Nombre del maestro
Vive el maestro en la misma comunidad?
Ciclo(s) de aprendizaje y patrn de progreso esperado
Participantes potenciales
Razn de la participacin (Participantes en la clase/Participantes
potenciales)
Nmer o de veces por semana que se hacen clases
D as de la semana en que se hacen clases
D uracin de la clase
Nmer o de veces que no se hizo clases en el perodo del informe
Status de los educandos: Activos, Desertores, Repitentes
Razn de atencin: Asistencia real/Asistencia posible (nmero de veces)
SIG - Teora, Preguntas y Diseo
89
Calidad de la enseanza
Colaboracin de otros agentes de extensin
Patrones de rendimiento
Aplicaciones, utilizacin del aprendizaje
FAMILIA D E LOS PARTICIPANTES EN EL PROGRAMA
Matrcula de nios en la escuela
Participacin en las clases de alfabetizacin y otros grupos para el
desarrollo
Utilizacin de las innovaciones dirigidas al ambiente familiar:
planificacin familiar, nutricin, higiene, otros
Compra de bienes duraderos
Participacin comunitaria como lderes/miembros
FINCAS EN QUE TRABAJAN LOS PARTICIPANTES
Tamao
Cultivos y otros usos de la tierra
Adopcin de innovaciones
Ingresos
COMUNID AD ES EN LAS CUALES VIVEN LOS
PARTICIPANTES
Nombr e del pueblo/distrito/provincia
Distancia del camino principal
Poblacin (H, M )
Distribucin de edades
Ocupaciones
Actividades adicionales que producen ingresos
Nmer o de fincas
Ta ma o de las fincas
Cultivos y otros usos de la tierra
90 SfG - Teora, Preguntas y Diseo
Nmer o y tipos de agentes de extensin
Niveles de adopcin de innovaciones
Tasa de Alfabetizacin/Analfabetismo
Nmer o de clases/centros de alfabetizacin
Razn de cobertura para hombres (H) y mujeres (M)
Disponibilidad de escuelas Primarias
Matrcula escolar (H, M )
Porcentaje que no se ha matriculado (H, M )
Radios
Lectores de peridicos
Instituciones religiosas
Instituciones laicas
Presencia y funcionamiento de comits de desarrollo del pueblo
Producto econmico bruto
MAESTROS ALFABETIZAD OS
Nombre
Edad
Sexo
Estado civil
Nmero de hijos
Ocupacin familiar
Si es educador de tiempo parcial, qu otra ocupacin ejerce
Residencia con direccin postal
Fecha de empleo
Educacin
Capacitacin para la alfabetizacin: Ao, duracin, calificacin del
rendimiento
Otra capacitacin para el desarrollo
Hbitos de escucha de la radio
Hbitos de lectura: libros, peridicos
D ebera recogerse alguna informacin adiconal sobre la produccin,
distribucin y almacenamiento de material didctico. D ebe establecerse
que los planes de recoleccin de datos fueron reducidos sustancialmente
despus de haber tenido alguna experiencia en la ejecucin del SI G.
4. Anlisis de conceptos, formulacin de indicadores y determinacin de
cdigos
Algunas de las variables presentadas en la lista anterior, talesc omo edad,
sexo, asistencia, ocupacin, tamao de las fincas, etc. etc. requieren
observacin, encuesta y registros. Pero muchas otras variables no se pueden
observar directamente. Inclusive, algunas ni siquiera tienen una definicin
clara. Aquellas que no resulten claras tendrn que ser sometidas a un
proceso de anlisis conceptual. D eberemos definir lo que entendemos por
conceptos tales c o m o "desercin", "adopcin de innovaciones" y
"participacin comunicativa", etc.
Puede suceder que el anlisis conceptual no sea suficiente. A u n despus
de ser analizados algunos conceptos, sus partes constitutivas pueden no ser
suficientemente concretas para verlas y observarlas. El concepto de
"participacin comunitaria" puede analizarse en sus componentes:
participacin econmica, social, cultural y poltica. Pero aun entonces
tendremos que encontrar indicadores de estos aspectos distintos. T ome mos
el ejemplo de la participacin poltica. Podemos ver si las personas asisten
a reuniones polticas o votan en las elecciones. Estas dos observaciones
pueden usarse como indicadores de la participacin poltica.
E n algunos casos, a los indicadores se les tiene que dar valores no por
medio de la observacin sino de "pruebas". Pod emos decidir que la
calificacin en una prueba de alfabetizacin ser indicador del rendimiento
de la persona. Esto quiere decir que hay que elaborar una prueba y aplicarla.
D e manera similar podemos desarrollar indicadores para la motivacin
hacia el aprendizaje o para la integracin nacional y entonces habr que
construir "escalas" para dar valores a los indicadores de cambio de actitudes.
Habr que hacer "observaciones" para recoger datos sobre indicadores de
utilizacin de las habilidades de alfabetizacin o la adopcin de
innovaciones.
En algunos casos, habr que inventar "cdigos" para almacenar la
informacin en el SI G. Por ejemplo, en lugar de marcar ausencia (A) o
presencia (P) de los estudiantes adultos, podran usarse otros cdigos:
Presente (P), Enfermo (E), Viajando (V ), Asistiendo a un funeral (F),
D esconocimiento (D ), etc. Esto nos dar acceso a una gran cantidad de
informacin para el SI G, simplemente usando una buena codificacin.
5. Establecer fuentes de datos
Las fuentes de datos pueden ser personas, grupos, instituciones y
comunidades: educandos, capacitadores, lderes comunitarios; clubes de
mujeres, grupos de discusin; clnicas de salud, centros de rehabilitacin;
y pueblos. A veces stas sern entidades fsicas como los hogares, los
campos, tiendas, pozos, recipientes para almacenar, etc. Co m o parte de
este paso uno debe preguntarse quin proporcionar los datos y con qu
nivel de agregacin, cul ser la cobertura, qu grupos se incluirn y
cules no. Tambin deben plantearse preguntas acerca de conjuntos de
datos disponibles. Ser posible reunir conjuntos de datos? Cul es la
posible calidad general de los datos para que se tenga acceso a ellos,
proviniendo de diferentes fuentes?
6. Desarrollar un sistema basado en papel y lpiz o basado en computador
para almacenar y recuperar los datos
Puede establecerse un SI G basado en papel y lpiz que funcione
perfectamente. Todas las necesidades de informacin tendrn que incluirse
en distintos registros, formularios, libros de clases, diarios, bitcoras e
informes peridicos. Alguna informacin tendr que estar repetida en ms
de un formato. Y a no estn fuera del alcance de la mayora de los pases
en desarrollo los SI G basados en computadores y pueden desarrollarse
programas simples, pero tiles para el SI G, que se usen en micro-
computadores.
7. Desarrollar archivos complementarios para materiales impresos o
grabados
Tendr que prestarse la debida atencin a desarrollar archivos para impresos,
grficos, pelculas, videos y otros materiales. Estos archivos proporcionarn
frecuentemente materiales contextales e ilustrativos que pueda usarse en
los informes para los que toman las decisiones, elaborados con base en los
datos del SI G.
8. Establecer series de tiempo para la entrada, el flujo y la utilizacin de
los datos
Por una parte, deben establecerse series de tiempo que sean realistas -puede
ser imposible solicitar los datos mensualmente- y por otra parte, oportunas
-puede ser que suministrar la informacin semestralmente sea una frecuencia
insuficiente para que los que toman las decisiones puedan hacer uso de la
informacin.
Tambin deben establecerse patrones para el flujo de los datos. Quin
recoger los datos y qu har con estos, a quin los enviar, en qu forma
y cundo?
Los problemas acerca de la utilizacin de los datos son los ms
importantes. D eben elaborarse informes escritos para los que toman las
decisiones y su forma deber ser la que permita utilizarlos ms fcilmente.
Con demasiada frecuencia los administradores se reservan el derecho de
interpretar los datos que distintos funcionarios del sistema envan a niveles
superiores. Entonces dan rdenes hacia abajo sobre el uso de esta
informacin. Mientras tanto, los funcionarios quedan a la espera de estas
rdenes, aunque tengan conocimiento acerca de lo que est sucediendo y
qu es lo que debera hacerse. Mi sugerencia al respecto es: nunca enviar
arriba la informacin antes de que haya sido verificada, interpretada y
utilizada para entender y mejorar la parte del programa de la que usted es
responsable. Tambin es importante establecer patrones para desechar del
SI G la "informacin muerta".
Conclusiones
Co m o se ha afirmado frecuentemente en su favor, el SI G constituye un
apoyo para comprender los procesos que abarca la accin social; permite
un anlisis permanente de las polticas y la planificacin; hace posible que
los funcionarios estudien el impacto de sus propios programas y aumenta
la posibilidad de rendir cuentas y establecer responsabilidades pblicamente.
1. Haga una descripcin programtica del programa en el cual usted
trabaja. Reorganice las variables que lo constituyen en trminos de los
cuatro parmetros de los sistemas. Qu preguntas le suscita este
ejercicio en relacin con la calidad de la estructura conceptual del
programa?
2. Cules son los distintos formatos, cuadros, registros e informes que
se usan en su programa? Constituyen stos en conjunto un SIG
suficientemente bueno? Qu habra que hacer para desarrollar un SI G
efectivo sobre la base de lo que hay?
3. Averige si algn programa de desarrollo o algn departamento de
desarrollo en su pas tiene ya un micro-computador disponible. Qu
uso le han dado? Si estn operando con un SI G, pdales que les
muestre como funciona el programa del computador que utilizan.
Notas
1. Se han publicado numerosos libros sobre la teora y el diseo de
Sistemas de Informacin para la Gestin. Co m o ejemplo, vea: Chacko,
George, Management Information Systems, Oxford: Pergamon, 1979.
2. D ebe notarse la relacin entre los datos y la informacin implicada en
esta afirmacin. Los datos no hablan por s mismos. Se usan para
generar la informacin que necesitan los que toman las decisiones.
3. V er Alter, Steven, L . , Decision support systems: Current practice and
continuing challenges. Reading, M A : Addison-Wesley, 1980.
4. El SI G para el proyecto de alfabetizacin funcional se encuentra descrito
en Government of Malawi, Functional Literacy Programme: Guidelines
for monitoring the programme. Lilongwe: National Centre for Literacy
and Adult Education, Ministry of Community Services, Government
of Malawi, D ecember 1983. Revised 1989.
CAPITULO 6
LA ELABORACIN D E UNA PROPUESTA
PARA D ESARROLLAR UN SISTEMA D E INFORMACIN
PARA LA GESTION
Un proyecto, programa o campaa de alfabetizacin puede generar una
gran cantidad de informacin, cuantitativa y cualitativa, durante el proceso
mismo de su ejecucin. Mediante la introduccin de cuadros, formatos, y
otros instrumentos apropiados, as como de los informes requeridos, esta
informacin puede recolectarse y almacenarse para ser utilizada
posteriormente. Sus posibilidades son casi ilimitadas. Pero la recoleccin,
almacenamiento, recuperaciny procesamiento de la informacin cuestan
dinero. Por lo tanto, los buenos administradores prefieren recoger y
guardar nicamente aquella informacin necesaria y suficiente en el
contexto de los objetivos de su programa y dentro de las restricciones de
recursos. Para hacer esto, un buen planificador y administrador de la
evaluacin debe comenzar por elaborar una propuesta para desarrollar
un SIG que satisfaga las necesidades especiales de una determinada
iniciativa de alfabetizacin.
E n el Captulo 3 de este libro, al tratar sobre la planificacin de la evaluacin,
sealamos cmo en un sistema de alfabetizacin ideal -campaa, programa
o proyecto- habr un conjunto de necesidades de informacin que deben
ser satisfechas parcialmente, por un SIG y por estudios de E N o E R
especialmente diseados. Ms adelante, en el Captulo 5, se hizo un listado
de las necesidades de informacin a las cuales puede servir mejor un SI G.
Aun estas relativamente pocas necesidades de informacin pueden ser
abrumadoras.
La propuesta de un SI G debe incluir normalmente los siguientes
aspectos:
1. Los antecedentes y el contexto del programa
La propuesta de un SI G debe comenzar con una breve exposicin de la
poltica de desarrollo del pas y el papel atribuido a la alfabetizacin y a la
96 La Elaboracin de una Propuesta para Desarrollar un SIG
post-alfabetizacin en la promocin de ese desarrollo. D eben describirse
la ideologa, los objetivos, las estrategias de la campaa, programa o
proyecto de alfabetizacin. Tambin deben indicarse los componentes del
desarrollo (tales c omo la fertilidad, la generacin de ingresos, la
concientizacin, etc.) con los cuales la alfabetizacin sostiene relaciones
interactivas directas.
2. La justificacin de un SIG
El establecimiento de un SI G consumir recursos valiosos. Por lo tanto, la
propuesta debe justificar bien por qu debe desarrollarse el SI G. Cmo
ayudar el SI G a la administracin del programa, a mejorar la enseanza y
a realizar el estudio de su impacto? Ahorrar recursos el SI G al mejorar
la eficiencia interna y la efectividad del sistema del programa? Finalmente,
estn los datos que se pretende incluir en el sistema disponibles en otras
partes, a travs de otras fuentes?
3. La agenda de informacin
D ebe completarse la "agenda de informacin" requerida para la iniciativa
de alfabetizacin de que se trate. Los sistemas de informacin sobre la
alfabetizacin pueden tener sus propios centros de especial inters. Un
determinado SI G puede focalizar su atencin sobre los estudiantes y no
sobre los maestros. E n los resultados del aprendizaje, puede focalizarse en
la alfabetizacin pero no en la funcionalidad y la concientizacin.
Finalmente, no podr incluirse mucho sobre el impacto en las comunidades,
lo cual se dejar para ser examinado por medio de estudios evaluativos
especiales.
4. La estructura del SIG
La estructura general del SI G debe conceptualizarse como parte de la
propuesta que se haga. Esta estructura debe definirse en trminos de dos
dimensiones: jerrquica (niveles) y cronolgica (periodicidad). Para cada
nivel debe clarificarse lo relacionado con las unidades sociales que se
cubrirn, los indicadores que se utilizarn, los formatos que se emplearn
para la recoleccin y confrontacin de los datos, el flujo de la informacin
y la utilizacin de la misma, de la siguiente manera:
La Elaboracin de una Propuesta para Desarrollar un S1G 97
N T V E L A (Nivel de trabajo de campo)
a. Unidades sociales que se reflejarn
b. Indicadores sociales que se reflejarn
c. Formatos, cuadros, instrumentos que se utilizarn para recolectar,
consolidar y almacenar los datos
d. Flujo de la informacin hacia arriba y hacia abajo del sistema
e. Utilizacin de la informacin para la toma de decisiones
N I V E L B (Primer Nivel de Supervisin)
a. Informacin que se recibir de abajo para ser consolidada
b. Informacin que se generar en este nivel
c. Flujo de la informacin hacia arriba y hacia abajo del sistema
d. Utilizacin de la informacin para la toma de decisiones
N T V E L C (Nivel de D iseo)
a. Consolidacin de la informacin recibida de abajo
b. Adicin de informacin generada en este nivel
c. Flujo de la informacin hacia arriba y hacia abajo del sistema
d. Utilizacin de la informacin para la toma de decisiones
N T V E L D (Nivel Regional/Zonal/Provincial)
Igual a C
N T V E L E (Nivel Nacional)
Igual a C
5. Periodicidad de la recoleccin de datos y suministro de informacin
Algunos datos estarn disponibles cada da en la vida del programa. Otros
habr que recogerlos especialmente, a travs de pruebas y cuestionarios.
D ebe establecerse con claridad la periodicidad de la recoleccin y el envo
de informes.
6. Diseo general de formularios, cuadros y formatos de informe
El diseo de formularios, cuadros y formatos de informes es algo ms que
dibujar lneas en el papel. D ebern seleccionarse los tamaos del papel
que sean fciles de usar y baratos, y que sean fciles de guardar en los
cajones de los archivadores y estantes. Las filas y las columnas deben
prever los requerimientos de espacio para las distintas respuestas que se
espera se inserten all dentro.
7. Clasificacin, codificacin y numeracin
Los formularios deben ser adecuadamente clasificados para asegurar la
uniformidad de los rtulos y nomenclaturas. N o use "estudiantes" en un
lugar y "adultos" en otro. N o use "grupos" en una parte y "clases" en otra.
D esde luego, ambas palabras pueden usarse, distinguiendo como "clases"
a las clases de alfabetizacin y como "grupos" a los grupos que generan
ingresos. La codificacin debe hacerse de acuerdo con un sistema que sea
congruente con la estructura del SI G. Un cdigo con diferentes nmeros
en distintos formularios puede sugerir un conjunto de formularios que van
juntos clasificados por niveles o unidades de estudio. Los cdigos deben
ser talesque ayuden a memorizar y que no sea probable que se confundan
con otros.
8. Impresin y distribucin
La propuesta debe anticipar los problemas que pueden presentarse con el
impresor. Es importante, desde luego, trabajar estrechamente con el
impresor. Se puede hacer diferenciaciones tiles en los formularios o los
cuadros con el uso de lneas y recuadros. Por otra parte, si los formularios
no se distribuyen adecuada y eficientemente todos los esfuerzos sern
perdidos.
9. La capacitacin para la ejecucin y utilizacin del SIG
La instalacin de un SI G esms que un asunto de distribuir formularios.
D ebe capacitarse a todos los actores involucrados en el sistema total del
programa, desde los alfabetizadores que llenarn los registros de clases
hasta los funcionarios provinciales y a losque trabajan a nivel central para
que aporten los datos necesarios al sistema y para que lo usen con el
propsito de tomar decisiones. La propuesta del SI G debe prever las
necesidades de capacitacin y sugerir los planes requeridos. Las sesiones
de capacitacin no tienen que ser largas y pueden ser realizadas por un
equipo ambulante. L o bueno esque el capacitar al personal para utilizar el
sistema de informacin, al mismo tiempo estamos capacitndolo en
planificacin, gestin y diseo de programas.
10. Ubicacin de los registros
El flujo de los datos de un nivel a otro no tiene que ir acompaado de
La Elaboracin de una Propuesta para Desarrollar un SIG 99
desplazamiento de registros - los formularios, diarios y otros instrumentos
concretos. D ependiendo del tipo de material de que se trate debe decidirse
en cada caso dnde debe quedar cada tipo de registro.
E n el resto de este captulo tomaremos el ejemplo real del SI G
desarrollado para el Programa Nacional de Alfabetizacin de Adultos de
Malawi y hablaremos de las decisiones que se fueron tomando durante el
proceso de su desarrollo.
Ejemplo de una propuesta para un SI G
La propuesta esbozada en las pginas99 -107 sobre el diseo, la instalacin
y la utilizacin de un SI G para el Programa Nacional de Alfabetizacin de
Adultos de Malawi se desarroll en el contexto de un taller nacional, el
"Taller de Capacitacin sobre el Sistema de Informacin y Pruebas para la
Gesn del Programa Nacional de Alfabetizacin de Adultos", realizado
en Z omba , Malawi, del 21 de ma yo al 3 de junio de 1989.
EL TALLER DE CAPACITACIN DE Z OMBA
Resulta conveniente destacar dos aspectos de este ejercicio de desarrollo
de una propuesta para un SI G:
Primero, el taller no estaba desarrollando una propuesta nueva sino
haciendo una revisin de un SI G que se haba diseado primero en 1983 y
posteriormente revisado en 1985. El sistema deba servir a la necesidades
de un programa de alfabetizacin que haba pasado de un programa piloto
a un programa nacional. Entre tanto, se haban identificado algunos
problemas con el SI G que necesitaban corregirse. Esto hace que el caso de
Malawi sea ms til.
Segundo, el taller de Z omba era un taller con un doble propsito:
desarrollara una propuesta revisada de diseo, instalacin y utilizacin de
un SI G, y capacitara a los funcionarios de los distintos niveles del Programa
Nacional de Alfabetizacin de Adultos para instalarlo, implementarlo y
utilizarlo.
V ale la pena resaltar este segundo aspecto del taller. Para asegurar el
logro del doble propsito del mismo, se seleccionaron participantes que
representaran a funcionarios de todos los niveles de responsabilidad del
programa -alfabetizadores, supervisores, funcionarios de distrito y de las
provincias, as c omo funcionarios del nivel central. Por una parte, este
grupo heterogneo de participantes dio al taller sus perspectivas particulares
con respecto a las necesidades, problemas y posibilidades de un SI G. Por
otra parte, recibieron capacitacin acerca del "por qu" y los "para dnde"
del sistema y se les prepar para que a su regreso condujeran la capacitacin
entre sus colegas del nivel correspondiente.
Co n base en nuestras experiencias en desarrollar sistemas de
informacin para la gestin para varias campaas, programas y proyectos
de alfabetizacin en el Africa y en otros lugares, recomendamos firmemente
esta estrategia para el diseo de los SIGs en los sistemas de promocin de
la alfabetizacin en otras partes. D esde luego, un taller como ste para
disear el SI G puede tambin servir como un primer ciclo de cursos de
capacitacin para todos los funcionarios del sistema.
i. Descripcin del Programa Nacional de Alfabetizacin de Adultos
Aunque todos los funcionarios participantes en el taller (con la excepcin
de uno o dos casos) formaban parte del Programa Nacional de
Alfabetizacin de Adultos, era preciso iniciar el proceso de desarrollo de
la propuesta discutiendo los objetivos de poltica, las estructuras
administrativas, las estrategias de ejecucin y las necesidades generales de
informacin del programa. Se ofreci a los participantes una breve sesin
sobre estos tpicos y se puso a su disposicin documentacin adicional
pertinente. Esto resultm u y provechoso, ya que permiti a los participantes
darse cuenta de sus particulares obligaciones de recoger informacin de
manera oportuna, tomar conciencia del flujo de informacin del sistema
tanto hacia arriba como hacia abajo y aprender cmo utilizar la informacin
del SI G para la toma de decisiones.
ii. Justificacin de un SIG para el Programa
E n el contexto del ejemplo que venimos analizando no era necesario dar
una justificacin para establecer un SI G, sino para realizar una segunda
revisin global del SI G existente despus de cuatro aos de funcionamiento.
Sin embargo, los problemas administrativos y tcnicos que se haban
encontrado en la realidad durante su uso proporcionaban la justificacin
necesaria para su revisin y expansin. Estos problemas eran los siguientes:
Problemas tcnicos
- El SI G existente resultaba incompleto en relacin con el programa
de post-alfabetizacin y otros aspectoscomo los grupos de radio-
escuchas del programa de radio.
El SI G en ese momento no reflejaba de manera adecuada los
programas de instituciones no gubernamentales asociadas.
Los datos sobre los instructores incluidos en el programa eran
insuficientes.
El personal de supervisin no siempre saba como manejar el SI G;
y muchos no podan descifrar o analizar los erroresque presentaban
los informes que reciban o compilaban.
Algunos de los registros eran m u y complicados y detallados y era
necesario simplificarlos.
- E n los formularios usados faltaba alguna informacin mientras
otra se registraba ms de una ve.
Haba algunos problemas de definicin con respecto a algunos
trminos utilizados en el SI G que necesitaban ser estandarizados y
clarificados.
E n algunos casos se confundan unos formularios con otros. N o
siempre estaba claro quin deba llenar un formulario, quin lo
recibira y dnde deba guardarse.
Se recoga ms informacin de la que el nivel central poda usar.
- El componente del SI G concerniente a las pruebas de aprendizaje
haba quedado retrasado. Por ejemplo, no haba cifras disponibles
acerca del nmero de adultos declaradoscomo alfabetizados.
Los temes de las pruebas existentes para los educandos no se
haban organizado en una jerarqua apropiada. Por lo tanto, las
pruebas disponibles no permitan discriminar entre los niveles de
alfabetizacin.
Los supervisores carecan de preparacin sobre cmo administrar
las pruebas y ms grave an era su falta de experiencia sobre
cmo calificarlas y preparar informes de los resultados.
- Se haba subestimado demasiado el tiempo necesario para
administrar el sistema de pruebas.
Se requera disear pruebas paralelas, equivalentes, de mod o que
no hubiese que aplicar siempre la misma.
Haba que proteger la confidencialidad del proceso de aplicacin
de pruebas y de los resultados.
Problemas administrativos
- Haba problemas de transporte para ir al terreno a recoger, datos, y
problemas con el servicio de correos para enviar datos hacia arriba
y hacia abajo en el sistema.
- La poca disponibilidad de formularios e instrumentos y la falta de
materiales para escribir era otro serio problema.
Muchos funcionarios no completaban los formularios y cuadros o
no lo hacan oportunamente.
iii. La agenda de informacin
E n el contexto de la propuesta existente no era necesario proponer de
nuevo una agenda de informacin para el SI G. L a establecida en 1983 y
actualizada en 1985 permaneca ms o menos intacta. Se centraba todava
en las habilidades alfabetas. Los datos sobre funcionalidad y concientizacin,
as como sobre el impacto en las comunidades se dejaban para ser recogidos
a travs de estudios evaluativos especialmente diseados para el efecto.
Por lo tanto, la propuesta del SI G inclua los siguientes puntos:
Todos los formularios deban ser revisados, buscando que fueran
consistentes entre s.
A todos los formularios deba asignrseles nuevos cdigos
mutuamente consistentes, que indicaran como se entrelazaban,
comenzando desde el nivel de la aldea hasta el nivel nacional.
Las nuevas actividades de post-alfabetizacin deberan reflejarse
en los formularios apropiados.
Habra que disear nuevos formularios para los Grupos de Radio-
escuchas y una "Gua para los Supervisores".
Es necesario identificar los niveles en los cuales se consolidaran
datos para incluir el nivel de supervisores, de distrito, regional y
nacional. (Esto significa que toda la informacin remitida a la
Oficina Central seguira un conducto regular a travs de las Oficinas
Regionales y no se enviara directamente de los distritos al nivel
central. Por lo tanto, haba que disear un nuevo formulario para la
primera parte de los Informes de los Coordinadores Regionales.)
Se recogera informacin ms cualitativa como primera parte de
cada informe mensual, para sustentar los datos numricos reunidos
en la segunda parte de cada informe mensual.
Las agencias asociadas informaran a travs del Coordinador de
distrito a los niveles regionales y nacional.
Cada juego de formularios e instrumentos se acompaara de
orientaciones claras por escrito sobre como se deban utilizar.
iv. La estructura del SIG por niveles
Se identifican cinco roles/niveles dentro del SI G de Malawi, as:
Instructor
Supervisor
Coordinador de Distrito
Jefe Regional de Desarrollo Comunitario
Personal de la Oficina Central (nivel nacional)
v. Periodicidad
N o se establecieron las cuestiones relacionadas con la periodicidad en el
contexto de la propuesta, sino que se dejaron c o m o decisiones
administrativas que deberan tomarse despus. Los datos acerca de la
participacin de los educandos, desde luego, se generaban a diario. Pero
haba que tomar decisiones acerca de la programacin de aplicacin de las
pruebas. Los informes distritales se haran cada mes, pero a nivel regional
y nacional se redactaran trimestralmente.
vi. Formularios e instrumentos generales
Por razones de espacio no pueden reproducirse aqu todos los formularios
e instrumentos preparados para el SI G de Malawi. Los lectores interesados
pueden consultar el documento de Josef Mller y Anja Dietrich, (eds.)
Dossier of evaluation instruments for literacy programmes, Bonn: Germa n
Foundation for International D evelopment, 1989.
En las pginas siguientes se incluye una lista de los instrumentos
propuestos y diseados para el SI G de Malawi.
NUEV OS TTULOS Y NUMEROS D E CD IGOS PARA LOS
INSTRUMENTOS D E LA V ERSION D E 1989
Ttulos anteriores Nuevos ttulos
I. Formularios para los Instructores
Perfil de la Clase FL P y
Registro de Asistencia y
Progreso
Informe
Complementario del
Primer Me s
Informe Mensual
Perfil de la Clase
con:
- Hoja de Matrcula
- Registro de
Asistentes a clases
- Visitas de agentes
de extensin
- Informes sobre
Reuniones de
Alfabetizacin
Informe Inicial del
Instructor sobre la clase
Informe Mensual
del Instructor
Cdigo
Anterior
CP
MR-IA
MR-IB
Nuevo
Cdigo
I-CP
I-ICR
I-MR
n. Formularios para los Supervisores
Perfil de la Aldea Perfil de la Aldea
Perfil del Instructor
Informe del Primer Me s
Perfil del Instructor
Informe Mensual I
Informe Inicial del
Supervisor sobre la
clase
Informe Mensual
del Supervisor
Parte 1
MR- I P
MR-S1A
MR-S2A
S-VP
s-rp
S-ICR
S-MR1
Ttulos anteriores
Informe Mensual II
ni. Agencias Asociadas
Informe del Primer Me s
Informe Mensual I
Informe Mensual II
Nuevos ttulos
Informe Mensual
del Supervisor
Parte II
Informe Inicial de
las Agencias
Asociadas sobre la
clase
Informe Mensual de
las Agencias
Asociadas Parte I
Informe Mensual de
las Agencias
Asociadas Parte II
Cdigo
Anterior
MR-SB
MR-PAI
MR-PAIII
MR-PAII
Nuevo
Cdigo
S-MR2
PAI-ICR
PA-MR1
PA-MR2
[Copias de todos los informes para los Coordinadores de Distrito]
IV . Formularios de los Coordinadores de Distrito
Informe Mensual Informe Mensual
del Distrito Parte I MR-POA D -MR1
Progreso del Area del
Proyecto
Informe Mensual
del Distrito Parte II MR-POB D -MR2
Actividades de
Capacitacin
Informe Peridico
Distrital sobre
Actividades y
Necesidades de
Capacitacin MR-POC D -TR
[los Coordinadores de Distrito llenan formas especiales del D - M R 1 y el D - M R 2 para
las Agencias Asociadas y los envan a los Jefes Regionales de Desarrollo Comunitario]
Cdigo Nuevo
Ttulos anteriores Nuevos ttulos Anterior Cdigo
V . Formularios para los Jefes Regionales de Desarrollo Comunitario
Informe Mensual
Regional Parte I - R- MR1
Informe Mensual para Informe Mensual
el Monitoreo, etc. Regional Parte II MR - R O A R - MR 2
Informe Mensual
Regional sobre
Actividades y
Necesidades de
Capacitacin - R- MT R
[Los Jefes Regionales llenan formularios especiales del R- MR1 y el R - M R 2 para las
Agencias Asociadas y los envan a las Oficina Central, a nivel Nacional]
V I . Oficina Central a Nivel Nacional
Progreso Nacional Informe del Progreso
Anual por mes Anual Nacional por
Distritos
Progreso Nacional
Mensual por Proyecto
Actividades de
Capacitacin (Resumen
Anual)
Informe Trimestral
Nacional e Informe
de Progreso Anual
por Regiones
Informe Nacional
sobre Actividades y
Necesidades de
Capacitacin
Cuadro 1 N-T l
Cuadro 2 N - T 2
Cuadro 3 N - T R
[El R - M R 1 no se consolida a nivel nacional pero s es recopilado y utilizado
por la Oficina Central]
Cdigo Nuevo
Ttulos anteriores Nuevos ttulos Anterior Cdigo
V I L Formularios adicionales
Guas para la
Supervisin (para ser usadas
por el Supervisor como una
lista de control al visitar las
clases de alfabetizacin) S-GS
Informe de los Grupos de
Radio (para ser llenados por el
Instructor y enviados a travs
del Supervisor al Coordinador
de Distrito, al Jefe Regional de
Desarrollo Comunitario y a la
Seccin de Radio de la Oficina
Central). I-Radio
N o se ha incluido en la lista anterior ni las pruebas de Alfabetizacin que se aplicaran a
los educandos ni las hojas de calificacin desarrolladas para calificar la prueba. D esde
luego, los datos apareceran en distintos formularios e informes que conforman el SI G.
[Esta lista se ha reproducido del documento de National Adult Literacy Programme,
Guidelines and Instruments for Monitoring the Programme (Third Revised Edition).
Lilongwe: National Center for Literacy and Adult Education, Ministry of Community
Services, Government of Malawi, 1989].
E n la Figura 3 de la siguiente pgina se indica el flujo de informacin
a travsde los niveles.
1
0
8

L
a

E
l
a
b
o
r
a
c
i
n

d
e

u
n
a

P
r
o
p
u
e
s
t
a

p
a
r
a

D
e
s
a
r
r
o
l
l
a
r

u
n

S
I
G

c
e

i

z

I
l

Q
.

-
d

<

<

Q
.

Z

C
M

7

Z

,
_

p

Z

.
.

i
l

"

c

O
aci
z

tro
=

a
>

O

4

i
*

T
]

^

^

<
~

c
c

c
^

c
e

C
M

c
e

S

d
e

_
_

l-MR
L
t
.

1
5
ion
e
n

e
u

c
e

4

^

^

<

C
E

h
-

C
M

C
E

S

Q

f
.

c
e

S

Distrito
0
>

o

h
-
i

c
?

rdii
o

o

O

_

^

c

_

k

.
2

5

o

c
o

c
e

o

<

o
.

C
M

c
e
A -M
Q
.

s

5

PA -I
\

\

S

{

\

\

A
-
V

i

?

'

^

V
.

4

^

,

1

^

C
D

S-G S-IP
Q
.

>

C
O

2 d S

c

_
_

-M R ICR S
c
o

H

o

.
5
2

erv
Q
.

3

c
o

4

1

A

^

4

1

o
A DI l-R
D
C

2

-
1
.

5

J
L
.

S

_
L

;

2

rue
s
?

=

SIG .
S

c

o

orma
"

_

r
a

a del;
E

m

lujogr;
u
_

c
o

c
o

3

O
)

L
L

vii. Clasificacin, codificacin y numeracin de los instrumentos
Los participantes del taller en el cual se formul la propuesta haban
identificado varios problemas con la clasificacin y la codificacin de los
formularios y la propuesta de revisin del SI G busc superarlos. El ms
importante era la falta de uniformidad en la clasificacin y la codificacin.
Un examen cuidadoso de la lista de formularios presentada debe mostrarnos
claramente cmo el nuevo sistema de numeracin resolvi los problemas
identificados.
viii. Impresin y distribucin
Los formularios finales de los distintos instrumentos escritos a ma no se
hicieron lo ms parecidos posible al producto final deseado y se realizaron
"pruebas en seco" para ver si podan llenarse fcilmente. Sin embargo, la
propuesta del SI G no incluy sugerencias para la impresin de los
instrumentos, y esto se dejuna vez ms para que se tomaran las decisiones
administrativas requeridas. Se discuti el tema de la distribucin de los
instrumentos a las regiones, los distritos y las clases, pero esto no se
presentc omo parte de la propuesta.
ix. La capacitacin de los funcionarios
Todos los participantes se sintieron complacidos por haber tenido la
oportunidad de asistir al taller. Manifestaron su satisfaccin por haber
podido contribuir a la revisin del SI G, y aun ms grato para ellos fue
haber recibido "capacitacin" sobre el mantenimiento y la utilizacin del
SI G.
Tod os estaban convencidos que la propuesta deba incluir
recomendaciones para la capacitacin de todos los funcionarios -los
instructores, los supervisores y el personal de las oficinas distritales,
regionales, y nacionales- sobre el mantenimiento y la utilizacin del SI G.
Para este propsito se hicieron solicitudes de apoyo a las agencias de
financiacin para realizar talleres de capacitacin sobre el sistema que
cubrieran a todos los funcionarios.
x. Ubicacin de los registros
Al problema de la ubicacin de registros se le dio menos atencin de la
que merece. E n general se opinaba que cuando los registros no se necesitaran
ms en las localidades, distritos y regiones, estos deberan remitirse al
centro. All no slo estaran ms seguros, sino que podran usarse para
realizar estudios especiales sobre la base de una seleccin de participantes
hecha al azar.
1. Ha ga una revisin rpida pero cuidadosa de todos los archivos y
registros que se guardan en su oficina acerca del proyecto, programa o
campaa de alfabetizacin de adultos. Qu pasos habra que dar para
transformar los "archivos y registros" existentes en un SI G ms
sistemtico?
2. Piense en un conjunto mnimo de cuadros de estadsticas de
alfabetizacin que a usted le gustara incluir en sus informes trimestrales,
si fuera usted el director del proyecto.
3. Puede adaptarse a su situacin el SI G de Malawi descrito aqu? Qu
puede tomarse de ste y qu no?
CAPITULO 7
EL PROCESO EN UNA MIRADA:
HERRAMIENTAS Y TCNICAS PARA
LA EJECUCIN DE UN SIG
Para ejecutar e instalar un SIG, se necesitan habilidades para utilizar
tcnicas como el anlisis conceptual; para formular indicadores y
determinar los niveles y estndares; para la construccin de instrumentos
de encuestas y listas de conteos, pruebas de rendimiento y escalas de
actitudes; y elaborar guas de observacin. Tambin deben aprenderse
algunas ideas acerca del desarrollo del sistema de archivos de registros
impresos y en cintas.
Al ejecutar e instalar un SIG para una campaa, programa o proyecto de
alfabetizacin, tendremos que ir ms all de contar el nmero de
participantes y registrar su gnero y edad. Tenemos que considerar
conceptos mucho ms complejos, talescomo "desercin", "habilidad para
la lectura", "efectividad del maestro", "adopcin de innovaciones",
"desarrollo" y otros.
Estos son conceptos que no pueden pasarse directamente a las columnas
y las lneas de los cuadros de registro diseados para nuestro SI G. Antes
de llegar a hacer preguntas, observar, contar y registrar, tendremos que
"desglosar" estos conceptos mediante un proceso de elaboracin continua
que comprende ms de un ciclo de anlisis conceptual.
Este proceso de elaboracin no termina con el anlisis de los conceptos.
D espus del anlisis, los conceptos debern ser definidos en trminos de
indicadores -acontecimientos y conductas observables- que sealarn la
probable presencia de algo que no es visible a simple vista.
Habr que redactar para cada uno de los indicadoresuno o ms hemes
(preguntas que deben contestarse, alternativas que deben seleccionarse,
espacios que habrn de llenarse) para obtener algn conocimiento suficiente
sobre un mismo indicador. Habr que organizar luego estos temes en
instrumentos que se llevarn al ca mpo y se utilizarn en el proceso de
recoleccin de datos. Estos instrumentos pueden ser encuestas, entrevistas,
112 Herramientas y Tcnicas del SIG: Anlisis Conceptual
cuestionarios, pruebas de conocimientos y rendimiento, escalas de actitudes,
listas de control y guas de observacin.
D espus de recoger los datos, habr que dividir los instrumentos en los
temes o aspectos que sern incluidos en el SI G. Habr que combinar de
varias formas los temes de datos del SI G para obtener las respuestas
requeridas por las diferentes preguntas que hayan planteado los que hacen
la poltica, planificadores, administradores y otras personas involucradas
en el programa. Este proceso podr requerir dar peso a las calificaciones,
establecer intervalos, niveles y estndares, as c omo un tratamiento
estadstico de los datos.
La Figura 4 en la siguiente pgina presenta el proceso total en una mirada.
A continuacin se presenta una discusin detallada de algunos de los
pasos que antes se han insinuado.
SE CCI N A : Anlisis Conceptual
L a evaluacin debe ser emergente, as que las tareas que requiere se
establecen inicialmente en trminos bastante generales. Por ejemplo, el
objetivo de la evaluacin puede ser "evaluar el impacto de un programa de
alfabetizacin o post-alfabetizacin en una comunidad". D esde luego, "el
impacto" no es algo que podamos evaluar instantneamente! Tenemos que
hacer un "anlisis conceptual" del trmino "impacto" en el contexto
especfico de un programa de alfabetizacin o post-alfabetizacin en un
determinado pas. El anlisis del concepto es un tipo de anlisis, que es,
segn la definicin del diccionario, "la separacin o divisin de un todo en
sus elementos fundamentales o partes constitutivas; un examen detallado
de algo complejo que se hace con el fin de comprender su naturaleza o
determinar sus caractersticas esenciales".
Las preguntas que hacemos en cualquier anlisis conceptual son:
Cules son los significados genricos del concepto que estamos analizando?
Qu es lo que el concepto no significa? Cmo puede diferenciarse el
concepto de otros similares? Por ejemplo, se diferenciar el "impacto" de
las "consecuenciasno previstas" que tenga la alfabetizacin o no? Tambin
puede ayudar un anlisisque considera las condiciones: Qu condiciones
deben cumplirse para que un agente de la alfabetizacin afirme que algo es
el impacto resultante del programa de alfabetizacin? Finalmente, debe
H
e
r
r
a
m
i
e
n
t
a
s

y

T
c
n
i
c
a
s

d
e
l

S
I
G
:

A
n
l
i
s
i
s

C
o
n
c
e
p
t
u
a
l

1
1
3

de monitoreo
C
O

ar necesidade Determin

esencial de lar la estructu Desarro
rocesar y analiza
los datos para
satisfacer las
necesidades del
monitoreo
Q
-
scribir informes
peridicos
L
U

1

1

ducir los
tosen
sitivos de
enamiento
opiados
O

r
o

o

=

T
D

C
L

C
O

L

-

%
%

j
.

Recoger datos de
uentes apropiadas
en el proceso de
ejecucin del
programa
i

k

litoreo
o

sistema de m
b

bir
ores
Escri
indicad
i

L

s clave y
tos clave
nir trmino
izar concer.
Q

C
O

"
O

-
o

atos por medio
bas y observac
<
-
>

C
U

s para recoger
avocacin, pru
cribir iteme
sguntas, pr
C
O

k
_

L
U
I

C
L

k

1

instrumentos
uestionarios,
observacin
C
Z

O

C
D

ar los itemes e
dos: pruebas,
stas y guas d
Organiz
apropia
entrev
n (S IG ).
o

G esti
r
e

acin para Inform
O

a

e un Sistema
o

c

o

lizac
3
=

^

olio y e Desarr
o

o

V
)

0
)

o

o
4: El Pr
r
a

Figu
I

hacerse la pregunta: Q u debe estar ocurriendo en trminos de
"operaciones" para q ue un concepto particular se manifieste en el mundo
real? A esto es a lo q ue frecuentemente nos referimos como
operacionalizacin. En otras palabras, el concepto se define en trminos
de operaciones, acontecimientos, acciones, comportamientos y otras cosas
q ue tienen una existencia concreta.
El anlisis conceptual no necesariamente ha de ser un proceso lgico
efectuado por un experto. Consideramos q ue las estrategias sociolgicas
para el anlisis de los conceptos son tan importantes como las estrategias
lgicas. El anlisis de un concepto como impacto de la alfabetizacin en
algn mome nto debe pasar por un proceso participativo de definicin. De
esta forma, ser posible q ue las diferentes personas implicadas proyecten
sus mltiples valores en relacin con lo q ue ellos quieren q ue la
alfabetizacin o la post-alfabetizacin haga o q ue haya hecho por ellos.
Anlisis del concepto "impacto de la alfabetizacin"
Utilizando algunas estrategias puramente lgicas del anlisis conceptual
(que despus sern complementadas con estrategias sociolgicas con la
participacin de todos los involucrados en este campo), podemos concep-
tualizar el impacto de la alfabetizacin en los elementos fundamentales y
componentes esenciales presentados en el siguiente cuadro.
DI MEN SI O N ES G EN ERA LES DEL I MPA CTO
Socio-cultural Poltico Econmico Ambiental
Lugar del
Impacto:
Individuos
Grupos
Instituciones
Comunidad/
Sub-cultura
1
5
9
13
2
6
10
14
3
7
11
15
4
8
12
16
Herramientas y Tcnicas del SIG: Anlisis Conceptual 115
Por supuesto, hay otras formas de categorizar las dimensiones del
impacto de la alfabetizacin y la post-alfabetizacin en la vida de las
personas. A los agentes de la alfabetizacin les gusta hoy en da hablar de
tres dimensiones del impacto, relacionadas con (1) habilidades alfabetas,
(2) funcionalidad y (3) concientizacin.
D esde luego, es posible utilizar el cuadro presentado anteriormente
para elaborar una lista de elementos y componentes separadamente para
cada una de las mltiples dimensiones del impacto de la alfabetizacin. E n
la vida real los agentes de la alfabetizacin elegirn anlisis prcticos ms
bien que tericos. Ser interesante mirar una lista de componentes y
elementos que aparecieron en un anlisis conceptual del impacto de la
alfabetizacin y la post-alfabetizacin en un documento del Instituto de la
UN E S C O para la Educacin. Esta se presenta en el Ejemplo 1, en la
siguiente pgina.
Nosotros aceptamos completamente y apoyamos firmemente el
concepto de alfabetizacin funcional generalizada que incluye las
habilidades alfabetas, la funcionalidad y la concientizacin. Pero nos damos
cuenta tambin de que las habilidades alfabetas son centrales en un plan
de alfabetizacin. Siendo esto as, nos centraremos en la alfabetizacin y
la post-alfabetizacin para ilustrar la naturaleza continua del anlisis
conceptual.
EJEMPLO 1
Co n base en los estudios de caso d e diez pases, se dedujo que losprogramas d e
alfabetizacin, post-alfabetizacin y educacin continuada producan impactos de la
siguiente naturaleza:
(a) cambios de actitudes
(b) cambios en las habilidades ocupacionales y el ingreso
(c) cambios en hbitos personales, higiene, planificacin familiar, etc.
(d) las orientaciones futuras, las aspiraciones
(e) aumento en la matrcula escolar
(0 apoyo comunitario a la construccin de escuelas
(g) asumir las comunidades la responsabilidad de lograr sus propias metas
(h) surgimiento de nuevos lderes en las comunidades
(i) personal capacitado para la educacin d e jvenes adolescentes y adultos
(j) m a y o r uso d e d ocumentos con propsitos cvicos
(k) mayor uso de los servicios del Estado
0) mejores prcticas nutricionales
(m) mejores condiciones sanitariasde la poblacin
(n) generacin de actitudes orientadas hacia el logro
(o) demanda de mejores sistemasde comunicacin
(p) aumento de la confianza en s mismos y de la concientizacin
(q) mayor participacin en el ambiente social
(r) control y transformacin del ambiente
(s) nivelesde conocimiento alcanzadospor los educandos en las reasde capacitacin
vocacional, salud y civismo,
(t) participacin en el mer ca d o, el abastecimiento y la extensin agrcola en la
aldea
(u) aplicacin de las habilidades alfabetas para propsitos individuales y comunitarios
(v) cambios en la tecnologa usada
(w) cambios en las estructurasde servicios
(x) mayor conciencia poltica y mayor participacin en la toma de decisiones
(y) mayor conocimiento de tcnicas agrcolas modernas
(z) creacin de un ambiente favorable a la alfabetizacin
[Informe de los Grupos A y B (PRG 4.32 Reunin de Reencuentro, 1984).
Instituto de la UN E S C O para la Educacin, Proyecto de Desarrollo de
Tcnicas y Procedimientos de Evaluacin en Programas de Alfabetizacin
y Post-alfabetizacin en Marco de la Educacin Permanente, Hamburgo,
junio 24-28,1985].
Puesto que el impacto de los programas de alfabetizacin debe resultar
en la forma del aprendizaje de habilidades alfabetas por los estudiantes
adultos qu elementos y componentes de stas habr que considerar para
poder decir que la alfabetizacin o la post-alfabetizacin han tenido
influencia en la vida de las personas y sus comunidades? D e nuevo,
ofrecemos ejemplos de programas de alfabetizacin y post-alfabetizacin
desarrolladosen pases del Tercer Mund o.
Comenza mos por una descripcin bastante simple de las habilidades
alfabetas en el Ejemplo 2 en la siguiente pgina. Los organizadores del
proyecto la clasifican "Criteriosde Evaluacin".
L o ofrecemos como ejemplo de "anlisis del concepto" de alfabetiza-
cin. D ebemos sealar que estos componentes del concepto o criterios
pueden fcilmente utilizarse para construir una prueba de alfabetizacin.
La calificacin en esa prueba vendra a ser un "indicador" del xito o
fracaso del educando basado en su rendimiento en la alfabetizacin.
El anlisis conceptual de la alfabetizacin y la post-alfabetizacin
desarrollado en el Programa Nacional de Educacin de Adultos de la
India, que se muestra en los Ejemplos 3 y 4, en las pgs. 119 y 120, es
mucho ms elaborado que los presentados en el ejemplo de la campaa de
alfabetizacin de Kerala.
EJEMPLO 2
CRITERIOS D E EVALUACIN D E LA ALFABETIZACIN D EL
PROGRAMA MISIN TOTAL D E ALFABETIZACIN
I. Lectura
A . Leer en voz alta cualquier pasaje seleccionado por el ed uca nd o pronuncia ndo
correctamente 3 0 palabras en un minuto.
B . Leer en silencio, d e cualquier libro d e lectura sencillo con el cual no est
familiarizado, a una velocidad d e 35 palabras por minuto.
C . Leer y compr end er signos del trnsito, carteles y otras instrucciones sencillas.
D . Leer literatura sencilla en su propio ambiente.
II. Escritura
A . Compr e nd e r el significado y copiar un pasaje a siete palabras por minuto.
B . Escucha r al dictado y escribir a una velocidad d e 5 palabras por minuto.
C . Escribir en f or ma legible y dejando los espacios correctos.
D . Escribir cartas y mensajes sencillos y ser ca pa z d e llenar u n formulario simple
d e uso cotidiano.
III. Aritmtica
A . Escribir y leer los nmeros de 1 a 100.
B . Realizar adiciones y sustracciones d e hasta 3 dgitos y multiplicaciones y
divisiones por 2 dgitos.
C . Compr e nd e r el sistema mtrico d e pesos y med id a s, dinero, distancia, superficie
y leer el reloj.
D . Tener conocimientos rudimentarios d e proporciones e inters.
[Fuente: Center for D evelopment Studies. Report of the Total Literacy
Mission. C D S , Trivandrum, Kerala, India, c. 1990, p.43].
EJEMPLO 3
ESPECIFICACIN D E NORMAS PARA ALCANZAR LA
ALFABETIZACIN
a) Habilidades de Lectura
Al finalizar el programa el educando debe ser capaz de:
i leer correctamente un pasaje simple de unas seis a siete oraciones en un
minuto. D ebe sacarse del material utilizado en el centro y presentarse
preferiblemente con el mismo tipo de letra,
ii leer en un minuto aproximadamente de 10 a 20 palabras escritas a ma no
con letra de imprenta,
iii leer comprensivamente signos de trnsito, carteles, instrucciones simples y
algunos titularesde los peridicos para neo-lectores,
iv leer los nmeros del 1 a 100.
v comprender el material ledo en los temes i, ii y iii y responder preguntas
relacionadascon ste.
b) Habilidades de escritura
El educando debe ser capaz de:
i copiar un mnimo de diez palabras por minuto de un pasaje corto. Las
palabrasno deben tener ms de cuatro letras y el educando debe comprender
lo que ha escrito,
ii escribir al dictado a una velocidad de por lo menos siete palabras por
minuto,
iii escribir en lnea recta dejando el espacio apropiado en papel rayado.
c) Habilidades de Cmputo
i El educando debe ser capaz de hacer clculos sencillos (adicionales,
sustracciones, multiplicaciones y divisiones sencillas) con cifras de hasta
tres dgitos. E n las multiplicaciones y en las divisiones el multiplicador y el
divisor respectivamente ser de una sola cifra.
ii Al finalizar el curso el educando habr ganado conocimientos prcticos de
pesas y medidas mtricas.
iii El educando deber saber las tablas hasta 10.
d) Aplicacin de las Habilidades Alfabetas
El educando ser capaz de:
i leer encabezamientos, signos del trnsito, carteles, titulares de peridicos y
otras comunicaciones que le llegan en documentos legibles y escritos a
ma no con letra de imprenta,
ii escribir cartas sencillas, llenar formularios sencillos de solicitudes de
prstamos de banco u otroscomo giros postales,
iii llevar la contabilidad de sus gastos diarios y sus ahorros y controlar sus
entradasen su libreta,
iv seguir instrucciones ledas en las bolsasde fertilizantes, pesticidas y envases
de medicamentos.
EJEMPLO 4
COMPETENCIAS DE ALFABETIZACIN Y CALCULO
NUMRICO QUE DEBEN HABERSE LOGRADO AL TERMINO
D E LA ETAPA DE POST-ALFABETIZACIN
1. Lenguaje
i Habla
- Habilidad para participar en discusiones.
- Habilidad para describir experiencias,
ii Lectura
- Habilidad de leer en voz alta de manera fluida materiales impresos sencillos
con pronunciacin, entonacin y acento correctos.
- Habilidad de leer en silencio con una velocidad de 70 palabras por minuto.
- Habilidad de leer comprensivamente materiales impresos (cuentos, material
informativo, libros de texto, noticias, peridicos, carteles, formularios, etc.)
- Habilidad de leer material escrito a mano (cartas, mensajes, instrucciones),
iii Escritura
- Habilidades de copiar con comprensin a una velocidad de 15 palabras por
minuto.
- Habilidad de escribir dictado a una velocidad de 10 palabras por minuto
- Habilidad de escribir mensajes sencillos comprendindolos.
- Habilidad de leer cartas y formularios de solicitudes, y de llenar los
formularios para prstamos bancarios, giros postales, etc.
2. Clculo numrico
- Habilidad de leer y escribir los nmeros hasta 10.000
- Habilidad de comparar y ordenar los nmeros hasta 10.000
- Habilidad de comprender el concepto de valor del lugar de los nmeros en
cifras de hasta 5 dgitos.
- Habilidad de resolver operaciones en las cuales se adicionan dos o ms
nmeros, sin que el resultado exceda a 10.000.
- Habilidad de resolver operaciones en las cuales se sustrae un nmero de
otro hasta de 4 dgitos.
- Habilidad de resolver operaciones en las cuales se multiplica un nmero
por otro, siendo el multiplicador de dos dgitos.
- Habilidad de resolver operaciones en la cuales se divide un nmero por otro
siendo el dividendo de hasta 4 dgitos y el divisor de hasta 2 dgitos.
- Habilidad de resolver problemas en los cules se realicen 2 3 operaciones,
sin que se utilicen cifras de ms de 4 dgitos.
- Habilidad de usar mtodos uniarios, calcular inters simple, porcentajes,
etc.
- Habilidad de hacer clculos simples con unidades estndares de dinero,
tiempo, medida, peso, superficie, volumen, etc.
- Habilidad de llevar sus cuentas y resolver problemas cotidianos que requieran
clculos numricos.
[Los Ejemplos 3 y 4 son de D A E , Repon of National Workshop on Monitoring and
Evaluation. N e w Delhi: Directorate of Adult Education, Ministry of Education,
Government of India, 1982. Tambin reproducido en Mathur. E. S. , "Evaluation of
literacy and post-literacy programs in India", (PRG 4.32/4.38), UN E S C O Institute for
Education (UD E) Project on the D evelopment of Techniques and Procedures on
Evaluation Pertaining to Programs of Literacy and Post-Literacy in the Framework
of Lifelong Education, Hamburg, October 7-11,1985].
Niveles e intervalos
Co m o se mencion anteriormente, hay un proceso continuo de elaboracin
cada vezmayor al pasar de los conceptos generales a travs del anlisis
conceptual, hasta la formulacin de indicadores y la redaccin de temes
para los instrumentos de evaluacin. Un cuidadoso examen de los Ejemplos
1 a 4 demuestra que algunos componentes de los conceptos analizados
arriba requerirn an ms anlisis antes de poder determinar indicadores y
construir temes. Otros componentes ya estaran listos para hacerlo.
D e los Ejemplos 3 y 4 debe destacarse la construccin de una jerarqua
de habilidades en el listado de criterios. Las habilidades de lectura, escritura
y clculo numrico que se exigen en el nivel de post-alfabetizacin son,
desde luego, ms complejas que las exigidas para el nivel inicial de
alfabetizacin. A un dentro de las dos listas de componentes hay una
jerarqua implcita. E n otras palabras, se han construido intervalos de logro
o niveles de rendimientos en estas listas. Los Ejemplos 5 y 6 en las
pginas 122 y 123 establecen en forma ms explcita los niveles de
alfabetizacin.
EJEMPLO 5
NIVELES D E LOGRO EN LA ALFABETIZACIN FUNCIONAL
EN TANZANIA
Para evitar dividir a los educandos en categoras de pas-no-pas, es posible establecer
una calificacin de acuerdo con el nivel de dificultad de la respuesta requerida:
Nivel I:
Educando q ue se ha inscrito y ha asistido a dos tercios de las sesiones de alfabetizacin
en un a o de actividades.
Nivel II:
Participante q ue adems de cumplir con los anteriores requisitos, ha pasado con xito
una o las dos pruebas en los siguientes sub-niveles.
Sub-nivet (i):
Persona q ue puede reconocer palabras y/o smbolos, escribe las letras de las silabas,
escribe n meros y/ o signos aritmticos y hace clculos mentales sencillos.
Sub-nivel (ii):
Persona capaz de leer una corta oracin sencilla con significado completo, q ue puede
escribir una oracin corta sencilla y adicionar y sustraer n meros de un solo dgito.
Nivel m :
Persona q ue adems de cumplir lo establecido en el nivel anterior, ha pasado con xito
una o las dos pruebas en los siguientes sub-niveles.
Sub-nivel (i):
Educando capaz de leer una oracin sencilla, y con sentido completo, q ue puede escribir
una oracin corta sencilla y de adicionar y sustraer nmeros de dos dgitos.
Sub-nivel fu"):
Persona q ue domina los smbolos en su forma escrita o puede codificar y decodificar
mensajes escritos. Ser capaz de ejecutar lo siguiente: leer de manera fluida y
comprensivamente un texto simple (basado en slabas comunes y el vocabulario q ue
emplean las cartillas iniciales; de acuerdo con las slabas y el vocabulario ms frecuente
en lenguaje Swahili). Tambi n ser capaz de escribir un mensaje o pasaje sencillo corto;
de adicionar y sustraer n meros de tres dgitos, multiplicar por n meros de dos dgitos y
dividir por uno.
Nivel IV:
Educando q ue utiliza en forma continua las habilidades alfabetas adquiridas. Esta persona
habr calificado en el nivel anterior, pero tambin ser capaz de leer y escribir mensajes;
leer un peridico (por ejemplo, Uhuru, Ukulima wa kisasa, etc.), para mantenerse
informado de los acontecimientos de actualidad y obtener informacin; podr leer libros
del tipo "hgalo usted mismo", de cmo vivir mejor, preparar mejores alimentos, utilizar
mejores tcnicas agrcolas, etc.; y ser capaz de mantener registros y resolver problemas
simples. Tambi n podr llevar un libro sencillo de contabilidad de ingresos y gastos.
Los participantes q ue alcanzan los niveles III y IV en lectura, escritura y aritmtica
combinados se consideran alfabetos o graduados y los q ue alcanzan el nivel IV se
consideran alfabetos funcionales.
EJEMPLO 6A
Cuadro 1. RESULTADOS D E LAS PRUEBAS
D E AUTOEV ALUACION
A . Resultados definidos y detallados por nivel
Materia Nivel Habilidades requeridas
Prcticamente ninguna
Leer correctamente en voz alta palabras de una o dos slabas
seleccionadas entre las q ue se ensean en las primeras lecciones
del texto
Escribir al dictado palabras de este nivel de dificultad
Leer correctamente en voz alta oraciones de cinco a nueve
palabras, q ue slo usan slabas enseadas en las primeras ocho
lecciones del texto. (Dos tercios de los fonemas del lenguaje
escrito)
Escribir al dictado oraciones de este nivel de dificultad
Leer correctamente en voz alta un corto pasaje de tres o cuatro
oraciones, q ue comprenden cada una hasta 12 palabras
compuestas por cualquier slaba del lenguaje escrito
Escribir al dictado un pasaje corto de este nivel de dificultad
Leer un texto de varios prrafos y contestar correctamente a las
preguntas hechas sobre el mismo
L
E
C
T
U
R
A
0
la
Ib
2a
E
S
C
I
T
TT
U
R
A
2b
3a
3b
4a
4b Escribir una composicin de varios prrafos
EJEMPLO 6B
Cuadro 1: RESULTADOS D E LAS PRUEBAS
D E AUTOEVALUACION
B . Resultados definidos y detalladospor nivel
Materia Nivel Habilidades requeridas
0 Prcticamente ningn conocimiento
la Leer y escribir dgitos de 0 a 9
Leer y escribir nmeros de tres dgitos
Adicionar, llevando, dos o tres nmeros de tres, cuatro o cinco
dgitos
Sustraer, llevando, nmeros de dos o tres dgitos
Multiplicar, llevando, nmeros de dos o tres dgitos
Dividir nmeros por dos o tres dgitos con residuo
Resolver problemas prcticos dictados que incluyan divisiones
por nmeros de dos o tres dgitos con residuo
4 b Resolver problemas prcticos dictados que requieran una serie
de operaciones incluyendo divisiones como las del nivel 4a
[ Los ejemplos 6 A y 6 B fueron tomados de Ouane, A . , "Evaluation and Monitoring of
Literacyand Post-Literacy Programmes in Mali - The Experience of D N A F LA (National
Directorate of Functional Literacyand Applied Linguistics)", PRG 4.38, Doc5, U N E SCO
Institute for Education (UIE) Project on the Development of Techniques and Procedures
of Evaluation Pertaining to Programs of Literacyand Post-Literacy in the Framework of
Lifelong Education, Hamburg: U N E SCO Institute for Education, March 1989].
A
R
I
T
M
E
T
I
C
A
lb
2a
2b
3a
3b
4a
Los ejemplos 1 a 6 no agotan todas las tareas del anlisis conceptual
que deben realizar quienes trabajan en programas de alfabetizacin. Otros
conceptos igualmente simples, como "desertores" tendrn que definirse en
el contexto de los programas particulares. Habr que responder a preguntas
como estas: Cmo nos aseguramos de que la designacin de desertor no
incluya a los que asistieron despus de matricularse, a los que fueron
expulsados por los maestros porque se quedaron muy retrasados respecto
al resto del grupo o a los que llegaron con xto hasta donde ellos se haban
propuesto y consideraron que no era necesario continuar? Cm o
designamos a un participante que desert por un perodo de tiempo y
regres despus?
Antes de dejar el tpico sobre el anlisis conceptual, debemos tratar
otras de las preocupaciones que tienen los agentes de la alfabetizacin -la
efectividad del maestro y la evaluacin del currculo.
Qu es la efectividad? Esta tendr que ser definida en el contexto de
cada programa particular que se evala. El Ejemplo 7, en la pgina 126,
muestra las complejidades implicadas en el concepto de efectividad del
maestro.
E n los Ejemplos 8 y 9, de las pginas 127 y 128 tocamos lo relaciona-
do con la evaluacin curricular.
EJEMPLO 7
EL MAESTRO EFECTIVO
A . Conocimiento de la materia
Conoce bien la materia el maestro?
B. Organizacin y claridad de la exposicin en el grupo
Es estructurada la exposicin del maestro? Utiliza conscientemente estrategias
didcticas? Resume los puntos importantes?
C. Interaccin instructor-estudiante
Hay discusin en clases? Se anima a los participantes a que hagan preguntas?
Son estimulantes las preguntas del maestro?
D . Nivel de entusiasmo
Muestra entusiasmo el maestro al ensear? Muestra respeto por los estudiantes?
E. Uso de materiales didcticos
Se utilizan materiales didcticos? Se producen localmente algunos de stos?
Se utilizan medios autctonos y las instituciones locales en la instruccin?
F. Utilizacin de extensionistas para la enseanza
Existe colaboracin con otros extcnsionisas en el campo?
G . Rendimiento de los estudiantes
Estn aprendiendo los adultos? Qu aprenden? Con qu resultados efectivos?
H . Provisin de informacin de retorno a los estudiantes acerca de su progreso
Comunica el maestro a los estudiantes cmo cree que lo estn haciendo,
honestamente, pero con tacto?
I. Ayuda a la transferencia del aprendizaje a la vida fuera de la clase
Ayuda el maestro a que los estudiantes transfieran lo aprendido a la vida fuera
de clases? Tienen la clase un proyecto para la generacin de ingresos?
EJEMPLO 8
LA EVALUACIN DE LA EFECTIVIDAD DEL CURRICULO
El concepto de efectividad del currculo al analizarse puede mostrar los siguientes
componentes:
1. Adecuacin general
2. Incorporacin de posibilidades de identificar los errores
3. Factibilidad
4. Calidad
5. Estndares
6. Utilidad
7 Suficiencia
8. Pertinencia
9. Respuesta a las necesidades del estudiante
10. Adecuacin de los contenidos y mtodos
11. Consistencia interna
12. Claridad
13. Coherencia con los objetivos del programa
14. Actualidad
15. Equilibrio
16. Evitar las interrupciones en la enseanza al prever las dificultades que enfrentarn
los estudiantes
[Materiales del Instituto de la UN E S C O para la Educacin. Primer borrador de una sntesis
de estudios nacionales. (PRG 4.32): Evaluacin del estudiante, evaluacin del currculo,
monitoreo del programa y evaluacin del impacto. Hamburgo, junio de 1985].
EJEMPLO 9
EVALUACIN D E LIBROS DE SEGUIMIENTO POR MEDIO
D E LA REVISION POR COLEGAS: DIMENSIONES/
COMPONENTES DE CALIDAD
1. Tama o del libro
2. Calidad del papel
3. Encuademacin y presentacin general
4 . Tipo y tamao de los caracteres
5. Encabezamientos y espacios
6. Portada - exactitud, atractivo, composicin
7. Propsito del libro
8. Construccin de argumentacin
9. Unidad y coherencia del contenido
10. Calidad de las ilustraciones e integracin entre el contenido verbal y los grficos
11. Calidad del mensaje
12. Tratamiento literario y estilo de redaccin
13. Nivel de legibilidad o facilidad de lectura
14. Divisin de los captulos y los prrafos
15. Ortografa, puntuacin y errores tipogrficos
16. Impresin general
[ Tomado de Bhola, H. S. , Writing for New Readers: A Book on Follow-up Books (Revised
Version), Bonn: G erman Foundation for International Development, 1984].
Herramientas y Tcnicas del SI G: Formulacin de Indicadores 129
SE CCI N B: Formulacin de Indicadores
Co m o hemos mencionado repetidamente, el proceso general de elaboracin
que va desde los conceptos generales hasta los temes de las pruebas
envuelve varios ciclos y repeticiones de anlisis conceptual y formularios
de indicadores. D espus de haber analizado algunos conceptos abstractos
como alfabetizacin, post-alfabetizacin, efectividad, eficiencia y motivacin
del maestro, (desglosadas y especificadas sus partes) surge otro problema:
Cmo sabemos que estas cosas abstractas existen en el ca mpo y estn
cambiando en algn grado, en alguna direccin? Recordemos que no
siempre es posible establecer con claridad cundo termina el anlisis
conceptual y comeinza la formulacin de indicadores. Aunque ambos son
categoras de anlisis tiles, pueden ser bastante ambiguas en el mund o
real del trabajo.
El problema es que muchos conceptos y sus componentes, talescomo
la motivacin y el compromiso individual, la capacidad para resolver
problemas, la toma de conciencia poltica, la cohesin de la comunidad, la
respuesta de las instituciones sociales y la calidad de vida no son observables
a simple vista. Necesitamos algunas manifestaciones concretas de
comportamiento, algunos signos que indiquen la presencia de una alta
motivacin, la capacidad de resolver problemas, la cohesin de la
comunidad y la respuesta de las instituciones. Estos signos son lo que
llamamos indicadores.
El proceso de desarrollar indicadores es complejo, por decirlo as. Los
indicadores deben ser vlidos, concretos y parsimoniosos (esto es, la lista
de los indicadores de una condicin no debe ser tan larga que sea
impracticable). Para poder embarcarnos en la investigacin sobre
indicadores, tendremos que comprender bastante bien el comportamiento
de los individuos, las instituciones y las sociedades.
Sera ideal tener suficiente formacin en lgica y en teora de las
ciencias sociales. Sin embargo, no podemos esperar a convertirnos en
cientistas sociales expertos. Quienes ejercemos la prctica o somos
evaluadores debemos aprender a desarrollar indicadores bastante buenos.
Co m o en el caso del anlisis conceptual, discutido en la seccin anterior,
las estrategias participativas pueden ser usadas tambin para formular
indicadores.
130 Herramientas y Tcnicas del SI G: Formulacin de Indicadores
Introduccin a la investigacin sobre indicadores
E n los ltimos veinte aos, la investigacin sobre indicadores ha surgido
c omo un rea importante de investigacin por derecho propio. Ser de
utilidad en este momento hacer una breve introduccin a algunas de las
tradiciones de la investigacin sobre indicadores.
Indicadores econmicos
Los indicadoresque se han usado con ms frecuencia son los econmicos.
L a mayora de nosotros estamos familiarizados con el Producto Nacional
Bruto (PNB) per capita, que es el indicador econmico ms extensamente
usado. Otros indicadores econmicos son las tasasde inters y de inflacin.
Indicadores sociales
Los dentistas sociales han prestado gran atencin en aos recientes a los
indicadores sociales. Los indicadores sociales de bienestar de una familia,
han incluido, por ejemplo, ingresosen efectivo, valor neto de las posesiones
de la familia, la dotacin de capital huma no de una familia, la variabilidad
de los ingresos a travs del tiempo, transferencia de ingreso dentro de la
familia, impacto de los gastos del gobierno e impuestos, y actividades de
descanso y productivas no remuneradas. Todos estos son componentes e
indicadoresms concretos del concepto abstracto de bienestar familiar.
Indicadores de salud como indicadores sociales
Puede considerarse a los indicadores de salud como una clase especial de
indicadores sociales. La expectativa de vida, la mortalidad infantil, el
nmero de pacientes por mdico, el porcentaje de poblacin que tiene
acceso a agua no contaminada, el consumo per capita diario de caloras
como porcentaje de requerimiento, son algunos de los indicadores de
salud tpicos. Aunque la mayora de estos indicadores se refiere a los
pases (al nivel nacional) estos pueden transferirse para utilizarse igualmente
en los niveles regional y comunitario.
Los indicadores de ciencia como indicadores sociales
Los indicadores referidos a la ciencia tambin son indicadores sociales, ya
que indican el nivel de desarrollo de la ciencia y la tecnologa en una
sociedad. El nmero de estudiantes de la modalidad de ciencias en las
escuelas secundarias, el nmero de cientficos que producen las
universidades, el nmero de patentes otorgadas a invenciones cientficas
originales, el balance comercial en productos de alta tecnologa, y los
gastos en investigacin y desarrollo que hace el gobierno como porcentaje
del Producto Nacional Bruto, son ejemplos de indicadores de ciencia.
Indicadores educativos
La investigacin sobre indicadores en el rea educativa atrae cada vez ms
atencin. E n el ejemplo 10 se muestra la lista elaborada por Gooler
1
, que
debe ser de inters para los lectores.
Indicadores de los indicadores
C o m o puede notarse, algunos de los "indicadores" presentados como
indicadores econmicos, cientficos, de salud, sociales y educativos, son
realmente conceptos generales, demasiado amplios para usarlos en la
recoleccin de datos. (Recuerde: los conceptos de una persona son los
indicadores de otra y vice-versa!) D e hecho, con frecuencia hay que llevar
a cabo un proceso de varios pasos para desarrollar indicadores de los
indicadores y de indicadores de "los indicadores de los indicadores".
Previamente, tratamos de definir los indicadores dando ejemplos.
Queramos mostrar que indicadores en reas diversas de la economa, la
ciencia, la ciencia y la tecnologa, la salud y la educacin se parecen. La
mayor parte de la investigacin sobre indicadores se ha realizado a nivel
nacional e internacional. El evaluador a veces puede hacer uso directo de
los indicadores desarrollados en estos niveles. Sin embargo, esms frecuente
que tenga que desarrollar indicadores dotados de sentido en su situacin
concreta.
Indicadores de inters claro y directo para los agentes de la alfabetizacin
Los indicadores que interesan a un evaluador en esta rea se relacionan
con las habilidades alfabetas, la funcionalidad y la concientizacin a nivel
individual y al impacto en trminos de desarrollo en los grupos, instituciones
y comunidades en el nivel macro. N o es posible en el mbito de este
manual elaborar realmente indicadores que respondan a todas las
necesidadesde los agentes de la alfabetizacin.
D ebe tenerse en mente que no es posible contar con un conjunto
estandarizado de indicadores porque stos, generalmente, deben formularse
en trminos de un contexto particular, y referidos a las definiciones
conceptuales desarrolladas en la situacin de un programa determinado. El
132 Herramientas y Tcnicas del SIG: Formulacin de Indicadores
EJEMPLO 10
CATEGORAS D E INDICADORES EDUCATIVOS
Acceso
Cuntas personas y qu clase de ellas participan en actividades educativas
Tasas de retencin en actividades educativas
Catlogo de actividades o servicios educativos existentes/disponibles
Aspiraciones
Descripcin de necesidades e intereses de diversas clases de personas
Auto-evaluacin de las capacidades personales individuales
Descripcin de metas institucionales
Rendimiento
Lo que saben hacer y sienten las personas
Lo que han obtenido las personas (diplomas, grados, certificados)
Lo que se ensea
Impacto
Consecuencias de haber asistido a la escuela
Impacto de la educacin en los sistemas social, econmico y cultural
Consecuencias de no haber asistido a la escuela
Recursos
Gastos de capital, personal y material
Calidad de los recursos humanos
Razones de costo o beneficio/efectividad
Calidad del clima educacional
Tiempo
Fjese que la mayora de los indicadores presentados en la lista se darn en nmeros o
son por lo menos categoras nominales - Alto, Medio, Bajo, etc.
principio general es ir de una primera abstraccin por categoras y sub-
categories hasta las manifestaciones de comportamiento: a cosas que pueden
verse, orse, tocarse, sentirse, juzgarse y calificarse.
Validacin de indicadores
D esafortunadamente, no podemos sugerir frmulas estndar para formular
los indicadores y someter a prueba su efectividad, su validez y confiabilidad.
ltimamente, la efectividad de los indicadores ser comprobada al ser
usados. Sin embargo, siempre ser una buena idea que los agentes del
desarrollo y la alfabetizacin y los capacitadores hagan pruebas previas de
los indicadores sometindolos a una revisin por parte de sus colegas.
D eben mostrar sus indicadores y los "indicadores de indicadores" a sus
compaeros y permitirlesque critiquen el trabajo realizado.
La conexin indicadores-instrumentos
Ms adelante, en este captulo y en otros que siguen, discutiremos sobre
los instrumentos de evaluacin y su elaboracin. Sin embargo, aqu
deseamos retornar a la Figura 4, al comienzo de este captulo, la cual
muestra el proceso de diseo del SI G en una mirada. D ebe notarse la clara
y directa conexin existente entre el proceso de formulacin de indicadores
y el proceso de instrumentacin. Con la elaboracin de herramientas e
instrumentos estamos dando el paso que lgicamente sigue a la redaccin
de los indicadores. Nos preguntamos Qu datos o evidencias deben
recolectarse para demostrar la existencia o el cambio en el comportamiento
o condicin relacionada con el indicador? Cmo provocamos y recogemos
el dato o la evidencia requerida? Qu ayudas (pruebas, cintasde grabacin,
guas, etc.) podran usarse para registrar los datos o evidencias? Cm o se
construyen algunos de estos instrumentos -pruebas de rendimiento, escalas
de actitudes, guas de entrevista y de observacin? Ahora nos ocuparemos
de esto.
134 Herramientas y Tcnicas del SIG : Pruebas de Rendimiento
SE CCI N C: Elaboracin de Pruebas de Rendimiento
Aqu es importante volver de nuevo a la Figura 4, la cual muestra el
proceso de diseo del SIG. Una vez que se han determinado las inquietudes
y las preguntas de evaluacin, se han identificado y analizado los conceptos
clave y elaborado los indicadores, es el momento de "ir al terreno" y
buscar las evidencias. Son ilimitadas las posibilidades de descubrir la
realidad, de hacer que el mund o revele sus secretos. Entre las alternativas
posibles que tenemos estn las siguientes:
Podemos ver u observar
Co m o participantes o no-participantes
- abiertamente o de manera encubierta (no reactiva)
Podemos preguntar
A la persona correspondiente
- directa o indirectamente
A alguien ms que la persona correspondiente
- directa o indirectamente
Podemos provocar comportamientos y registrarlos
- abiertamente o de manera encubierta (no reactiva)
Podemos leer
- documentos o signos reveladores
Podemos contar
La evidencia puede registrarse con la ayuda de m u y diversos temes.
Existe la posibilidad de organizarlos en instrumentos que pueden ser
estructurados (pruebas, cuestionarios) o inestructurados (diarios, registros
anecdticos).
Escala de medicin
Los temes que empleamos en nuestros instrumentos son en realidad,
temes de medicin. As, la medicin es la esencia de la mayora de los
casos de recoleccin de informacin, especialmente tratndose del SI G y
la E R. Con frecuencia tenemos que ir ms all de las comparaciones
burdas en trminos de bueno, mejor, el mejor, o grande, mayor, mximo.
Para hacer esto necesitamos unidades de medida estndar con las cuales
podamos hacer todas las mediciones que queramos y podamos establecer
Herramientas y Tcnicas del SI G: Pruebas de Rendimiento 135
cunta diferencia existe entre dos entidades y en qu direccin.
Desafortunadamente, en las ciencias sociales no tenemos herramientas
como micrmetros, el carbono para determinar fechas ni relojes atmicos.
Nuestra medicin y unidades de medida son bastante burdas. Sin embargo,
tenemos que entender la naturaleza de las escalas de que disponemos, y
comprender sus posibilidades y limitaciones.
La escala nominal
La escla nominal no mide realmente, slo nimona objetos de varias
categoras. La clasificacin de los adultos de una comunidad en hombres y
mujeres y asignarles nmeros (1 para los hombres y 2 para las mujeres)
ser un ejemplo del uso de la escala nominal.
Tenemos que entender que los nmeros que se emplean en la escala
nominal nada significan en trminos de valores de las categoras, sino que
muestra que son diferentes. En el ejemplo que acabamos de dar, 2 para las
mujeres no significa el doble del 1, asignado a los hombres. Los nmeros
2 y 1, en este contexto particular, no pueden adicionarse o sustraerse uno
del otro con significacin. Slo sirven como cdigos.
La escala ordinal
Esta introduce un orden en la escala nominal, de mod o que las categoras
pueden ordenarse en orden de sucesin, como "Primero, Segundo y Tercero"
o "Bueno, Regular y Malo".
A la escala ordinal pueden asignrsele valores numricos: por ejemplo,
5 para Bueno, 3 para Regular y 1 para Malo. Pero, de nuevo, hay que
sealar que 5 no es 5 veces 1 en trminos de la escala ni 6 (dos veces
Regular) sera mejor que 5 (una vezBueno).
La escala de intervalos
La escala de intervalos, como lo sugiere su nombre, se compone de
intervalos que tienen sentido matemtico. En una barra de un metro, la
diferencia entre 3 y 5 cm. es la misma que la distancia entre 53 y 55 cm.
Los resultados en una prueba de rendimiento son realmente datos
ordinales, aunque con frecuencia los tratamos como si fueran datos de
intervalos. Podemos decir que B hizo 20 puntos (o 20 intervalos) ms que
A . Sin embargo, si B ha hecho 40 puntos y A 20, no podemos decir que B
es dos veces mejor que A . Para poder hacer este tipo de comparacin
necesitamos las escalas de razn.
136
Herramientas y Tcnicas del SIG: Pruebas de Rendimiento
La escala de razn
Esta escala, adems de ser a intervalos, tiene un 0 absoluto. Esto significa
que 25 es 5 puntos ms que 20 y que 60 es tres veces mejor que 20. As, la
escala de razn nos permite emplear razones y proporciones. D os metros
es 2 veces tan largo como un metro. Una cosa puede estar dos veces ms
caliente que otra.
Tenemos que tomar en cuenta las propiedades de las distintas escalas
de medicin segn tratemos los datos de nuestras diferentes pruebas,
herramientas e instrumentos de evaluacin.
La organizacin de los temes en instrumentos
Es claro que sera absurdo mezclar todos los temes de medicin
simultneamente por alguna razn en una secuencia en el mismo
instrumento. Para organizados hay que hacer consideraciones sobre qu
tan completos son y otras de tipo lgico, sociolgico o de simple
conveniencia.
Generalmente, es mejor separar los temes de observacin de las
preguntas de una entrevista, y stas de los temes de una prueba. (Sin
embargo, no estamos diciendo que no sean posibles o nunca deban ensayarse
estas combinaciones.)
Es deseable agrupar los temes similares y secuenciar los temes o
grupos de temes de tal mod o que haya cierta lgica en el instrumento
como totalidad -la lgica de una conversacin significativa en la gua de
entrevista o en el cuestionario y la lgica de pasar de "lo simple a lo
complejo" en una prueba de rendimiento.
Es mejor que cada instrumento separado sea auto-suficiente, incluyendo
en el mismo los datos demogrficos necesarios para que pueda interpretarse
apropiadamente en un contexto particular.
Usted podra pensar en algunas otras consideraciones que debieran
hacerse al disear los instrumentos.
Cmo administrar los instrumentos
La literatura disponible sobre la aplicacin de pruebas y otros instrumentos
a los informantes nos presenta un cuerpo completo de experiencias. N o es
posible tratar extensamente esta materia en el mbito de esta monografa.
Slo pueden presentarse algunas ideas clave:
Herramientas y Tcnicas del SIG: Pruebas de Rendimiento 137
- La necesidad de establecer una relacin igualitaria, de confianza y
mutualidad entre el evaluador y quien responde
- La necesidad de explicar adecuadamente los propsitos y formas de
responder sin influir para que se den ciertos tiposde respuesta
- La creacin de las condiciones de acceso, privacidad, tranquilidad y
comodidad convenientes para que el que responde d sus respuestas.
Pruebas de rendimiento
Un SI G incluir frecuentemente datos obtenidos de pruebas de
conocimiento, actitudes y rendimiento. A veces, se incluirn tambin en el
SI G datos de entrevistas y observaciones. En esta seccin, trataremos
sobre las pruebas de rendimiento, ya que probablemente se incluirn sus
datos en un SI G para un programa de alfabetizacin funcional. Por
consiguiente, es importante que el evaluador est familiarizado con la
elaboracin y administracin de pruebas tanto en sus aspectos tericos
como con las tcnicas metodolgicas.
Quien haya asistido a la escuela ha sido sometido a pruebas (o
exmenes, como se conocen popularmente). Estas son una herramienta
usual que emplea el evaluador que trabaja con un SI G o bajo lo que hemos
denominado paradigma racionalista. Las pruebas o pruebas de rendimiento,
como se llaman generalmente, son pruebas de conocimientos, habilidades
y ejecucin. Estas pueden construirse para medir conocimientos de
aritmtica, biologa, nutricin o cra de animales; habilidades de
investigacin, de diagnstico o habilidades grficas, as como el desempeo
concreto de un determinado papel.
Las pruebas tambin pueden ser usadas para medir aptitudes
(habilidades naturales o adquiridas o inclinaciones mentales). D e hecho,
una prueba de aptitud puede ser considerada como una clase especial de
pruebas de rendimiento.
Los evaluadores pueden interesarse a veces en probar actitudes
(disposiciones de valor y opiniones). Las pruebas de actitud se discutirn
ms adelante como parte de las escalas de actitudes.
Puesto que hemos respondido muchas pruebasde rendimiento en nuestras
vidas, y tal vez hemos elaborado y administrado muchas pruebascomo maes-
tros y capacitadores, podramos pensar que stas son relativamente fciles de
hacer, administrar e interpretar. Realmente, esto no es cierto. Es bastante com-
plejo hacerlas, como se demuestran en la discusin que sigue.
138 Herramientas y Tcnicas del SIG: Pruebas de Rendimiento
Pruebas estandarizadas referidas a normas y pruebas referidas a
criterios
Las pruebas pueden elaborarse para un grupo particular (por ejemplo,
promotores de salud comunitaria en un taller especial de capacitacin) o
para una poblacin numerosa en una regin o nacin (por ejemplo, todos
los estudiantes del grado VIII de las escuelas de Kenia, o aun de toda el
Africa Oriental).
E n el primer caso, la prueba sera probablemente diseada para medir
si los promotores de salud comunitaria han logrado el criterio de xito
establecido en un contexto determinado. El criterio de xito puede ser una
calificacin de por lo menos 80 puntos de un posible total de 100 en una
prueba de rendimiento especialmente diseada para ese grupo. Esto podra
ser un ejemplo de una prueba referida a un criterio.
E n el segundo de estos casos, la prueba probablemente estara diseada
para medir el nivel de un estudiante, una clase o una escuela en comparacin
con otros estudiantes, clases o escuelas a quienes se les aplic la misma
prueba de V I H grado de matemticas, lenguaje o cvica. Para poder hacer
esas comparaciones tendramos que tener normas -cul se supone que es el
desempeo del estudiante promedio del grado VIII en esta determinada
prueba. Cuando estas normas estn disponibles, la prueba es estandarizada
y referida a normas.
El proceso de estandarizacin de pruebas para el desarrollo de normas
ahora es en s mismo bastante estandarizado. Aqu no lo discutiremos
porque los capacitadores-evaluadores tratarn con ms frecuencia con
pruebas referidas a criterios. Sobre esas pruebas centraremos la atencin
en la discusin siguiente.
Los objetivos de la enseanza y los de la prueba
Los objetivos de la enseanza y los de las pruebas deberan coincidir entre
s. Seran injusto examinar a los educandos sobre cosas que no se les
hubiera enseado. Esto implica que quien elabora la prueba debe disponer
de los objetivos instruccionales del curso de alfabetizacin en forma
detallada para poder construir una prueba que efectivamente mida el impacto
del curso.
Los profesores Benjamin S. Bloom
2
, D avid R. Krathwohl
3
y sus
asociados desarrollaron taxonomas de objetivos de instruccin que son de
inters para los agentes alfabetizadores y para quienes elaboran las pruebas.
E n las pginas 140 y 141 se presenta un esquema de estas taxonomas.
Quien elabora la prueba no debe confundir lo cognoscitivo con lo
afectivo o la habilidad de sintetizar con el conocimiento simple de cosas
universales y abstracciones. D ebemos caer en la cuenta de que el aprendizaje
de informaciones no asegura una real comprensin; y la comprensin no
lleva automticamente a la habilidad de aplicar, analizar y juzgar.
Igualmente, es posible manifestarse a favor de determinada posicin o
entidad verbalmente sin que haya un compromiso genuino, como lo es
tener un conjunto de valores independientes que no constituyen un sistema
de valores organizado y sistemtico.
La seleccin del contenido de la prueba
Es obvio que no se puede incluir en una prueba todo lo que se ha enseado
en un curso. Habr que tomar una pequea muestra de lo que se ha
enseado.
La muestra de conocimientos que se incluye debe desarrollarse
sistemticamente, tomndola de una descripcin detallada e integral de la
materia enseada. Las dos taxonomas presentadas deben ser usadas para
describir la materia: Qu conocimientos verdaderos se ensearon? Qu
principios generales y generalizados se comunicaron? En qu habilidades
y destrezas diagnsticas para aplicar y transferir a otras situaciones se hizo
nfasis? Qu procesos de niveles superiores se esperaba que se
aprendieran? Qu cambios de actitudes y valores se reforzaron?
Con base en esta descripcin comprehensiva, debe hacerse la seleccin
de una muestra de conocimientos y valores para elaborar la prueba.
OBJETIVOS INSTRUCCIONALES
EN EL DOMINIO COGNOSCITIVO
1.00 Conocimiento
1.10 de cosas especficas
1.11 de terminologa
1.12 de hechos especficos
1.20 de formas y medios de tratar con cosas especficas
1.21 de cosas convencionales
1.22 de secuencias
1.23 de clasificaciones y categoras
1.24 de criterios
1.25 de metodologa
1.30 de cosas universales y abstracciones en un campo
1.31 de principios y generalizaciones
1.32 de teoras y estructuras
2.00 Comprensin
2.10 Traduccin
2.20 Interpretacin
2.30 Extrapolacin
3.00 Aplicacin
4. 00 Anlisis
4. 10 de elementos
4.20 de relaciones
4. 30 de principios organizativos
5.00 Sntesis
5.10 Produccin de una comunicacin nica
5.20 Produccin de un plan o propuesta de un conjunto de operaciones
5.30 Derivacin de un conjunto de relaciones abstractas
6.00 Evaluacin
6.10 Juicios en trminos de evidencia interna
6.20 Juicios en trminos de criterios extemos
OBJETIVOS INSTRUCCIONALES
EN EL DOMINIO AFECTIVO
1.00 Recibir (atender)
1.1 Percatarse
1.2 V oluntad de recibir
1.3 Atencin controlada o selectiva
2. 00 Responder
2.1 Consentimiento en responder
2. 2 V oluntad de responder
2.3 Satisfaccin en responder
3.00 Valorar
3.1 Aceptacin de un valor
3.2 Preferencia por un valor
3.3 Compromiso
4. 00 Organizacin
4.1 Conceptualizar un valor
4. 2 Organizar un sistema de valores
5.00 Caracterizacin por un valor o un complejo de valores
5.1 Conjunto generalizado
5.2 Caracterizacin
Tipos de temes de las pruebas
Puede escribirse una gran variedad de temes que se incluirn en una
prueba de rendimiento.
Verdadero/Falso. Se escribe una oracin y se pide que se marque si es
verdadero o falso lo que se dice.
Ejemplo:
Los tubrculos y los vegetales
son ejemplos de alimentos
constructivos del cuerpo. V / F
(Respuesta: V erdadero)
Los temes V erdadero/Falso son comparativamente fciles de escribir.
Sin embargo, stos son de uso limitado en las pruebas de comprensin
profunda. La ventaja de ser fciles de calificar tiene como contrapeso una
desventaja: los que responden se inclinan a adivinar las respuestas cuando
realmente no las conocen. Al tratar de adivinar tienen una probabilidad de
50 a 50 de acertar.
temes de respuesta corta y de completar. Co m o lo sugiere el nombre, stos
demandan una respuesta corta, de una o dos palabras o llenar un espacio
en blanco.
Ejemplos:
Qu se produce en la basura y en los esputos?
(Respuesta: Microbios)
Resolver:
239
- 143
(Respuesta: 96)
El manmetro del vaporizador
muestra que tiene
(Respuesta: presin)
Los temes de respuesta corta y de completacin tienen que redactarse
con cuidado de mod o que no haya posibilidad de ms de una interpretacin
de la pregunta o la oracin incompleta. Por la redaccin del tem debe
obtenerse la informacin especfica que se requiere.
Establecer correspondencia. Esto implica aparear los temes de dos
conjuntos o columnas diferentes por su similitud o correspondencia de
acuerdo con alguna regla o relacin.
Ejemplo:
Columna 1
(1) Ecologa
Columna 2
(A) El patrn de cadenas de alimentos inter-
conectadas.
(2) D epredacin (B) La asimilacin y uso de alimentos orgnicos
para producir energa, crecer y reponer las
clulas.
(3) Nutricin (C) El estudio de cmo se relacionan los seres
vivos entre s y en el medio ambiente sin vida.
(D ) Una relacin entre dos tipos de organismos
en la cual uno se beneficia del otro matndolo y
comindolo.
Los temes de apareamiento deben ser relativamente cortos. Fjese que
hay tres alternativas en la columna 1 y cuatro en la columna 2. Esto
asegura que el apareamiento implicar una eleccin deliberada en todos
los casos bajo la Columna 1. Si una alternativa de una de las columnas
puede usarse ms de una vez hgalo saber a losque responden como parte
de la pregunta.
Seleccin-Mltiple. Los temes de seleccin mltiple son losma s verstiles
y efectivosde todos. Un tem de este tipo tiene un tronco seguido de varias
opciones entre las cuales se pueden seleccionar una o ms:
Ejemplo:
Un agricultor debe desmalezar temprano su cultivo de algodn:
[Tronco]
(a) Para que la maleza no ahogue el algodn
(b) Para que la maleza no consuma el alimento de la planta
(c) Para que el algodn tenga suficiente aire
(d) Para que el algodn tenga acceso a la luz
(e) Para que el algodn disponga de suficiente agua
(f) Porque la ma l eza podra facilitar la reproduccin d e insectos
peligrosos para el algodn.
(g) Para permitir un mejor crecimiento del algodn
(h) Para obtener una buena cosecha de algodn
Ntese, por favor, que en este caso la mayora de las opciones son
correctas. Elegir las opciones correctas y dejar las incorrectas sera como
escribir un corto ensayo sobre las ventajas de la limpieza temprana del
cultivo del algodn.
Normalmente, los temes de seleccin mltiple no tienen ms de cuatro
o cinco opciones, a diferencia del ejemplo, que tiene ocho.
Ensayo. Un evaluador que est desarrolando un SI G no escribir
generalmente una prueba de ensayo, pero no es imposible imaginarlo. E n
una clase de alfabetizacin los estudiantes pueden escribir alguna
composicin o ensayo como parte de su prueba al finalizar un ciclo de las
clases de alfabetizacin. Este es el tipo de prueba ms fcil de redactar y
ms difcil de calificar. Cuando los temes de ensayo se redactan con
cuidado, especificando exactamente lo que se solicita, este tipo de preguntas
s propician oportunidades de analizar, sintetizar y evaluar el contenido de
la materia. La objetividad de la calificacin de las preguntas de ensayo
puede aumentarse si los mismos maestros escriben respuestas modelo para
juzgar las respuestas del estudiante confrontndolas con las respuestas
modelo.
Simulaciones. Distintos tipos de simulaciones permiten posibilidades de
enseanza y de pruebas estimulantes. Se pueden disear diversos tipos de
simulaciones a fin de probar las habilidades de los capacitados para
desempearse en situaciones de toma de decisiones similares a las de la
vida real.
Pre-prueba para mejorar las pruebas
Para ser apropiados los temes d e las pruebas tienen que exa mina r lo que
se supone que se quiere medir, y deben redactarse bien para que comuniquen
a todos el m i sm o significado en forma clara y n o a mbigua .
L a redaccin d e los temes toma tiempo, y requiere paciencia y
habilidades que pued en desarrollarse con tiempo y paciencia. Al go que
debe hacerse es una pre-prueba de los temes y una cuidadosa revisin de
los mismos sobre la base de la pre-prueba.
D espus de usar una prueba a gran escala en un estudio evaluativo
debe revisarse la prueba otra vez, aun cuando no se vaya a volver a usar.
Esta revisin servir de capacitacin para escribir mejores pruebas para
otros estudios evaluativos.
Pruebas de velocidad, pruebas de poder y otras consideraciones en la
administracin de pruebas
Las pruebas deben aplicarse de mod o que los que responden no se sientan
temerosos ni ansiosos -lo que se conoce como "ansiedad ante la prueba"
puede llegar a ser un serio problema. E n efecto, en situaciones de programas
de desarrollo, en las cuales los participantes son adultos y tratamos tambin
con funcionarios del gobierno, encontramos que quisiramos administrar
una prueba a los adultos involucrados pero ellos no quieren que se les
aplique. A veces se puede ocultar algunos temes de prueba en un
cuestionario de opiniones o en una gua de entrevistas. Al aplicar una
prueba, los que responden deben estar sentados cmodamente y deben
explicarse las instrucciones sobre cmo completar la prueba.
Finalmente, las pruebas pueden ser de velocidad o de poder. Las
primeras deben completarse dentro de un perodo de tiempo determinado,
por ejemplo, 45 minutos o una hora. Al terminarse este tiempo, se recogen
los papeles de la prueba, sea que hayan terminado de responder o no. Las
pruebas de poder se aplican para determinar cunto han aprendido los que
responden (y no con qu rapidezpueden contestar las preguntas). E n este
tipo de pruebas, hay muchos ms temes que en una prueba de velocidad
tpica, y se reparte el tiempo generosamente, para permitir a los estudiantes
completar la prueba.
146 Herramientas y Tcnicas del SIG: Pruebas de Actitudes
SE CCI N D : Pruebas de Actitudes,
Observacin de Acciones y Resultados
E n las situaciones de trabajo de la vida real, las pruebas, las listas de
control y las encuestas sencillas sern los instrumentos ms usados en el
diseo de un SI G. Las actitudes que tienen los educandos y participantes y
los cambios producidos se estudiarn al realizar evaluaciones completas
usando enfoques de E N o de E R. L o mismo es vlido para los estudios de
impacto que incluyen la aplicacin de las nuevas habilidades y la adopcin
de ideas e innovaciones.
Sin embargo, los SIGs pueden incluir algunos datos sobre actitudes y
sobre las observaciones realizadas. E n nuestro ejemplo de un SI G para un
proyecto de alfabetizacin funcional, los datos del SIG pueden incluir las
respuestas de los participantes a preguntas sobre aspectos de actitud como
stas: Cree usted que es tan importante que asistan las nias a la escuela
como que asistan los nios? Cmo espera usted utilizar sus habilidades
para leer y escribir?
El alfabetizador (u otro agente de extensin) puede visitar la finca en
que trabaja el participante y su hogar y observar si ha adoptado algunas
innovaciones talescomo construir y usar una fosa para la basura y una
letrina, plantar el algodn en filas o usar fertilizantes y pesticidas y puede
registrar las observaciones en una lista de control. Basta un procedimiento
sencillo: asignar pesos y codificar los datos para que esta informacin
pueda incluirse en el SI G.
E n este manual, discutiremos el uso de las entrevistas y las
observaciones inestructuradas en la Parte IV : La Evaluacin a la Manera
Naturalista. Los cuestionarios, las escalas de actitudes y la observacin
estructurada se presentarn en la Parte V : La Evaluacin a la Manera
Racionalista.
SE CCI N E : Anlisis de los Datos
El uso de registros, formularios y pruebas en las clases de alfabetizacin y
los grupos para la generacin de ingresos, as como la aplicacin de otros
instrumentos en la comunidad -guas de entrevistas, encuestas de opinin
y guas de observacin- nos darn muchos temes y conjuntos de datos.
Estos datos tendrn que ser procesados y analizados para que seamos
Herramientas y Tcnicas del SIG: Anlisis de los Datos 147
capaces de responder las preguntas que se hicieron inicialmente en un
estudio evaluative La Figura 5 en la pgina siguiente ilustra en un diagrama
esta necesidad.
Las dos tareas de "procesamiento de datos" y "anlisis de datos" se
superponen un tanto. El procesamiento de los datos los prepara para el
anlisis. As, el procesamiento involucra el cotejo, la consolidacin, la
tabulacin y el verterlos en formatos adecuados para realizar el subsiguiente
anlisis. El anlisis de los datos es el proceso de usar una variedad de
operaciones cualitativas, cuantitativas, analgicas y lgicas para extraer de
los datos las respuestas a las preguntas iniciales del estudio evaluativo.
E n el caso de los datos del SI G el procesamiento comprender
normalmente la tabulacin de los mismos. E n el contexto de los datos del
SI G el anlisis de los datos consistir en un anlisis visual de conjuntos de
datos y unas pocas operaciones de estadsticas descriptivasc omo obtener
el promedio y porcentajes y otras razones para utilizarlas en grficos de
barras y de pastel.
El diseo de formularios y cuadros
El diseo de formularios, cuadros, registros y formatos para informes
peridicos se ha convertido en una especialidad en s misma . Sugerimos
que al disear esos formularios trate usted de aprender de otros proyectos.
Si fuese posible, se debe obtener un conjunto de formularios disponibles
para proyectos similares en otros departamentos (o pases) y tratar de
adaptarlos para usarlos en el suyo. Siempre pruebe previamente el conjunto
de sus formularios, cuadros, registros e informes antes de imprimirlos en
grandes cantidades.
Presentacin de los datos en grficos
Los datos del SI G generalmente se procesan para ser presentados en
diagramas y grficos variados. Los grficos lineales, de barras y de pastel
pueden ser m u y efectivos para presentar informacin til para los que
toman las decisiones. N o est dentro del mbito de este manual ensear el
diseo y la produccin de grficos y diagramas. Probablemente usted
encontrar algunas referencias en bibliotecas locales. E n las publicaciones
estadsticas de las Naciones Unidas, del Banco Mundial, o departamentos
nacionales y agencias de desarrollo y econmicas, y aun en la literatura
1
4
8

H
e
r
r
a
m
i
e
n
t
a
s

y

T
c
n
i
c
a
s

d
e
l

S
I
G
:

A
n
l
i
s
i
s

d
e

l
o
s

D
a
t
o
s

9

c

D

.
0

Necesidades de M onitor
del P rograma en Cuestii
i

*

L
.

^

w

'

g
<
2

T
3

w

nde D
s en el
0

0

"
O

~
0
.

R ecupera
A lmacena
f
e

p

C

:
9
, Codificacin, A grupac
Conceptos A propiados
acin
res y
tandariz
ndicado
C
O

L
U

C
D

"
O

m

:
2

0

0

c

5
e

Combir
en T en
-

t
n

Calificacin
de Dato:
(
O

0

C
D

-
9

R edaccin di
Informes P eriod
A

^

w

k

C
O

0

W

,
n

2

8

5
.
"
5

C
O

"
O

C
O

C
O

O

(
f
l
'
-
f
f
i

>

ion de lo
tos A pre
dos por 1
[gramas
O rganizac
en Forma
Establecii
uadros, Dia
0

t
n

o

r
a

Q

C
U

o

C
O

.
2

<
5

c

<

o

c

c
u

3

(
A

C
U

O

O

C
U

c

c
u

3

C
O

7
5

o

c

2

'
5

r
o

w

o

o

u
.

i
n

S
2

3

O
)

E

Herramientas y Tcnicas del SG: Anlisis de los Dalos 149
peridica, encontrar una variedad de grficos y diagramas que le
proporcionarn ideas tiles para la presentacin de los datos estadsticos
del SI G.
1. Realice el anlisis conceptual del concepto "auto-determinacin"
individualmente. Luego, hgalo participativamente en un grupo. Hay
diferencias entre las dos versiones del anlisis conceptual?
2. D esarrolle un conjunto de indicaciones para el concepto de
"alfabetizador efectivo" en su ambiente. En qu se diferencia del
ejemplo presentado en el manual?
3. Elabore una lista detallada de temes de conocimientos, principios,
habilidades y actitudes que usted quisiera que sus estudiantes adultos
hayan aprendido al finalizar su curso de alfabetizacin. Escriba una
prueba o conjunto de pruebas referida slo a los temes de conocimiento.
4. Le han hecho a usted recientemente preguntas como parte de una
evaluacin o algn tipo de encuesta? Qu recuerda que le haya parecido
bueno de la entrevista? Algo le irrit o le pareci inaceptable? Fue el
entrevistador capaz de ganar su confianza?
5. Qu observara usted si quisiera incluir uno o dos aspectos informativos
sobre "Hbitos de Trabajo en la Oficina"?
6. Mire un cuadro de estadsticas de alfabetizacin incluido en alguno de
los ms recientes informes de un programa de alfabetizacin o agencia
de desarrollo. Falta all alguna informacin til que podra haberse
incluido fcilmente en el cuadro? Ayuda el cuadro tal como est en el
anlisis "visual" de los datos presentados?
150 Herramientas y Tcnicas del SIG: Anlisis de los Datos
Notas
1. Gooler, D ennisD . "The development and use of educational indicators"
in Educational indicators: Monitoring the state of education.
Proceedings of the 1975 E T S Invitational Conference. Princeton, N. J. :
Educational Testing Service, 1975, page 15.
V er tambin Francette, S. Indicator-based educational and cultural
classification, grouping, and statistical analysis of the 25 least developed
countries. Paris: UN E S C O , Division of Policy and Planning, 1977.
2. Bl oom, B . S . et al. Taxonomy of educational objectives, Handbook I:
Cognitive domain. N e w York, N Y : D avid Mck a y, 1956.
3. Krathwohl, D avid R. et al. Taxonomy of educational objectives,
Handbook II: Affective domain. N e w York, N Y : D avid Mc Ka y , 1964.
CAPITULO 8
LA ELABORACIN DE INFORMES PERIDICOS
Y ESPECIALES BASADOS EN LOS DATOS DEL SIG
Los informes peridicos y especiales deben ser elaborados con base en
los datos del SIG y ponerlos a disposicin de los administradores del
programa en los distintos niveles del sistema de alfabetizacin. En los
informes peridicos se utilizarn datos que ya estn disponibles en el SIG
y se presentarn en forma agregada a los administradores a intervalos de
tiempo convenidos. Los informes especiales podrn hacer un uso ms
exhaustivo de los datos del SIG, o pueden requerir la recoleccin de datos
adicionales especficos para el propsito del informe especial. Para que
sean tiles, los informes peridicos deben presentar los datos nacionales
en el contexto del programa, un perfil del mismo que describa su desarrollo
a travs del tiempo, e informacin que capte la dinmica del programa,
haciendo comparaciones tiles y mostrando conexiones interesantes.
D urante el proceso mismo de su ejecucin se generan datos tiles en las
campaas, programas y proyectos de alfabetizacin. D esde luego, estos
datos son usados por los que toman las decisiones de varias formas en su
trabajo diario. Pero ese uso es frecuentemente reactivo, basado en sus
impresiones, falto de conexiones y poco sistemtico. En este manual hemos
sugerido que los datos generados por los programas durante su ejecucin
sean recolectados en forma sistemtica y comprehensiva para ser usados
de manera prospectiva al tomar las decisiones. D esafortunadamente, no
todas las iniciativas de alfabetizacin instalan un SI G.
Aun ms infortunado e inexcusable es que algunos programas hayan
establecido un SI G pero no lo usen para desarrollar la informacin til y
necesaria para tomar decisiones a diario. E n esos casos, hay un flujo de
cierto tipo de informacin hacia el nivel central, pero nadie hace nada con
ella. Los que toman las decisiones no han aprendido a utilizar "la
informacin" en la administracin de los programas. N o echan de menos
la informacin que un SIG que funcione adecuadamente podra haberles
suministrado. A su vez, no permiten que sus organizaciones dispongan del
152 Elaboracin de Informes basados en Datos del SIG
mnimo de recursos de tiempo y de personal que es necesario para elaborar
informes basados en el SI G. Se trata, en efecto, de un circulo vicioso.
Presentamos nuestra discusin sobre la elaboracin de informes
especiales e informes peridicos desde el punto de vista de las ventajas
para el sistema como totalidad. Aqu hablaremos de informes que son
escritos para y por los administradores del nivel ms alto, y presentan un
perfil del sistema total para tomar decisiones a este nivel. Sin embargo,
debemos mantener en mente el hecho de que cualquier informe realizado
sobre el sistema total es la culminacin a travs de la consolidacin de una
multiplicidad de informes generados en los nivelesms bajos del sistema,
desde los grupos de alfabetizacin de adultos en las aldeas, las provincias,
distritos, hasta los niveles zonales o regionales.
Tambin debe decirse que nuestra discusin en este captulo se restringe
a los informes peridicos ms o menos estandarizados. Los informes
especiales que hacen uso de los datos del SI G en combinacin con datos
especialmente recolectados en el contexto de un estudio de E R se discutirn
separadamente en el Captulo 16.
Un informe ideal es aquel que hace el mejor uso de los datos del SIG;
incluye un retrato del programa que puede comprenderse con facilidad;
presenta la informacin de una manera que se ajusta para ser utilizada en
acciones de seguimiento (monitoreo) y en la toma de decisiones; y por
ltimo, aunque no menos importante, se entrega en el momento oportuno.
En un captulo anterior, tambin hablamos de las dimensiones necesarias
y suficientes del SI G. Ahora podemos decir que un informe peridico
debe presentar al menos tres tipos de informacin:
1. Informacin sobre el contexto del programa, la cual no tiene que
ser necesariamente recolectada dentro del programa por los
funcionarios del SI G, sino que, tambin, puede obtenerse de otras
fuentes gubernamentales pertinentescomo de la Oficina del Censo
o de las que son responsables de las estadsticas econmicas,
sociales y educativas.
2. Informacin sobre el estado del programa, la cual describe en
unos pocos cuadros bien diseados, el estado actual del programa
y, particularmente, la estructura de acceso y de logro, e
3. Informacin sobre la dinmica del programa, la cual muestra las
tendencias antes y despus, y las conexiones entre los diversos
aspectos del programa.
Elaboracin de Informes basados en Datos del SIG 153
La portada
El informe peridico debe ser titulado en forma apropiada y precisa. D ebe
ser posible encontrar rpidamente a qu perodo corresponde el informe.
Tambin debe indicar la fecha en la cual realmente se termin el informe
para ser remitido a las autoridades ms altas. En otras palabras, debe ser
fcil de encontrar el lapso de tiempo transcurrido entre el perodo del
programa sobre el que se informa y el momento en que se complet el
informe.
El nmero del informe y el volumen al que pertenece tambin debe
indicarse. Es el primer ao que se publican estos informes? Es el primer
informe del ao? Si es el segundo de los cuatro informes trimestrales que
se publican cada ao, y si ste es el quinto ao en que se publican, el
informe puede indicar V olumen 5, N
Q
2.
Contexto del informe
El programa de alfabetizacin debe colocarse dentro del contexto del
desarrollo nacional del pas. D ebe establecerse brevemente el papel que se
asigna a la alfabetizacin dentro del cambio educativo y social que est en
marcha. D e ser posible, deben incluirse cifras sobre la alfabetizacin a
nivel nacional para que los lectores puedan comprender el tamao y el
alcance del programa de alfabetizacin particular sobre el cual se informa.
Prefacio: Cambios en los lmites, categoras, definiciones e indicadores
El informe debe incluir un breve prefacio que advierta a los lectores sobre
cambios en los conceptos y definiciones que se hayan producido en el
programa desde el ltimo informe. Algunas veces pueden haber ocurrido
cambios en los lmites de las provincias o distritos, lo que puede aumentar
o disminuir las cifras de matrculasy desercin. El programa puede haber
decidido categorizar los desertores de una manera diferente a como lo
haca antes, afectando as los datos del SI G durante ese perodo particular,
las definiciones de alfabetizacin quizs se hayan modificado hacia arriba
o hacia abajo segn los cambios concurrentes en las pruebas de lectura,
escritura y clculo numrico. Esto tambin originara cambios en las cifras.
Adems, pueden haber cambiado los indicadores: en lugar de aplicar pruebas
de actitudes, puede haberse decidido que se obtengan datos de auto-
informacin. Esto modificara el aspecto general de las cifras del SIG.
Siempre que se haya hecho este tipo de cambios en el programa debe
advertirse a quien lea el informe de mod o que la lectura que de ste se
haga sea apropiada.
Introduccin principal e introducciones de cada seccin
El informe debe comenzar con una introduccin general que describa las
caractersticas sobresalientes del informe como una totalidad. D e ah en
adelante, cada seccin del informe debe comenzar tambin con una
introduccin.
Datos presentados en cuadros
Los cuadros deben tabularse, como en el Cuadro 1 de la pgina 155, para
mostrar los cambios en la estructura del programa a travs de la dimensin
temporal. Tambin pueden expresarse convenientemente tabulados los
niveles de participacin y de logro y otros factores talescomo la capacitacin
y la experiencia de los maestros, como en los cuadros 2 a 8 que se
presentan en las pginas 155 a 159
1
.
Elaboracin de Informes basados en Datos del SI G 155
CUADRO 1
DATOS SOBRE EL CONTEXTO GENERAL DEL PROGRAMA
Ao Total de Estudiantes Hombres Mujeres Razn
Matriculados Hombres/Mujeres
1988
Urbanos
Rurales
Total
1989
Urbanos
Rurales
Total
1990
Urbanos
Rurales
Total
CUAD RO 2
PARTICIPACIN D E FUNCIONARIOS
HOMBRES VERSUS MUJERES
Categora Hombres Mujeres Razn
Hombres/Mujeres
Especialistas
del Programa
Supervisores
Maestros
Educandos
CUADRO3
COMPARACIONES CON EL PERIODO REPORTADO
INMEDIATAMENTE ANTES
Ultimo Trimestre Presente Trimestre
(Octubre-Diciembre 1989) (Enero-Marzo 1990)
1 2 3 4 1 2 3 4
Regin A
H
M
Total
Regin B
H
M
Total
Regin X
H
M
Total
Clave
1 : nmero de las cifras de matriculados desde el ao anterior
2: nmero de nuevos matriculados
3: nmero de desertores
4: nmero de graduados del programa
Elaboracin de Informes basados en Dalos del SIG 157
CUAD RO 4
D ESEMPEO EN ALFABETIZACIN:
LECTO-ESCRITURA (L-E) Y CALCULO NUMRICO (N),
FUNCIONALIDAD (F) Y CONCIENTIZACION (C)
Nmero
Hombres:
15-25
26-35
36-45
45 +
Mujeres:
L-E
P/3 S/3 T/3
Estructura de Puntajes
N F
P/3 S/3 T/3 P/3 S/3 T/3
C
P/3 S/3 T/3
Clave
P/3: Primer tercio, significa el tercio ms alto
S/3: Segundo tercio, significa el tercio intermedio
T/ 3: Tercer tercio, significa el tercio ms bajo
CUAD RO5
TIEMPO EMPLEAD O EN COMPLETAR LAS DIFERENTES
ETAPAS D E LOGRO EN ALFABETIZACIN
(COHORTE 1989, TOD AS LAS REGIONES)
Aos en el programa Para completar
El E2 E3
H M H M H M
0-1 aos
1-2 aos
2-3 aos
Clave
E : Etapa completada
CUADRO 6
PARTICIPACIN EN ACTIVIDADES
QUE GENERAN INGRESOS
N
9
Ttulo del Ao de Regin/ Cobertura
Proyecto Iniciacin Localidad H M
Orientadas hacia el beneficio personal
1.
2.
3.
Orientadas hacia el beneficio comunitario
X
CUADRO 7
CAPACITACIN DE MAESTROS
Total Faltan Nueva Incorporacin Capacitados
1985
1987
1989
CUAD RO 8
INTERRELACIONES D E ED AD , EDUCACIN, EMPLEO
Y OCUPACIN D E LOS MAESTROS POR SEXO
Edades Nmero Educacin Aos de empico Ocupacin
Previa/Actual
Hombres:
15-25
26-35
36-45
46 +
Mujeres:
15-25
26-35
36-45
46 +
Datos sobre post-alfabetizacin y la satisfaccin de los participantes con
el programa
Pueden disearse fcilmente cuadros comparables para programas de post-
alfabetizacin y para almacenar informacin sobre el grado de satisfaccin
de los participantes y su rendimiento subsecuente en opciones de post-
alfabetizacin.
Correlaciones simples basadas en los datos del SIG
N o hemos tratado en esta parte del manual sobre las estadsticas disponibles
para hacer comparaciones y establecer correlaciones. Sin embargo, los
datos del SI G pueden ser tratados para producir informacin sobre:
- Correlacin entre niveles de lectura y funcionalidad
- Correlacin entre niveles de lectura y concientizacin
- Correlacin entre niveles de clculo numrico y funcionalidad
- Correlacin ente niveles de lectura y satisfaccin
160 Elaboracin de Informes basados en Dalos del SIG
- Comparaciones basadas en el gnero
- Comparaciones basadas en las clases, y
- Comparaciones regionales
Presentacin de los datos tabulados
Un informe til, basado en los datos del SI G, siempre incluir cuadros y a
veces grficos de barras o de pastel. Para que los cuadros sean tiles deben
compilarse los datoscon exactitud y deben ser fciles de leer e interpretar.
Usted podr encontrar en una biblioteca local o en una librera algn
manual para escribir artculos, tesis y disertaciones de grado. Estos
proporcionan gran ayuda con indicaciones de sobre cmo disear los
cuadros. N o est dentro del mbito de esta monografa proporcionar
instrucciones detalladas sobre cmo disearlos. Nos conformamos con
darle las siguientes sugerencias generales:
1. Numere los cuadros como CUAD RO 1, CUAD RO 2, etc.
2. D le un ttulo de cada cuadro y cuide que ste sea preciso y
completo.
3. Tambin debern ser precisos y completos los encabezamientos
y descripciones usados en las filas y las columnas.
4. Coloque y espacie los datos correctamente, especialmente cuando
se presenten nmeros con decimales.
5. N o invente sus propias abreviaturas. Use slo abreviaturas
estndar, aun cuando se usen abreviaturas estndar, explquelas
en notas al pie del cuadro.
6. A veces se presentan estadsticas de distintos aos en el mismo
cuadro. Indique el ao al cual pertenece cada uno, por ejemplo:
Cifras de Poblacin Ingreso per capita Receptores de radio
en millones (1975) (1974) en uso (1975)
7. Separe las "estimaciones" de los "conteos reales". N o confunda
unos con otros.
8. D onde quiera que sea necesario, cualifique sus datos. Por ejemplo,
podra tener que decir: Las cifras no incluyen datos de Corea, o
no se han incluido en los datos los trabajadores domsticos, etc.
9. Estandarice sus calificaciones, de ser posible. Sin embargo, si los
datos estandarizados pueden prestarse a interpretaciones errneas,
incluya tambin los datos absolutos.
10. Algunas veces habr que incluir estadsticas comparativas en
cuadros para darle sentido a un determinado conjunto de estads-
ticas. Uno puede obtener una mejor idea del nivel de pobreza de
un pas viendo en el mismo cuadro cifras de ingreso per capita de
los Estados Unidos, Suecia o de algn pas vecino ms rico.
Datos presentados en grficos
La cuestin de preparar grficos para presentar los datos es importante.
Los grficos comunican las ideas en forma sencilla y atractiva, pero no
son siempre fciles de hacer. Ha y mucho que aprender sobre cmo hacer
grficos. Puede ser de inters para los lectores saber que existe una
organizacin nacional especial en los Estados Unidos: El Consejo de
Grficos Sociales en la Oficina de Investigacin en Ciencias Sociales, de
Washington, D . C . Esta realiz recientemente una Conferencia General
sobre el tema "Grficos para el Anlisis de los D atos y la Elaboracin de
Informes Sociales". N o est al alcance de esta monografa discutir en
detalle sobre la preparacin de grficos para presentar los datos. L o referimos
a cualquier manual estndar que pueda encontrar en su localidad sobre el
tema.
Nota sobre informes especiales
Los evaluadores pueden hacer un uso especial de los datos del SI G al
seguir los enfoques de la E N o de la E R. Los evaluadores inclinados por la
E N harn un uso descriptivo de los datos del SI G: los que prefieren la E R
pueden tomar muestras de los datos que ya existen en la base de datos del
SI G y someter a prueba distintos tipos de proposiciones.
Nota
1. Los cuadros en blanco presentados aqu fueron usados por el autor al
llevar a cabo la evaluacin de un programa nacional ejecutado por una
asociacin voluntaria en el Africa.
Parte IV
L a Evaluacin a la manera Naturista
La evaluacin naturalista (EN) fue primero introducida en el Captulo 2,
Parte I de este manual. Tambin se incluy una breve descripcin de la
misma en el Captulo 4, Parte II en el cual se present la E N como uno de
los tres componentes del tringulo metodolgico de la evaluacin: el SI G,
la E N y la E R. En la introduccin general a la parte III, sugerimos que
deba considerarse el SI G como la parte ms importante, de hecho, la ms
necesaria del tringulo metodolgico de la evaluacin y que sta deba
tener la primera prioridad en la asignacin de recursos.
L o que ahora sugerimos es que la segunda prioridad en la asignacin
de recursos debera normalmente ser el descubrimiento de cambios
cualitativos en las vidas de los individuos y las comunidades a travs de la
evaluacin naturalista. Estas no son recomendaciones que surjan de algn
dogmatismo metodolgico. E n realidad, estas recomendaciones han surgido
de una larga y variada experiencia en llevar a cabo evaluaciones, y ensear
sobre el tema, en situaciones del Tercer Mund o. Se ha descubierto que los
datos del SI G y de la E N son los que han tenido ms amplia utilizacin
por parte de los que toman las decisiones.
Nuestra discusin sobre la E N se dividir en los captulos siguientes:
9. La Evaluacin Naturalista - Teora, Preguntas y D iseo.
10. La Elaboracin de la Propuesta para un Estudio Evaluativo a la
Manera Naturalista.
11. El Proceso en una Mirada: Herramientas y Tcnicas de la
Evaluacin Naturalista.
12. La Elaboracin de Informes sobre Evaluaciones Naturalistas y la
Elaboracin de Informes Peridicos a la Manera Naturalista.
CAPITULO 9
LA EVALUACIN NATURALISTA - TEORA,
PREGUNTAS Y DISEO
La evaluacin naturalista (EN) busca estudiar la realidad en forma natural
-como un todo, en toda su complejidad; en su propio contexto particular;
en su flujo perpetuo, sin tratar de simplificarla ni reducirla a un diseo de
evaluacin manejable. La meta del diseo en un estudio de evaluacin
naturalista es asegurar la confianza que en l puede tenerse, lo cual, a su
vez, depende de la credibilidad, adecuacin, verificacin de los datos y
confirmacin del estudio.
La discusin del Paradigma Naturalista en el Captulo 2, Parte I, nos
proporciona un marco conceptual para la discusin de la teora de la E N en
el presente captulo. A continuacin se incluyen algunas observaciones a
manera de recuento y profundizacin de la explicacin.
La teora y la metodologa de la E N
L o que hemos sugerido antes sobre aspectos tericos y metodolgicos de la
evaluacin puede resumirse en dos preguntas interrelacionadas: Cul es la
naturaleza de la realidad? y Cmo debemos proceder para poder hacer
aseveraciones informativas y que proporcionen el conocimiento completo
de esa realidad?
D esde luego, la E N est enraizada en una teora de la "realidad" y
nuestro "conocimiento" acerca de esa realidad. D e acuerdo con el paradigma
naturalista, la realidad no est "ah afuera" para que cada cual la vea y la
registre. La realidad es una "construccin social". En otras palabras, como
individuos construimos nuestras propias realidades individuales; y todos
llevamos en nosotros los significados especiales que personalmente damos
al mund o. No es que para los cinco mil millones de habitantes que tiene
hoy el planeta, haya cinco mil millones o ms de realidades absolutamente
diferentes! Las interacciones sociales en las familias, comunidades y cultura
s crean realidades compartidas con distintos niveles de comunidad As,
una gran parte de nuestro mund o ha sido ya construido para nosotros.
166 EN - Teora, Preguntas y Diseo
A u n as, dentro de las comunidades compartidas de las comunidades y
culturas, hay realidadesque son nicas para los individuos. Estas versiones
nicasde la realidad, estos significados, son con frecuencia, tan importantes
que deben ser estudiados como singularmente lo sostienen los individuos o
los grupos, y no debemos perdemos en nuestros intentos de llegar a leyes
universales sobre la naturaleza humana.
Esto nos lleva a la concepcin de la naturaleza del conocimiento dentro
del paradigma naturalista. E n este paradigma el conocimiento no es universal:
parte de ste puede ser bastante general, y otra parte es particular. El
conocimiento es contextual, aunque el contexto puede variar en su mtito y
su vida temporal. Finalmente, el conocimiento est enraizado en la historia:
no es bueno y verdadero todo el tiempo. Por lo tanto, en la E N , no hablamos
de "generalizaciones" sino de "ideas perspicaces" (insights), que podemos
transferir a otras situaciones y otros tiempos.
E n la E N , la metodologa para estudiar la realidad debe ser holista. El
mund o real no debe ser factorizado y fragmentado para someter a prueba
hiptesis, estudiar causalidades o hacer predicciones. E n este mund o
sistmico y dialctico no debemos tratar de ver "redes de causalidades"
sino buscar "redes de plausibilidades" y en lugar de tratar de predecir,
debemos aspirar a construir expectativas razonables.
Puesto que la realidad es una construccin social, el conocimiento
producido por el evaluador tambin ser una construccin individual. Sera
absurdo aplicar a tal conocimiento los criterios racionalistas de confiabilidad
y validez. D esde luego, tendremos que aplicar algn conjunto de criterios
para dar a nuestras proposiciones evaluativas el estatus de "aseveraciones
justificables". Hablaremos de estos criteriosms adelante en este captulo.
El evaluador naturalista se usa a s mismo como instrumento y as
acepta la naturaleza subjetiva de toda evaluacin e investigacin. Ha y una
unidad entre el que conoce y aquello que conoce. L o que ofrece el evaluador
esuna construccin social fabricada sobre la base de un "intelecto agudo" y
una "percepcin clara" y refinada dentro de una dinmica que plantea
interrogantes, basada en la participacin y la colaboracin con otros. As se
erradica el subjetivismo idiosincrtico; se presenta con frecuencia una
multiplicidad de realidades, no una sola verdad; y puede hacerse una
proposicin general sobre la realidad que "se sustenta" c omo realidad
"objetiva" en ese contexto, en ese momento. V olvemos nuevamente al
concepto de "aseveraciones justificables", basadas en datosque son vividos,
tiles y crebles.
EN - Teora, Preguntas y Diseo 167
D esde que se propusieron definiciones, se discutieron los asuntos sobre
el diseo y se elaboraron metodologas, se han realizado muchos trabajos
en el rea de la evaluacin naturalista
1
.
Ha surgido cierta confusin cuando las "tcnicas" de recoleccin de
datos se han equiparado a la "metodologa". D ebe comprenderse, por
ejemplo, que el uso de tcnicas cualitativas de recoleccin de datos no es lo
que hace que un estudio evaluativo sea naturalista. En efecto, tanto la E R
como la E N hacen uso de tcnicas cualitativas. L o que es decisivo son los
supuestos ontolgicos (sobre la naturaleza de la realidad) y los supuestos
epistemolgicos (sobre la naturaleza del conocimiento) subyacente y c mo
se procesan los datos, una vez que han sido recolectados. As, la utilizacin
de tcnicas etnogrficas en la recoleccin de datos no asegurara que se
estuviera siguiendo un enfoque de evaluacin naturalista si tales datos se
vertieran en escalas nominales u ordinales y fueran sometidos a tratamiento
estadstico.
Sin embargo, hay un enfoque de la evaluacin que es congnito con los
mtodos de la evaluacin naturalista: la Evaluacin Participativa.
La EN y la evaluacin participativa
Co m o lo sugiere su nombre, la evaluacin participativa se lleva a cabo con
la participacin de las personas y los pblicos a quienes concierne. La
evaluacin se convierte en un proceso educativo y liberador. E n esencia, la
evaluacin participativa es aquella realizada por todos los que estn
involucrados en el desarrollo de un programa en colaboracin mutua. E n el
mejor caso, los organizadores juegan un papel de facilitadores, en tanto que
los usuarios del programa particular se hacen responsables de la misma . A
travs de la "accin dialgica", los participantes determinan cules son las
necesidades de evaluacin, qu informacin debe recogerse y c mo y qu
normas y estndares deben utilizarse para juzgar el xito o el fracaso. La
evaluacin participativa tiene los mismos supuestos que la E N , con la
caracterstica adicional de que conlleva un fuerte compromiso ideolgico
con la causa de los beneficiarios de los programas
2
.
Negociacin y colaboracin
D e acuerdo con la definicin de la E N que hemos dado en esta monografa,
sta incluye negociacin y colaboracin. En el volumen que editaron Reason
y Rowa n sobre nuevos paradigmas de investigacin, publicado en 1981,
consideran que la indagacin colaborativa es la esencia de la indagacin
humana
3
. En su libro de 1989, Guba y Lincoln llamaron negociacin en su
sentido ms amplio a lo que es la dinmica clave de lo que denominan
"Evaluacin de Cuarta Generacin"
4
. Es mediante la negociacin que el
evaluador puede potenciar a las personas para que renan el conocimiento
con la accin.
El contexto de realidad de la EN
Cronbach
5
ha hecho una distincin entre dos contextos de la realidad: el
contexto de la acomodacin y el contexto del control. E n este ltimo es que
son posibles los enfoques racionalistas. Pero en el contexto de la acomodacin
no tenemos ms alternativas que seguir enfoques de la indagacin naturalista.
Aqu debemos sealar dos puntos: uno, que el evaluador naturalista, sin
traicionarse a s mismo ni a nadie, a veces estar realizando estudios que
siguen supuestos y mtodos racionalistas; y dos, que los evaluadores
naturalistas, en el contexto de la E N , continuarn haciendo muchos conteos
y mediciones.
Preguntas para la E N - en el contexto de la acomodacin
El mbito de la E N es, realmente amplio. La E N puede buscar y encontrar
ms respuestas significativas a la mayora de las preguntas que enunciamos
en el Captulo 5 para el SIG. Y la E N puede tambin responder la mayora de
las preguntas que sern enunciadas en el Captulo 13 como adecuadas para
la E R. Sin embargo, la E N tiene sus preferencias. Es ms adecuada para
responder preguntas sobre las cualidades de los insumos y de los resultados,
preguntas acerca de la naturaleza de los procesos, acerca de las experiencias
humanas con los currculos y los programas y sobre los impactos del
programa en los grupos, instituciones y comunidades, as como acerca de la
totalidad de los contextos, lo cual simplemente no encaja en los conjuntos
de datos del SI G o en los diseos de investigacin de la E R.
La E N es quizs la nica va que podemos tomar cuando ni siquiera
sabemos qu hay que investigar o qu preguntarle a la gente. Co m o lo
seal Friederick Erickson
6
de un mod o perspicaz y sucinto, la pregunta
esencial en la E N es: Qu es lo que est sucediendo? Esta es una pregunta
perenne y de gran significacin. D e ella se deriva que en la E N no se hace
una pregunta como en el contexto de una prueba o en una entrevista
estructurada para obtener una respuesta correcta a la pregunta. Las preguntas
en la E N son excusas para iniciar conversaciones largas y sin un orden pre-
fijado entre los evaluadores y los informantes, durante las cuales se plantean
preguntas que no se haban anticipado y se construyen muchas respuestas
de gran significado.
E n el contexto ms concreto de la evaluacin de campaas, programas
y proyectos de alfabetizacin y post-alfabetizacin pueden plantearse los
siguientes conjuntos de preguntas. D esde luego, esta no es una lista
exhaustiva sino solamente ilustrativa:
1. Cmo explican los individuos (hombres y mujeres) en distintas
etapas de la vida su condicin presente de analfabetismo y
"desventaja"? V en ellos realmente el analfabetismo como una
desventaja? Cul es su "mito" que explica sus sufrimientos?
2. Cmo sobreviven los analfabetos, hombres y mujeres, campe-
sinos y trabajadores en las ciudades y los pueblos, en culturas
construidas sobre los supuestos de la escritura impresa? Qu clase
de simbiosis han desarrollado entre la literalidad y la oralidad los
que han llegado a ser semi-letrados?
3. Cules son las necesidades sentidas de los analfabetos y cules
sus expectativas sobre el programa que se les ofrece? Qu pasaba
por sus mentes cuando entraron el programa?
4. Cmo vivencian ellos el programa? Es til? Es inconveniente?
Contribuye a su auto-estima? Cmo influye en sus identidades?
Hay alguien que los est escuchando o es una intervencin ms
en sus vidas contra la cual ellosno pueden luchar para escaparse?
5. Cules piensan los participantes en el programa que son los
propsitos de quienes formulan las polticas? Preferiran ellos
programas desarrollados por organizaciones no gubernamentales
locales, o por la iglesia, la mezquita u otras organizaciones?
6. Qu parte del currculo les gusta ms? Preferiran ellos aprender
otras habilidades primero y alfabetizarse despus? Preferiran
aprender a potenciar sus capacidades frente al liderazgo local, los
polticos y el Estado, en lugar de aprender a leer, escribir y hacer
cuentas?
7. Cul de los maestros que ensean en la comunidad es el que les
gusta y por qu? Qu esperan de sus maestros?
8. Cmo les parece someterse a pruebas de lectura, escritura y
aritmtica? Creen ellosque las pruebas deben hacerse en la clase
o que deben ser pruebas nacionales como en Tanzania, donde se
hacen pruebas cada dos o tres aos en un da sealado, de mod o
que todos los que quieren presentarse pueden tomarlas?
9. Es til la alfabetizacin una vez adquirida? En qu forma?
10. Qu piensan ellos sobre la lengua de la alfabetizacin? D ebern
ensearse en lengua materna o en la lengua nacional oficial?
Quieren ellos alfabetizarse en ingls o francs? Por qu?
11. Vali la pena el tiempo que dedicaron a participar en el programa?
12. Qu querran ellos hacer con sus habilidades alfabetas? Qu
tiposde programas de post-alfabetizacin les gustara seguir?
13. Qu libroshan ledo ellos recientemente? Qu les gustde stos?
Les gustara a ellos escribir algo para que otros neolectores lo
lean?
14. Est sucediendo algo en la comunidad como totalidad? Hay
cambios en las relaciones sociales, econmicas, y polticas? Estn
cambiando los patrones de liderazgo?
15. Cmo ha contribuido la biblioteca o una institucin como el Centro
de Desarrollo Popular a cambiar las realidades del entorno?
16. Cmo ha afectado la alfabetizacin los hbitos de escuchar radio
en la comunidad?
Estas son las preguntas que pueden hacerse a los participantes. Otras
preguntas similares pueden hacerse a sus esposas e hijos, a los maestros,
lderes locales, funcionarios del distrito y otros. Las respuestas a estas
preguntas pueden aclarar muchas cosas.
A manera de resumen pueden destacarse los siguientes puntos acerca
de la E N :
La ENbusca significados: La E N no est interesada en los comportamientos
(como actos fsicos) sino en las acciones (los actos fsicosms los significados
que les dan los que los ejecutan). As, su credo es: significados en-los-
actos. Primero se desarrollan significados micos (desde dentro) lo cual
quiere decir que se delinean mltiples significados. D espus se conforman
los significados tnicos (los significados objetivados dentro de alguna
colectividad).
La ENreconoce causalidades mltiples, no nexos lineales causales: Junto
con el concepto de realidades mltiples viene el concepto de causalidades
mltiples. La causa no es lineal sino multidireccional: las entidades sociales
se hallan en un proceso continuo de definicin mutua entre s.
La ENse dirige a mltiples capas de universalidad: Gtando a Erickson, el
evaluador naturalista se interesa por "la particularidad ms que por la
generalizacin. Los conceptos universales se descubren al manifestarse de
mod o concreto y especfico, no en abstracciones y generalidades". Ha y
diferentes capas en la universalidad. El ncleo interno puede ser especfico
en la vida de un grupo determinado en un tiempo determinado, mientras
que las capas extemas pueden aplicarse sucesivamente a otros programas,
otras situaciones y aun a otras culturas y otros tiempos.
La En no somete aprueba teoras, utiliza la teora fundamentada: L a E N no
somete a prueba las hiptesis generadas por la teora y regresa a la teora
para enriquecerla. Utiliza la teora fundamentada y expande entonces su
comprensin terica.
La teora y la metodologa de la E N tambin se han concretado en
trminos del diseo de estudios de E N y en su metodologa especial. A esto
pasamos ahora.
El diseo en la evaluacin naturalista
Una razn de la inmensa popularidad de la evaluacin racionalista (ER) es,
como veremos, su concrecin. El paradigma de la E R puede sugerir la
validez interna y extema, la confiabilidad y la objetividad, como los pilares
de todo diseo de evaluacin. Entonces es capaz de sugerir diseos
experimentales o cuasi-experimentales estndar, procedimientos de muestreo,
asignacin de los sujetos a los tratamientos, controles experimentales,
mtodos de instrumentacin y frmulas estadsticas que protegeran la
validez, confiabilidad y objetividad que se presume se han establecido
inicialmente.
L a E N no acepta los supuestos que hace la E R sobre el mund o. Sin
embargo, es frustrante que personas ingenuas continen sometiendo a prueba
a la E N mediante la confrontacin con las normas de la E R. Se siguen
lanzando preguntas a los evaluadores naturalistas sobre la confiabilidad y
validez del diseo, y luego sobre la objetividad y generalizacin de sus
conclusiones.
Algunos de los problemas de la E N pueden ser internos. Es slo
recientemente que se estn concretando procedimientos propios de la E N
en el diseo y la metodologa. Somos conscientes de que no son suficientes
las aseveraciones como "el diseo de la E N es 'emergente'", y "la metodologa
de la E N utiliza el 'instrumento humano' como el instrumento para la
recoleccin de datos". El trabajo de Guba y Lincoln, al cual nos referimos
anteriormente, est comenzando a proporcionar mtodos y tcticas concretos
por los cuales el evaluador puede prepararse para que emerja el diseo (sin
sentirse engaado ni perplejo) y con las cuales puede ser "sistemtico" y
"objetivo" en el estudio de la realidad subjetiva.
El diseo en el diseo de evaluacin
El diseo (el propsito oculto) en cualquier diseo de evaluacin es cumplir
con ciertos criterios metodolgicos que aseguren las mejores "afirmaciones
verdaderas" que puedan hacerse acerca de una determinada realidad. Co m o
sugerimos antes, en la E R stos son la validez interna y externa, la con-
fiabilidad y la objetividad. E n la E N , el criterio que debe cumplirse es el de
confianza, el cual comprende cuatro componentes: Credibilidad (validez
interna en la E R) , Transferencia (validezextema en la E R) , Confiabilidad
(confiabilidad o respuesta en la E R) y Confirmacin (Objetividad en la
E R)
7
.
Credibilidad
La credibilidad se asegura mediante un compromiso prolongado con los
usuarios del programa y la observacin persistente en el campo. Se logra si
se permanece en terreno el tiempo suficiente y se pasa bastante tiempo con
las personas que responden a las preguntas. Tambin se obtiene credibilidad
mediante la triangulacin de las fuentes de datos, de los mtodos utilizados
y de los investigadores o equipos de investigacin. Pedir el concepto de un
colega desprevenido es probable que permita al evaluador mantenerse
honesto y alerta y esto aumentar la credibilidad del producto de la
EN - Teora, Preguntas y Diseno 173
evaluacin. Solicitar las reacciones de los participantes (control por los
miembros) a los hallazgos hechos con base en sus respuestas y cuyas
realidades son descritas por el evaluador contribuye a aumentar su
credibilidad. Finalmente, el anlisis de casos negativos tambin es una
ayuda. D ebe hacerse una bsqueda asidua de casos negativos, que parecen
ir en contra de lo general y cualificar apropiadamente todas las aseveraciones
que se hagan.
Transferencia
Las abundantes descripciones del contexto y los patrones encontrados
ayudarn a la transferencia. La gente podr escuchar en las descripciones
ecos de sus propias realidades y podrn recibir, en lugar de instrucciones,
algunas ideas perspicaces (insights) tiles -generalizaciones ricas en
particularidades.
Confiabilidady confirmacin
El uso de la verificacin del proceso y del producto contribuir a la
confiabilidad y confirmacin deseadas.
Se aconseja al diseador de un estudio de evaluacin naturalista hacer
todo lo posible por aumentar la credibilidad, transferencia, confiabilidad y
confirmacin. Pero esto puede no ser suficiente. Qu significa ir al ca mpo
sin una teora a priori, buscando los significados y as sucesivamente?
Sugerimos que el evaluador naturalista no vaya al ca mpo sin teora, lo cual
es imposible de todos modos, sino que vaya con "un conjunto conceptual
vaco" que le permitir "heredar la riqueza del conocimiento de las ciencias
sociales sin las condiciones y categoras impuestas por los administradores
de este conocimiento". Puesto que la evaluacin est integrada principalmente
al ambiente, sera mejor si el conjunto conceptual vaco del cual hablamos
estuviera inmerso en un modelo de cambio. D isponemos de un modelo tal,
conocido como el modelo C L E R (configuraciones, nexos, ambientes,
recursos) de Bhola
8
.
El uso del modelo de cambio CLER como esbozo para un diseo flexible
Es imposible ir al ca mpo con una mente absolutamente abierta y dejar que
las teoras surjan del terreno, emerjan los diseos y los temas se muestren
por s mismos. La intencin real aqu es que vayamos al terreno de un
mod o dialctico, no del mod o experimental. N o vamos hurfanos de teora
en la tradicin de las ciencias sociales, pero tampoco vamos para someter a
prueba las teoras. Miramos la realidad y observamos los patrones en los
cuales parece enmarcarse. N o tenemos hiptesis que someter a prueba,
pero s hacemos conjeturas; y queremos ser cuidadosos de que aun stas no
nos impongan una percepcin selectiva, y nos impidan observar lo que
realmente est sucediendo. N o tenemos muestras aleatorias o seleccionadas
estadsticamente, pero s tenemos ideas sobre las fuentes de los datos, los
lugaresms adecuados para comenzar antes de que tenga lugar el proceso
envolvente de "bola de nieve". N o tenemos instrumentos estructurados que
hayamos probado, pero s tenemos ideas de los temas sobre los cuales
haremos preguntas y de cmo manejar la interaccin entre el evaluador y el
sujeto. Finalmente, no buscamos leyes universales pero s queremos hacer
aseveraciones sobre la realidad que sean verdaderas en su contexto y que
puedan generar ideas (no instrucciones) para los programas y para quienes
ejercen la prctica en otras situaciones.
L o que uno realmente tiene que hacer es ir al terreno provisto de un
modelo tan flexible que pueda servir como "conjunto conceptual vaco de
contenedores" en los cuales se puedan verter las realidades segn se van
encontrando. Puesto que la evaluacin busca medir el cambio en la ejecucin
de los sistemas de los programas, ser preferible un modelo que se ocupe
del cambio. El modelo C L E R es un aporte que cumple estos dos criterios
(se ocupa del cambio y es un conjunto conceptual vaco). Aqu lo
presentamos brevemente.
E n el modelo la C se refiere a las configuraciones y relaciones
configuracionales, la L a los nexos Oinkages, en ingls) entre el sistema de
planificacin y el de adopcin y los vnculos entre los actores de ambos
sistemas. E (environment), es el ambiente que circunda estos sistemas -el
cual puede no ser el mismo para cada uno. R se refiere a los recursos- que
el sistema de planificacin necesita para promover el cambio, y el de
adopcin para incorporarlo.
El modelo sugiere que para promover el cambio se debera,
sinrgicamente, optimizar las cuatro variables. Para evaluar el cambio debera
observarse "lo que est sucediendo" con los significados que tienen las
configuraciones y con la calidad de las relaciones entre s, qu est sucediendo
con los vnculos entre las personas, los grupos y las instituciones; qu est
sucediendo con la generacin y asignacin de los recursos; y qu est
sucediendo en el ambiente dentro del cual viven los individuos y los grupos
y las comunidades. E n otras palabras, uno debe preguntar todas aquellas
preguntas que segn Erickson estn preservadas especialmente a la
evaluacin y la investigacin interpretativas.
As, hay que ir al terreno para ver los cambios en el conjunto de las
configuraciones, los nexos, el ambiente y los recursos en varios momentos
en el tiempo:
Tiempo (1) Descripciones en trminos de cada uno de los
componentes
Tiempo (2) Descripciones en trminos de cada uno de los
componentes
Tiempo (n) Descripciones en trminos de cada uno de los
componentes
En el prximo captulo, que se refiere a la elaboracin de una propuesta
para un estudio evaluativo a la manera naturalista, se profundiza la discusin
sobre este tpico.
Algunos diseos populares de EN
Siguiendo el ejemplo de la E R, que tiene toda una serie de diseos
experimentales y cuasi-experimentales fijos, en la que estamos viendo los
comienzos de proponer formas de ocuparse de esto, las cuales pueden,
como procedimientos y parrones, ser compartidas con otros. Algunas de
estas formas de ocuparse de ello pueden llegar a ser diseos de clases.
Encuesta de opinin a travs de crculos hermenuticos
Los llamados crculos hermenuticos podrn algn da verse como la
respuesta de la E N al diseo de la encuesta de opinin de la E R.
E n la Escuela de Educacin de la Universidad de Indiana, haba
necesidad de desarrollar una proposicin que reflejara el punto de vista de
las facultades sobre el futuro de la Escuela de Educacin hasta el ao 2000.
E n lugar de realizar una encuesta tpica, se llev a cabo una E N , usando
como "diseo" los crculos hemenuticos. Veinte miembros de la facultad
accedieron voluntariamente a servir como lderes de grupos. Cada uno
eligi hablar con otros cinco miembros de la facultad. El lder del grupo
(Gl) habl con un miembro de la facultad (Fl) primero. Las construcciones
de este encuentro Gl-Fl se presentaron al miembro de la facultad (F2) y
as sucesivamente, hasta cubrir los cinco miembros. Se supona que habra
una segunda vuelta pero esto fue imposible por las exigencias de tiempo.
Al finalizar la primera vuelta el lder del grupo (Gl) se reuni con todos
los otros (Fl, F2, F3, F4 y F5) en grupo. Los 20 grupos pasaron por este
proceso.
Los 20 lderes de grupo (Gs) se dividieron en cuatro grupos de cinco
miembros cada uno y eligieron en cada grupo dos miembros adicionales
todos pertenecientes al Comit de Planificacin a Largo Plazo de la Escuela
de Educacin, que haba comisionado este estudio. As se desarroll una
segunda generacin de construcciones.
E n una tercera etapa se seleccionaron veinte representantes (por sus
diversos puntos de vista, no porque pertenecieran a distintos departamentos)
para que formaran parte de un comit que produjo un informe. Este informe
no se propona desarrollar un consenso sino describir las divergencias que
se haban tratado.
Este informe final con sus recomendaciones se envo a toda la facultad
para someter a "votacin" la aceptacin del informe completo, o en parte,
con las observaciones necesarias. Entonces se remitieron todos los informes
y los datos a los que toman las decisiones para proceder a su ejecucin.
E n la opinin de este autor este conjunto de procedimientos equivale a
un "diseo" de encuesta de opinin. Es necesario construir otros diseos
que tengan potencial para llevar a cabo evaluaciones naturalistas.
El muestreo como elemento del diseo en la EN
Co m o podemos deducir de la anterior discusin, hay elementos de diseo
incorporados en la seleccin de muestras, instrumentacin y mtodos de
recoleccin de datos. Esto ser tratado en detalle en otro captulo ms
adelante. Por el momento, recordemos a los lectoresque las muestras de la
E N no son aleatorias sino propositivas y como las han designado Guba y
Lincoln, seriales y contingentes.
Tambin queremos advertir a los evaluadores naturalistas contra el
desarrollo de una ortodoxia propia. L a entrevista inestructurada y las
observaciones (con retratos, ancdotas y citas directas de los actores
involucrados) permanecern siendo las tcnicas favoritas de recoleccin de
datos y de presentacin del evaluador naturalista. Sin embargo, hay que
recordar que la E N usar tanto la induccin como la deduccin; as como la
narracin, por una parte, y los diagramas analticos, cuadros de resumen y
estadsticas descriptivas, por la otra.
1. Hay en su tradicin cultural algo que le recuerde la teora y la
metodologa de la E N ?
2. Esta usted personalmente convencido de que la E N es la va adecuada
en su programa particular? Cmo puede ayudarle? Podr usted
convencer a las autoridades superiores para que apoyen la E N ? Cmo?
Con qu expectativas de xito?
Notas
1. V er Lincoln, Y . S . y Guba, Egon G. , Naturalistic inquiry. Beverly Hls,
C A : Sage, 1985. Y tambin, Williams, D avid D . (ed), Naturalistic
evaluation, edicin especial de New directions for program evaluation,
W 30, junio 1986.
2. Para una definicin y discusin de la accin dialgica, ver Freir,
Paulo, Pedagogy of the Oppresed. N e w York, N Y : Herder y Herder,
1970. Para la evaluacin participad va referirse al trabajo que se realiza
bajo los auspicios del Consejo Internacional de Educacin de Adultos,
Toronto, Canad.
3. Reason P. y Rowa n, J. (eds.). Human inquiry: A sourcebook of new
paradigm research. N e w York, N Y : John Wiley and Sons, 1981.
4. Guba, Egon G. y Lincoln, Yvonna S. Fourth Generation Evaluation.
Newbury Park, C A : Sage, 1989.
5. Cronbach, Lee, et al. Designing evaluations of educational and social
programs. San Francisco, C A : Jossey-Bass, 1982.
6. Erickson, Frederick, "Qualitative reaserch in teaching". E n M . C .
Wittrock (ed.), Handbook of research in teaching (3rd. edition), N e w
York, N Y : Macmillan, 1986.
7. Guba y Lincoln: V er la Nota 4 arriba.
8. Bhola, H. S . "Planning change in education and development: The
CL E R model". Viewpoints in teaching and learning, V ol. 58, N
2
4, Fall
1982, pp. 1-35. Y tambin Bhola, RS . , "The CL E R Model of innovation
diffusion, planned change, and development: A conceptual update and
applications". Knowledge in Society: An International Journal of
Knowledge Transfer, V ol. 1 W 4, pp. 56-66, Winter 1988-1989.
CAPITULO 10
LA ELABORACIN D E UNA PROPUESTA
PARA UN ESTUDIO EV ALUATIV O
A LA MANERA NATURALISTA
El uso de diseos emergentes y del instrumento humano en la Evaluacin
Naturalista (EN) no significa que puede llevarse a cabo sin preparacin
formal alguna; y, por lo tanto, la elaboracin de una propuesta formal
sea innecesaria. En efecto, la ENrequiere una concienzuda preparacin
al igual que cualquier otro tipo de evaluacin o investigacin. Las
propuestas deben elaborarse para demostrar que el evaluador conoce el
contexto general del estudio, tiene bases en investigacin en ciencias
sociales y tiene algunas ideas sobre los temas que deben tratarse; posee
ideas preliminares sobre los lugares y las fuentes de datos; ha pensado
sobre posibles instrumentos y equipos que puede usar para registrar los
datos; ha planificado los aspectos logsticos de la recoleccin, confrontacin
e interpretacin de los datos, ha tenido el cuidado de establecer
procedimientos de verificacin de los procedimientos evaluativos y los
resultados; y es sensible a la obligacin de remitir informes a las distintas
partes interesadas, incluyendo a quienes respondieron a las preguntas del
estudio.
La E N no es para mentes dbiles y confusas que no puedan manejar
realmente la materia! E n efecto, la E N puede ser ms exigente y desafiante
que la evaluacin y la investigacin racionalistas, que nos presentan un
mund o de certezas, con mapas de ruta conceptuales claramente sealados,
y pasos y frmulas de procedimiento para todo lo que es probable que
encuentre el evaluador.
La metodologa de la E N es difcil porque no ofrece frmulas sino
marcos referenciales para el pensamiento y la accin. Nunca permite al
evaluador dejar de pensar y simplemente seguir instrucciones. Exige que
el evaluador tenga en cuenta tanto el patrn general como el detalle
especfico; debe ver y ver a travs; y debe utilizar, al mismo tiempo, las
dos grandes herencias de la humanidad: el pensamiento lgico y la
percepcin aguda.
180 Elaboracin de un a Propuesta para un Estudio EN
L a E N no es la segunda mejor alternativa para responder algunas
preguntas de evaluacin. E n el Captulo 9, presentamos una lista de tipos
generales de preguntas que Erickson
1
sugiri para el dominio de la E N ; y
estos son los tipos de preguntas que realmente no pueden ser contestadas
por la evaluacin racionalista, sin cortarlas en pedacitos y cambiando as
el fenmeno que se estudia. Recordemos algunos aspectos de la
alfabetizacin de adultos que podan ser evaluados a la manera naturalista:
1. Qu ha sucedido y sucede en una comunidad y en sus vidas por
la llegada de las clases de alfabetizacin funcional?
2. Cm o vivencian todos los involucrados la planificacin y la
evaluacin participativa?
3. Qu sucede con la poltica de educacin de adultos segn se
comunica del centro a las provincias, los distritos y los polos de
desarrollo?
4. Por qu en algunas comunidades completan su participacin en
los programas de alfabetizacin ms hombres que mujeres? Son
los patrones de participacin de los hombres y las mujeres similares
en la educacin primaria formal, en otros programas de desarrollo,
en la iglesia y otros grupos sociales?
C o m o podemos suponer, la E N es ms promisoria para llevar a cabo
estudios exploratorios y diagnsticos de necesidades, para realizar estudios
de lnea de base; para la definicin de los problemas y la invencin de
soluciones locales; para la investigacin organizacional y, finalmente, para
desarrollar estudios de impacto. Los enfoques naturalistas pueden aportar
tambin datos tiles a otros intereses de la evaluacin, como la evaluacin
del personal y la evaluacin del currculo.
Las propuestas para los distintos tipos de estudios evaluativos sern
algo diferentes, pero las siguientes inquietudes se reflejan normalmente en
una propuesta
2
.
1. L a evaluacin debe permitir al evaluador desarrollar un escenario
conceptual dentro del cual pueda surgir el diseo de evaluacin,
desarrollarse las muestras, hacer entrevistas y observaciones,
recolectar e interpretar los datos, verificar las huellasque quedaron
atrs, sin demasiadas sorpresas desagradables, rudos choques o
serias interrupciones.
Elaboracin de un a Propuesta para un Estudio EN 181
2. D ebe permitir al evaluador desarrollar el apoyo logstico adecuado
para la conformacin de equipos de evaluacin, la capacitacin
de los evaluadores y sus asistentes, y su desplazamiento y
alojamiento en los lugares de trabajo de campo.
3. D ebe ser un instrumento de comunicacin con otros que pueden
proporcionar ayuda profesional, aprobacin formal y presupuesto.
Elementos de una propuesta de E N
Una propuesta para un estudio de E N debe incluir los siguientes aspectos.
T omemos el ejemplo de un estudio de impacto que es probable que incluya
todos los tipos de preguntas que deben plantearse y contestarse.
1. La delineation de contextos
Las muchas capas del contexto que circunda la situacin deben describirse
brevemente. Esto puede incluir el contexto ms amplio de desarrollo del
pas, pero ciertamente contendr las interacciones de los "medios para
obtener los fines" que estn incorporadas al programa. D esde luego, incluir
una breve historia del programa o proyecto en cuestin con una descripcin
precisa del presente estado de cosas.
D ebe anotarse que esto requerir un estudio de los documentos de la
poltica y de los planes de desarrollo, as como de las estadsticas (quizs
del SIG) sobre el programa mismo.
2. La problemtica y el foco de inters inicial
Cules son los problemas generales, contradicciones, frustraciones,
desacuerdos e interrupciones generales interrelacionados, que las personas
involucradas en el programa parecen haber vivido? Es posible organizar
todo o parte de esto alrededor de un tema de inters inicial que podra
utilizarse para penetrar y explorar la realidad. El tema no es, entonces, la
determinacin del problema en el sentido clsico ni es una pregunta. El
tema debe utilizarse dentro de un contexto temporal y espacial, y de una
manera que permita que emerjan el problema y su solucin, la pregunta
as como la respuesta.
3. La clarificacin del tema
Los evaluadores naturalistas deben estar al tanto del conocimiento cientfico
social que podra sustentar sus intereses temticos. Mientras no preparen
una resea de la literatura en el sentido tradicional, considerarn la literatura
que ilumina la problemtica. Mucho de esto ser material descriptivo de
estudios de caso de otros programas y proyectos similares. Ad ems, esto
les ayudar a desarrollar una perspectiva comparativa del proyecto que se
evala, as como a crear algunas conjeturas. Ser til, y an necesario, que
el evaluador naturalista hable con colegas que tengan experiencia, quienes
pueden compartir con l su conocimiento tcito y contribuir al cmulo de
expectativas del evaluador.
4. Un "marco del flujo" de las realidades del campo
Se dice con frecuencia que el evaluador naturalista no va al terreno a
someter a prueba hiptesis generadas de una teora a priori. Tambin se dice
que trabaja con una teora fundamentada. Sin embargo, ninguna de estas
afirmaciones debe tomarse en un sentido absoluto.
Puede ser que el evaluador naturalista no tenga hiptesis, pero tendr
inters en algunos temas generales y gran cantidad de intuiciones y
conjeturas. Es imposible dejar en casa todo nuestro bagaje terico al ir al
terreno. L o que necesitamos como evaluadores naturalistas son tipos
especiales de teora que no controlen sino que estn en connivencia con
nosotros en nuestra bsqueda. Toma nd o prestados los trminos de la
literatura sobre organizacin e instituciones, estas teoras tienen que ser
"potencializadoras" o "de convivencia".
El modelo C L E R puede proporcionar el enfoque deseado; es un modelo
que debe usarse en la etapa de elaboracin de la propuesta para generar
escenarios mayores. E n un estudio del impacto de un programa este modelo
podra utilizarse para desglosar los temas como sigue:
Configuraciones
Cules deben estudiarse: Individuos, Grupos, Instituciones o Comunidades?
A qu relaciones configuracionales debe prestarse atencin especial: las
de Hombres-Mujeres, Jefe-Comunidad, Agricultores Independientes-
Cooperativas? Qu aspectos de sus relaciones deben estudiarse?
Nexos
El grado, la direccin y la calidad de los vnculos entre las personas deter-
mina la calidad de vida en una sociedad. Cul es la estructura de clases?
Responden los lderes y las instituciones a las necesidades de las personas?
Recursos
El modelo C L E R habla de seis tipos de recursos: conocimiento, influencia,
materiales, personal, instituciones y tiempo. Estn disponibles los recursos
apropiados? Son bien utilizados los recursos? Genera la comunidad
recursos propios? Est algn grupo o clase captando los recursos que
deberan ir a otra parte si se obrara correctamente?
Ambiente
Hay un ambiente de esperanza? Cules son los signos? Se justifican
estas esperanzas?
Co m o podemos suponer, el examen en los trminos del C L E R
establecer los lmites de la evaluacin; separar lo pertinente de lo que no
lo es, proporcionar un conjunto de "contenedores vacos" para las ideas
perspicaces, proporcionar ideas sobre muestras y lugares que se deber
incluir y acerca de los formatos y los contenidos de los instrumentos.
5. Lugares y fuentes para la recoleccin de datos
Qu lugares se seleccionarn para la evaluacin naturalista? En qu
orden podran visitarse? Qu individuos proporcionarn los datos? D esde
luego, no nos referimos a una pre-seleccin de los individuos en la muestra,
sino el tipo de personas que harn parte de una muestra propositiva que
habr que identificar. D nde comenzamos a maximizar los alcances de la
informacin? A dnde ir despus, para profundizar la informacin?
6. Cmo trabajarn los evaluadores?
Trabajarn en equipo? habr ms de uno? trabajarn por separado y
aparearn las respuestascomo parte de la comprobacin de los datos? Si
esto es as, cmo y con qu frecuencia se hara? cundo tendr lugar el
control por parte de los miembros que proporcionaron los datos para ase-
gurarse de que sean correctos? en una sola vez o en mltiples ocasiones?
se dejarn pistas para la verificacin? acompaarn los auditores a los
evaluadores? cmo se relacionar su trabajo con el de los evaluadores?
7. La determinacin de los mtodos y el uso de equipos de grabacin
Qu mtodos se usarn para la recoleccin de los datos? Pueden usarse
entrevistas, observaciones, anlisis de documentos y registros, medidas no
reactivas de varios tipos y otros mtodos cualitativos. Se usarn fotos,
cintas de audio, cmaras de pelculas o de videos? Qu se har con los
materiales recopilados, y cundo?
8. Auto-capacitacin y capacitacin de los trabajadores de campo
Los evaluadores naturalistas necesitan prepararse, especialmente si se trata
de su primera E N . N o resulta inconcebible pasar por algn tipo de
experiencia grupal, que les permita lograr mayor claridad y aumentar su
sensibilidad. D eben tambin adquirirse habilidades especficas para realizar
entrevistas y observaciones. Estas deben ensearse con paciencia y cuidado
a todos los que van a actuar como colaboradores del evaluador naturalista.
9. Otros aspectos logsticos
Estos incluirn los arreglos usuales de viaje, estada en terreno, manejo de
emergencias de salud y otras.
10. Modos de interpretar los datos
L a E N implica una interpretacin colectiva de los datos. D ebe prestarse
una atencin sistemtica a la forma de reunir estas colectividades y de
llevar a trmino el proceso de interpretacin. Con quines negociarn los
evaluadores y cmo lo harn?
11. Las pistas para la verificacin
Igualmente, debe prestarse atencin a la verificacin del estudio. Los
evaluadores tendrn que decidir sobre qu hacer para que las auditoras
sean significativas. Una de las cosas que puede hacerse es que todos los
involucrados lleven un diario de reflexiones. Qu otros registros se llevarn
para que los cambios en temas, muestras, etc., queden registrados para una
verificacin posterior?
12. La elaboracin de informes
D ebe proponerse el tipo de informes que se harn. Algunos podrn ser
orales, otros escritos. Las audiencias sern diferentes. La propuesta tambin
deber discutir cuestiones acerca de si se incluirn grficos, diagramas,
matrices, cuadros y estadsticas descriptivas (ver Captulo 14).
1. Cules son algunas de las necesidades de informacin que pueden
satisfacerse por medio de la E N ?
2. Escriba una propuesta para realizar un estudio evaluativo a la manera
naturalista. Pdale a un colega que lo critique.
Notas
1. Erickson Frederick, "Qualitative research in teaching". E n Wittrock,
M . C . (ed.), Handbook of research in teaching. (3rd. edition), N e w York,
N Y : McMillan, 1986.
2. Quienes estn familiarizados con los trabajos de Egon G. Guba e
Yvonna S. Lincoln reconocern mis muchas deudas con su trabajo.
Tambin he usado y adaptado muchas ideas de "Essential Elements in
a Naturalistic Thesis Proposal", documento preparado por Egon G.
Guba para ser usado por los estudiantes de doctorado de la Escuela de
Educacin de la Universidad de Indiana.
CAPITULO 11
HERRAMIENTAS Y TCNICAS DE
LA EVALUACIN NATURALISTA
El hecho ms importante de la evaluacin naturalista es que no presenta
excusas por el uso del individuo humano como instrumento de recoleccin
de datos. No tiene pretensiones de construir instrumentos "confiables" que
recojan datos "objetivos". En efecto, los instrumentos ms ampliamente
utilizados en la ENson la entrevista inestructurada y la observacin
participante. Los materiales documentales tambin son muy usados. El
evaluador naturalista no pretende permanecer por juera de su estudio
evaluativo. Con frecuencia se hace uso de un diario reflexivo para registrar
las ideas y experiencias personales.
L a evaluacin naturalista busca estudiar la vida como una totalidad, con
todas sus complejidades, tal como est enraizada en su contexto y es
vivenciada por aquellos que estn inmersos en la realidad que se estudia.
Es un encuentro personal, no cualquier examen desapasionado.
1
Por lo tanto,
no debe sorprendernos que el evaluador naturalista quiera ver, preguntar e
interactuar para reunir todas las cosas.
El instrumento bsico en la E N es el huma no -el evaluador mismo.
Puesto que la E N est interesada en los significados del actor y su contexto,
casi siempre se utiliza la entrevista y la observacin inestructuradas de
m o d o que puedan hacerse ricas descripciones (que dan al lector el
sentimiento de haber estado ah). Estas descripciones deben tener resonancia
y ser coherentes. Otras herramientas y tcnicas son las del anlisis de
contenido de los documentos.
2
L a Figura 6 de la pgina 187 presenta en forma grfica la progresin
caracterstica de la indagacin naturalista. Co m o puede observarse en el
diagrama, la fase de recoleccin de datos tpicamente comprender
entrevistas, observaciones, anlisis documentales y el uso de diarios
reflexivos. Co m o parte del anlisis de los datos; estos datos sern sometidos
al sub-diseo del crculo hermenutico para obtener los resultados
H
e
r
r
a
m
i
e
n
t
a
s

y

T
c
n
i
c
a
s

d
e

l
a

E
N

1
8
7

esultados
euristica
eamientos
ptesis de
Trabajo
Modelos
C
C
^
^
i
f

iL

^

'

Revisar/Refina
los
ores
rcon
stigad
iscut
-inve
Q

O

o

i

i

1

Sintetizar
i

c

ormacic de Inf dades
s a
cular las Nec
e

<

S

m

valu
L
U

0
3

o

C
/
3

C
O
Tem tudes y
n
mular las Inq
U
_

m
i

H
C
:
-
:

Instn
.
*

s
:
;
;

?
:

ta: El Evalua
:
:
s

;
:
Z
K

i

sar con
revistad
#
L
U

i

l

ribir /
sar
Transe
Revi
i

,

trevistar
c

L
U

L

r
e

M

al
c
=

<

i
L

1

C
/
3
arcon
resado
C
O

0
3

|
S

|

il

S

Elabo
Anal
L

bservar
o

emas
-
O

:er Nuevos pre ble
r
e

C
/3

L
U

t
=

taci
C
Z

0
3
ocum a ylaD tur visar la Litera
0
3

C

vo Reflex

ntener un Dia
C
O

:
>

j
r
g

o

O

.
O

*
^

Z

E

c
u

_
o

3

O

<
5

o

c
e

L
U

O

C
O

C
O

o

C
D

"
O

O

o

S
i

o

o

o

c
e

1

(
0

z

O

"
5

r
e

,
3

C
O

>

L
U

O

o

o

t
f
l

a

o

o

L
U

2

3

O
)

L
U

188 Herramientas y Tcnicas de la EN
requeridos, en trminos del estudio y/o la heurstica, lincamientos gua,
hiptesis de trabajo o modelos.
M todos de recoleccin de datos
A continuacin incluimos algunas notas sobre algunas herramientas tpicas
de la E N .
La entrevista en la EN
La entrevista en la E N es inestructurada en el sentido que no pregunta al
entrevistado una serie de preguntas estndar ya hechas pero es estructurada
en un sentido ms profundo y en un nivel superior. E n trminos de Paulo
Freir, tal entrevista puede describirse como dialgica. Su propsito no es
obtener respuestas a las preguntas, sino permitir al entrevistado describir
su mund o en sus propias palabras. Sugiriendo cuestionamientos genuinos,
haciendo comentarios serios y tranquilizadores y proporcionando refuerzos,
el entrevistador puede llegar a interactuar profundamente con el entrevistado
quien podr entonces formular coherentemente lo que para l significan
las realidades de su entorno.
3
El entrevistador comienza por plantear temas generales y exponer las
races problemticas de ciertos temas. D espus de establecer los lmites
generales del tema de la entrevista, el entrevistador naturaliza deja que el
entrevistado se haga cargo del curso de la misma. El entrevistador escucha
con inters y simpata, animando al entrevistado a profundizar sus
explicaciones, a volver a algn punto anterior, a seleccionar, juzgar y
tomar posiciones. Una entrevista como sta dura normalmente varias horas.
La evaluacin naturalista es, efectivamente, un trabajo intensivo.
Las entrevistas en profundidad pueden ser registradas por el
entrevistador tomando notas en presencia del entrevistado o inmediatamente
despus, cuando el entrevistador tiene todo fresco en su mente. Si el
entrevistado lo permite sera preferible grabar la entrevista. (La discusin
sobre entrevistas estructuradas se presenta en la seccin sobre "Herramientas
y Tcnicas de la Evaluacin Racionalista" en el Captulo 15.)
Herramientas y Tcnicas de la EN 189
Entrevistas grupales focalizadas
El evaluador naturalista puede con frecuencia hacer buen uso de entrevistas
grupales focalizadas en temas particulares. Esta tcnica se ha utilizado en
la investigacin de mercados en los Estados Unidos por ms de veinte
aos. Su objetivo es recoger informacin profunda a travs de la discusin
grupal, llegando as a conocer los pensamientos, percepciones, sentimientos
y actitudes de personas conocedoras de un programa.
El grupo focal es, caractersticamente, un grupo homogneo de siete o
ms personas en interaccin "dirigida" unos con otros. La direccin del
grupo est en manos de un moderador. Un observador est tambin presente.
La discusin comienza con una lista de inquietudes, llamadas "preguntas
estmulo". Generalmente se graban estas entrevistas, que normalmente
toman de 45 a 60 minutos.
Co m o en todas las tcnicas de dinmica de grupos, el moderador tiene
que dirigir al grupo de mod o que se produzcan bastantes ideas, que stas
sean variadas y de buena calidad, que los participantes no se aparten del
tema, que se mantenga la espontaneidad y se compartan las ideas cuando
stas no estn del todo desarrolladas; que los participantes produzcan ideas
y no simplemente reaccionen a las ideas de otros, y que la personalidad y
el estatus de los participantes no influyan en el grupo
4
.
La observacin de campo
La observacin de ca mpo es una estrategia de recoleccin de datos que
puede usarse tanto para las evaluaciones racionalistas como para las
naturalistas
5
. E n la tradicin de la E N , la observacin ser inestructurada y
se har sin prisa. Puede ser una observacin participante o no-participante.
E n la observacin deben separarse las fases de registro y de
interpretacin. El observador debe registrar lo que ha visto. L o que pudo
significar debe reservarse para la interpretacin posterior. Sea que se utilicen
en la E N o en la E R, pueden elaborarse instrumentos sistemticos en cada
caso para registrar los datos de la observacin. (Mayor discusin sobre la
observacin se presenta en "Herramientas y Tcnicas de la Evaluacin
Racionalista", en el Captulo 15.)
La realizacin de estudios de rastreo y cronlogos
Un estudio de rastreo, como lo indica su nombre, sigue el rastro del
progreso de una persona a travs del tiempo. As, un estudio de rastreo de
un neo-letrado parecer una corta biografa de esta persona, registrando lo
que la alfabetizacin puede haber hecho con la vida del neo-letrado, cmo
aplica sus habilidades alfabetas en el trabajo y la vida en general.
El profesor Myrtle Scott, colega de este autor en la Universidad de
Indiana, ha desarrollado el concepto de cronlogo, el cual implica el
seguimiento de los sujetos durante un perodo de tiempo determinado -una
hora, un da, una semana- en su habitat natural (una comunidad, una
escuela, un hospital) y el registro de lo que hacen. Estos cronlogos son de
gran utilidad para el estudio de los papeles y funciones emergentes de los
agentes del desarrollo y de la alfabetizacin a nivel de base.
Anlisis de registros y documentos
El anlisis de registros y documentos puede realizarse tanto en la E R
como la E N
6
. E n la primera, el anlisisde contenido implica la seleccin
aleatoria del contenido y el uso de tcnicas estadsticas para llegar a
aseveraciones generales. E n la E N el anlisis de contenido est ms
interesado en la agregacin de significados y la cristalizacin de temas que
puedan estar insertosen diversos documentos.
Medidas no reactivas
7
Este tipo de medidas tambin puede usarse en estudios evaluativosE R y
E N . Co m o sugiere su nombre, estas medidas no influyen en los informantes.
Se observa, por ejemplo las huellasde comportamiento que han dejado. El
estado de la cartilla que usa el educando puede ser una indicacin de
cunto la ha ledo. La forma de vestirse el trabajador de ca mpo puede
indicar la "distancia social" que mantiene con respecto a las personas a las
cuales busca servir. La basura que bota una familia puede decirnos mucho
sobre sus hbitosde compra y consumo - sin que se den cuenta!
El diario reflexivo
El diario reflexivo es exactamente lo que sugiere su nombre -un diario en
el cual se registran las reflexiones (Lincoln y Guba usan este trmino para
indicar que el evaluador est registrando en el diario gran cantidad de
informacin acerca de s mismo como instrumento huma no de evaluacin.
El evaluador mantiene un diario en el cual registra, preferiblemente a
diario, (i) el programa de cada da y los aspectos logsticos del estudio; (ii)
anota las decisiones metodolgicas que va tomando da a da y por qu
fueron necesarias; y (iii) sus reflexiones personales sobre las experiencias
y las expectativas, conflictos de valores y colaboraciones con las partes
interesadas, el aburrimiento que le produce el trabajo y la emocin de las
iniciativas que surgen. El diario reflexivo se convierte as en el super-ego
del evaluador, una ayuda a la memoria y una fuente de control de sus
interpretaciones.
Casos de m todos de E N en accin
L a teora y la metodologa de la E N estn todava emergiendo en un
proceso de discusin. Se combina una variedad de mtodos c omo los
presentados arriba, manteniendo los supuestos subyacentes de la indagacin
naturalista (esto es, la realidad es una construccin social) y su objetivo no
es formular proposiciones universales a manera de leyes, sino "aseveraciones
fundamentadas" en contextos particulares.
Ha y pocas evaluaciones naturalistas disponibles en el ca mpo de la
alfabetizacin que pudieran presentarse como modelos a seguir. Sera til,
no obstante, esbozar los enfoques metodolgicos y los mtodos utilizados
por algunos evaluadores en el ca mpo educativo, quienes afirman que
realizan anlisis naturalistas o que tienen una orientacin naturalista. Por
consiguiente se han esbozado dos casos en las pginas 192 a 194.
Los lectores sern capaces de derivar de estos ejemplos algunas ideas
iniciales sobre lo que significa hacer un estudio evaluativo con orientacin
naturalista.
CASOI
John C. Creswell y sus seis asociados
8
hicieron un anlisis naturalista del papel relacionado
con el desarrollo de la facultad q ue desempe an los decanos de departamento en
situaciones de educacin superior. Estos investigadores no pueden ser considerados
"puristas" de la metodologa de la E N pero definieron su trabajo como "un proceso de
investigacin con una fuerte orientacin naturalista, la cual aisla inductivamente el
problema estudiado, descubre un marco terico a priori en lugar de verificarlo, y reporta
los resultados hasta la fecha para ser sometidos a una posterior exploracin cualitativa y
a una investigacin cuantitativa.
El m todo de investigacin del anlisis naturalista operacionalizado para este estudio
comprendi cuatro fases:
Fase 1 : Establecimiento de la direccin para la investigacin
Fase 2: Caracterizacin de la muestra y desarrollo de procedimientos de entrevistas
para el estudio nacional.
Fase 3: Realizacin de las entrevistas telefnicas.
Fase 4 : Anlisis de los datos de los informes verbales de los casos entrevistados.
Las acciones detalladas de cada una de las fases enumeradas fueron:
Fase 1
Identificacin de las dimensiones para estudiar el papel del decano. Esto incluy
algunas preguntas generales como: Cules son las caractersticas demogrficas de
los decanos "efectivos" y se sienten ellos responsables por contribuir al crecimiento
y desarrollo de la facultad? Qu clase de situaciones de la facultad requieren su
apoyo y q u enfoques utilizan ellos? Cmo es la ayuda del decano moldeada por
variables contextales del ambiente de trabajo acadmico tal como la etapa de la
carrera del miembro de la facultad, si la asistencia es iniciada por el decano o
miembro de la facultad; diferencias por disciplina y diferencias institucionales?
Us o de 99 actividades q ue los decanos realizaban.
Desarrollo de un documento conceptual.
Reaccin al documento por parte de lderes nacionales reconocidos en el campo del
desarrollo de la facultad.
Realizacin de un estudio piloto, el cual dio oportunidad para someter a prueba la
tcnica de la entrevista telefnica.
Direccin de dos disertaciones doctorales.
En su conjunto estas acciones tuvieron como resultado el surgimiento de reas de
cuestionamiento tales como caractersticas de los antecedentes de los decanos;
situaciones o asuntos de la facultad; prcticas de desarrollo de la facultad, en
general, y condiciones de los departamentos.
Fase 2
Bsq ueda de representatividad en la muestra.
Desarrollo de una gua de entrevista semi-estructurada; y entrevistadores capacitados
para lograr una administracin consistente y precisa de la gua.
Uso de formas de codificacin para registrar las respuestas a las entrevistas.
Solicitud a las personas de q ue "identificaran de 3 a 5 decanos de facultades q ue
sobresalieron en ayudar a la facultad en su crecimiento y desarrollo" en el primer
ciclo de entrevistas.
Fase 3
Realizacin y registro de entrevistas durante un perodo de ms de nueve meses,
cada una de las cuales duraba un promedio de 4 5 minutos.
Control de confiabilidad entre entrevistadores.
Fase 4
Iniciacin del anlisis tan pronto como hubo suficientes casos disponibles. Sucedi
que:
Las primeras 50 entrevistas se utilizaron para desarrollar los procesos de anlisis.
Las preguntas abiertas de estos 50 casos se "rigieron" en categoras preliminares y
se clasificaron de acuerdo al enfoque de la pregunta.
Entonces se incorporaron al anlisis los 135 casos restantes.
Las "historias" variadas ayudaron a identificar tipos de "situaciones de la facultad"
y de "enfoque de los decanos".
Triangulacin entre el equipo de investigacin para recategorizar las situaciones y/
o enfoques al examinar los casos ms extremos, maximizar similitudes y diferencias
y desarrollar prototipos.
Resultados: una matriz conceptual.
Todos los datos utilizados eran de auto-informes.
CAson
En una reciente evaluacin de los programas de la Organizacin de Alfabetizacin de
Adultos de Z imbabw e ( A LO Z ) realizada por Bhola y Muyoba,
9
la metodologa tena una
orientacin naturalista. Los procesos y los pasos se describen a continuacin:
El contrato de evaluacin haba enumerado preguntas generales q ue necesitaban
respuesta: Cmo haba afectado las vidas de aquellos a quienes queran servir los
programas de alfabetizacin de adultos y de generacin de ingresos de A LO Z ? De q u
manera el trabajo de alfabetizacin haba contribuido a la promocin de los esfuerzos de
alfabetizacin a nivel nacional en Z imbabw e? Cmo contribuy la asistencia
proporcionada por U SA TD / Z I MBA BW E a A L O Z durante los primeros aos de la
dcada de los 80 a cumplir la misin de A LO Z ?
Se realiz un anlisis detallado de la documentacin relacionada con la estrategia
de desarrollo de Z imbabw e y del papel asignado a la alfabetizacin en la estrategia; la
poltica nacional de alfabetizacin y la ejecucin de la campa a nacional de alfabetizacin
del gobierno, la misin de A L O Z en relacin con la promocin de la alfabetizacin y su
materializacin; y las metas y los objetivos de la subvencin de U SA I D / Z I MBA BW E a
ALOZ.
Se diseo un juego de 12 cuadros para desarrollar un retrato numrico del trabajo y
los logros de A L O Z durante el perodo q ue dur la subvencin de USA I D.
Se emprendi un extenso trabajo de campo para desarrollar una descripcin de
como los proveedores de los programas de A L O Z y los participantes y otros beneficiarios
haban vivenciado el programa.
Se cubri una muestra intencional de las localidades tpicas para abarcar diferentes
lenguas (Shona y Sindebele) y diferentes realidades socio-econmicas (rea urbano-
industriales, plantas manufactureras, agro-industrias, zonas rurales, asentamientos rurales,
etc.).
En cada localidad, se entrevist a toda la gama de personas involucradas, entre
ellos los participantes, sus esposas y otros miembros de la familia, beneficiarios indirectos
de las actividades de generacin de ingresos en las comunidades, maestros, supervisores,
capacitadores, empleados de agencias auspiciadoras y colaboradoras, etc. Se utilizaron
guas de entrevista semi-estructuradas como base para las conversaciones con los
informantes.
Primero, se elaboraron estudios de caso completos -uno por cada una de las
localidades incluidas, usando las respuestas de categoras pertinentes de personas
involucradas. Luego se usaron todos los datos -los datos numricos organizados en
cuadros y los estudios de caso- de varias formas para responder las preguntas especficas
formuladas por los q ue toman las decisiones.
H
e
r
r
a
m
i
e
n
t
a
s

y

T
c
n
i
c
a
s

d
e

l
a

E
N

1
9
5

8

g

t
o

.
5

o

E

_

t
o

C

o

t
o

.
2

C
D

O

C
O

x

C
D

T
:

c

c

.

t
o

C
O

O

I

o

C
O

E

>
,
9

c

D

;
=
;

c

C
O

E

-

C
D

'
<

t
o

"
5
5

.
2

"
O

c

t
o

C
D

1
3

a
.

o

t
o

C
D

o

o

Q
_

L
U

^

t
o

_

t
o

-
o

a
)

-

"
5

b
r

8

5

w

o
-

c

<

O

>

C
D

8
^
-
a

Q
-

F

t
o

E

E

c
o

o

o

b

5
5

c

Z

>
*

S

8

8

i

I

-
1

o

-
t
=

^

f
i
g

2

C
O

-
Q

h
=

O

t
o

O

c

C
D

E

o

o

o

>

x

Q

s
a

t
o

"
C
D

5

o
c

L
_
rv
C
D

W

t
o
-
c
o

0

s

*

Q
_

$

C
D

E
S

0

<
=

c
o

C
D

C
D

c

ribir
fere
0

Q

t
o

L
-
'

U
J

C
O

<
/>

0

Q

C
D

O

C
O

(
0

A na
>
.

2

c

0
>

C
O

-
2

c

C
D

_
D

I

C
D

L
T

T
H

C
D

C
D

>

C
O

C
O

C
O

C
O

C
D

7

C
O

C
O

o

C
O

k
.

<
D

,
-
c
5

c
o

>
^

2

0
5

C
O

C
O

C
O

^

-
O

C
D

O
)
-
^

C
D

C
D

i

_
l

C
O

0
-
C
O

&

>
N

C
O

C
D

c

C
D

8

>

t
o

o

C
O

.
t
=

i

.
i
5

h
-

C
/
D

E

c
o

c
o

a
>

o

o

0
>

a
>

L
U

c
o

a
>

o

o

c
o

"
5

o

2

3

O
)

El Anlisis de los datos en la E N
E n anlisis de los datos en la E N es de cierta manera un proceso mucho
ms desafiante que el anlisis estadstico. N o se trata solamente de una
agregacin de nmeros, sino en la generacin de significados y la bsqueda
de los patrones ms abarcadores en los cuales residen esos significados.
El primer paso en el anlisis de los datos de E N es una inmersin total
en los datos que ya se han recogido. El evaluador debe leer y re-leer las
transcripciones de entrevistas, informes de observaciones, notas del anlisis
documental y el diario reflexivo, (ver la Figura 7 en la pgina anterior).
Las palabras y frases clave, as como los temas recurrentes deben anotarse
en tarjetas y tambin las citas importantes de comentarios hechos por las
personas involucradas. Mediante un proceso de sntesis, usando el modelo
C L E R y el formato "ante-despus" deben reportarse los cambios en las
vidas de los individuos, grupos, instituciones y comunidades. D esde luego,
no hay frmulas estndar en el anlisis de los datos de las E N , pero los
evaluadores que usan esta modalidad estn seguros de sacar provecho de
la experiencia al tratar de darle sentido al mund o con base en los datos
recogidos.
1. Use una grabadora para grabar su entrevista con un campesino para
averiguar por qu l no puede seguir todos los consejos que le da el
agente extensionista. Escuche de nuevo la entrevista. Quin habla
ms, usted o el campesino? Son sus preguntas un poco impacientes?
Est usted realmente escuchando?
2. Suponga que usted est interesado en aprender sobre el nivel de salud
de una comunidad. Qu observara usted? Compare sus observaciones
con las que haga un promotor de salud.
Notas
1. Para una discusin general sobre la investigacin de campo ver Johnson,
J. M. , Doing field research. N e w York, N Y : The Free Press, 1975. Puede
encontrarse una discusin de la teora fundamentada y los avances en
el concepto de sta en Glaser, Barney y Strauss, Anselm L. , The disco-
very of grounded theory. Chicago, II: Aldine Publishers, 1967; y en
Glas ser, Barney, Theoretical Sensitivity: Advances in the methodology
of grounded theory. Mill Valley, C A : Sociology Press, 1978.
2. Algunas referencias son:
Bogdan R. y Bilden, S. K. Qualitative research for education. Boston,
M A : Allyn and Bacon, 1982. Patton, Michael Quinn. Qualitative
evaluation methods. Beverly Hills, C A : Sage, 1980. Miles, Matthew y
Hubermann, A . Michael. Qualitative data analysis: A source book of
new methods. Beverly Hills, C A : Sage, 1984.
3. Gorden, R. , Interviewing. 3rd ed. Homewood , II: D orsey Press, 1980
y D exter, L . A . , Elite and specialized interviewing. Evanston, II:
Northwestern University Press, 1970, son algunas referencias tiles
para hacer entrevistas. Tambin debe uno referirse a la literatura sobre
las entrevistas etnogrficas. La etnografa utiliza la descripcin como
componente importante de la recoleccin de datos. El nfasis est en
la perspectiva mica (del interior) para poder comprender la realidad
de los sistemas sociales; y al mismo tiempo proporciona el contexto de
mod o que se entiendan los datos apropiadamente. V er Fetterman, D avid
M . , Ethnography in educational evaluation. Beverly Hills, C A : Sage,
1984; Spindler, George y Louise, Interpretative ethnography of
education at home and abroad. Hillsdale, NJ: Lawrence Erlbaum
Associates Inc., 1987; y Spradley, James P. , The ethnographic interview.
N e w York, N Y : Holt, Rinehart and Winston, 1979.
4. Krueger, Richard A . Focus group interviewing: Step by step instructions
for extension workers. Minnesota Agricultural Extension Service. (320C
Vocational Technical Building, 1954, Buford Avenue, St. Paul,
Minnesota, 55108), 1985. Tambin Qualitative Research Council of
the Advertising Research Foundation. Focus groups: Issues and
Approaches. N e w York, N Y : Advertising Research Foundation, Inc.,
1985.
5. McCall, G. J. y Simmons, J.L. (eds.) Issues in participant observation:
A text and reader. Reading, M A : Addison-Wesley, 1969. Tambin
Spradley, J.P., Participant observation. N e w York, N Y : Holt, Rinehart
y Winston, 1980.
6. Krippendorff, Klauss. Content Analysis. Beverly Hills, C A : Sage, 1980.
7. V er We bb, E . J. et al. Unobtrusive measures. Skokie, H: Rand McNally,
1966 para una discusin sobre estas mediciones. Una discusin ms
reciente se presenta en Sechrest, Lee (ed.) Unobtrusive measures today.
N e w Directions for Methodology of Behavioral Sciences, N
Q
1, San
Francisco, C A : Jossey-Bass, 1979.
8. Creswell, John W . , et al. "The faculty development role of department
chairs: A naturalistic analysis". Investigacin presentada en el Annual
Meeting of the Association for the Study of Higher Education,
Baltimore, Maryland, noviembre 21-24,1987.
9. Bhola, R S . y Muyoba, G. N . The role of the Adult Literacy Organization
of Zimbabwe (A) in promoting Universal Literacy - A Retrospect and
a Prospect. Harare. A L OZ / US A I D - Z I MB A B W E , 1989. Una descrip-
cin interesante de la ejecucin del enfoque naturalista se encuentra en
V albuena Paz, Antonio y Gonzlez Olivares, Guido, "Case Study of
CE S A P Programme: 'Mucuchies Peasant Programme". Hamburg:
UN E S C O Institute for Education (UIE) project PRG 5. 14/4.53,
D ocument 10, junio 1990. Mimeo.
CAPITULO 12
LA ELABORACIN DE INFORMES
SOBRE EVALUACIONES NATURALISTAS Y DE
INFORMES PERIDICOS A LA MA N ERA NATURALISTA
El informe de un estudio evaluativo naturalista (EN) es tpicamente un
estudio de caso. Lo que se haba ofrecido en la propuesta en tiempo futuro
se escribe ahora en pasado, con las modificaciones que hayan ocurrido.
En el contexto de cualquier programa se enva desde el terreno a la
Oficina Central una multiplicidad de informes peridicos; otros son escritos
por los funcionarios de la Oficina Central despus de realizar visitas de
supervisin al campo. Se puede extender el uso de tcnicas para escribir
informes de ENa la redaccin de informes peridicos de campo a la
manera naturalista.
Los informes evaluativos tienen generalmente propsitos informativos:
informar a los que toman las decisiones acerca del estado de las cosas en
un programa y sugerir algunas otras posibilidades para mejorarlo. Estos
propsitos siguen siendo los principales en la E N tambin, pero se extienden
para cumplir otros tres:
1. Comunicacin
2. Conclusin y
3 Compromiso
El informe de E N debe comunicar informacin a los que toman las
decisiones. D eben recibir un avance sobre el estado de las cosas. Sin
embargo, tambin deben dar a todos los involucrados un sentido de haber
llegado a alguna conclusin. Aunque con frecuencia decimos que la
evaluacin es un proceso continuo, todas las personas involucradas deben
tener la sensacin de que un estudio particular se ha completado y se ha
dejado atrs determinado asunto.
Finalmente, el informe debe impulsar a las distintas audiencias a una
fase de accin y crear una oportunidad para que stas se comprometan
pblicamente a actuar.
200 Elaboracin de Informes de la EN
El paradigma naturalista exige que el evaluador proporcione al lector
"ricas descripciones" al informar los resultados del estudio evaluatvo. El
evaluador que lleva a cabo un estudio naturalista no puede simplemente
procesar los datos y ofrecer los resultados y agregar alguna discusin al
respecto. El evaluador debe referir la historia completa, "rica" en detalle.
Co m o es de comprender, el informe de una evaluacin naturalista es un
estudio de caso.
Sin embargo, debe hacerse una advertencia. Los que toman las
decisiones de alto nivel en las burocraciasno son los nicos que reciben la
informacin en las evaluaciones naturalistas. Las E N no slo estn
fundamentalmente en una nueva epistemologa, sino que responden a una
tica social particular. El evaluador naturalista pretende dirigirse a todos
los interesados y particularmente a los desprovistosde poder.
Puede ser que alguno de estos interesados (en los pases en desarrollo
tanto como en las sociedades desarrolladas) no siempre puedan recibir los
informes evaluad vos impresos. Esto quiere decir que algunos informes
tendrn que presentarse oralmente o por medios audio-visuales.
La presentacin efectiva de los resultados evaluativos
Muc ho se sabe sobre cmo lograr que los discursos orales sean efectivos.
Sin embargo, no esmucho lo que podemos decir al respecto en el mbito
de este pequeo manual. Slo pueden hacerse unas pocas sugerencias.
La informacin oral
N o hace falta insistir en que quien presenta un informe debe estar bien
preparado. Cules son los resultados que deben compartirse con el grupo?
Cules son las interpretaciones que el presentador quiere que el grupo
desarrolle? Cules son las malas interpretacionesque deben evitarse? El
presentador debe anotar los puntos principales del informe y tenerlos a
ma no.
Si bien debe estar preparado, el presentador no debe pretender hacer
un monlogo perfecto ante una audiencia amordazada que no puede
interrumpirlo. D ebe permitirse a la audiencia que comente, pregunte, plantee
dudas y solicite la discusin de aspectos que el presentador no haba
tenido intencin de hacer. La lista de ideasque haya preparado de antemano
Elaboracin de Informes de la EN 201
slo debe usarse para asegurarse de cubrir todos los puntos que quera
presentar.
El presentador debe, desde luego, hablar con claridad, en tono audible
y ser corts y paciente.
Las presentaciones audio-visuales
Realizar presentaciones audio-visuales tambin se ha convertido en un
arte. Lamentablemente, no podemos decir mucho aqu, pero haremos
algunos comentarios.
Primero, se debe seleccionar cada uno de los medios por el aporte
especial que pueda hacer. Se debe utilizar el cartel cuando se tenga que
mostrar algunos hechos importantes y sus relaciones, y se quiera
mantenerlos frente a la audiencia por cierto tiempo. D ebe elegirse una
pelcula cuando se quiera mostrar el movimiento, y un modelo o maqueta
en aquellos casos en que se desee que tengan la experiencia de algo en tres
dimensiones.
Segundo, una vez que se ha introducido algn medio para la
presentacin, se debe dejar que cumpla su funcin. Mucha gente muestra
una cartelera y ni siquiera se refiere a ella al hacer la exposicin. Otros
proyectan una pelcula y ms tarde no la integrarn en el resto de su
presentado. D e nuevo, los aspectos logsticos de la utilizacin de los
medios deben manejarse adecuadamente. D ebe encontrarse una manera de
colocar la cartelera en la pared o la maqueta en una mesa; debe comprobarse
que el proyector funcione y la pelcula no se est rompiendo a cada
momento; y debe prestarse la atencin debida a la ventilacin y la oscuridad
necesarias en las salas donde se harn las proyecciones.
La redaccin de los estudios de caso
Un buen estudio de caso cuenta la historia completa sistemticamente,
clara e integentemente. El mejor consejo para escribir un estudio de caso
sera poner en pasado lo que se prometi en futuro al hacer la propuesta
del estudio evaluativo, reflejando y explicando las modificaciones que se
hayan introducido.
El estudio de caso que se redacte para informar los resultados de una
evaluacin naturalista hace uso de una organizacin histrica-cronolgica.
El modelo C L E R discutido anteriormente debe estar metido en el estudio
202 Elaboracin de Informes de la EN
de caso. Este estudio debe estar lleno de ancdotas y citas reales de los
informantes. Sin embargo, esto no significa que el estudio de caso en una
E N no incluya nmeros, cuadros o matrices. Puede ser que los use o no,
dependiendo del rea de que se trate y los datos disponibles.
La elaboracin de informes de campo a la manera naturalista
D entro del contexto de un programa de desarrollo se escriben numerosos
informes peridicos: algunos son enviados por el personal de ca mpo a la
Oficina Central, otros los escriben los funcionarios del nivel central despus
de realizar visitas de supervisin al terreno. Sugerimos con nfasis que
estos informes se escriban de la manera que hemos descrito como naturalista.
D esde luego, esto no ocurrir hasta que los funcionarios no comiencen a
verse a s mismos como profesionales del rea en vez de policas. E n
cierto sentido esto implicar una revolucin en las normas de las prcticas
en el rea del desarrollo. Llegar a surgir una interpretacin en la cual se
relieve que las intenciones del gobierno no son las que determinan el
desarrollo. L a gente se desarrolla a s misma. Si ellos no se sienten
motivados, no habr desarrollo. Ad ems, hay otras circunstancias que
estn fuera del control de los gobiernos y de los funcionarios. Aunque
haya en el terreno funcionarios corruptos y que no estn comprometidos,
que necesiten sentirse vigilados y castigados, no es siempre su culpa que
no se logre el desarrollo. Tenemos que considerar el desarrollo profesio-
nalmente, como un proceso que es complejo y exige respuestas creativas.
E n relacin con esto surge la idea de que los funcionarios que trabajan en
distintos niveles del gobierno tienen que despojarse de su obsesin con la
subordinacin-superordinacin y se consideren colegas entre s.
Los informes desde la perspectiva de los funcionarios del nivel central
Los informes escritos por los funcionarios de la Oficina Central despus
de sus visitas de inspeccin al terreno se prestan, particularmente, para ser
redactados a la manera naturalista. Aqu hay algunas insinuaciones:
1. Piense en la evaluacin como un proceso continuo. Prepare cada
visita con base en la ltima que se haya hecho. Estudie los informes
previos antes de emprender un nuevo viaje y anote qu hay que
averiguar.
Elaboracin de Informes de la EN 203
2. Revise el contexto del proyecto y de su propia visita. Piense en
los temas que usted abordar esta vez en el campo. Recuerde que
usted nunca aprender mucho sobre la realidad sin encontrarse
con ella. Esto significa que no debe visitar slo las oficinas e
indagar nicamente en los archivos y registros oficiales. Identifique
lo que personalmente quiere observar -clases, hogares; y con qu
personas va a interactuar o sobre quines se va a informar-
agricultores, jefes, alfabetizadores, los llamados desertores, etc.
3. D urante la visita escriba un diario con descripciones abundantes.
Compruebe sus interpretaciones y percepciones con otros,
particularmente aquellos a quienes se refieren. Sugiera mtodos
para solucionar los problemas y compromtase a hacer su parte.
4. D e regreso a la oficina, despus de la visita, redacte su informe
como se ha sugerido antes, a manera de un estudio de caso.
Comparta su informe con sus colegas.
Parte V
L a Evaluacin a la M anera Racionalista
E n este manual hemos introducido primero el paradigma de Evaluacin
Racionalista (ER) en el Captulo 2, Parte I. E n el Captulo 4 de la Parte II
se incluy una breve descripcin de la E R, en la cual se presentaba como
uno de los tres componentes del tringulo metodolgico de la evaluacin:
SIG, E N y E R.
Con anterioridad hemos indicado que el SIG debe ser considerado lo
ms importante, realmente, la base slida del tringulo metodolgico de la
evaluacin. Tambin sugerimos que la segunda prioridad debe recaer en la
E N , que es la ms adecuada para descubrir los significados cualitativos
que los programas o proyectos pueden tener para aquellos a quienes
pretenden servir. E n consecuencia, hoy pensamos que la E R ocupa el
tercer lugar en la gestin de la evaluacin.
N o obstante, ese tercer lugar no significa que no se use. D e ninguna
manera queremos sugerir que la E R no juege un valioso papel en la
evaluacin de los programas educativos y de desarrollo. D e hecho, la
triangulacin de las distintas metodologas de evaluacin est implcita en
la denominacin misma de nuestro modelo: el tringulo metodolgico de la
evaluacin. L o que afirmamos es que la E R no debe ser seleccionada
simplemente porque por muchsimos aos se ha considerado errneamente
como el nico enfoque "cientfico" de la evaluacin y la investigacin. El
SI G y la E N son prioritarios.
Hecha esta advertencia, podemos sugerir que habr mltiples
oportunidades para que los evaluadores de programas educativos y de
desarrollo apliquen la E R. Recordemos el concepto de Cronbach de
"contexto de control" que discutimos anteriormente en este manual. En
efecto, hay muchos contextos en los cuales pueden asumirse los supuestos
de control sobre la realidad estudiada y, por lo tanto, puede utilizarse el
paradigma racionalista de la evaluacin sin violentar la realidad. E n esos
casos tendr bastante sentido hacer uso de la E R.
Nuestra discusin sobre la E R se dividir en los siguientes captulos:
13. La Evaluacin Racionalista - Teora, Preguntas y D iseo.
14. La Elaboracin de una Propuesta para un Estudio Evaluativo a la
Manera Racionalista.
15. El Proceso en Una Mirada: Herramientas y Tcnicas de la
Evaluacin Racionalista:
Seccin A : Herramientas e Instrumentos
Seccin B : La Recoleccin de D atos
Seccin C: El Procesamiento y la Presentacin de los D atos
Seccin D : Anlisis Estadstico de los D atos.
16. La Elaboracin de Informes de Evaluacin Racionalista y la
Promocin de la Utilizacin de los Resultados.
CAPITULO 13
LA EV ALUACIN RACIONALISTA - TEORA,
PREGUNTAS Y DISEO
La evaluacin racionalista (ER) parte de un conjunto particular de
supuestos sobre la realidad que incluye el reduccionismo (que la compleja
realidad social puede reducirse a aspectos ms simples para su estudio) y
el universalismo (que pueden encontrarse leyes universales del
comportamiento humano que se mantienen como verdaderas inde-
pendientemente del contexto). Relacionado con estos supuestos est el
concepto del tratamiento experimental, que permite al investigador o
evaluador adecuar la realidad a su formato experimental, propiciando as
la validez, la confiabilidad, la objetividad y la generalizacin de los
resultados. Existen diseos especficos de evaluacin y procedimientos de
muestreo que son parte de la teora, as como procedimientos estadsticos
que hacen posible hacer inferencias de los especfico a lo general con
determinados niveles de confianza.
El xito del positivismo lgico (o paradigma racionalista) ha sido
espectacular. Los investigadores mdicos, haciendo uso de este paradigma,
han erradicado muchas enfermedades mortales y plagas de la faz de la
tierra; y los fsicos pusieron un hombre en la luna.
Para compartir la gloria, los dentistas sociales imitaron a los cientficos
del rea de la fsica y comenzaron a utilizar este llamado paradigma
cientfico, excluyendo casi todo lo dems.
La magia del paradigma positivista se est quebrantando finalmente, y
estamos comenzando a comprender que la realidad social no encaja m u y
bien en el paradigma racionalista. El comportamiento individual no siempre
nos dice mucho sobre el comportamiento de los grupos o dentro de las
organizaciones. Ha y propiedades que van surgiendo dentro de las totalidades
que no pueden ser explicadas en trminos de sus partes constituyentes. A
la inversa, estamos comprendiendo que los fenmenos complejos no pueden
ser reducidos a aspectos ms simples para ser estudiados y luego juntarlos
como si nada se perdiera, la naturaleza misma de estos fenmenos cambia
cuando stos son fragmentados y factorizados mediante esas reducciones.
208 ER - Teora, Preguntas y Diseo
Tambin estamos comenzando a darnos cuenta de los lmites de las
generalizaciones. Ahora sabemos que los fenmenos sociales son sensibles
al contexto donde ocurren.
L a teora de la E R
D esde luego, quienes proponen la E R no han depuesto sus armas para
marcharse a casa. Aunque estn empezando a aceptar el papel del juicio
en la E R y han admitido la existencia de problemas con la validez,
confiabilidad, objetividad y generalizacin, todava creen que, de acuerdo
con un "positivismo re-acondicionado", la E R es el mejor enfoque para
llegar a proposiciones normativas.
L a definicin de la realidad que acepta la E R y la metodologa que
tpicamente la acompaa se han discutido en cierto detalle en el Captulo 2
de la Parte I de este libro. Pero en este punto es conveniente hacer un
recuento de sus principales supuestos.
L a E R acepta la existencia de una realidad objetiva ah afuera, que
todo el mund o puede ver. Por lo tanto, admite la posibilidad de hacer
proposiciones normativas que sean universales y, en consecuencia,
generalizares a todas las situaciones. La E R se fundamenta en el concepto
del reduccionismo, lo cual significa que la complejidad de la vida real
puede reducirse a relacionesms simples - factores individuales y variables,
los cuales pueden ser estudiados en relaciones lineales para demostrar
correlaciones o causalidades. El supuesto es que despus de ser estudiados,
estos pueden volver a reunirse para ayudarnos a comprender las relaciones
complejas. Puesto que as pueden establecerse relaciones causales, es posible
hacer predicciones acerca de eventos de comportamientos futuros.
La metodologa de la E R se basa en el supuesto del control. El evaluador
busca establecer una situacin experimental en la cual se seleccionan los
sujetos, se estandarizan los tratamientos, la recoleccin de datos es objetiva
y el anlisis de los datos es tpicamente estadstico. Esta clase de supuestos
puede ser satisfecha bajo lo que Lee Cronbach denomina el "contexto del
control". Por consiguiente habr preguntas sobre la alfabetizacin y la
post-alfabetizacin, aunque tal vezno muchas, cuyas respuestas se podran
hallar mejor mediante el enfoque de la E R.
ER - Teora, Preguntas y Diseo 209
Las preguntas en la E R - en el contexto del control
E n nuestra concepcin la E R busca hacer proposiciones normativas acerca
de la realidad que puedan servir de gua general en una diversidad de
contextos. Al tomar muestras aleatorias de los informantes individuales (u
otras unidades sociales), persigue establecer correlaciones, comparaciones
y predicciones con determinados niveles de confianza.
Proposiciones normativas
(Las respuestas se basarn en muestras aleatorias)
1. Cul es el porcentaje de analfabetismo entre las mujeres en la
regin sur de Kenia?
2. Cul es el rango de orden entre las motivaciones expresadas por
los hombres para asistir a las clases de alfabetizacin en un
determinado programa?
3. Cul es el perfil de los usos de la alfabetizacin dado por los
hombres y las mujeres entre las edades de 30 a 45 aos?
El establecimiento de conexiones y correlaciones
(Estas preguntas son bastante similares a las que se enunciaron bajo el
SI G. La diferencia esencial podra ser que quien ejerce la prctica de la E R
recolecta los datos de una muestra aleatoria y trata de satisfacer los supuestos
estadsticos, necesarios para hacer inferencias que van ms all de la
poblacin que participa en el programa.)
1. Cul es la correlacin entre la lecto-escritura y las habilidades
numricas?
2. Cul es la correlacin entre la cualificacin del maestro y el
rendimiento del educando?
3. Cul es la naturaleza de la correlacin entre una calificacin en
una prueba de alfabetizacin y la productividad econmica?
Las comparaciones entre grupos y otras entidades
(Una vezms, estas preguntas son m u y similares a las enunciadas bajo la
seccin del SI G. L a diferencia, de nuevo, es que quien ejerce la prctica de
la E R recoge los datos de muestras seleccionadas al azar y satisface otros
supuestos estadsticos necesarios para poder hacer inferencias ms all de
la poblacin participante en el programa.)
1. Cules son las diferencias entre el rendimiento en lecto-escritura,
funcionalidad y concientizacin entre grupos de hombres y mujeres
participantes que proceden de familiasque viven de la agricultura
de subsistencia y que pertenecen al mismo grupo de edad?
2. Cul es la diferencia en la efectividad de los maestros capacitados
para ensear en escuelas primarias y los neo-letrados, capacitados
al interior del proyecto de alfabetizacin para ensear a los adultos
en las clasesde alfabetizacin?
3. Cul es la relativa efectividad de conjuntos de materiales
instruccionales preparados de acuerdo con la estrategia de Freir
y el enfoque total del lenguaje?
4. Cules son las distinciones entre los participantes y no-
participantes en programas de alfabetizacin en cuanto a varias
medidas de modernizacin, tales c o m o la productividad
econmica, el nivel nutritional de la familia, la planificacin
familiar y la participacin poltica?
5. Cul ha sido la naturaleza y el significado del cambio en la
comunidad antes y despus de la ejecucin del programa A ?
El diseo en el paradigma de E R
E n el significado que da el diccionario del trmino, diseo es el desarrollo
de una concepcin de algo, o la preparacin de planes preliminares o
bosquejos de algo. E n este sentido de la palabra diseo, todos los estudios
evaluativos deben tener un diseo. D ebemos tener una concepcin de lo
que queremos hacer y por qu, as c omo bosquejar algunos planes
preliminares referidos a cmo hacer lo que queremos hacer.
Sin embargo, en la literatura de la investigacin y la evaluacin, el
diseo tiene un significado altamente tcnico. E n el paradigma E R, el
diseo caractersticamente significa "el diseo experimental". Tiene que
haber un plan de muestreo y deben obtenerse muestras aleatorias. Las
variables de evaluacin deben ser definidas y controladas a travs de
varios mecanismos. Los tratamientos deben ser bien definidos y aplicados
selectivamente a las muestras seleccionadas. Los instrumentos con
frecuencia son estructurados y se eligen tcnicas estadsticas para aplicarlas
al anlisis de los datos recolectados.
Sin embargo, se est comenzando a comprender que los "verdaderos"
diseos experimentales pocas veces son aplicables en educacin y desarrollo.
Las muestras aleatorias no siempre tienen sentido cuando se trata con
categoras especiales de sujetos, en contextos comunitarios particulares.
Con frecuencia es imposible el control de variables y tratamientos. Por lo
tanto, a los evaluadores se les ofrece ahora los "diseos cuasi-
experimentales" -diseos de evaluacin que son experimentales a medias.
Al usar los diseos cuasi-experimentales, sometemos a prueba tratamientos
asignados al azar, de ser posible, pero se ejerce control cuando los datos son
recogidos y sobre quien los aporta.
Confiabilidad y validez
Los investigadores y evaluadores que trabajan con el paradigma de la E R
se preocupan por la confiabilidad y la validez.
L a confiabilidad se aplica a las pruebas u otros instrumentos de
medicin. Se define como una consistencia razonable en los resultados
obtenidos en una secuencia o grupo de pruebas y mediciones repetidas.
Una prueba es confiable cuando sus resultadosson consistentes en diferentes
aplicaciones al mismo sujeto participante dentro de un marco de tiempo
razonable; o cuando los resultados son consistentes al ser utilizado por
diferentes evaluadores, con diferentes sujetos. La confiabilidad es necesaria
pero no suficiente para obtener la validez.
La validez es el grado en que una prueba mide lo que se supone que
debe medir. El sustento de la validez puede ser lgico o emprico. Los
temes de la prueba pueden haber sido derivados adecuadamente de las
premisas aceptadas por medio de reglas lgicas; o los supuestos pueden
haberse basado en evidencia emprica sustentable.
Validez interna y externa
El concepto de validezno slo se aplica a las pruebas e instrumentos sino
que tambin se relaciona con otras inquietudes ms generales que se
plantean sobre el diseo de evaluacin. Los resultados de un estudio
evaluativo y las conclusiones inferidas de estos resultados deben ser
justificables, fundamentadas, convincentes y aceptables -esto es, deben ser
considerados c omo vlidos.
A continuacin se enuncian algunas de las aseveraciones que podran
hacer los evaluadores con base en sus estudios y para responder a las
posibles objeciones que se plantean con respecto a la validez de tales
proposiciones.
ASEVERACIONES DE
LOS EVALUADORES
OBJECIONES A LA VALIDEZ
El grupo capacitado ha mostrado haber
aprendido mucho, tal como se evidencia
en el alto nivel de rendimiento en la
prueba final.
Tal vez este grupo estaba ya familiarizado
con el contenido del curso de capacita-
cin, aun antesde incorporarse al mismo.
Tal vez la prueba era fcil o las califi-
cacioneshan sido infladas.
Las actitudes de los adultos hacia la
alfabetizacin han cambiado drstica-
mente como consecuencia del proyecto.
Tal vez no han cambiado como conse-
cuencia del proyecto, sino debido a un
discurso del Presidente transmitido por
la radio nacional.
Tal vez ellos no han cambiado como
consecuencia del proyecto, sino porque
la fbrica de textiles recientemente abierta
ha manifestado su preferencia por
trabajadores letrados o semi-letrados.
El grupo de agricultores que particip en
la capacitacin de lderes en el Instituto
de Capacitacin ha asumido roles reales
de liderazgo en la comunidad con ms
frecuencia que quienesno participaron.
Tal vez los agricultores que tomaron el
curso de capacitacin de lderes ya
ejercan posicionesde liderazgo y queran
aumentar su efectividad como lderes.
Tal vez los agricultores que tomaron el
curso eran un grupo auto-seleccionado,
movido por la ambicin de ocupar las
nuevas posiciones que se abren en sus
comunidades.
Tal vez los otros grupos de campesinos
que no participaron son diferentes del
El curso de capacitacin para los
campesinos increment la productividad
general de aquellos que asistieron en el
ao el 15% del tiempo de duracin.
La introduccin del papel de Promotor
de Educacin Familiar en Salud ha
cambiado el nivel de salud en las
comunidades seleccionadas de "Bajo" a
"Medio".
grupo de lderes exitosos en importantes
caractersticas socio-econmicas y por lo
tanto, es un grupo de desventaja.
Tal vez el aumento de la productividad
de estos campesinos el ao anterior fue
del 20% . Quizs otros grupos de campe-
sinos similares han mostrado aumentos
similares en otras partes.
Es posible que esto sea porque el calor y
la sequa del ao pasado mataron todos
los mosq uitos; y por la ayuda en
alimentos de alto contenido proteico que
se repartieron a las familias del rea para
superar el hambre.
Estos son algunos ejemplos de las aseveraciones que podran hacerse
y los desafos a su validez. Los profesores D onald T . Campbell y Julian C.
Stanley
1
han enunciado doce amenazas diferentes a la validez interna y
externa de los estudios evaluativos. Los evaluadores deben encontrar su
lista sumamente instructiva:
A. Validez interna
4.
Historia. Un evento histrico externo, tal como un discurso
presidencial o el entusiasmo generado por un plan econmico
recientemente anunciado, podra desafiar la validez de las
afirmaciones del evaluador.
Maduracin. Los individuos sometidos a prueba como parte de
la evaluacin pueden madurar y crecer de maneras tan
significativas que podran llegar a comportarse como personas
diferentes en el tiempo que se complete un estudio evaluative
Prueba. La primera prueba puede "ensear" los temes de la
prueba y dems informacin relacionada e implicada. La misma
prueba (o una segunda prueba equivalente) puede entonces no
medir cambios reales producidos por el programa.
Instrumentacin. Puede ser que no haya habido cambios en la
realidad sino slo en la calibracin de los instrumentos que la
estudian. O diferentes observaciones y examinadores pueden haber
calificado de manera diferente la misma realidad q ue no ha
cambiado.
5. Regresin estadstica. Este es un fenmeno estadstico. Las
calificaciones extremadamente altas o extremadamente bajas en
una primera prueba tienden a moverse hacia el promedio de la
totalidad de las calificaciones en la segunda prueba. As, puede
suceder q ue cambios en las calificaciones en una segunda prueba
no tengan q ue ver con los grupos, mtodos o efectos del programa.
La regresin estadstica ocurre especialmente en los casos en los
q ue los grupos han sido seleccionados con base en las
calificaciones extremas.
6. Seleccin. Los sesgos en la seleccin de los participantes de
programas de capacitacin o para ser entrevistados o aplicrseles
pruebas pueden amenazar la validez de los resultados.
7. Mortalidad experimental. Muchos de los participantes iniciales
en el estudio evaluativo pueden dejar de participar. Puede ser q ue
deserten del programa o q ue se desplacen a otros lugares por
distintas razones (trabajo, bsqueda de alimentos). As el grupo
q ue permanece puede no ser ya representativo del grupo o la
comunidad q ue se estudia.
8. Interaccin entre la seleccin y la maduracin. Las caractersticas
peculiares del proceso de seleccin de los sujetos en un estudio
evaluativo y la maduracin pueden interactuar de modo q ue
muestren ciertos efectos independientemente de los insumos y
proceso del programa.
B . Validez externa
9. El efecto reactivo e interactivo de las pruebas. La prueba previa
puede aumentar o disminuir la sensibilidad o respuesta del sujeto
a ciertos tipos de tratamientos aplicados como parte de la
evaluacin en un programa.
10. Interacciones entre la seleccin y el tratamiento. Las caractersticas
peculiares de la seleccin de los sujetos y los tratamientos
instruccionales y organizacionales pueden crear efectos q ue
falsifican los resultados en relacin con los efectos reales del
programa.
11. Efectos reactivos de la situacin experimental. Las personas y los
grupos muestran un conjunto de efectos de un tratamiento dentro
de la situacin experimental pero no en las situaciones de la vida
real, fuera del contexto de la experimentacin. O , en algunos
casos, las condiciones experimentales pueden ser demasiado
artificiales.
12. Interferencia de tratamientos mltiples. Cuando el mismo grupo
se somete frecuentemente a prueba o es entrevistado muchas
veces en relacin con diferentes cosas, pueden confundirse los
resultados. Los efectos de una prueba y una entrevista no pueden
borrarse de la experiencia de los sujetos participantes y la primera
prueba o entrevista puede influir de otras maneras que no podemos
descifrar.
El propsito del diseo de evaluacin es reducir las amenazas a la
validez de los resultados de la evaluacin que se han enunciado.
Algunas ideas sobre muestreo
La validez y el rigor general de los estudios evaluativos pueden aumentarse
siguiendo mtodos de diseo y de muestreo apropiados. Comencemos
presentando algunas ideas sencillas sobre el muestreo.
Una muestra es una posicin o parte de un todo que se toma como
representativa de una totalidad. El muestreo es frecuentemente una necesidad
prctica. Los evaluadores pueden tener que trabajar con programas m u y
amplios, que cubren cientos de miles de personas. N o pueden llegar a cada
uno de los miembros de la poblacin para preguntarles lo que desean que
les respondan. E n lugar de esto, seleccionan un pequeo nmero de
informantes de mod o que la muestra sea representativa y pueda ser estudiada
para hacer inferencias sobre la totalidad.
Explicaremos las dos palabras utilizadas en el prrafo anterior: poblacin
y representatividad. E n su significado en la vida diaria poblacin abarca a
todas las personas -hombres, mujeres y nios, jvenes y adultos, campesinos,
trabajadores y amas de casa- que viven en una comunidad o una nacin.
Para el evaluador, la poblacin es el grupo total de personas en la cual l
est interesado. Puede ser la totalidad de las mujeres en edad de tener hijos
en un pas, todas las personas que sufren enfermedades pulmonares, todos
los trabajadores de la industria textil, todos los neo-letrados en una regin
o un pueblo. Las muestras se sacan de esas poblaciones.
Las muestras tienen q ue ser representativas; esto es, como partes q ue
son deben representar el todo al q ue pertenecen.
H a habido muchos avances en la teora del muestreo. Los estadsticos
han elaborado frmulas por las cuales pueden someter a prueba la
representatividad de sus muestras y calcular las probabilidades de error.
El tama o es una consideracin importante al seleccionar muestras.
Co mo es natural, la muestra representativa perfecta es la poblacin total.
En general, mientras mayor la muestra, ms representativa ser de la
poblacin. Pero muestras innecesariamente grandes no son buenas muestras.
Debemos tener el tama o correcto para q ue la muestra sea econmica y
representativa.
En la pgina 217 hemos reproducido un cuadro q ue puede utilizarse
para determinar los tamaos de las muestras segn los tamaos de las
poblaciones. V eamos tambin algunos tipos de muestreo de uso frecuente.
Muestreo aleatorio
Una muestra aleatoria se obtiene cuando la seleccn se hace nicamente
con base en el azar, sin q ue haya un sistema o patrn subyacente, y cuando
cada tem o persona en la poblacin estudiada haya tenido igual probabilidad
de ser incluida en la muestra. Las muestras aleatorias de un tama o
apropiado son las q ue tienen mayor probabilidad de representar todas las
caractersticas y la distribucin exacta de la poblacin total, como lo requiere
el evaluador. Un m todo para seleccionar muestras al azar es ordenar la
poblacin de alguna manera, asignar a sus integrantes nmeros y luego
sacar algunos nmeros al azar. Cuando las poblaciones son grandes y
muchos los n meros asignados, pueden usarse cuadros de n meros
aleatorios.
El muestreo aleatorio puede aplicarse sucesivamente en los estudios
evaluativos. Puede seleccionarse al azar las regiones de un pas,
seguidamente hacer la seleccin aleatoria de algunas comunidades de entre
las regiones seleccionadas y luego seleccionar aleatoriamente los adultos
de las comunidades q ue hayan sido seleccionados al azar. Nuevamente,
estos adultos pueden asignarse a grupos de aprendizaje por una nueva
seleccin al azar.
CUADRO PARA DETERMINAR EL TAMAO D E UNA
MUESTRA DE UNA POBLACIN D AD A
2
N
10
15
20
25
30
35
40
45
50
55
60
65
70
75
80
85
90
95
100
110
120
130
140
150
160
170
180
190
200
210
M
10
14
19
24
28
32
36
40
44
48
52
56
59
63
66
70
73
76
80
86
92
97
103
108
113
118
123
127
132
136
N
220
230
240
250
260
270
280
290
300
320
340
360
380
400
420
440
460
480
500
550
600
650
700
750
800
850
900
950
1.000
1.100
M
140
144
148
152
155
159
162
165
169
175
181
186
191
196
201
205
210
214
217
226
234
242
248
254
260
265
269
274
278
285
N
1.200
1.300
1.400
1.500
1.600
1.700
1.800
1.900
2.000
2.200
2.400
2.600
2.800
3.000
3.500
4.000
4.500
5.000
6.000
7.000
8.000
9.000
10.000
15.000
20.000
30.000
40.000
50.000
75.000
100.000
M
291
297
302
306
310
313
317
320
322
327
331
335
338
341
346
351
354
357
361
364
367
368
370
375
377
379
380
381
382
384
Nota: N es tamao de la poblacin; M es tamao de la muestra.
Maestreo por lista
Este es una modificacin del mtodo de seleccin al azar. Se ordena la
poblacin que interesa al evaluador en una lista siguiendo alguna regla
-alfabticamente, por ejemplo- y entonces se selecciona uno cada n nmeros.
Por ejemplo, puede escogerse cada 5 o cada 20 nmeros, dependiendo del
tamao de la poblacin y el de la muestra que se va a seleccionar. El
mismo punto de partida del proceso puede ser seleccionado al azar para
satisfacer el criterio de que cada unidad tenga igual oportunidad de ser
elegida.
Muestreo por rea
E n este tipo de muestreo se pueden seleccionar aleatoriamente algunas
localidades geogrficas de todos los sitios disponibles, y entonces estudiar
todas las unidades apropiadas dentro de las reas seleccionadas.
Muestreo estratificado
L a poblacin de inters para el evaluador puede dividirse en diferentes
estratos socio-econmicos. O la poblacin puede estratificarse de acuerdo
con grupos de edad-nios, jvenes, adultos, viejos. E n estos casos, puede
utilizarse el muestreo estratificado. D e acuerdo con proporciones de la
poblacin total se extraen muestras al azar de cada estrato de la poblacin
proporcionalmente.
Muestreo intencional, terico o de lite
Puede ser que el evaluador o investigador naturalista con frecuencia no
necesite una muestra aleatoria, sino intencional, una muestra que satisfaga
sus necesidades particulares pre-determinadas. El evaluador puede no estar
interesado en un grupo cualquiera de adultos seleccionado al azar en una
comunidad, sino en dos o tres personas que se supone son los lderes
responsables de la comunidad. El evaluador puede estar interesado en
pequeas muestras lite.
ER - Teora, Preguntas y Diseo
219
Algunos diseos simples para los evaluadores
Seguidamente se presentan algunos diseos de inters para los evaluadores
que trabajan segn la E R. Algunos de estos diseos pueden tambin ser
usados en la E N . Estas descripciones se basan en el trabajo de Campbell y
Stanley y al cual hicimos referencia antes.
(i) Estudios de caso (de una sola vez)
Campbell y Stanley lo denominan diseo pre-experimental. Ha y una total
ausencia de control. El tratamiento del programa (X) es seguido de una
observacin (O):
X O
Aunque el estudio de caso compara implcitamente sus resultados con
eventos similares observados casualmente o ledos y recordados, ste puede
fortalecerse por comparaciones ms sistemticas. D ebe intentarse por lo
menos una comparacin ms. D ebemos recordar que este diseo llamado
pre-experimental puede ser una herramienta til para el evaluador naturalista.
(ii) Diseo pr-e-prueba post-prueba con un solo grupo
Es tambin considerado un diseo pre-experimental y puede representarse
como sigue:
O X 02
Una primera observacin o pre-prueba O es seguida de un tratamiento
X , despus del cual se registra una nueva observacin o post-prueba 0 2 .
Los evaluadores en la modalidad de la E R utilizarn con frecuencia
este diseo en sus estudios evaluativos. Sin embargo, deben procurar
defender sus resultados de las amenazas a la validez, o en calificar sus
conclusiones a la luz de los efectos de la historia, maduracin y pruebas o
instrumentacin, que se discutieron anteriormente. (All discutimos doce
amenazas a la validez interna y extema de los resultados de la evaluacin.
Sera una buena idea que los evaluadores desarrollaran el hbito de
220 7? - Teora, Preguntas y Diseo
confrontar sus resultados en relacin con cada una de stas cada vez que
disean o que terminan un estudio evaluativo.)
(iii)La comparacin de grupos estticos
Este es un diseo en el cual un grupo que ha estado sujeto a un tratamiento
se compara con otro que no lo ha sido:
X O 02
Este es tambin un diseo cuya validez enfrenta muchas amenazas.
Las ms obvias son las de seleccin, (los dos grupos pueden haber sido
diferentes) y la mortalidad (los sujetos en el grupo experimental y/o de
comparacin pueden haber desertado por alguna razn).
(iv) El diseo pre-prueba - post-prueba con grupo de control
Campbell y Stanley lo denominan diseo experimental "verdadero". Se
seleccionan al azar dos muestras (Al y A3) de la misma poblacin. Una se
asigna al tratamiento y la otra no:
AOl X 02
A03 04
Este diseo cumple la mayora de los estndares de validez interna en
forma bastante adecuada, aunque debe tenerse cuidado en la generalizacin
de los resultados a la poblacin general.
(v) El diseo de post-prueba solamente con grupo de control
Este es otro ejemplo de un verdadero diseo experimental. N o siempre
puede hacerse la pre-prueba sugerida en el diseo inmediatamente anterior.
Aun puede no ser necesaria si puede asegurarse la seleccin aleatoria. El
diseo toma entonces la siguiente forma:
A X 0(1)
A 0(2)
221
{Vi) Diseos cuasi-experimentales. Los experimentos de series temporales
El diseo de series temporales consiste en la medicin peridica a algn
individuo o grupo antes y despus de la introduccin de un tratamiento y
el estudio de la "discontinuidad" en el comportamiento a travs del tiempo:
O 02 03 04 05 O6 07 O8
El evaluador que utiliza este diseo debe especificar por anticipado las
relaciones esperadas en el tiempo entre la introduccin del tratamiento del
programa y la manifestacin de su impacto. D ebe asegurarse un relativo
aislamiento del grupo de influencias externas as como cierta consistencia
en las condiciones.
Este diseo puede fortalecerse trabajando con dos grupos en una serie
temporal como sigue:
O O O O X O O O O
O O O O O O O O
(vii) Diseos cuasi-experimentales. El diseo con grupo de control no
equivalente
Estre es un diseo que se utiliza mucho porque se adeca a las realidades
que se enfrentan frecuentemente en el mund o de la educacin y el desarrollo.
Con mucha frecuencia los evaluadores tienen que trabajar con grupos y
clasesque ya estn conformados y no puede asignarles miembros al azar.
As, el diseo toma la siguiente forma:
O X O
O O
D ebemos sealar las similitudes entre este diseo cuasi-experimental y
el diseo "pre-prueba - post-prueba con grupo de control" descrito
anteriormente como diseo experimental verdadero. L a diferencia esencial
entre los dos radica en que en el caso de este ltimo el grupo con tratamiento
y el de control se seleccionan al azar, mientras que en el diseo con grupo
de control no equivalente ninguno de los dos se elige al azar.
222
1. Examine las conclusiones de cualquier estudio evaluatvo que haya
hecho algn colega en un instituto de capacitacin o cualquier otra
situacin de desarrollo. Cules son algunas posibles hiptesis rivales
o explicaciones a las aseveraciones que hace el evaluador?
2. Mire el cuadro de "Aseveraciones de los evaluadores - Objeciones a la
validez", incluido al comienzo de este captulo. Qu tipos de diseo
podran haberse utilizado en cada caso para defender la validez de las
conclusiones a que llegaron los educadores?
Notas
1. Campbell, D onald T . y Stanley, Julian C. Experimental and quasi-
experimental designs for research. Chicago, IL: Rand McNally, 1963.
2. Krejcie, R. V . y Morgan, D . "Determining sample size for research
activities". Educational and Psychological Measurement, 30:607-610,
1970.
CAPITULO 14
LA ELABORACIN DE UNA PROPUESTA
PARA UN ESTUDIO EVALUATIVO
A LA MA N ERA RACIONALISTA
Las propuestas de evaluacin racionalista (ER), no slo se elaboran
integralmente sino que deben seguirse estrictamente. Deben establecerse
cuidadosamente las hiptesis o preguntas evaluativas. Las variables deben
definirse apropiadamente. Los tratamientos deben estar completamente
articulados. Debe elegirse un diseo experimental o cuasi-experimental
apropiado. Deben seleccionarse adecuadamente las muestras y ser
protegidas de las influencias que se deriven de la historia y la desercin
para que los resultados sean vlidos. Los instrumentos deben estar bien
diseados y sometidos a prueba previamente. Tambin debe decidirse de
antemano sobre los procedimientos estadsticos que habrn de utilizarse.
La culminacin exitosa, eficiente y oportuna de un estudio evaluativo
requiere que se piense y planifique con bastante anticipacin. L a concepcin
y la pre-planificacin pueden realizarse mejor dentro del marco de una
propuesta "formal" para el estudio evaluativo. El proceso de desarrollar
una propuesta puede ser utilizado para sistematizar la propia concepcin
del evaluador, para clarificar las necesidades tcnicas, de secretara y
materiales del estudio, para hacer un recuento de los recursos disponibles;
para solicitar y recibir ayuda de un consultor sobre varios aspectos si fuere
necesario; y c o m o una herramienta para la comunicacin con los
administradores y otras partes interesadas.
C o m o se ha mencionado antes, los estudios evaluativos que siguen la
modalidad racionalista buscarn, generalmente, (i) plantear proposiciones
normativas acerca de la poblacin, con base en muestras seleccionadas
aleatoriamente, (ii) hacer comparaciones entre dos grupos, o antes-despus
en relacin con las caractersticas del mismo grupo; y (iii) establecer
correlaciones entre las caractersticas de individuos o grupos.
E n el contexto de la E R, los evaluadores pueden recoger datos frescos
o pueden usar datos ya existentes en el SI G. Efectivamente, si hay un buen
SI G puede no ser necesario recolectar nuevos datos cada vez que se
emprenda un estudio evaluativo.
224 Elaboracin de una Propuesta para un Estudio ER
T ome mos como ejemplo un estudio evaluativo de un programa de
capacitacin para agentes de la alfabetizacin. Enunciaremos los distintos
pasos que se dan al desarrollar la propuesta de evaluacin. Para un
principiante, que elabora por primera vez una propuesta para un estudio
evaluativo puede ser til seguir lo siguientes pasos, ms o menos en el
orden presentado. Si se tiene mayor experiencia se puede avanzar saltando
algunos y volver atrs, por ejemplo, del paso 4 al 7, al 10, al 12 y as
sucesivamente. E n las situaciones de talleres y seminarios de capacitacin
de corta duracin, probablemente ser necesario concentrarse en algunos
de estos pasos y no en otros.
Tambin debe tenerse en cuenta que hasta que la propuesta final est
lista, sus distintas partes requerirn una revisin constante. L a elaboracin
de herramientas e instrumentos requerir echar una mirada a los indicadores
seleccionados para el estudio. Una revisin de los indicadores puede hacer
necesario volver a redactar la pregunta evaluad va y la justificacin del
estudio. A un despus de que la propuesta est lista en su totalidad, las
realidades en terreno pueden exigir cambios y revisiones nuevamente.
Un o debe prepararse mentalmente para estos procesos de revisin que
parecen no tener fin.
Ahora elaboraremos y ampliaremos los comentarios acerca de los
distintos pasos que implica la elaboracin de una propuesta de E R para
evaluar un programa de capacitacin en el rea del desarrollo.
1. El contexto del desarrollo
Los roles y las funciones del instituto o programa de capacitacin que ser
evaluado se ubicarn dentro del contexto del desarrollo. D ebera indicarse
brevemente algo sobre la contribucin del programa de capacitacin al
esfuerzo nacional de capacitar al recurso huma no para el desarrollo.
Si la institucin ofrece una variedad de programas de capacitacin
debe enunciarse cada uno e indicar por separado sus objetivos generales.
E n algunos casos puede ser til incluir el organigrama de la institucin o
del programa.
2. La descripcin del programa de capacitacin en trminos de diseo
Primero presentaremos las caractersticas generales del enfoque de la
capacitacin, por ejemplo:
Elaboracin de una Propuesta para un Estudio ER 225
(a) Se supone que la capacitacin sea general o especializada?
(b) Enfatiza el proceso o la enseanza de conocimientos y habilidades?
(c) Se planifica participativamente la capacitacin o constituye un paquete
pre-elaborado?
(d) Es acadmica u operativa la capacitacin que se ofrece?
(e) Busca la capacitacin ensear valores empresariales, comunales y
cooperativos?
Podran hacerse otras preguntas importantes, pero las anteriores
proporcionan un buen punto de partida.
Estas preguntas generales sobre el diseo de la capacitacin deben ser
seguidas por una descripcin del programa de capacitacin que se va a
evaluar en trminos del sistema (lo que tambin hemos llamado trminos
del diseo). Los cuatro parmetros del sistema (insumos, procesos, contextos
y resultados) deben utilizarse para describir el sistema de capacitacin en
trminos y valores concretos.
3. La problemtica
Los problemas de evaluacin surgen de la falta de informacin o de
comprensin. Tal vez no tengamos informacin o la que tenemos acerca
de los insumos y acerca del contexto de nuestro trabajo no es suficiente.
L a comprensin de los procesos y su aplicacin en nuestro contexto
particular puede ser insuficiente. Quizs no tengamos una medicin de la
cantidad o calidad de los productos o resultados. Estos defectos juntos
crean todo un "conjunto de problemas" en cualquier progra ma de
capacitacin. E n efecto, una institucin o un programa de capacitacin
probablemente nunca estar exento de problemas a evaluar.
Al desarrollar una propuesta para un estudio evaluativo, el evaluador
debe hacer un recuento de la totalidad de problemas inter-relacionados que
pueden molestar a los administradores y a los que toma n las decisiones del
programa en cuestin. Sin emba rgo, el evaluador debe distinguir entre los
problemas de evaluacin y los que son puramente administrativos. Los
problemas de evaluacin surgen de la falta de informacin y comprensin,
mientras que los administrativos se dan por la incompetencia o la negligencia
en cumplir lo debido. L a evaluacin no puede resolver los problemas
administrativos.
4. El problema de evaluacin seleccionado para ser estudiado
El problema del estudio debe sacarse de la problemtica que se ha descrito
en la seccin precedente. Una proposicin adecuada sobre el problema
ser lo ms concreta y especfica que sea posible:
- E n lugar del esfuerzo total de capacitacin de una institucin o
programa, puede ser preferible evaluar una parte especfica de la
accin capacitadora.
- E n lugar de todos los aspectos de un esfuerzo de capacitacin,
puede ser preferible evaluar slo algunos.
- Quizs sea mejor cubrir una muestra de la poblacin que el universo
total.
- Quizs sea preferible estudiar la ejecucin de un programa de
capacitacin durante un perodo especfico de tiempo que sobre la
vida total del programa.
- Tal vez sea preferible buscar efectos especficos y concretos del
esfuerzo de capacitacin que su impacto amplio y generalizado.
Esto no es sugerir que es imposible o ideseable estudiar el impacto
amplio de los programas de capacitacin a gran escala en trminos de sus
influencias generales y a largo plazo sobre grupos numerosos de personas
bajo entrenamiento. Todo lo que sugerimos es que en la mayora de las
situaciones de E R, es ms til ser especfico que ser general.
Aunque un problema evaluativo se defina en trminos generales o
especficos, no puede tolerarse la ambigedad en la E R bajo ninguna
circunstancia. Al establecer el problema de la evaluacin, el evaluador
debe ser m u y cuidadoso con la redaccin. Las palabras deben significar
exactamente lo que est en su mente, nada ms ni nada menos, y no dejar
posibilidades de interpretaciones alternativas.
5. La justificacin de la eleccin del problema de la evaluacin
La eleccin de un problema de evaluacin entre la totalidad de la proble-
mtica no puede ser arbitraria. El evaluador debe ser capaz de justificar su
eleccin. Las justificaciones pueden variar desde lo poltico y lo
programtico hasta lo meramente posible. Puede justificarse un problema
de evaluacin porque las agencias donantes quieren que sea estudiado o
porque el departamento de planificacin o la presidencia ha solicitado
cierta informacin. E n otros momentos, el problema elegido puede tener
implicaciones de poltica importantes o puede producir informacin de
retomo que sea crucial, absolutamente necesaria para la planificacin futura
del programa. O puede justificarse en trminos de su viabilidad -algo que
puede cumplirse con el mnimo de recursos aun cuando haya otras preguntas
de evaluacin ms importantes, las cuales deban haberse abordado primero
si hubiese habido recursos disponibles.
6. Recuento de las investigaciones y experiencias disponibles
La teora disponible, as como la investigacin previa pueden ayudar al
evaluador a definir y clarificar el problema de la evaluacin y ayudarle a
plantear las preguntas adecuadas o a enmarcar las hiptesis correctas.
Otros evaluadores en otras situaciones de capacitacin habran planteado
preguntas similares. Los administradores y capacitadores que hayan
trabajado por mucho tiempo en situaciones de capacitacin parecidas pueden
tener algunas experiencias. D ebe hacerse un intento por recopilar
conocimientos, experiencias y opiniones disponibles como parte del
desarrollo de la propuesta de evaluacin. D ebemos aprender de la
experiencia de otros y no gastar nuestras energas en rein ventar la rueda!
7. Redaccin de preguntas y sub-preguntas
Es importante traducir el problema evaluativo en un conjunto de preguntas
que deben responderse o de hiptesis para someter a prueba. Co m o lo
hemos indicado, en la E R, las preguntas y las hiptesis surgen de la
necesidad de llegar a proposiciones normativas, hacer comparaciones y
establecer correlaciones. D esde luego, las preguntas pueden ser establecidas
como hiptesis y viceversa. Sin embargo, no hay necesidad de plantear
aqu en lo que se interesa la evaluacin a la vez en forma de preguntas y
de hiptesis. Eso sera una redundancia intil. E n efecto, al hacer una E R
podra ser mejor trabajar con preguntas y sub-preguntas y dejar de lado las
hiptesis.
8. Modelos y enfoques de evaluacin que se usarn
Los evaluadores que trabajen en la manera de la E R elegirn, desde luego,
el paradigma clsico (tambin llamado "cientfico"). Sin embargo, aun
dentro de este paradigma, ser posible utilizar diferentes clases de modelos
de evaluacin y distintas tcnicas y enfoques para la recoleccin de la
informacin. Recordemos que la E R puede (y a veces lo hace) usar
instrumentos inestructurados para recoger datos cualitativos. N o obstante,
los datos que as se obtienen, se convierten en categoras nominales u
ordinales y se procesan y analizan bajo los supuestos positivistas. Las
elecciones metodolgicas deben sentarse claramente y deben articularse lo
ms posible los supuestos relacionados.
9. El diseo o pasos y procedimientos de la evaluacin
Tener un diseo de evaluacin significa hacer todo lo que sea necesario
para defender las conclusiones del estudio de los ataques sobre la validez y
la confiabilidad. E n la E R, hay diseos de evaluacin estndar, cada uno
de los cuales requiere un conjunto de procedimientos fijos para su ejecucin.
El problema esencial aqu es elegir el diseo correcto y estar familiarizado
con los procedimientos de anlisis estadstico asociados. Los principales
pasos en la realizacin del estudio evaluativo y los procedimientos que se
siguen en cada paso deben ser esbozados en esta seccin de la propuesta.
10. Instrumentos y herramientas de recoleccin de datos
L a propuesta de un estudio evaluativo debe incluir una discusin de las
herramientas e instrumentos que se utilizarn en la recoleccin de los
datos. Es preferible anexar a la propuesta los primeros borradores de las
herramientas e instrumentos.
Ha y dos preguntas primordiales que el evaluador debe enfrentar antes
de comenzar la construccin de herramientas e instrumentos: (1) Cul es
la unidad de anlisis? E n otras palabras, dnde es probable que aparezcan
los efectos y consecuencias -en individuos, familias o grupos, organizaciones
o comunidades? (2) Cules sern los indicadores de los efectos y las
consecuencias que realmente aparecern? Es decir qu respuestas y
comportamientos indicarn, por ejemplo, cambios en las motivaciones o
en la adquisicin de la auto-determinacin? Las unidades de anlisis deben
escogerse con cuidado y las propuestas deben incluir sugerencias para
probar las herramientas e instrumentos en situaciones piloto. Los ensayos
son tan importantes para la recoleccin de los datos como lo son en el
montaje de una pieza de teatro.
11. El trabajo de campo y los planes de investigacin relacionados
Una propuesta de un estudio evaluativo debe incluir planes de investigacin
bibliogrfica tanto como para la recoleccin de datos en terreno. Si se
necesitan documentos o informes, el evaluador debe saber dnde
encontrarlos, quin los tendr, cmo obtener copias de ellos y cunto
tiempo tomar conseguirlos.
Los planes para la recoleccin de los datos de ca mpo deben elaborarse
cuidadosamente. Si el evaluador no puede recoger personalmente todos
los datos deben contratarse otros investigadores o entrevistadores. Esto
implica que debe planificarse su seleccin y capacitacin. D eben identi-
ficarse contactos locales en terreno y proporcionarles orientacin acerca
de los objetivos y los planes de la investigacin.
Las visitas al ca mpo deben adecuarse a las realidades locales y a la
conveniencia de los informantes individuales. El evaluador debe tener en
cuenta consideraciones talescomo la estacin de la cosecha, el tiempo, las
ferias y festivales, las visitas de personajes importantes, los horarios de
exmenes en las escuelas e instituciones de capacitacin y los ciclos de
planificacin y elaboracin del presupuesto en los departamentos oficiales
y los ministerios. D eben anticiparse y resolverse los problemas de transporte.
Manteniendo esto en la mira, debe prepararse un cronograma.
12. Planes para el procesamiento y anlisis de los datos
Estos planes tambin deben formar parte de la propuesta del estudio
evaluativo. Se necesitarn hojas de codificacin o tabulacin para el
cotejo de los datos? Si es as, deben ser preparadas y probadas. D ebe
contratarse y entrenarse al personal que se necesite para la codificacin y
cotejo de los datos. Igualmente debe preverse e incluirse en los planes las
necesidades de consultoras tcnicas o asistencia estadstica (aun el tiempo
de uso de computador, si se requiere).
Co m o en el caso de la recoleccin de datos, deben prepararse los
planes para el procesamiento y anlisis de los datos en trminos de un
cronograma. N o es suficiente un simple listado de las cosas que hay que
hacer, los planes deben considerar el tiempo requerido.
13. La planificacin del presupuesto
L a realizacin de un estudio evaluativo necesitar personal responsable;
ayuda de secretara y reproduccin de documentos, papel, correo, cintas y
grabadoras (en algunos casos); investigadores de ca mpo y costos de
transporte y telfono, etc. Todos estos recursos existen en las instituciones
y programas de capacitacin y deben estar a la disposicin de quienes
necesiten utilizarlos. Es imposible pensar que las instituciones de
capacitacin no quieran que los capacitadores hagan el mejor trabajo de
capacitacin que sea posible. La capacitacin adecuada requiere informacin
de retomo; y, por lo tanto, la evaluacin debe ser una parte integral de toda
buena capacitacin. Los recursos disponibles en la institucin para la
"capacitacin" deben igualmente ponerse a disposicin de la "evaluacin
de la capacitacin". Los capacitadores-evaluadores deben utilizar los
recursos que ya estn disponibles en lugar de solicitar siempre nuevos
recursos en el contexto de sus estudios evaluativos. D ond e son
absolutamente necesarios nuevos recursos, debe prepararse cuidadosamente
un presupuesto.
14. La elaboracin de informes
La propuesta de un estudio evaluativo debe incluir tambin el elemento de
"planificacin de los informes". Sern utilizados los resultados de la
evaluacin por el programa o la institucin, o sern difundidos por fuera?
Si se prev la divulgacin hacia afuera de la institucin debe desarrollarse
una clara descripcin de los consumidores o clientes externos, interesados
en el estudio. El mismo informe no sirve necesariamente para todos los
grupos; debe considerarse la posibilidad de escribir diferentes versiones
del informe.
Al redactar un informe de evaluacin, deben destacarse las implicaciones
de los datos con respecto a la poltica y al programa. Los datos no siempre
hablan por s mismos. Aunque es necesario que los evaluadores resalten
las implicaciones de sus hallazgos ante quienes formularon las polticas y
planificaron el programa, no pueden derivar conclusiones injustificables.
Pueden ofrecerse opiniones e intuiciones, pero stas no deben mezclarse
con las inferencias hechas a partir de los datos.
L a informacin evaluativa es para ser utilizada, pero algunos abusan
de ella. Con demasiada frecuencia los lectores de estudios evaluativos
buscan a quienes culpar ms que las causas de las fallas; y pueden querer
castigarlos en lugar de abocarse a planificar para el futuro con mayor
entendimiento. N o es de extraarse que con frecuencia aquellos cuyo
trabajo est siendo evaluado se preocupen acerca del proceso evaluativo y
lo que pueda hallarse. Para manejar los aspectos polticos de la evaluacin
de un departamento, ser til discutir un informe preliminar de la evaluacin
en una situacin grupal antes de producir el informe final de la evaluacin.
No todos los estudios evaluativos son para ser reproducidos y
distribuidos. Una sola copia de un estudio evaluativo valdr por mil si sus
hallazgos iluminan la accin y si sus recomendaciones llegan a ser parte
de la toma de decisiones.
15. Bibliografa
Una propuesta para un estudio evaluativo debe incluir la bibliografa de
los libros, informes y documentos utilizados en el desarrollo de la misma y
de los que probablemente se utilizarn en su realizacin y en la elaboracin
del informe final.
1. Prepare una propuesta formal para realizar un estudio evaluativo a la
manera racionalista, usando una pregunta de evaluacin que usted
mismo escoja.
2. Ha llevado a cabo usted algn estudio de E R antes? Cree usted que
su estudio evaluativo podra haber sido mejor si hubiese elaborado una
propuesta formal antes de la ejecucin real del mismo? Si usted nunca
lo ha hecho, discuta sobre la utilidad de las ideas presentadas en este
captulo con alguien que s lo haya realizado.
CAPITULO 15
HERRAMIENTAS Y TCNICAS DE LA
EVALUACIN RACIONALISTA
Es comprensible que las herramientas y tcnicas de la evaluacin
racionalista (ER) sean sumamente racionalizadas. Los instrumentos de la
ER son tpicamente pre-estructurados y se someten a prueba previamente.
Se desarrollan cdigos detallados para las preguntas abiertas que se
incluyan en los instrumentos. A los investigadores de campo se les advierte
que sean impersonales con el fin de lograr objetividad. De antemano se
establecen acuerdos sobre los mtodos estadsticos y niveles de confianza
que tendrn las inferencias que se hagan.
Los problemas de la recoleccin de datos en el mundo real de ninguna
manera se minimizan por la racionalizacin de los instrumentos.
Permanecen vigentes los problemas humanos que requieren especial
atencin y que son resueltos por los evaluadores racionalistas de una
manera especial. Una vez que los datos han sido recogidos, hay que
cotejarlos, procesarlos y verterlos en formatos especiales para que mediante
el anlisis estadstico se sometan a prueba las hiptesis y se responda a
las preguntas de la evaluacin.
Primero, ser til recordar en esta etapa que el proceso de planificacin de
la evaluacin", descrito antes, en el Captulo 3 de la Parte II, se aplica para
los tres enfoques analizados de generacin de informacin: el SI G, la E N
y la E R. Segundo, hay claros paralelos entre el diseo de un Sistema de
Informacin para la Gestin y el de la E R. Los pasos peculiares en la
progresin de la evaluacin a la manera racionalista se muestran
grficamente en la Figura 8, que aparece en la pgina siguiente.
E n este captulo discutiremos cuestiones importantes acerca del diseo
de instrumentos; la administracin de stos en el ca mpo; el cotejo
(acumulacin) de los datos recolectados; el procesamiento y presentacin
de los datos; y finalmente, el anlisis de los mismos para someter a prueba
las hiptesis o responder a las preguntas de la evaluacin.
H
e
r
r
a
m
i
e
n
t
a
s

y

T
c
n
i
c
a
s

d
e

l
a

E
R

2
3
3

I

a
>

C
O

C
O

-
s
S
l
f

1
1

U
i

C
D

C
O

C
O

C
O

C
D

=

o

m

&

I

S

S

r
a
-
Q

C
O

1
1

<

C
D

H

O
)

C
D

I
E

c
e

.
g

das
C
O

t
z

o

lecc
$

o

o

o

T
3

C
D

3

<

C
D

o

C

c
o

C
L

"
C
D

I

ion ormac de Inf
C
O
esidade arNec Determin
h
.

aluaci
>

deE untas
O
)

es y Pre uietud Establecer Inq
rel
streo,
todos
para
elos

C
D

^

C
O

-
O

o

^

*
=

c
o

c
o

Selec
seo,
todo
stads
1 Anal
D
C
O

C
O

S
3

'
5
5

Pregun
Hipte
C
O

er la
ntas
tablee
-pregu
%
i

-
Q

<
D

3

c
i>

c
o

L
T

>
.

1

_
c
g

o

Revi;
1

Q

s

L
U

C
D

i

i

C
O

scrbir
cadore
L
U

T
3

J
=

'

k

>
*

>

C
D

C
O

r Trminos Clav
ar Conceptos C
Dfini
Analiz
edio de
rvacin
E

a
>

8
\
8

Recoger Datos
:in, Pruebas y
s para
ovoca
Escribir Iteme
Preguntas, Pr
o

c

n Instrumen
Cuestionan
e Observaci
ternes e
ruebas,
Guas d
ar los 1
dos:P
stasy
Organiz
apropia
Entrevi
o
c

I

t
a

c

o

u

(
0

o
c

o

(
0

j
a

(
0

>

L
U

O

o

o

M

<
D

o

L
U

C
O

C
O

3

O
)

234 Herramientas y Tcnicas de la ER: Herramientas e Instrumentos
SE CCI N A : Herramientas e Instrumentos
Cualquiera que sea la naturaleza del enfoque para la recoleccin de
informacin con propsitos evaluativos, implica algunos tiposde recoleccin
de datos. Habr que ver, observar, preguntar, entrevistar, provocar reacciones
y someter a prueba. D esde luego, hay diferencias esenciales en la forma
como se recopila la informacin en la E N en comparacin con la E R. Los
instrumentos utilizados en la E N son inestructurados o m u y poco
estructurados. Ha y muchas preguntas abiertas y los datosson cualitativos.
Los instrumentos estructurados se consideran un mrito de la E R. Los
datosson nominales u ordinales. Aun cuando se recogen "datos cualitativos",
stos se "cuantifican" para procesarloscomo datos numricos o nominales.
Puede deducirse fcilmente que como el SI G tpicamente guarda datos
numricos, tiene ms afinidad superficial con la E R que con la E N .
E n el Captulo 7, Herramientas y Tcnicas para Ejecutar un SI G,
tratamos los temas de la elaboracin y administracin de las pruebas de
rendimiento. D espus, en el Captulo 11, tratamos sobre las entrevistas y
observaciones inestructuradas como instrumentos especialesde la evaluacin
a la manera naturalista. Arbitrariamente dejamos para esta parte de la
monografa la discusin sobre los cuestionarios, entrevistas y observaciones
estructuradas. Ahora trataremos sobre estos instrumentos estructurados.
Los cuestionarios estructurados
Co m o el nombre lo sugiere, estos son "estructurados" en cuanto a las
preguntas que se formulan, las palabras exactas que deben usarse al
presentarlas, la secuencia en que se preguntan y el formato en el cual las
respuestas deben obtenerse y registrarse (debe anotarse que los cuestionarios
no son un simple conjunto de "cuestiones" con un signo de interrogacin
al final. Los cuestionarios incluyen escalas, temes de eleccin mltiple y
otros dispositivos para obtener y registrar las respuestas).
Los cuestionarios estructuradosse distribuyen con frecuencia por correo.
En casos especiales puede hacerse a ma no y, de hecho, pueden ser llenados
tambin por el investigador de campo. Este ser el caso cuando se usa, por
ejemplo, un cuestionario con un grupo seleccionado de adultos analfabetos.
E n este caso, un cuestionario estructurado se convierte en una entrevista
estructurada.
Los cuestionarios deben se cortos y estar bien diseados. Puesto que
Herramientas y Tcnicas de la ER: Herramientas e Instrumentos 235
los informantes los llenarn independientemente, deben incluir instrucciones
claras y fciles de entender. Una corta introduccin debe presentar el
propsito del cuestionario y explicar cmo los datos que suministra el
informante lo ayudarn a l y a su comunidad en general. D ebe asegurarse
y garantizarse el anonimato del informante.
Al tratar sobre las pruebas en el Captulo 7 de la Parte III (Seccin C) ,
sugerimos que stas son pruebas de conocimiento. Los cuestionarios y las
entrevistas son tambin en un sentido pruebas de conocimiento. L a
diferencia es que stas son pruebas del "conocimiento particular" que
puede tener un individuo y lo quiera aportar. N o es el conocimiento general
de una materia sino conocimientos privados de una persona -informacin
de la cual dispone la persona, sus percepciones, actitudes y opiniones de
distinto tipo (como se ha indicado en otra parte, algunos temes de las
pruebas de rendimiento pueden a veces ocultarse en un cuestionario).
Adaptaciones locales de cuestionarios disponibles
Generalmente los evaluadores tendrn que disear sus propios cuestionarios
para que sean adecuados a los contextos sociales especiales y del programa
en que se desarrolla el estudio evaluativo. Sin embargo, a veces pueden
adaptarse cuestionarios sobre temas similares elaboradas por otros
evaluadores en otros lugares. Muchos temes tiles pueden tomarse de
otros cuestionarioscon pocas modificaciones.
La elaboracin de buenos cuestionarios
Los buenos cuestionarios se elaboran en la perspectiva de objetivos claros.
Preguntan lo que el evaluador necesita saber y evitan las preguntas
innecesarias, pero no se olvidan las preguntas importantes. Siempre se
solicita informacin demogrfica estndar como sexo, edad, ocupacin,
ingresos, etc., de mod o que se posibilite la interpretacin de la totalidad de
respuestas recibidas.
L a elaboracin de temes para los cuestionarios presenta un conjunto
adicional de problemas, ya que (1) se pregunta sobre conocimientos privados
que los informantes pueden no querer compartir; (2) se busca sacar
opiniones y actitudesque es posible que los informantes no estn preparados
para compartir honestamente. Las actitudes respecto a la planificacin
familiar, matrimonios entre personas de diferentes tribus, alimentos
considerados tab, no se expresan fcilmente con honestidad. El informante
puede proporcionar respuestas "socialmente aceptables". Puede decir a los
evaluadores lo que supone que refleja la actitud apropiada en lugar de lo
que realmente cree con respecto a algn aspecto particular de su mund o
social o cultural.
Para resolver algunos de estos problemas, quienes elaboran los
cuestionarios pueden intentar redactar temes menos directos y preguntar
lo mismo de diferentes maneras en un mismo cuestionario.
Insistimos nuevamente en probar los cuestionarios antes de
administrarlos a gran escala como parte del estudio evaluativo. La prueba
previa sealar muchos problemas que puede tener el cuestionario.
L a siguiente lista muestra algunos ejemplos de errores que cometen
los evaluadores principiantes al redactar temes para cuestionarios. Muchos
de esos problemas se captan en el proceso de pre-prueba del cuestionario.
Con la prctica seguramente mejorar la elaboracin de temes para
cuestionarios.
TEMES COMENTARIOS
A un funcionario del distrito le
preguntan: D espus que se ha
comunicado la informacin a los
jefes/asistentes en su rea, cmo
se trabaja al respecto?
Puede el funcionario del distrito
realmente responder? No ser
mejor obtener esta informacin
directamente de los jefes? No
estamos preguntando a informan-
tes inadecuados?
Le preguntaron a un agente que
trabaja a nivel local sobre nutri-
cin: A qu se dedica en las
visitas al hogar?
No es sta una pregunta dema-
siado general?
Se le pregunta a un sujeto: Atri-
buye usted el fracaso de su amigo
a la pereza?
Qu es la pereza? Tiene el
mismo significado para todos la
palabra pereza?
Se le pregunta a un sujeto: Cree
usted que gozaba de buena salud
durante el perodo que dur el
curso de capacitacin?
Entienden lo mismo por buena
salud el sujeto y el evaluador?
Qu tal si el estudiante no estaba
mu y bien pero no tan enfermo
A un extensionista le preguntan
en un curso de capacitacin: Fue
til su visita al agricultor?
Se solicita al director de una
escuela que juzgue el compromiso
con el trabajo entre el estudiante
y el maestro, en trminos de:
- insatisfactorio
- por debajo del promedio
- promedio
- por encima del promedio
- sobresaliente
El evaluador pregunta al exten-
sionista local: Son los materiales
audio-visuales preparados local-
mente mejores que los preparados
en otra parte?
Se pregunta a un asistente de coo-
perativas a nivel comunitario:
Cuntos de sus primeros estu-
diantes todava practican las
habilidades de lectura?
c o m o para perder clases por
mucho tiempo? No deberamos
preguntar en trminos de los das
que falt debido a enfermedad?
Util para quin? En qu forma?
Con base en qu clase de evi-
dencia, usando qu criterios?
Cmo podemos garantizar que el
evaluador y el director entienden
lo mismo por compromiso con el
trabajo? D efinimos el compromi-
so en trminos de puntualidad o
de tener una sobrecarga de trabajo,
o de ofrecer tutora a los estudian-
tes con dificultades? Cmo ad-
quirir el director el conocimiento
sobre el cual basar estos juicios?
Significa "en otra parte" en otra
localidad? En la Oficina Central
a nivel nacional? Preparados por
una firma comercial? "Mejor"
significa producido en otra parte?
Mejor en valores de produccin
o en trminos de pertinencia de la
instruccin?
No dira la mayora de ellos que
"muchos"? No es sta una pre-
gunta cargada?
Las entrevistas
Los evaluadores usan las entrevistas tanto en la indagacin racionalista
c omo en la naturalista. E n el contexto del paradigma racionalista, las
entrevistas son estructuradas o semi-estructuradas. Por semi-estructuradas
entendemos entrevistas bsicamente estructuradas que contienen algunas
preguntas de sondeo que buscan mayores explicaciones.
C o m o indicamos antes, los cuestionarios estructurados se convierten
en entrevistas estructuradas al ser aplicados en persona. Por lo tanto, la
entrevista estructurada tiene los mismos problemas y suscita las mismas
inquietudes respecto al diseo, la elaboracin de temes y la presentacin
de los datos que el cuestionario estructurado. Pero, c omo las entrevistas se
llevan a cabo en situaciones cara a cara, plantean otros problemas y desafos
adicionales. El entrevistado debe estar motivado para acceder a la entrevista
e invertir el tiempo requerido para completarla. El entrevistador debe ser
capazde establecer confianza y empatia sin llegar a influir en las respuestas
del entrevistado. E n las localidades rurales de los pases en desarrollo no
siempre es posible apartar de sus ocupaciones al entrevistado (especialmente
a las mujeres) para conversar un largo rato en privado. Por otra parte, el
entrevistador debe asegurarse de que una entrevista individual con una
joven madre no se convierta en una entrevista familiar.
A veces lo que queremos son entrevistas familiares. Pero entonces
debemos preparar y realizar una entrevista familiar. El punto es que una
entrevista individual no se confunda con una entrevista familiar o grupal.
Tambin es posible que dos entrevistadores realicen una entrevista. Un
lder de una comunidad rural puede ser entrevistado sobre su trabajo por
un panel completo de entrevistadores.
Las escalas incluidas en los cuestionarios o las escalas independientes
para registrar actitudes y opiniones
C o m o hemos indicado anteriormente, los cuestionarios no slo incluyen
preguntas. E n un cuestionario puede aparecer una variedad de temes,
incluyendo escalas. E n su forma ms sencilla una escala se presenta as:
SI INDECISO NO
o ESTOY NO ESTOY ESTOY EN
D E ACUERD O D E ACUERD O D ESACUERD O
Un a escala puede hacerse ms sensible simplemente aadiendo ms
opciones ordinales, c o m o en la siguiente:
ESTOY ESTOY NO ESTOY ESTOY EN ESTOY
COMPLETAMENTE DE ACUERD O DE ACUERD O DESACUERDO COMPLETAMENTE
DE ACUERD O EN DESACUERDO
A las opciones ordinarias intermedias de la escala no siempre hay que
darles definiciones y de hecho, pueden dejarse en blanco. Fjese en la
siguiente escala que usa siete opciones ordinales sin rtulos con dos
extremos polares opuestos:
Creativo N o creativo
Estas escalas pueden convertirse en escalas multidimensionales
utilizando mucha s dimensiones bipolares, talesc o m o las siguientes:
creativo-no creativo organizado - desorganizado
difcil-fcil relevante - irrelevante
flexible-inflexible prctico - no prctico
emocionante-aburrido activo - pasivo
fuerte-dbil exigente - no exigente
cientfico-artstico envolvente - alienante
objetivo-subjetivo modificable - inmodificable
y motivante - alienante
Estas escalas pueden ser analizadas en conjunto para obtener una
visin ms precisa de la estructura referente a la actitud o de los valores de
un individuo. A veces puede darse valores numricos a estas escalas c o m o
en la siguiente:
Organizado Desorganizado
+3 +2 +1 +0 -1 -2 -3
Esto permite la cuantificacin de los datos recogidos utilizando rtulos
cualitativos.
Al ser aplicadas a un grupo, estas escalas pueden utilizarse para describir
las estructuras de los grupos, al obtener los porcentajes de las respuestas.
Por ejemplo:
Creativo 3.7 22. 2 26. 6 23. 8 18.3 5.8 N o creativo
% % % % % %
Observaciones de campo
L a observacin de ca mpo, repetimos, es una estrategia de recoleccin de
datos que puede utilizarse al seguir cualquiera de los dos paradigmas, el
racionalista y el naturalista. E n el paradigma racionalista la observacin de
ca mpo puede basarse en el muestreo aleatorio y puede ser altamente
estructurada. E n la tradicin naturalista, la observacin de ca mpo es
inestructurada y propositiva. Pueden hacerse observaciones participantes o
no participantes.
Los evaluadores desean hacer observaciones de ca mpo para sentir
directamente la realidad sin que un intermediario tenga que ver e
interpretarla por ellos. Sin embargo, la observacin no es simplemente
cuestin de abrir nuestros ojos y odos a la gente en las situaciones de la
vida real. Tenemos que entrenar nuestros ojos y odos y aprender a registrar
nuestras observaciones. Los diarios, listas de cotejo, los mapas y diagramas,
guas, escalas sociomtricas, escalas de calificaciones y cmaras pueden
utilizarse para registrar observaciones.
Las guas de observacin no son fciles de elaborar y pueden deslizarse
en ellas gran cantidad de errores. Examinemos los siguientes ejemplos:
ITEMES COMENTARIOS
Pueden los alumnos sentados en
la parte posterior de la clase escu-
char al maestro-estudiante?
Habla el maestro-estudiante con
confianza en s mismo?
Qu situacin econmica tienen
los que han solicitado prstamos?
Cm o utilizaron los fondos
quienes obtuvieron prstamos de
la sociedad cooperativa: tomaron
otra esposa, pagaron pensiones de
los nios, comenzaron a beber ms
o compraron ropa nueva?
Una gua de observacin busca
observar:
- actitudes de las personas antes
de que comience una reunin
pblica; y
- actitudes de las personas durante
y despus de la reunin.
Lleva la sociedad cooperativa los
libros exigidos por la ley?
Puede observarse esto? O tene-
mos que preguntar a los alumnos
sentados en los asientos de atrs si
oyen? O debera el evaluador
tratar de escuchar desde la parte
trasera del saln?
Qu debemos mirar para observar
manifestaciones de confianza en s
mismo?
Podemos "observar" la situacin
econmica como tal?
Cm o podemos observar esta
historia de comportamientos du-
rante una visita o un corto perodo
de observacin? Este tipo de in-
formacin tendr que ser recogida
por otros medios alternativos.
Es posible observar esto?
Cambiar las actitudes durante una
reunin pblica?
Se muestran las actitudes en las
caras de las personas?
Est bien; pero no es esto una
cuestin de auditora ms que de
observacin?
Registros y documentos
Los registros y documentos son fuentes de datos importantes para el
evaluador. El anlisis de los registros y documentos puede ser cuantitativo
(adecuado el paradigma racionalista) o cualitativo (adecuado el paradigma
naturalista).
La tica de la compra de datos
Con frecuencia surge esta interrogante: D ebe un evaluador pagar a los
informantes en un estudio evaluativo? N o hay una simple respuesta de
"Si" o "N o". La produccin de conocimiento es una funcin social; y en el
caso de un estudio de evaluacin, la utilizacin social de la informacin
evaluativa puede ser bastante clara tanto para los evaluadores como para
los informantes. Si el evaluador est trabajando a nombre del gobierno o
de una agencia voluntaria sin nimo de lucro, la evaluacin est sirviendo
un inters pblico. Los informantes como buenos ciudadanos comprome-
tidos, deben participar gratis en el estudio evaluativo.
Sin embargo, si se coloca a un sujeto en una situacin de tener que
elegir entre trabajar en la construccin o participar en el estudio evaluativo,
se le debe pagar para compensarlo por la prdida del jornal.
1. Desarrolle una lista detallada de afirmaciones verdaderas, principios,
destrezas y actitudes que usted quisiera que hubieran aprendido los
que participan en el curso de capacitacin hacia el final del mismo.
2. Le han entrevistado recientemente como parte de una evaluacin o
algn tipo de encuesta? Qu recuerda que haya sido bueno en la
entrevista? Qu le pareci irritante o inaceptable? Fue capaz el
entrevistador de ganar su confianza?
3. Elabore una gua de observaciones sobre "Los Hbitos de Trabajo en
la Oficina". Ensyela observando a un colega. Pdale a su colega que
la use para observarle a usted.
Herramientas y Tcnicas de la ER: Recoleccin de Datos 243
SE CCI N B: La Recoleccin de Datos
Nos hemos referido en otras partes de esta monografa a muchos de los
problemas de la ejecucin de los estudios evaluativos directa o
indirectamente. Sin embargo, puede resultar ms til presentar una discusin
sistemtica y formal de los problemas prcticos encontrados al realizar
evaluaciones, como lo haremos a continuacin.
A veces las circunstancias son ms poderosas que los hombres y las
mujeres. Un evaluador no puede ejercer control sobre el tiempo, la sequa
o la hambruna. Slo se puede tratar de sobrellevar esas circunstancias y
salir de ellas lo mejor que sea posible. Pero otro conjunto de circunstancias
posibles pueden ser anticipadas y uno debe prepararse para afrontarlas.
Un conjunto nuevo de relaciones entre colegas
La evaluacin es un asunto poco usual. Aun tratndose de la evaluacin
que usted haga de su propio trabajo, se perturban las relaciones existentes
con sus colegas. Es importante mantener el sentimiento de vanidad e
informar a todos los involucrados lo que usted est haciendo y por qu.
Ha y que aplacar los temores y mitigar los celos profesionales.
La evaluacin siempre har demandas que no son usuales a quienes
trabajan con usted en la oficina y en el campo. El evaluador tiene que
convertir a sus colegas, a los otros funcionarios y asistentes, en colaboradores
profesionales. El evaluador tiene que contar con la aprobacin de sus
superiores; establecer intercambios justoscon los que estn al mismo nivel
y recibir ayuda de los de abajo, no mediante rdenes sino compartiendo
las emociones y los crditos por el trabajo realizado. D ebe hacer un
reconocimiento justo, tanto verbalmente como por escrito a todos aquellos
que le hayan asesorado o apoyado.
La capacitacin de los investigadores de campo
En la mayora de los casos, el evaluador no tendr oportunidad de recolectar
los datos por s mismo. Necesitar la ayuda de sus colegas y otros
trabajadores de campo. Es importante que a todos los que han sido
movilizados c omo investigadores de ca mpo se les proporcione el
entrenamiento y la orientacin apropiados. El evaluador no siempre querr
informar a los investigadores de ca mpo las hiptesis o preguntas de
244 Herramientas y Tcnicas de la ER: Recoleccin de Datos
evaluacin con el fin de evitar prejuicios personales. Pero los investigadores
de campo deben ser bien entrenados para satisfacer todos los requerimientos
de la administracin de los instrumentos de evaluacin (yo mi s mo aprend
un hecho mu y simple por experiencia propia. N o llenar los cuestionarios o
guas de entrevista con tinta. Puede correrse con la lluvia. Use lpices de
mina o bolgrafos q ue no se corran con el agua). Las orientaciones y la
capacitacin deben ser detalladas si hay q ue realizar entrevistas en
profundidad.
Es importante q ue el evaluador pueda mantenerse en contacto con los
investigadores de campo para responder a sus inquietudes y resolver
problemas no previstos.
El aprovechamiento de los recursos institucionales existentes
Es importante q ue los evaluadores de programas de alfabetizacin aprendan
a aprovechar los recursos institucionales existentes. Esto es especialmente
vlido en el caso de las facilidades de transporte. Los viajes al terreno
deben planificarse de modo q ue se ajusten a las necesidades de varios
funcionarios de distintos departamentos de desarrollo.
El trato con los informantes
El evaluador no puede anticipar cundo habr un funeral o una temporada
de escasez de alimentos, pero puede estar al tanto de los perodos de
migracin de los informantes potenciales, sus patrones de trabajo diarios y
los festivales y das de fiesta.
El investigador debe tener la posibilidad de permanecer en el rea el
tiempo suficiente para desvanecer el efecto novedoso de su presencia all,
para establecer cierta compenetracin con la gente y para aplicar los
cuestionarios o realizar las entrevistas. El evaluador puede tener q ue emplear
a una tercera persona para q ue lo acompa e a realizar entrevistas con las
madres jvenes, quienes pueden sentirse molestas al estar solas con el
investigador. En esos casos, la tercera persona debe seleccionarse
cuidadosamente y todos los q ue se involucren debern entender las reglas
de conducta q ue tienen q ue observar durante una entrevista o la
administracin de un cuestionario.
Habr situaciones en las cuales los informantes esperarn q ue se les
pague por participar como sujetos en un estudio evaluativo. Co mo hemos
Herramientas y Tcnicas de la ER: Recoleccin de Datos 245
indicado en otra parte, los evaluadores (y los investigadores) no deben
pagar por la obtencin de datos salvo que el informante est perdiendo una
remuneracin por participar en el estudio evaluativo.
Los cambios en las muestras e instrumentos
En las evaluaciones naturalistas el muestreo es propositivo y las muestras
se seleccionan y redefinen para ajustarse a las circunstancias. En la llamada
evaluacin racionalista las muestras son pre-determinadas y pre-
seleccionadas. Suceder con frecuencia que el evaluador no sea capaz de
recoger los datos de la muestra seleccionada y se vea obligado a sustituir a
los informantes que desertaron o se vea forzado a conformarse con muestras
ms pequeas. N o es posible en el mbito de este captulo tratar los
complejos problemas de la desercin y la sustitucin en las muestras. Sin
embargo, podemos ofrecer un consejo general: los evaluadores deben
mantener un registro preciso y honesto de los cambios introducidos en la
muestra de mod o que puedan emitirse juicios apropiados en la etapa de
interpretacin de los datos y los resultados. /
Tambin habr casos en los que ser necesario hacer cambios en los
instrumentos de evaluacin. Algunas preguntas tal vez no hayan sido
comprendidas por los informantes, no ser posible contestar algunas o los
informantes pueden rehusarse a contestar otras. El evaluador debe estar en
contacto con los investigadores de campo, si los hay, para discutir estos
problemas y hacer los cambios necesarios. Si hay cambios en los
instrumentos stos deben ser seguidos uniformemente por todos los
investigadores de campo. Es claro que algunas de estas situaciones pueden
evitarse mediante una apropiada prueba de los instrumentos.
El manejo de los instrumentos aplicados
Pueden surgir problemas debido a un descuidado manejo de los instru-
mentos ya completados. Los cuestionarios y las guas de entrevista pueden
perderse o daarse con la lluvia. Los datos deben tratarse como algo
precioso. D ebe darse claras instrucciones a los investigadores de ca mpo en
relacin con el envo por correo y la remisin de los datos. D eben en-
viarse por ma no con funcionarios que viajan del ca mpo a la oficina en la
ciudad? D eben ser siempre enviados por correo? Cmo deben empa -
carse? D eben enviarse por correo certificado? Los cuestionarios y otros
246 Herramientas y Tcnicas de la ER: Procesamiento de Datos
instrumentos ya completados pueden mezclarse con otros en la oficina del
evaluador. Por eso deben ser marcados en forma apropiada y codificados
tan pronto como se reciban.
1. Cules son algunos de los problemas que usted puede anticipar en el
curso de la recopilacin de los datos en su situacin?
2. Qu sugerira usted a los evaluadores respecto al establecimiento de
relaciones de colaboracin fructferascon los colegas y subordinados?
3. Puede ustes pensar en casos en los cuales los problemas encontrados
durante la recoleccin de los datos en el campo pusieran fin a un
estudio evaluativo?
SE CCI N C: El Procesamiento y la Presentacin de los Datos
Los datos son slo eso -datos; los datos no son informacin. D espus de
haber administrado las pruebas y los cuestionarios, de haber realizado las
entrevistas y las observaciones de campo y de haber examinado los registros
y documentos, lo que tenemos son datos en bruto, que no constituyen in-
formacin por s mismos. Los datos en bruto deben ser codificados, debe
drseles un peso y ser cotejados, procesados, analizados y sintetizados
para producir informacin que pueda ser utilizada para tomar decisiones
sobre el programa.
El procesamiento y el anlisis de los datos. Significado y proceso
E n otra parte de este manual hemos sealado que el procesamiento y el
anlisis de los datos son tareas que se sobreponen. El procesamiento
involucra todo lo relacionado con el conteo, cotejo, consolidacin,
estandarizacin y presentacin de los datos en formatos adecuados para
dar paso al anlisis-que es una combinacin de lo lgico y lo analgico, lo
intuitivo y lo analtico.
Herramientas y Tcnicas de la ER: Procesamiento de Datos 247
D e nuevo debe recordarse que en la E R normalmente los objetivos se
proponen llegar a hacer aseveraciones normativas, hacer comparaciones o
someter a prueba ciertas correlaciones. Entonces, en este caso, la tarea de
procesar los datos es hacer lo que sea necesario para poner los datos en
cuadros y matrices de mod o que puedan aplicrseles los procedimientos
estadsticos estndar como parte del anlisis de los mismos. As, las
habilidades y las tcnicas para el procesamiento de los datos incluyen las
de codificacin, calificacin, valoracin, estandarizacin, clasificacin, etc.
El anlisis de los datos implica formular proposiciones normativas de
probabilidad y realizar pruebas estadsticas para establecer correlaciones y
diferencias.
Lo esencial del procedimiento y el anlisis de los datos
D emos una mirada global al procesamiento y anlisis de los datos y
tratemos de comprender lo esencial de estos procesos. Esto se muestra
grficamente en la Figura 9.
La esencia del proceso que se muestra en dicha Figura es buscar las
relaciones y patrones en los datosque permitirn al evaluador:
1. Formular un conjunto de proposiciones normativasde probabilidad
sobre lo que hall (cul es la importancia relativa de las razones
que dan los adultos para desertar del programa de alfabetizacin?
cul es la estructura general del rendimiento en lectura de los
adultosque iniciaron clases de alfabetizacin hace un ao?).
2. Comparar el conocimiento, las actitudes y el rendimiento de los
grupos y comunidades en un determinado momento; por un
perodo de tiempo; a travs de una jerarqua social; y dentro de
contextos diferenciados (qu grupo tiene ms conocimientos
funcionales, el Grupo I o el Grupo II? es la tasa de adopcin de
innovaciones en la comunidad X mejor hoy que hace dos aos?
tienen los administradores de un nivel jerrquico superior en el
programa una visin sobre un fenmeno particular diferente de la
de los trabajadores de campo? funciona mejor un mtodo
particular de enseanza en el contexto urbano en comparacin
con el contexto rural?).
3. Correlacionar el rendimiento en un aspecto con el rendimiento en
otros (rinden ms los adultos en aritmtica que en lectura?
2
4
8

H
e
r
r
a
m
i
e
n
t
a
s

y

T
c
n
i
c
a
s

d
e

l
a

E
R
:

P
r
o
c
e
s
a
m
i
e
n
t
o

d
e

D
a
t
o
s

C
O

o

c
o

o

adsticos
A nlisis R eal de los 1
Usando los Mtodos Est
k

Estudio
Evaluativo
en Cuestin
i

y
r

Completados
, por ejemplo,
is a los Itemes
Instrumentos
<

c

c
<

_

<

<

2

T
S

T
J

0
3

3

E

n

c
o

0

0

z

c
e

5

C
A
L

nformadas
untas /
acin
Desarrollar A firmaciones 1
en R elacin a las Preg
H iptesis de la Evalu
w

Escribir
Informes
Evaiuativos
>mbinar, Estandarizar, Codificar,
sen trminos de los Indicadores/
Conceptos Iniciales
Certificar, Ce
Agrupar Iteme
w

'resentar los Datos
1 uso del A nlisis
> Apropiado para
ir las Preguntas
ar las Hiptesis
Organizar yF
mediante e
R esponde
Comprob
(
f

o

c
o

O

a
>

o

m

c

<

>
>

o

c

0
>

S
I

0
)

2

Q
.

L
U

S

a

o

o

r
e

r
e

i

quienes tienen buenas calificaciones en lectura, tienen tambin
buenas calificaciones en escritura? son los adultos letrados quie-
nes mejor adoptan las innovaciones?).
D ebe tenerse en cuenta que estas preguntas tpicas se habrn anticipado
en el diseo de nuestros estudios y habrn influido en la seleccin de
informantes y fuentes de datos as como en la seleccin de muestras. D ebe
recordarse tambin que algunos de estos datos se convertirn en informacin
mientras que otros se utilizarn para describir el contexto para interpretar
la informacin generada.
Algunas herramientas y rutinas mecnicas del procesamiento y anlisis
de los datos
Todos hemos odo historias sobre cmo algunos evaluadores principiantes
se sienten abrumados por la cantidad de datos que han recogido. Ellos no
saben qu hacer con los montones de cuestionarios y guas de entrevistas
que han hecho llenar. Algunos terminan leyendo por encima ciertos datos
o todos los datos, tomando notas y escribiendo ensayos personales basados
en las impresiones de su experiencia al realizar el trabajo de ca mpo y
estableciendo lo que han aprendido en general. A continuacin se presentan
algunas de las herramientas y rutinas mecnicas del procesamiento/anlisis
de datos que pueden servirle de ayuda para tratar los datos que usted haya
recolectado:
1. Buen suministro de papel blanco y rayado
2. Suministro de lpices de mina y sacapuntas
3. Borradores
4. Lquido corrector, si es posible
5. Unas tijeras
6. Cinta adhesiva
7. Clips y alfileres, y
8. Un juego de lpices de colores.
Otra sugerencia bsica
E n el procesamiento y anlisis de los datos escriba slo por un lado del
papel. Use una hoja de papel separada para cada idea o cuadro que
250
Herramientas y Tcnicas de la ER: Procesamiento de Datos
desarrolle. Esto le ayudar al tratar de organizar el material de diferentes
formas. N o tiene que usar papel limpio en esta etapa del procesamiento de
datos. D ebe analizar materiales de desecho que pueda obtener. Para hacer
cuadros a ma no use papel cuadriculado para leer las filas sin confusin.
Tenga cuidado con la colocacin de los nmeros en las columnas:
125 125
5 5
11 11
es correcto no. es correcto
N o escriba sobre sus propios escritos. Utilice una goma para borrar, o
tache y vuelva a escribir. Si no, ms tarde usted mismo se preguntar si
cambi un 3 por un 8 o un 8 por un 3.
La agrupacin e identificacin de piezas de datos
E n aras a la conveniencia, denominaremos piezas de datos a todas las
pruebas, guas de entrevistas, guas de observacin y cuestionarios llenado
y devueltos por los investigadores y los informantes. L o primero que hay
que hacer cuando todas las piezas de datos han llegado es ordenar e
identificar las distintas piezas asignndoles nmeros. E n diferentes casos
sern apropiados distintos tipos de agrupacin. Cuando los informantes no
son annimos, las piezas de datos pueden disponerse en orden alfabtico.
Pueden utilizarse otros ordenamientos para reflejar las agrupaciones de las
piezas de datos por sexo, edad, religin o etnicidad; por curso de
capacitacin, grupo o ao; por regin, provincia o distrito; por alfabetizador
responsable; en trminos de grupos de capacitados -no capacitados; y por
el tipo de metodologa de capacitacin utilizada.
Examine el "Cuadro General" incluido ms adelante en esta seccin.
La agrupacin usada en ste debi preverse cuando se asignaron nmeros
a las piezas de datos.
Este tipo de organizacin por agrupacin y la identificacin de las
piezas de datos es de gran ayuda en etapas posteriores del anlisis de
datos. Una vez organizados de acuerdo con las necesidades, debe darse a
las piezas de datos nmeros permanentes en la esquina superior derecha,
en la primera pgina de cada pieza. Puede usarse tambin una codificacin
en colores para ayudar a reconocer rpidamente las distintas piezas de
datos.
Si ha utilizado con el mismo grupo de informantes todo un conjunto
de instrumentos -una prueba de rendimiento, una gua de entrevista, una
gua de observacin y un cuestionario- debe utilizarse un sistema de
numeracin para aparearlos. Por ejemplo:
Nombre
Abram
Bianti
Cmaro
D audi
Elice
Fakouri
Calificacin
en la
Entrevista (E)
E-l
E-2
E-3
E4
-
E-6
Calificacin
en la
Observacin (C)
0-1
0-2
0-3
0-4
0-5
0-6
Calificacin
en el
Cuestionario (C)
C-l
C-2
C-3
-
C-5
C-6
Calificacin
en la
Prueba (P)
P-l
P-2
P-3
P-4
P-5
P-6
Asegrese de escribir E , O , C y P lo suficientemente claro de mod o
que no se confundan unos con otros.
Fjese que en la presentacin anterior, falta el cuestionario de D audi
as como la gua de entrevista de Elice. Sin embargo, a Fakouri an se le
asignan los cdigos E-6, 06, C-6 y P-6 por sus piezas de datos. E n otras
palabras, a todas las piezas para la misma persona se les da el mismo
nmero.
La necesidad de sumergirse en los datos
D espus de ordenar y numerar las piezas de datos, ser el momento de
hacer dos cosas ms: recordar las preguntas de evaluacin que haba que
contestar por medio del estudio evaluativo y "sumergirse" en los datos ya
recogidos.
Escriba la lista de preguntas a que usted quiere que los datos respondan.
Incluya tambin las sub-preguntas, si las hay. Lea, como ejemplo, el
siguiente conjunto de preguntas:
252
Herramientas y Tcnicas de la ER: Procesamiento de Datos
1. En qu se diferencian los funcionarios auxiliares de la educacin de
adultos capacitados en cuanto a su rendimiento general de los que no
fueron capacitados?
1.1 Cmo se diferencian en relacin con su conocimiento tcnico
acerca del desarrollo y de la educacin de adultos?
1.2 Cm o se diferencian en cuanto a su conocimiento de la
metodologa de alfabetizacin que se utiliza en el programa?
1.3 Cmo se diferencian respecto a sus estilos de supervisin y sus
destrezas para realizar diagnsticos y resolver problemas?
1.4 Cmo se diferencian en trminos de su orientacin respecto a
su actitud hacia los estudiantes adultos, las comunidades rurales
y su propio trabajo?
Recuerde que stas haban sido sus preguntas gua cuando usted
comenz el estudio evaluativo. Pero con frecuencia es necesario hacer
cambios, segn se reformulan las preguntas en la etapa de procesamiento
y anlisis de los datos.
Ar ma d o de una lista de preguntas como sta, es el momento de
sumergirse en los datos. Entendemos por esto repasar todas las piezas de
datos, una por una, pgina por pgina, tem por tem; estudiar todas las
respuestas y hacer anotaciones cuidadosamente. D ebe anotarse lo esperado,
lo inesperado y lo curioso de los patrones emergentes y de las relaciones
que aparecen, segn repasa los datos. Esto requerir ms de una lectura de
las piezas de datos. Todo el tiempo que se dedica a este proceso siempre
vale la pena. As que, sea paciente.
Posibilidades y limitaciones de los datos recolectados
Este ser el momento de descubrir las posibilidades de los datos que no se
haban anticipado. Por ejemplo, un cuestionario que se utiliza con los
participantesde extensin agrcola para evaluar su experiencia de adhesin,
puede estar lleno de informacin acerca de las prcticas para la matanza de
animales de carne; o sobre la popularidad de la cra de aves en una regin
particular. Por otra parte, se pueden descubrir problemas serios en los
datos durante el proceso de inmersin. Algunas de las preguntas de la
prueba pueden haber sido consistentemente mal interpretadas. Otras
preguntas pueden haber recibido respuestas "socialmente aceptables", no
verdaderas.
Habr que descartar totalmente algunas piezas por no estar completas
o no dar respuestas honestas. El evaluador puede llegar a darse cuenta de
que los datos disponibles no constituirn una prueba aplastante a favor o
en contra de una posicin o un enfoque particular, y podr tener que
advertir a los lectores para no extraer conclusiones injustificables. Habr
que tomar nota de todo esto por escrito durante el proceso de inmersin en
los datos.
El Cuadro General
El procesamiento de datos por computador es algo diferente, en general.
Pero si hay que procesar y analizar los datos a ma no, con papel y lpiz,
como probablemente lo hace la mayora de nuestros lectores, lo mejor ser
preparar un "cuadro general" en el cual idealmente puedan acomodarse en
filas y columnas y agrupaciones adecuadas, todos los datos pertinentes a
una pregunta primordial (y a veces a todo el estudio evaluativo) para
proporcionar una visin general.
Es sorprendente cunto puede verterse en un mismo "cuadro general"
("la sbana", como se le conoce familiarmente por los participantes del
taller de evaluacin de Kenia). E n las pginas 254 y 255 se da un ejemplo.
Las distintas columnas del cuadro pueden usarse para incluir las
calificaciones de los diversos aspectos de conocimiento, actitudes y
rendimiento. Tambin puede incluirse el tiempo de duracin en las
columnas. Por ejemplo (a) pueden ser las calificaciones antes de la
enseanza y (b) despus. Las calificaciones en la columna (c) pueden estar
referidas a la adopcin de innovaciones antes de comenzar el programa y
en (d), despus de que ste ha estado efectundose.
CUADRO GENERAL (SABANA)
D E UN PROGRAMA DE ALFABETIZACIN FUNCIONAL
C O L UM N A S
[a] [b] [c] [d] [e] [f] [g] ...[n]
Regin X
Mtodo 1
Maestros (Capacitados/Hombres)
Participantes:
Hombres 0-15 aos
Hl
H2
H3
H4
Hombres 16-45 aos
H5
H6
Hombres 46-65 aos
H7
H8
H9
H10
Mujeres 0-15 aos
MI
M2
M3
M4
Mujeres 16-45 aos
M5
M6
Mujeres 46-65 aos
M7
M8
M9
MO
Herramientas y Tcnicas de la ER : Procesamiento de Datos 255
[a] [b] [c] [d] [c] [f] fe] ...[n]
Maestros
(No capacitados/Hombres):
Lista de Hombres y Mujeres
Participantes separados por
grupos apropiados de edades.
Maestras
(Capacitadas/Mujeres):
Participantes separadas por
Maestras
(No capacitadas/Mujeres)
Participantes separadas por
Mtodo 2
Repetir para las diferentes
categoras de maestros
(Hombres y Mujeres, y
capacitados y no capacitados),
separando a los participantes
por sexo y grupos de edad.
Regin Y
Repetir para los diferentes
mtodos (Mtodo 1 y
Mtodo 2), las categoras de
maestros, separando a los
participantes por sexo y edad.
256 Herramientas y Tcnicas de la ER: Procesamiento de Dalos
La acomodacin de los datos en el Cuadro General
El tipo de Cuadro General propuesto no es apropiado para presentar palabras
y frases. Es mejor para nmeros (5, 7, 11, 21, 51, 101); para letras(A, B ,
C o D ) ; o para marcas (V o X ) . E n otras palabras, antes de preparar
cuadros generales, debemos aprender a calificar, codificar, asignar valores,
estandarizar y ordenar los datos.
Codificacin. L a codificacin es la asignacin de un cdigo particular a
una determinada categora de respuesta. Los siguientes son ejemplos de
marcos de codificacin:
Cdigo 1 Prefiere los condones como ayuda
a la planificacin familiar A
Prefiere un dispositivo intrauterino
para su esposa B
Prefiere la abstinencia para la
planificacin familiar C
Cdigo 2 Tiene informacin sobre nutricin
insuficiente (grado Bajo) B
Tiene informacin sobre nutricin
promedio (grado Medio) M
Tiene informacin sobre nutricin
suficiente (grado Alto) A
Calificacin. Calificar es asignar valores numricos (puntajes) a
determinadas respuestas o a determinados niveles de rendimientos. Las
respuestas respecto a la actitud con frecuencia sern cualitativas y tendrn
que calificarse. L o mismo es vlido para las calificaciones del rendimiento,
lo cual puede implicar la observacin del rendimiento, los juicios sobre lo
observado y el cambio de juicio de algn tipo de calificacin cuantitativa
(puntaje).
Asignacin de valores (peso) y combinacin de calificaciones. Co m o
maestros, sabemos que al elaborar pruebas de rendimiento podemos asig-
nar diferentes puntajes a las preguntas en la prueba, dependiendo de la
dificultad o de la importancia de determinadas preguntas. La asignacin
diferencial de los puntajes a las distintas preguntas (y respuestas) se
denomina asignacin de valores (peso). Esto tambin se hace en el anlisis
de los cuestionarios de opinin y de actitudes y en las guas de observacin.
Resulta innecesario decir que la asignacin de valores (peso) a las respuestas
en una escala de actitudes debe hacerse con cuidado, especialmente con
relacin a los valores de las respuestas neutrales, positivas o negativas.
Estandarizacin. Estandarizar las calificaciones es tratarlas de mod o que
puedan ser comparadas utilizando la misma unidad de medida. Obtener 13
puntos de 20 es mejor que obtener 14 de 25. Una ganancia de 75 pesos en
una inversin de 400 no puede compararse fcilmente con una ganancia
de 15 pesos con una inversin de 50. Cuando ambas ganancias se
estandarizan como porcentajes (18.75% por comparacin a 30%) se pueden
comparar con facilidad. L a obtencin de porcentajes es una forma
importante de estandarizar calificaciones o puntajes.
Los evaluadores de programas de alfabetizacin y desarrollo con
frecuencia tendrn que comparar los puntajes que las personas capacitadas
han obtenido en varias pruebas de rendimiento y ejecucin. Cada vez que
hay que comparar las calificaciones, el evaluador debe averiguar si ser
necesario estandarizarlas.
Ordenacin por rangos. Esto tiene un significado de sentido comn. Se
trata sencillamente de colocar las calificaciones de rendimiento o ejecucin
en una secuencia de mod o que la ms alta viene primero y la ms baja es
la ltima (el arreglo podra ser exactamente al contrario, dando la primera
posicin a la calificacin ms baja y la ltima a la ms alta). Cuando ms
de un sujeto tenga la misma calificacin, se rompe el empate as:
CONJUNT O A CONJUNT O B
Calificaciones Rangos Calificaciones Rangos
69 1.0 69 1
65 2.5 65 3
65 2.5 65 3
61 4.0 65 3
61 5
E n otras palabras, las calificaciones iguales se ordenan en el medio de
las posiciones que no estn empatadas: en el primer ejemplo, 2.5 est en el
medio de 2 y 3; en el segundo, 3 est en la mitad de las posiciones2, 3 y 4.
E n los ejemplos siguientes se demuestran las tcnicas de codificacin,
calificacin, asignacin de valores, estandarizacin y ordenacin por rangos.
EJEMPLO 1
A l evaluar la efectividad de un programa de capacitacin para profesores de agricultura,
se usaron los siguientes temes en una gua de observacin de una clase:
Habilidades para la enseanza
(i) Hace una introduccin
a la leccin
Correctamente Inconrectamente De manera
confusa
(ii) Cambia de mtodo
de acuerdo con la
necesidad
Si
No Con reparos
(iii) A yuda a los participantes Peridicamente En ningn
a recapitular la leccin momento
Slo al final
(iv) Acepta y contesta
las preguntas
Siempre En ningn
momento
Slo al final
(v) Proporciona atencin
individual
A todos Anadie A algunos
participantes
que tienen
dificultad
(vi) A yuda a los participantes Siempre En ningn
a tomar notas momento
Aveces
N o deseamos comentar aqu sobre la calidad de los temes presentados.
L o que queremos indicar es que hay que asignar valores numricos a los
juicios hechos durante la observacin; y que estos valores deben ser
agregados para usarlos en el anlisis de los datos. Por ejemplo, al
comportamiento aprobado puede asignarse un puntaje de +1, al
comportamiento indiferente 0, mientras que al comportamiento inaceptable
(que impide el aprendizaje) puede asignrsele un valor de -1. Esto posibilita
al evaluador una calificacin agregada para las habilidades de enseanza
evaluadas en el Ejemplo 1, como se sugiere en la siguiente ilustracin.
(i)
()
(iii)
(iv)
(v)
(vi)
Calificacin total:
+1
-1
+1
0
0
+1
2
E s importante anotar que sobre losm i sm o s datos pued en plantearse
diferentes tipos de preguntas. Por ejemplo: Ayudan los maestros-
estudiantes, normalmente, a que los nios recapitulen las ideas presentadas
en una leccin? Mirando las respuestas al tem (iii) del anterior ejemplo,
referida a todos los estudiantes-maestros observados, puede encontrarse
una respuesta a esta pregunta.
EJEMPLO 2
Mediante un cuestionario (llenado por cada estudiante individualmente,
pero reunidos en grupo en un saln), se buscaba evaluar la efectividad de
los estudiantes de agricultura en su servicio en el campo. La parte del
cuestionario referida al control de enfermedades se compona de los
siguientes temes:
1. Qu enfermedad(es) notable(s) encontr usted?
2. Qu mtodos de control y prevencin se utilizaron?
3. Mencione las campaas de vacunacin que vio usted.
4. Enumere las enfermedades contra las cuales se hizo la vacunacin.
5. Cules fueron las razones para la vacunacin?
6. Cmo se organiz y se llev a cabo la vacunacin?
7. Cmo se aplic la vacuna? Indique cualquier precaucin especial
que se haya tomado.
8. Cuntos animales fueron vacunados?
9. Cul era la dosis de la vacuna?
10. Cul era el costo de la vacuna por dosis?
11. Cmo pagaron los agricultores por ella?
12. Cul es la duracin de la inmunidad que brindan las vacunas
utilizadas?
13. Qu tipo de vacunas se us -viva, atenuada o muerta?
14. Qu problemas se encontraron en la campaa de vacunacin?
15. Cmo se manipularon las vacunas utilizadas?
Co m o puede verse, estas preguntas constituyen una combinacin sobre
(i) el conocimiento del estudiante sobre informacin tcnica; (ii) recuerdo
de "lo que" se hizo y "por qu" en alguna situacin problemtica en
terreno; (iii) informacin acerca de algunos acontecimientos locales durante
el perodo de servicio; y (iv) descripciones de las acciones profesionales y
las prcticas tcnicas que vieron los estudiantes durante el servicio, pero
sobre las cuales ellos no tenan control.
En este caso el evaluador tendr que separar los temes sobre la
responsabilidad del estudiante de aquellos que eran parte del contexto; y
entonces tendr que hacer juicios acerca de la calidad del rendimiento del
estudiante en las circunstancias dadas. El evaluador puede asignar califica-
ciones de A , B , C, D y E (o numricas) al rendimiento de cada estudiante.
Una vezms, debemos anotar que adems de evaluar el rendimiento
del estudiante, estos datos pueden usarse de muchas maneras diferentes.
Con los mismos datos se puede evaluar la administracin por inmersin o
los centros clnicos en el pas; aprender acerca de la difusin de nuevas
prcticas en las comunidades rurales; o aprender sobre prcticas de
administracin agrcola, en general.
Los problemas de la calificacin de los datos de las entrevistas y las
observaciones para cambiar datos cualitativos o algn tipo de datos
cuantitativos no pueden eliminarse completamente en este mund o tan
cargado de valores. Sin embargo, pueden mitigarse algunos problemas
serios en la etapa de diseo de los instrumentos y construccin de temes.
Las herramientas y los temes que se incluyen en stas pueden disearse
de tal manera que provoquen respuestas que pueden ser cuantificadas con
ms facilidad.
Del cuadro general a los cuadros resumen
D espus de terminar con la codificacin, estandarizacin y asignacin de
valores llega el momento para el evaluador de dar una mirada completa a
los datos en general. Co m o sugerimos anteriormente, esto puede hacerse
elaborando cuadros generales que muestran en una mirada las respuestas
de los diferentes sujetos en una prueba general, un cuestionario o algn
otro instrumento en el contexto de una pregunta o un estudio evaluativo.
Estos cuadros generales pueden ser grandes como el tamao de la mesa de
trabajo y ocupar una gran parte de la oficina.
Una mirada cuidadosa a un cuadro general o sbana puede sugerir
muchas pistas diferentes al evaluador en cuanto a los patrones de respuestas
y diferencias y correlaciones entre los temes. Al focalizar la atencin en
las distintac filas y columnas de la gran sbana, pueden desarrollarse
muchos cruces y cuadros resumen que responden a determinadas preguntas
de evaluacin.
Afirmaciones sobre lo que ca sucediendo
Un sencillo cuadro resumen sacado del cuadro general puede referirse a
las razones de desercin, con frecuencias.
Supongamos que bajo una de las columnas (por ejemplo, la columna
[f] informamos sobre el estado de la participacin (A =Activo; D =
Desertor) y de la razones de desercin (D -l; D - 2 ; D - 3 ; D - 4 , etc.). El
cdigo de las razones podr ser: 1 =por estar enfermo; 2 =por enfermedad
de un miembro de la familia; 3 =por migracin debida a razones
econmicas; 4 =por falta de inters en los objetivos y contenidos del
programa, etc., etc. Estos cdigos pueden volver a convertirse en sus
descripciones cualitativas y mostrarse en forma de porcentajescomo sigue:
CUAD RO RESUMEN 1
Frecuencias de las Razones de Desercin de los Estudiantes
Razones de Desercin Porcentaje de
veces mencionadas
1. Por estar enfermo 16
2. Por enfermedad de un miembro de la familia 17
3. Por migracin debida a razones econmicas 21
4. Por falta de inters en los objetivos y contenidos del programa 7
5. Por problemas personales con los maestros u otros estudiantes 19
6. Por alcoholismo 13
7. Por considerar que ha satisfecho sus objetivos de aprendizaje 7
Los datos presentados en el anterior cuadro resumen se han elaborado a manera de
demostracin.
Comparaciones y correlaciones entre categoras de calificaciones
Los cuadros resumen que permiten hacer comparaciones pueden ser de
muchas clases: entre grupos de hombres y mujeres; a travs de distribuciones
de edades; entre regiones urbanas y rurales; entre diferentes mtodos de
instruccin; entre maestros capacitados y no capacitados; en un formato
antes-despus; y a travs de perodos de tiempo. Pueden analizarse las
lecciones de una cartilla o los temes de una prueba en cuanto a su
confiabilidad y validez. Pueden establecerse correlaciones entre las
calificaciones de rendimiento. E n los cuadros 2 a 10 que aparecen a
continuacin se presentan algunas ilustraciones.
CUAD RO RESUMEN 2
Promedios de Calificaciones de Conocimientos,
Actitudes y Rendimiento por Sexo
Hombres
Mujeres
Habilidades Alfabetas
L E A
Actitudes Rendimiento
L =Calificacin en Lectura; E = Calificacin en Escritura; A =Calificacin
en Aritmtica.
CUAD RO RESUMEN 3
Promedios de Calificaciones de Conocimientos,
Actitudes y Rendimiento por Sexo y Edad
Habilidades Alfabetas Actitudes Rendimiento
L E A
Hombres
0-15 aos
16 - 45 aos
46 - 65 aos
Mujeres
0 -15 aos
16 - 45 aos
46 - 65 aos
CUAD RO RESUMEN 4
Rendimiento del Educando por Categora de Maestros
L E A
Maestros (H)
Capacitados
N o capacitados
Maestras (M)
Capacitadas
N o capacitadas
CUAD RO RESUMEN 5
Rendimiento por Regiones y Mtodos Utilizados
L E A
Regin X
Mtodo 1
Mtodo 2
Regin Y
Mtodo 1
Mtodo 2
Herramientas y Tcnicas de la ER : Procesamiento de Datos 265
Un diseo de evaluacin "antes-despus" puede aparecer como un modelo
para el anlisis de los datos as:
CUAD RO RESUMEN 6
Mejora en Informacin y Comportamiento en relacin con la
Nutricin despus de una Intervencin Instruccional
Conocimiento Comportamiento relevante
sobre Nutricin relacionado con la nutricin
Antes de introducir
el curso
D espus de introducir
el curso
CUAD RO RESUMEN 7
Mejora en las calificaciones de Conocimientos, Actitudes y Rendimiento
de un Grupo de Educadores a travs del Tiempo
Antes de la Durante la D espus de la Ms tarde
Intervencin Intervencin Intervencin como Retencin
Conocimientos
Hombres
Mujeres
Actitudes
Hombres
Mujeres
Rendimiento
Hombres
Mujeres
En el cruce mostrado en el Cuadro Resumen 8, todos los educandos se
desempearon casi igualmente bien en el tem 1 de la leccin 1 y casi
igualmente mal en el tem 2. En los temes 3 y 4 no aparece un patrn
determinado. Tal vez los temes 1 y 2 no son buenos temes, ya que no nos
ayudan a diferenciar los buenos estudiantes de los malos. O quizs los
temes 3 y 4 no estaban bien formulados y hay que reformularlos. Por
qu todos los estudiantes se desempean mal en los temes de la Leccin
H, pero se recobran en la Leccin III? Ser que la Leccin II es
excesivamente difcil? Todas estas preguntas pueden surgir de los datos
presentados.
Las calificaciones de los educandos pueden tambin utilizarse para
someter a prueba los temes incluidos en una prueba o para la prueba
previa de un conjunto de materiales de instruccin.
CUAD RO RESUMEN 8
Prueba de temes de una Prueba o Prueba de Materiales de Instruccin
Leccin
Pregunta
Nmero
Puntaje Total
Posible
Estudiante A
Estudiante B
Estudiante C
I
1234
5555
5321
5344
4254
Total
20
11
16
15
II
1234
4565
3221
4045
4455
Total
20
8
13
18
m
12 34 Total
65 3 6 20
4435 16
5 5 34 17
6435 18
EstudianteD 53 12 11 2321 8 4434 16
Herramientas y Tcnicas de la ER: Procesamiento de Dalos 267
Los datos tambin pueden resumirse para establecer correlaciones entre
los diferentes componentes de un programa o aspectos del desempeo del
educando. Esto se visualiza en el Cuadro Resumen 9.
CUAD RO RESUMEN 9
Relacin entre Asistencia y Calificacin Final
Leccin
Asistencia
Estudiante A
Estudiante B
Estudiante C
Estudiante D
I
Alta Media Baja
11
14
15
11
n
Alta Media Baja
8
13
18
7
Alta
III
Media Baja
16
17
18
16
E n los cruces anteriores, una inspeccin visual de los datos puede
darnos una idea de la relacin entre la asistencia y las calificaciones finales.
Si no parece surgir un patrn, pueden plantearse nuevos interrogantes al
respecto.
Finalmente, los datos del Cuadro General pueden elaborarse para
establecer correlaciones por rangos.
CUAD RO RESUMEN 10
Calificaciones ordenadas para el Cmputo de Correlaciones
Estudiante Calificacin Calificacin Rango
en Lectura en Escritura en Lectura
Rango
en Escritura
268 Herramientas y Tcnicas de la ER: Anlisis Estadstico
SE CCI N D : Anlisis Estadstico de los Datos
El anlisis de los datos en la E R se caracteriza por ser un anlisis estadstico.
Por ejemplo, para hacer comparaciones entre muestras independientes (dos
grupos de dos aldeas diferentes) o muestras no-independientes
(calificaciones antes y despus del mismo grupo de educandos), se pueden
usar las versiones apropiadas de la "prueba t". Cuando no hay calificaciones
disponibles, sino proporciones y frecuencias, las pruebas de Chi cuadrado
pueden preferirse para demostrar diferencias entre grupos de participantes
y no participantes en un programa de alfabetizacin. Finalmente, para
estudiar correlaciones pueden establecerse correlaciones de orden de rango.
Los procedimientos de cotejo y procesamiento de datos discutidos
anteriormente permiten a los evaluadores presentar sus datos en las formas
adecuadas para la aplicacin de pruebas estadsticas. Los evaluadores deben
consultar cualquier texto estndar de estadstica, en el cual encontraran las
frmulas y los pasos que deben seguir al aplicarlas.
La discusin de los resultados
A continuacin se harn algunas sugerencias generales sobre la discusin
de los resultados obtenidos del anlisis de los datos:
1. Establecer relaciones con condiciones previas y comportamientos de
entrada
C o m o parte de la discusin de los resultados, deben reexaminarse los
datos disponibles sobre comportamientos de entrada y estudiar las
condiciones previas prevalecientes cuando comenz el episodio de cambio
que nos interesa. Por ejemplo, el fenmeno de altas tasas de desercin de
los cursos a nivel universitario puede explicarse mejor en trminos de los
mtodos de seleccin defectuosos que por el contenido de la enseanza
durante el curso. El fracaso de un programa de planificacin familiar
puede explicarse mejor en trminos de las condiciones existentes
previamente de tasas extremadamente altas de mortalidad infantil en la
regin.
2. Contextualizar los hallazgos
Es necesario analizar los hallazgos en trminos de los contextos
institucionales y sociales de los programas de capacitacin. Algunas de
Herramientas y Tcnicas de la ER: Anlisis Estadstico 269
las polticas institucionales van en contra de las polticas de rehabilitacin
de las familias deprimidas o contra el aumento del ahorro individual? El
contexto social promueve o inhibe el comportamiento cooperativo?
3. Establecer relaciones con lo que ya se conoce
Se trata de comparar y contrastar lo que los datos arrojan con lo que ya se
conoce. Son sorprendentes los hallazgos? Son reforzados los hallazgos
por lo que otros evaluadores han encontrado en otras situaciones? Qu se
espera? Qu es lo que no se haba previsto?
4. Buscar correlaciones y causalidades
El anlisis de los datos normalmente incluye bsqueda de correlaciones y
reas de nexos causales. Al hacerlo se piensa en las hiptesis rivales
-explicaciones alternativas para explicar lo observado. Ha y que considerar
todas las posibilidades antes de hacer aseveraciones generales.
5. Reexaminar los supuestos
Es importante seguir pensando en los supuestos sobre los cuales se dise
el estudio y se plantearon las preguntas de evaluacin. Se sustentan los
supuestos? Cmo han cambiado los supuestos?
6. Establecer relaciones con las limitaciones de los datos
Se discuten los resultados en trminos de los datos descubiertos, al realizarse
el diseo de la evaluacin y segn se usaron realmente las herramientas e
instrumentos. Algunas limitaciones de los datos pueden ser realmente
fatales para el estudio y para las conclusiones derivadas de ste. Otro
conjunto de limitaciones puede ser menos severo, pero puede introducir la
necesidad de ser m u y cauteloso en la interpretacin de los resultados del
estudio evaluativo.
7. Establecer normas de xito y fracaso
El evaluador debe establecer las normas para juzgar el xito o fracaso del
programa que se est evaluando. Qu tipos de resultados permitirn
considerar que son satisfactorios? Qu resultados se interpretarn como
un fracaso?
270 Herramientas y Tcnicas de la ER: Anlisis Estadstico
Cosas para hacer o pensar
1. En qu se diferencian los diseos de evaluacin de los modelos (o
planes) para el anlisis de los datos?
2. Enumere algunos problemas que usted puede encontrar al asignar
valores a las respuestas en las escalas de actitudes.
CAPITULO 16
LA ELABORACIN DE INFORMES DE
EVALUACIN RACIONALISTA Y LA PROMOCIN
DE LA UTILIZACIN DE LOS RESULTADOS
El informe final de un estudio evaluativo sirve a muchos propsitos. Registra
la historia del programa y la del estudio evaluativo mismo, estableciendo
formal y claramente los resultados del estudio. El informe final del estudio
permite a los lectores juzgar por s mismos la calidad del estudio y qu
tan razonables son las recomendaciones propuestas, ya que presenta las
razones por las cuales se escogieron determinados diseos y muestras, as
como los instrumentos que se utilizaron y ofrece resmenes de los datos
en cuadros y otras formas de presentacin. Los lectores con experiencia
podran derivar de los datos presentados conclusiones diferentes u otras
adicionales. Un informe formal, si se distribuye apropiadamente, puede
expandir la utilizacin de los resultados del estudio evaluativo.
Un estudio evaluativo, para que tenga el mayor valor, debe concluir con
un informe escrito, el cual tiene por lo menos dos propsitos. Primero,
proporcionar al evaluador la oportunidad de organizar los datos recolectados,
sistematizar su pensamiento, derivar conclusiones y considerar y sopesar
las implicaciones del estudio, as como sus limitaciones. Segundo, el informe
sirve como instrumento de comunicacin entre colegas profesionales y
otras personas interesadas en los mismos problemas o cuestiones similares.
Los estudios evaluativos se publican con frecuencia y a veces, han
ofrecido recompensas profesionales a los evaluadores. Sin embargo, las
expectativas que deben tenerse al escribir un informe evaluativo no son las
de que sea publicado ni las recompensas de fama y fortuna. Estas
recompensas pueden llegar, pero no se lucha por obtenerlas cada vez que
hay que escribir un informe evaluativo. Es ms realista pensar en trminos
de hacer varias copias del informe para compartirlas primero, y sobre
todo, con los colegas del programa, quienes deben saber lo que ha
encontrado el estudio, poder discutir sus conclusiones y sugerencias con el
evaluador y probablemente pueden utilizar el estudio para mejorar su
desempeo dentro de la situacin institucional a la cual todos pertenecen.
272 Elaboracin de Informes ER
Queremos hacer una distincin entre el informe profesional bsico y
otras presentaciones orales o escritas del estudio. El evaluador debe preparar
un informe bsico y completo del estudio evaluativo. Este debe utilizarse
para hacer diferentes tipos de presentaciones escritas y orales dirigidas a
diferentes tipos de personas a quienes puede interesarles, entre stos,
aquellos que formulan las polticas y los planificadores, polticos, agentes
de programas de extensin y aun los agricultores y amas de casa, que son
generalmente los sujetos de nuestros esfuerzos de desarrollo.
El objetivo esencial del informe bsico y sus partes
El objetivo esencial de un informe evaluativo es hacer un registro completo
de una experiencia de evaluacin, incluyendo los antecedentes y el contexto
de las preguntas de evaluacin; los supuestos de los cuales se parti al
plantear la(s) pregunta(s); el diseo de evaluacin y las herramientas
utilizadas para recolectar los datos; los resultados obtenidos; las conclusiones
propuestas y las implicaciones prcticas derivadas de las conclusiones del
estudio. E n otras palabras, el informe evaluativo esuna especie de imagen
en un espejo de la propuesta de evaluacin, como se discutien el Captulo
14, "Elaborando una Propuesta para un Estudio Evaluativo a la manera
Racionalista". Sin embargo, un informe de evaluacin es ms que una
propuesta de evaluacin escrita en tiempo pasado. Un buen informe
evaluativo incluye toda la informacin necesaria para que el lector pueda
evaluar el estudio evaluativo mismo. Esto es, el lector conocer exactamente
lo que se hizo y c mo se hizo; con qu muestras y qu preguntas, as cmo
qu datos se recogieron realmente. Tambin debe relatarse al lector cul
fue la estructura de los argumentos utilizados para cotejar y analizar los
datos y qu conclusiones se extrajeron y por qu. E n todos los casos, el
lector deber poder darse cuenta de los puntos fuertes del estudio as c omo
de sus limitaciones; y en caso necesario, podr hacer un "anlisis secundario"
de los datos por su cuenta para derivar conclusiones independientes, aun
alternativas. Esto significa que las herramientas e instrumentos utilizados
realmente o cualquier tipo de material que se haya utilizado como estmulo
en el estudio, deben llegar a ser parte del informe c omo "Anexos".
Sin embargo, esto no quiere decir que todos los datos brutos del estudio
deben presentarse en el informe o como anexos. El informe no es para
almacenar y archivar los datos brutos recolectados. Los datos que se
Elaboracin de Informes ER
273
incluyen en el informe o en los apndices deben haber sido cotejados,
organizados en cuadros y otros tipos de presentacin. E n algunos casos,
podr ser necesario presentar los datos en una forma suficientemente
"desagregada" de mod o que sea posible al lector agruparlos de distintas
maneras para someter a prueba los supuestos y conclusiones del evaluador
original; y como hemos sugerido antes, extraer conclusiones alternativas.
Un estudio evaluativo generalmente (aunque puede no ser siempre as)
se compone de las partes que se discuten a continuacin. A manera de
ejemplo, tomamos el caso de un estudio evaluativo en el rea de la
capacitacin para el desarrollo, esto es, un estudio para evaluar la efectividad
de un programa de capacitacin para agentes que trabajan en el rea de
desarrollo.
La portada
Esta debe contener el ttulo del estudio, el nombre del (los) evaluador(es),
la institucin a que pertenece(n) y la fecha de trmino del informe.
El ttulo dado al informe debe reflejar fielmente el propsito y alcance
del estudio. Este ttulo exacto debe usarse a lo largo de todo el estudio, sin
variaciones arbitrarias. E n algunos casos puede se til tener un ttulo largo
y otro breve. Una vez escogidos stos deben utilizarse consistentemente,
sin cambiarlos. L a fecha de salida del informe debe presentarse en las
portadas, como sugerimos antes, pero en alguna otra parte del cuerpo del
informe deben indicarse las fechas y perodos de tiempo durante los cuales
se recogieron realmente los datos (es posible que se hayan recogido los
datos durante el primer semestre de 1982 y se haya publicado el informe
en 1984).
El resumen analtico
Un resumen analtico de una o dos pginas (esto es, de unas 500 palabras)
debe preceder al informe. Este debe ser un completo resumen e incluir
informacin acerca de las preguntas de evaluacin, las muestras y
procedimientos utilizados, los resultados y sus implicaciones para el
programa. Aun sin leer el informe completo una persona que lee el resumen
analtico debe poder formarse una idea bastante completa del contenido
del estudio.
Antecedentes generales
L a primera parte del cuerpo principal del informe evaluatvo debe presentar
los antecedentes generales del estudio. Este material no tiene que escribirse
nuevamente, sino ser adaptado de la propuesta de evaluacin que se haba
escrito antes. D ebe ubicar, en este caso, la capacitacin para el desarrollo
en la perspectiva ms amplia del desarrollo de recursos humanos para el
cambio social y comentar sobre la necesidad de evaluar la capacitacin
general. D ebe ser breve, ocupando no ms de una o dos pginas.
Focalizacin en el sector de desarrollo especfico y la institucin que
desarrolla el programa
El inters central debe desplazarse hacia el sector de desarrollo especfico
de que se trate (agricultura, cooperativismo, promocin de la salud, nutricin,
planificacin familiar) y la institucin. D ebe hablarse, por ejemplo, acerca
del papel de la institucin de capacitacin y su contribucin a la capacitacin
del recurso huma no necesario para el desarrollo. Nuevamente es importante
la brevedad. Una o dos pginas de material conciso deben ser suficientes.
El modelo de capacitacin utilizado
Se debe presentar lo fundamental del modelo de capacitacin, respondiendo
preguntas como las siguientes: Cules son los supuestos que se han
hecho acerca del proceso de cambio en el modelo de capacitacin utilizado?
Cules son los supuestos acerca del rol del agente de cambio? Cules
son los objetivos de la capacitacin? Cules son los mtodos especiales
de capacitacin empleados? Cules son los conocimientos, actitudes y
rendimientos que se persiguen con el programa? (no todas estas preguntas
tendrn que ser contestadas en todos y cada uno de los informes evaluativos.
Ni hay que responderlos en este orden. Estas son preguntas para "guiar" el
pensamiento mientras los evaluadores redactan sus informes finales).
Las preguntas de evaluacin planteadas
Estas preguntas deben enunciarse esmeradamente. Es la lista que
posteriormente se usar para el cotejo y el anlisis de los datos. D eben
tener dos nexos. Uno, en relacin con el modelo de capacitacin utilizado,
Elaboracin de Informes ER 275
antes discutido. D ebe verse claramente cmo este modelo gener este
conjunto de preguntas. El otro, en relacin con la subsecuente organizacin
de los datos en una seccin posterior y debe proporcionar los principios
sobre los cuales se analizan los datos.
Por qu era necesaria esta informacin de retorno?
Esta es una justificacin de la eleccin de una pregunta de evaluacin
particular entre un conjunto de posibles preguntas surgidas del modelo de
capacitacin y las necesidades institucionales de informacin de retorno.
El material presentado anteriormente en la propuesta de evaluacin como
"justificacin" y "significacin" debe utilizarse para elaborar esta seccin
del informe.
Supuestos
Los supuestos acerca del cambio general y los procesos de capacitacin y
acerca de la situacin institucional y del ca mpo en que se realiza el estudio
evaluativo deben establecerse aqu, segn sea pertinente. Algunos de estos
supuestos habrn sido presentados en las propuestas anteriores. Otros pueden
haber sido revelados durante el proceso de ejecucin.
Procedimientos y mtodos utilizados
Esta seccin debe incluir el diseo general de evaluacin, el anlisis de los
conceptos utilizados y definiciones especiales asignadas a los trminos, los
indicadores utilizados y el proceso de su desarrollo y eleccin, criterios
que deben utilizarse para evaluar el xito o fracaso del programa; las
muestras seleccionadas (y aquellas que originalmente se deseaban); las
herramientas e instrumentos que se usaron (las cuales deben incluirse en el
apndice); los procedimientos de trabajo de ca mpo, incluyendo la captacin
y capacitacin de los investigadores y el tiempo y la duracin de la fase de
trabajo de ca mpo.
Diseo de evaluacin
Con base en la propuesta de evaluacin se reproduce, con las adaptaciones
necesarias, el diseo de evaluacin utilizado en el estudio. Este modelo
debe ser ahora congruente con el modelo escogido para el anlisis de los
datos (ver la discusin sobre los modelos de anlisis de datos en la Seccin
D del Captulo 15 de esta monografa).
Anlisis conceptual y definiciones
Se puede haber hecho un anlisis conceptual de algunos conceptos como
humanismo y auto-determinacin, o haber dado definiciones propias de
trminos como desercin, alfabetizado, etc., las cuales deben incluirse en
esta seccin.
Indicadores - su formulacin y eleccin
D ebe clarificarse en esta seccin del informe evaluativo el proceso seguido
para pasar de categoras grandes, como auto-determinacin a sub-categoras
de conceptos todava amplios y finalmente a la eleccin de indicadores
medibles.
Estndares y criterios de xito
Es importante indicar en el informe los niveles de expectativa y los
estndares establecidos para juzgar el xito o fracaso del programa evaluado.
Al lector debe drsele una idea acerca de si ser satisfactorio o no que
haya una tasa del 30% de desercin en una clase de alfabetizacin o una
tasa de xito del 10% en la rehabilitacin de los minus vlidos.
Muestra y unidades de respuesta
Es necesario explicar los procedimientos de muestreo, definir las muestras
seleccionadas y las que realmente participaron. Quines fueron los
informantes? Fueron las amas de casa u otras personas (el esposo, el hijo
mayor) quienes hablaron a nombre de la familia? Se entrevist al presidente
de un comit o cualquier miembro del mismo (o a ms de una persona por
turno) para hablar a nombre del comit? Cules eran las intenciones?
Qu sucedi realmente?
Herramientas e instrumentos
D ebe indicarse la diversidad de herramientas e instrumentos utilizados y
justificar su eleccin. D ebe informarse sobre cualquier procedimiento
especial utilizado para elaborar y probar previamente las herramientas, as
c omo resaltar los cambios introducidos en las herramientas y los
instrumentos con base en la prueba previa. Las herramientas e instrumentos
deben incluirse en los anexos.
Trabajo de campo
Esta seccin debe aclarar cualquier estrategia implcita en el trabajo de
ca mpo -cmo arreglrselas con las distancias o enfrentar las condiciones
del clima reinante, aprovechar sistemas de transporte y supervisin
existentes, etc. Ad ems, debe incluir una descripcin de los procedimientos
y experiencias del trabajo de campo. Se emplearon investigadores? Cmo
se entrenaron? Cm o fueron supervisados? Cm o se mantuvo la
comunicacin entre el evaluador y los investigadores de campo? Se llev
a cabo algn estudio piloto antes del estudio final? Hubo que recoger dos
veces losmismos datos en algn caso? Qu tiempo dur el trabajo de
ca mpo? Se encontr que era necesario aplicar un cuestionario de
seguimiento o una entrevista adicional para complementar los datos
originales?
Limitaciones e interrupciones
Esta seccin debe echar una mirada a la experiencia del trabajo de ca mpo
y al anlisis de los datos e indicar si hubo interrupciones y las limitaciones
que hayan aparecido en el cotejo de los datos y el posterior anlisis.
Registro de los resultados
Esta seccin constituye el corazn del informe evaluativo. D ebe presentar
todos los datos pertinentes en forma agregada, presentando de una manera
efectiva los cuadros, diagramas y listas que sirven de evidencia a las
respuestas recogidas, los comentarios ofrecidos y las conclusiones que
pueden extraerse. Se utiliza la lista de preguntas planteadas y el modelo de
anlisis discutido antes para organizar el cotejo de los datos, su presentacin,
anlisis e interpretacin.
Una seccin separada puede tratar sobre preguntas que originalmente
no se haban planteado pero que los datos disponibles permiten responder.
Discusin de los resultados
D eben discutirse los resultados en relacin con las implicaciones para la
accin y la formulacin de orientaciones para el futuro, en este caso sobre
el diseo de la capacitacin. Los resultados evaluativos obtenidos deben
discutirse en trminos de las expectativas, estndares y normas. Estos
tambin deben discutirse en cuanto a la fuerza de los datos, las correlaciones
establecidas y los posibles nexos causales.
Otras necesidades de informacin de retorno y de evaluacin
Karl Popper ha dicho que nuestro conocimiento y nuestra ignorancia
aumentan juntos! Un estudio evaluativo exitoso, al crear nueva informacin,
puede tambin mostrarnos qu es lo que ignoramos o qu ms necesitamos
saber. D ebe identificar nuevas necesitades de informacin de retomo y
hacer sugerencias con respecto a posteriores estudios.
Bibliografa
Se presentar una lista de libros, documentos e informes gubernamentales
consultados en la ejecucin del estudio evaluativo y la elaboracin del
informe. E n el caso de documentos oficiales debe indicarse si stos estn a
la disposicin del pblico, y de ser as, dnde pueden obtenerse o ser
consultados.
Anexos
Los siguientes tipos de temes deben presentarse como anexos: copias de
las herramientas e instrumentos, modelos y ejemplos apropiados; datos
cotejados que no se incluyeron en el cuerpo del informe pero que pueden
interesar a los lectores, especialmente a otros evaluadores; lista de nombres
de personas e instituciones que colaboran con elGos) evaluador(es), a
llevar a cabo el estudio; programacin del trabajo de ca mpo; mapas, etc.
Ejemplo del contenido de un informe evaluativo
E n las pginas 280 a 283 se presenta como ejemplo una lista de contenidos
de un informe evaluativo.
Informe a quienes no son especialistas. Informes orales y escritos
Co m o sugerimos anteriormente, los evaluadores de la alfabetizacin deben
elaborar un informe profesional bsico. Este se utilizar para elaborar
otros informes ms breves, escritos y orales que se dirigen a personas que
no son especialistas. Estos informes deben prepararse para ajustarse a los
intereses especiales de la audiencia a la cual van dirigidos. Los informes
orales deben ser informativos y hacerse interesantes, mediante el uso de
ayudas audio-visuales apropiadas. Estos informes escritos y orales dirigidos
a audiencias especiales, de hecho deben constituirse en parte del proceso
de difusin de los resultados de la evaluacin.
EJEMPLO
El funcionamiento y los efectos del programa de alfabetizacin de Kenia
I. Dise o y ejecucin de la investigacin
A . A ntecedentes
B. Objetivos del estudio
C . Dise o de investigacin
D . Ejecucin de la investigacin
1. Seleccin de las localidades
2. Seleccin de entrevistas
a. Estudiantes de alfabetizacin
b. Grupo de control
3. Preparacin de los instrumentos de investigacin
a. Cuestionario para los estudiantes
b. Cuestionario para los maestros
c. Prueba de alfabetizacin
4 . Recoleccin de datos
5. Anlisis de datos
II. El programa de alfabetizacin de K eni a
A . El contexto nacional
B. El programa nacional de alfabetizacin
C . La alfabetizacin antes de 19 7 9
1. El programa nacional de alfabetizacin de 19 7 9
ni. Los perfiles de las localidades
A . Caractersticas geogrficas
B. Poblacin
C . Actividades econmicas
D . Caractersticas socio-culturales
E . Servicios socio-econmicos
F . A uto-ayuda y desarrollo local
G . Educacin escolar
H . El programa de alfabetizacin
I. Resumen
IV. Los centros de alfabetizacin: caractersticas y funcionamiento
A . Instalaciones utilizadas para la alfabetizacin
1. Us o original
2. Materiales utilizados para construir salas de clases para la
alfabetizacin
a. Condiciones de los ambientes de ense anza
B . Caractersticas de los maestros
c.
D .
E.
F.
G.
H.
1. Categoras
2. Sexo
3. Edad y estado civil
4. Calificacin educacional
5. Experiencia
6. Ocupacin previa
7. Segunda ocupacin
8. Lazos con la comunidad local
9. Actitudes y satisfaccin con el trabajo
Ayudas para la enseanza/aprendizaje
1. Ayudas para la enseanza
2. Ayudas para el aprendizaje
3. Registros
Exposicin al aprendizaje
Contenido
1. Proyectos de clases
2. Conferencistas invitados
Comits de los centros
Asistencia promedio
Resumen
V . Caractersticas generales de los participantes en la alfabetizacin
A . Sexo
B . Edad
C. Estado Civil
D . Nmeros de Hijos
E . Lenguas habladas por los participantes
1. Lengua materna
2. Habilidad para hablar kiswahili e ingls
F. Religin
G. Ocupaciones
H. Resumen
V I . Ambiente de los hogares de los participantes
A . Tipo de vivienda
B . Posesin de libros y revistas
C. Disponibilidad de equipos audio-visuales
D . Exposicin a los medios masivos
E . Resumen
V II. Experiencias educativas de los participantes
A . Escolarizacin primaria
B . Clases de alfabetizacin antes de obtener certificados de competencia
C. Razones para participar en el programa de alfabetizacin y beneficios
que esperan obtener del mismo
D . Duracin y regularidad de la asistencia a clases de alfabetizacin
E . Aprendizaje despus de obtener el certificado
1. Lo que quisieran aprender despus
2. Duracin de la asistencia a otras clasesde alfabetizacin
posteriores
3. Participacin en otros tiposde cursos
4. Escucha del programa especial de radio D A I
F. Resumen
V in. La utilizacin de las habilidadesde lecto-escritura y clculo numrico
A . Diferencias entre localidades
1. Lectura
2. Escritura
3. Clculo
B . Otros tiposde diferencias
1. Gnero
2. D ominio del kiswahili hablado
C. Resumen
IX. Conocimientos funcionales, actitudes y prcticas
A . Medicin del conocimiento funcional, actitudesy prcticas
B . Diferencia entre alfabetos y analfabetos
1. Conocimientos
2. Actitudes
3. Comportamientos
C. Diferencias entre los alfabetos
1. Localidad
2. Otras diferencias
a. Gnero
b. Edad
c. Ao del certificado
d. Asistencia a la escuela primaria y experiencia en las clases
de alfabetizacin
D . Resumen
X . Habilidadesde lecto-escritura y clculo numrico adquiridas
A . Calificacin de los resultadosde las pruebas y establecimiento de
estndaresde rendimiento
1. Clculo numrico
2. Lectura
3. Escritura
B . Resultados de la muestra total
1. Clculo numrico
2. Lectura
3. Escritura
4. Relaciones entre los tres tiposde habilidades
5. Resultados globales
C. Diferencias entre localidades
D . Otras diferencias
1. Gnero
2. Experiencia de aprendizaje
3. A o del certificado de alfabetizacin
E. Resumen
X I. Conclusiones
A . Los participantes y su motivacin
B. El funcionamiento del programa de alfabetizacin
C. Los efectos del programa de alfabetizacin
Tomado de Carrn, G . , Mwizia, K . y Tzigha, G . , The functioning and effects of the Kenya
Literacy programme. ITEP Research Report N
8
76. Paris: UNESCO/Intemational Institute
for Educational Planning, 1989.
Promocin de la utilizacin de los resultados de la evaluacin
Ha y una preocupacin considerable entre los evaluadores (as como entre
los que comisionan los estudios evaluativos) acerca del hecho de que los
resultados de las evaluaciones no son muy utilizados. Se dice que son
demasiados los informes evaluativos que son recibidos, archivados y
olvidados y que no se utilizan sus resultados o recomendaciones.
Ha y algo de verdad en estas afirmaciones y parte de la culpa recae en
los evaluadores. Con mucha frecuencia ocurre que los resultados evaluativos
slo estn disponibles mucho despus del hecho, cuando el programa o
proyecto es ya historia antigua. Pero esto tambin puede ser un caso
moderado de incomprensin. Parece que los evaluadores piensan que el
conocimiento slo se utiliza cuando las decisiones que toman quienes
ejercen la prctica estn claramente "fundamentadas en el conocimiento".
Sin embargo, hay una forma de considerar la utilizacin del conocimiento
menos espectacular y ms realista. Los resultados de las evaluaciones
frecuentemente pueden ser utilizados sin una aceptacin formal de los
informes y sin otorgar formalmente los crditos y agradecimientos a los
estudios evaluativos ni a sus autores. Efectivamente, los estudios evaluativos
muchas veces pueden cambiar la estructura de la argumentacin, aun
cuando se hayan rechazado activamente los resultados de la evaluacin.
Aun esta "utilizacin por rechazo" es un tipo de utilizacin.
Esta consideracin de una utilizacin indirecta nos lleva a la conclusin
obvia de que para mejorar la utilizacin, debemos mejorar la interaccin
con los consumidores potenciales desde el comienzo mismo del esfuerzo
evaluatvo. Los evaluadores deberan pilotear un barco abierto en el cual
los participantes pueden recibir informacin de retorno segn se va
produciendo. Tambin ellos deben considerar presentar informes
provisionales parcialesque podran ser utilizados para mejorar el programa
a medida que van estando disponibles nuevos datos.
Una advertencia importante
Antes de pasar a la siguiente y ltima seccin de este manual, referida a
los aspectos polticosde la evaluacin y la capacitacin de los evaluadores
en el Tercer Mund o, debemos recordar el captulo anterior sobre la gestin
de la evaluacin. All habamos hablado del tringulo metodolgico de la
evaluacin, que incluye: el SIG, la E N y la E R. Aunque hemos analizado
cada uno de estos enfoques metodolgicos en tres partes separadas del
manual, esto no significa, desde luego, que sugiramos que son separables.
E n efecto, en las situaciones de la vida real se utilizan los tres enfoques
dentro de un mismo programa, y a veces, en un mismo estudio evaluatvo.
La necesidad y el valor de la integracin entre estos tres enfoques jams
debe perderse de vista.
1. Exa mine el informe de algn estudio evaluatvo terminado
recientemente en el centro, departamento o ministerio donde usted
trabaja Encuentra usted que esun enfoque completo y comprehensivo?
Cmo reorganizara usted el enfoque para mejorar la versin presente?
2. Fue oportuno ese estudio para aquellosque ejecutan el programa que
fue evaluado? Qu puede usted averiguar sobre la historia de la
utilizacin de este informe?
3. Prepare una presentacin oral para un grupo de agricultorescon base
en un estudio evaluatvo realizado en su pas sobre el tema de las
innovaciones agrcolas.
Parte VI
A lgunas Inquietudes Importantes
R elacionadas con la Evaluacin
E n esta parte del libro se discuten los aspectos polticos de la evaluacin y
la necesidad de establecer estndares para las meta-evaluaciones. Otro
asunto importante relacionado es la capacitacin de los evaluadores, que
aqu tambin se presenta. Esta parte se divide en tres captulos:
17. Los Aspectos Polticos de la Evaluacin, Etica y Estndares
18. La Capacitacin en Evaluacin en el Tercer Mund o
19. Conclusiones.
CAPITULO 17
LOS ASPECTOS POLTICOS DE LA EVALUACIN,
ETICA Y ESTNDARES
La informacin es poder. Esto puede relacionarse con cuestiones polticas.
En consecuencia, la evaluacin, que crea informacin "objetiva" sobre la
efectividad de las acciones de alfabetizacin y desarrollo, tiene
implicaciones polticas. Con el fin de establecer esta objetividad es
necesario observar estndares tcnicos y ticos.
El manejo de los aspectos polticos de la evaluacin
Cmo podemos manejar los aspectos polticos de la evaluacin? N o
pueden ensearse frmulas a prueba de fuego. En todo caso, la mayora de
quienes hemos trabajado (y sobrevivido) dentro de las burocracias, no
somos ingenuos respecto a las polticas de supervivencia y avance dentro
de ellas. Probablemente, cada uno de nosotros est calificado en el arte de
sobrevivir por diversos medios. A un as podemos dar algunas sugerencias
generales para manejar los aspectos polticos de la evaluacin.
Ha y dos aspectos que considerar: (a) el evaluador no debe ser castigado
por llevar a cabo la evaluacin, la cual puede haber producido informacin
"embarazosa" que para algunos puede resultar molesta; y (b) la informacin
producida por el estudio debe ponerse en prctica. Surgen problemas de
tipo poltico cuando, por una parte, el evaluador pretende capitalizar
demasiado el estudio; y, por la otra, cuando crea informacin que amenaza
a quienes estn involucrados dentro del sistema. Sin embargo, aun sin
comprometer la propia integridad personal y profesional se puede tratar de
aminorar los efectos polticos del estudio evaluativo.
Defender el derecho de realizar la evaluacin
D efienda su derecho de llevar a cabo la evaluacin. Ha ga saber que la
evaluacin es parte integral del trabajo de alfabetizacin, para que sta sea
de calidad Refirase a algunas citas de un discurso presidencial, documentos
288 Aspectos Polticos de la Evaluacin
de planificacin o publicaciones e informes de la institucin que orienta el
programa. La institucin debe haber declarado que la evaluacin es un
aspecto necesario en el cumplimiento de su misin, aunque nadie haya
prestado mucha atencin a este objetivo en particular. E n una situacin
educativa (a diferencia de una situacin administrativa) puede defenderse
el derecho a evaluar como parte de un inters profesional. Se asume que
usted, como profesional, est interesado en la evaluacin.
Mantener el perfil bajo
Es necesario que el evaluador mantenga un perfil bajo y tenga un sentido
de modestia respecto al estudio evaluativo que haya realizado. N o debe
exigir ser cosiderado una estrella en el firmamento institucional. D ebe
presentar su informe sin mucha pompa , en realidad, como una recoleccin
de informacin de retomo acerca del programa. Este no debe ser proclamado
como un producto fuera de serie.
Proporcionar un marco de expectativas sobre los resultados de la
evaluacin
Nunca se encontrar un programa ejecutado con un nivel de eficiencia del
100%. Especialmente en programas de cambio social, a veces un nivel de
participacin bajo como es el de 30% puede ser considerado aceptable.
Antes de presentar la informacin de retorno sobre la ejecucin de un
programa, debe indicarse cul sera el nivel razonable de ejecucin que
puede esperarse, Los hallazgos deben presentarse, entonces, dentro de este
marco. E n otras palabras, aquellas personas que lean el informe evaluativo
deben conocer los estndares y unidades de medicin seguidos para juzgar
el xito o fracaso de un programa de alfabetizacin u otra accin en el rea
del desarrollo. Sin estas normas el lector no puede saber si debe sentirse
satisfecho o no con el conjunto especfico de resultados presentados.
Co m o hemos afirmado en otra parte, el inters debe radicar en encontrar
causas, no en acusar a alguien. Esto no significa que el personal que tiene
a su cargo el programa no habr fallado nunca ni que, como evaluadores,
tengamos que encontrar excusas para ellos. A un as, no deben confundirse
los procesos y el personal a la hora de otorgar crditos o determinar
culpas. D ebe mantenerse el equilibrio necesario.
Aspectos Polticos de la Evaluacin 289
Comenzar con un informe en "borrador"
Una parte importante de la estrategia poltica puede ser presentar a los
colegasun "borrador" del informe, ofrecindoles la oportunidad de preparar
la versin final con base en la revisin y discusin entre los colegas. Ser
importante neutralizar los aspectos polticos en la versin revisada sin
comprender la integridad de los resultados.
Indicar posibles acciones
D eben insinuarse las acciones que habra que realizar para hacer uso de
los resultados del estudio, distinguiendo entre lo que est bajo el control de
la institucin y lo que escapa a sus posibilidades. Se comienza por lo que
podra hacer la institucin dentro del mandato que le corresponde -tal
como la revisin del currculo, la preparacin de nuevos procedimientos
para aplicar pruebas, etc. Si la ejecucin de los hallazgos demanda algn
trabajo adicional, ofrzcase a hacerlo por s solo o con la ayuda de un
grupo o comit. L o que aqu sugerimos no siempre funcionar, pero
aumentar las probabilidades de que el estudio evaluativo ejerza influencia
sobre las acciones que se den dentro de la situacin del centro o instituto
de capacitacin.
La tica de la evaluacin
Se asume que los profesionales sean autodisciplinados y las instituciones
profesionales constituyan sub-culturas normativas autorizadas. Por esta
razn, el comportamiento tico ha sido siempre algo importante en la vida
profesional de mdicos, abogados, maestros, ingenieros y desde luego, de
los investigadores y evaluadores.
Puesto que ha habido polticos, burcratas, banqueros y clrigos que
han hecho de su venalidad un espectculo de televisin, el problema de la
tica de los profesionales ha llegado a ser en los Estados Unidos un tema
de gran inters. D esde luego, esta falta de estndares ticos en la vida
diaria no es exclusiva de los Estados Unidos. Los problemas ticos realmente
han aparecido en todo el mund o.
E n evaluacin, las cuestiones que se relacionan con la tica surgen en
diferentes contextos. Habr problemas ticos si:
1. El estudio evaluative se lleva a cabo para avergonzar a alguien,
destruir un programa o legitimar acciones sobre las cuales ya han
tomado decisiones los polticos;
2. los datos de la evaluacin son inventados o se han arreglado con
cierta intencin o si se estimulan o se es cmplice de
comportamientos antisociales o criminales de m o d o que el
evaluador pueda obtener los datos requeridos;
3. no se garantiza la privacidad de los informantes y se incurre en
violaciones de su integridad personal;
4. se falsifican los datos durante el anlisis para adecuarlos a
propsitos personales o polticos; y
5. los resultados de una evaluacin se retienen con propsitos
egostas.
D esde luego, no es posible garantizar el comportamiento tico de los
evaluadores. Sin embargo, s es posible discutir todos los dilemas ticos
que es probable que se enfrenten, para ensear a los evaluadores que
aprendan a comprometerse con la toma de decisiones dentro de los marcos
de la tica.
Estndares de evaluacin: la evaluacin de las evaluaciones
Los evaluadores deben responder por su trabajo, que debe ser juzgado de
acuerdo con algunos estndares convenidos sobre los aspectos de
competencia tcnica y de tica.
El Comit Conjunto de Estndares para las Evaluaciones Educativas
de los Estados Unidos ha elaborado 30 estndares que sugiere se conviertan
en la filosofa de los evaluadores, les guen, y gobiernen los esfuerzos
evaluativos que realizan los educadores (y los agentes de desarrollo)
1
. A
continuacin se presenta un resumen de stos:
Resumen de los estndares para las evaluaciones
A. Estndares de utilidad
La evaluacin debe satisfacer necesidades prcticas de informacin.
1 A(l) Identificacin de la audiencia
D eben identificarse las audiencias interesadas o afectadas por
la evaluacin.
2 A(2) Credibilidad del evaluador
El evaluador debe ser digno de confianza y competente.
3. A(3) Alcance y seleccin de la informacin
El alcance y la seleccin de la informacin recogida debe
permitir dar respuesta a las preguntas pertinentes.
4. A(4) Interpretacin valorativa
Los juicios de valor emitidos por los evaluadores deben
presentarse claramente a los lectores.
5. A(5) Claridad de informe
Los objetivos, procedimientos empleados, resultados y
recomendaciones deben establecerse con claridad.
6. A(6) Difusin del informe
D eben difundirse los resultados para ser utilizados.
7 A(7) Oportunidad del informe
L a evaluacin debe completarse a tiempo para ser utilizada
por los que toman las decisiones.
8 A(8) Impacto de la evaluacin
Los evaluadores deben propiciar que haya un seguimiento
por parte de las audiencias interesadas.
B. Estndares de factibilidad
L a evaluacin debe ser realista, prudente, diplomtica y frugal.
9 B(l) Procedimientos prcticos
Los procedimientos deben ser prcticos y deben evitar
introducir perturbaciones en el trabajo normal.
10 B(2) Viabilidad poltica
Los evaluadores deben procurar la cooperacin de diversos
grupos interesados, evitar sus ataques y asegurarse que no se
utilicen mal los resultados.
11 B(3) Costo-efectividad
Los resultados deben justificar los recursos invertidos.
C. Estndares de lo que es correcto
La evaluacin debe llevarse a cabo legal y ticamente y debe contribuir al
bienestar humano.
12 C(l) Obligacin formal
Pueden desarrollarse obligaciones formales y contratos entre
las diversas partes involucradas (especialmente en el caso de
evaluaciones externas).
13 C(2) Conflicto de intereses
Deben evitarse los conflictos de intereses y si esto no es
posible deben abordarse en forma abierta y honesta.
14 C( 3) Exposicin completa y franca
Los hallazgos pertinentes deben ser completamente expuestos;
las limitaciones deben establecerse con franqueza.
15 C(4) El derecho del pblico a conocer
Debe respetarse el derecho del pblico a conocer los resultados
de la evaluacin (a no ser q ue haya un problema de privacidad
individual o seguridad pblica).
16 C(5) Derechos de los sujetos humanos
Estos deben ser respetados y protegidos
17 C(6) Interacciones humanas
En su interaccin con los sujetos, los evaluadores deben
respetar la dignidad y el valor de los individuos
18 C(7) Informe equilibrado
La presentacin de la informacin debe equilibrar los puntos
fuertes y las debilidades de lo q ue se evala.
19 C(8) Responsabilidad fiscal
Deben rendirse cuentas de los recursos financieros y de otro
tipo q ue se hayan invertido.
D . Estndares de precisin
La evaluacin debe entregar informacin tcnicamente adecuada.
20 D( l) Identificacin del objeto
Debe identificarse claramente lo q ue se est evaluando.
21 D (2) Anlisis del contexto
El contexto de la evaluacin debe ser suficientemente descrito,
de mod o que pueda identificarse su influencia sobre el objeto
evaluado.
22 D (3) Descripcin de los propsitos y procedimientos
Los propsitos y procedimientos de la evaluacin deben ser
descritos con bastante detalle
23 D (4) Fuentes de informacin justificadas
Las fuentes de informacin deben ser discutidas de mod o que
el lector pueda ver si se justifica su seleccin.
24 D (5) Mediciones vlidas
Los instrumentos de evaluacin deben elaborarse y aplicarse
de manera que aseguren su validez.
25 D (6) Mediciones confiables
Los instrumentos de evaluacin deben elaborarse y aplicarse
de manera que aseguren su confiabilidad.
26 D (7) Control sistemtico de los datos
Los datos deben ser revisados y corregidos en las distintas
etapas del estudio.
27 D (8) Anlisis de la informacin cuantitativa
El anlisis debe ser apropiado y sistemtico.
28 D (9) Anlisis de la informacin cualitativa
El anlisis debe ser apropiado y sistemtico.
29 D ( 10) Conclusiones justificadas
Las conclusiones deben ser explcitamente justificadas.
30 D ( 11) Informe objetivo
L a informacin debe presentarse en forma objetiva y libre de
sesgos.
Algunos de estos estndares pueden parecer a los evaluadores que
trabajan en culturas distintas a la de los Estados Unidos (donde stos se
acordaron) demasiado duros y otros demasiado remilgados y fastidiosos.
Sin embargo, en todas partes los evaluadores deben tenerlos en cuenta en
la medida de lo posible.
1. Qu opina usted sobre la posibilidad de poner en prctica las
sugerencias que se hicieron en la primera parte de este Captulo para
manejar los aspectos polticos de la evaluacin?
2. Evale algn estudio evaluativo realizado en su pas en trminos de
los 30 estndares de evaluacin enumerados aqu.
Nota
1. The Joint Committee on Standards for Educational Evaluation.
Standards for Evaluations of Educational Programs, Projects and
Materials. N e w York, N Y : McGraw-Hill, 1981.
CAPITULO 18
LA CAPACITACIN EN EVALUACIN
EN EL TERCER MUN DO
La capacitacin de evaluadores es un desafo en cualquier contexto, pero
en el ambiente del Tercer Mundo presenta problemas especiales. La
capacidad local para hacerlo es casi inexistente. Generalmente, la
capacitacin de la evaluacin, llega a estos pases a travs de personas de
fuera; y frecuentemente, en el marco de la asistencia tcnica. El Modelo
de Capacitacin en la Accin (MCA) que aqu se presenta se desarroll
inicialmente para ofrecer capacitacin en evaluacin a agentes de
alfabetizacin y desarrollo de Kenia entre 1979 y 1982. Desde entonces,
ha sido sometido a prueba en distintas situaciones en varios pases
diferentes. Ahora se presenta como un modelo de que puede elegirse entre
otros para llevar a cabo programas de capacitacin dirigidos a personal
que trabaja en evaluacin. El MCA se ha adaptado muchas veces para
ser usado en un pas por capacitadores en evaluacin y para la capacitacin
en el rea del desarrollo en general, en el Tercer Mundo. Otras veces,
algunos componentes seleccionados del modelo han sido incorporados a
otros programas de capacitacin.
Este libra fue concebido y escrito como parte de un enfoque de capacitacin
particular que se concret en el "Modelo de Capacitacin en la Accin"
( MCA ) .
1
D esde luego, el libro no est atado exclusivamente al modelo
sino que sirve a objetivos mltiples y podr utilizarse en situaciones de
capacitacin variadas.
El Modelo de Capacitacin en la Accin se desarroll y someti a
prueba inicialmente en el contexto de una serie de talleres de evaluacin
en Kenia durante 1979-82. El M C A se ha usado en otras situaciones de
capacitacin para capacitar a los que desarrollan currculo, a los que escriben
material para los nuevos alfabetizados, y en talleres para producir materiales
de educacin a distancia en Botswana, Kenia, Malawi y Zimbabwe entre
1979 y 1990 bajo los auspicios de la Fundacin Alemana para el Desarrollo
Internacional. La experiencia directa con el modelo y su evaluacin
296 La Capacitacin de la Evaluacin
sistemtica han sealado su efectividad.
2
Por lo tanto, pod emos
recomendarlo como un modelo efectivo para la capacitacin de personal
de los niveles intermedios en situaciones de desarrollo. Aunque el M C A
fue desarrollado en un contexto internacional de asistencia tcnica, se ha
utilizado con igual efectividad en situaciones internas a nivel nacional. E n
condiciones en las cuales la utilizacin completa del modelo no ha sido
posible por escasez de recursos o falta de aceptacin total por los
involucrados, se han usado algunos de sus componentes para ofrecer la
capacitacin con resultados sumamente satisfactorios.
Bajo cualesquiera circunstancia la capacitacin de evaluadores es difcil.
3
Y aun ms en las condiciones del Tercer Mund o. Las instituciones de
educacin superior en los pases del Tercer Mund o pocas veces cuentan
con los recursos necesarios para ofrecer capacitacin profesional en
evaluacin ni a sus estudiantes ni a quienes ya se estn desempeando
productivamente. Los departamentos de educacin del gobierno, o los
institutos especiales de capacitacin para el desarrollo estn igualmente
mal preparados para ofrecer este tipo de capacitacin a su personal. El
problema no se soluciona por el hecho de que son m u y pocas las personas
que podran conformar un ncleo inicial de capacitadores por su experiencia
como investigadores, adaptando sus habilidades al rea de la evaluacin.
Finalmente, las normas y expectativas institucionales, en general, no son
favorables a la evaluacin. Esm u y poca la tolerancia ante informacin
evaluativa, que pueda arrojar malas noticias sobre algunas personas y
programas en la cultura poltica de la mayora de las naciones.
El Model o de Capacitacin en la Accin ( MCA )
El M C A fue diseado para superar los problemas que se han enunciado.
D esde luego, no surgi de la nada. Aprendimos de nuestra experiencia y
vivimos un proceso continuo de reinstrumentacin y refinamiento del
modelo a lo largo de muchos meses y aos.
Tambin debe indicarse aqu que la introduccin del M C A en nuevas
culturas de capacitacin no deja de presentar problemas: Mientras que casi
todo el mund o -planificadores, "personas recurso" y sujetos de la
capacitacin- estaran de aucuerdo con el enfoque a nivel retrico, habr
mucha demora a la hora de la ejecucin. La certeza es cmoda y la falta de
seguridad suscita ansiedad en todos. D a mucha ms tranquilidad haber
La Capacitacin de la Evaluacin 297
establecido objetivos de capacitacin, horarios bien diseados, lecturas de
apoyo a las conferencias escritas y reproducidas de antemano, aun cuando
los objetivos adoptados sean irrelevantes, la totalidad de los materiales
sean acadmicos y no se produzca aprendizaje alguno durante la
capacitacin. Trabajar en un sistema de capacitacin vivo, con objetivos
reales, necesidades de aprendizaje concretas y demandas de una informacin
particular no slo est lleno de incertidumbres sino que constituye un gran
desafo para todos los involucrados. Los planificadores temen perder el
control y no estar en condiciones de aprobar o sancionar lo que suceder
durante la capacitacin. Las "personas recurso" (facilitadores) en el sitio
de la capacitacin temen equivocarse y sentirse expuestas a la crtica. Los
sujetos de la capacitacin tienen miedo de asumir la responsabilidad de su
propio aprendizaje.
Algunas descripciones analticas del M C A y las evaluaciones de su
ejecucin han sido publicadas en otra parte.
4
Aqu describiremos el modelo
en sus pasos ms o menos cronolgicamente y en trminos familiares para
los usuarios.
La ideologa de la asistencia tcnica y la filosofa de la transferencia del
conocimiento por medio de la capacitacin
Compromisos a largo plazo
Si hicieron compromisos a largo plazo. Esto se esperaba de los organismos
donantes, las instituciones del pas que reciba la ayuda, los miembros de
la facultad del taller, los facilitadores y, desde luego, de los participantes.
E n la mayora de los casos no haba un contrato legal pero haba expectativas
de compromiso a largo plazo, las cuales se cumplieron casi siempre.
Proyectos internacionales, regionales y nacionales
E n la asistencia tcnica tiene cabida todo tipo de programas o proyectos:
internacionales, regionales, nacionales y sub-regionales. Sin embargo, la
capacitacin del personal a los niveles intermedios funciona mejor en el
contexto nacional. Las necesidades nacionales pueden definirse con mayor
claridad. Puede capacitarse a un nmero bastante grande de personas para
dotar al pas de un contingente crtico de recurso huma no capacitado en un
sector profesional nuevo. Pueden mantenerse bajos los costos, ya que los
costos de transporte dentro del pas son ms bajos y no se aplican en la
mayora de los casos las tasas de transporte y viticos internacionales.
Transferencia de responsabilidad
L a transferencia de responsabilidad a los profesionales del pas anfitrin
deben, desde luego, ser una consideracin importante en todo tipo de
asistencia tcnica, incluyendo la que se refiere a la transferencia de
conocimientos por medio de la capacitacin. N o se justifica que haya una
dependencia continua de un equipo de extranjeros. Puesto que la
responsabilidad slo puede ser transferida a profesionales nacionales que
estn dispuestos y capacitados para aceptarla, requiere la capacitacin
profesional de la facultad del pas y otros facilitadores.
Esta orientacin y capacitacin deben ser parte importante del proyecto
de capacitacin.
Institucionalizacin de iniciativas
Las habilidades adquiridas a travs de la capacitacin y la experiencia
local se viciarn si no existen estructuras para "contener" las habilidades y
capacidades aprendidas. Esas estructuras pueden ser oficiales o no
gubernamentales, esto es, voluntarias. E n cualquier caso, es necesario
institucionalizar, es decir, integrar el programa a los programas existentes
es una institucin del pas que se considere apropiada, y comprometer
recursos locales. Tanto la propiedad c omo la responsabilidad del programa
deben trasladarse al pas a su debido tiempo.
Intervenciones generadoras
Las intervenciones generadoras son frtiles. Tienen consecuencias favorables
para una multiplicidad de sistemas interconectados por un perodo de
tiempo. E n la evaluacin hay un proceso generador inherente. Es, en
efecto, la contraparte de la "planificacin" e interacta directamente con la
gestin y la ejecucin. Sin embargo, los aspectos generadores de la
capacitacin en evaluacin no deben dejarse que surjan en las mentes de
los sujetos de la capacitacin, pero deben sealarse explcitamente.
La planificacin colaborativa
L a colaboracin es la clave de toda planificacin y de toda capacitacin.
Es necesaria ideolgicamente, puesto que las personas deben tomar el
control de su propia capacitacin y socializacin. Pero la colaboracin es
tambin sabia funcionalmente, ya que las personas a nivel local poseen
informacin sobre sus comunidades y sus culturas que no es accesible a un
planificador o capacitador externo. Tambin puede decirse que las personas
se motivan ms a actuar si han tenido cierta participacin en la planificacin,
diseo y ejecucin del programa. Las estrategias de cooperacin deben
poder aplicarse en todas las situaciones de decisin, de aprendizaje y de
evaluacin en los diferentes niveles.
Obligaciones mutuas
Las obligaciones mutuas de los capacitadores y de los sujetos capacitados
deben establecerse claramente. Los capacitadores, sean de fuera o
nacionales, no deben tratar de "comprar" a los participantes para que
colaboren con sus programas y proyectos de capacitacin.
E n la serie de talleres sobre evaluacin de Kenia, una vez que se
reciban los participantes, se esperaba que trabajaran. Si un participante no
era capaz de completar el trabajo de ca mpo requerido entre el primer taller
y el panel para la revisin del trabajo (o el siguiente taller), se le peda que
no regresara. E n algunos talleres se devolvi a uno o dos participantes que
no trajeron su trabajo terminado.
Pompa mnima
Los talleres del M C A eran talleres de trabajo. Haba un mnimo de pompa .
Las ceremonias de apertura y de clausura slo tenan lugar cuando era
necesario dar relieve a nivel nacional a algn asunto en particular o cuando
se invitaba a alguna institucin o a lderes importantes.
Evaluacin interna
El material de este libro puede utilizarse para llevar a cabo evaluaciones
pequeas o a gran escala, internas y extemas. Sin embargo, el M C A est
basado en los supuestos de la evaluacin interna. Creemos que la evaluacin
es un instrumento del que dispone el profesional de la alfabetizacin, no
un arma de la poltica educativa; y pensamos que es para buscar causas, no
culpables, razones, no rechazados. Aunque la evaluacin externa seguir
siendo realizada por agentes de afuera, al servicio de los intereses de la
poltica de la institucin y las necesidades de asignacin de recursos,
creemos que el personal de los niveles intermedios que se desempea en
reas de desarrollo debe ser capacitado para llevar a cabo la evaluacin de
sus propios programas por s mismos, para obtener continuamente
informacin de retomo acerca de los xitos de sus programas y detectar en
qu pueden estar fallando.
Tiempo y esfuerzo de modelamiento
El M C A expande el tiempo. N o todo tiene que hacerse dentro de los
lmites de un taller de dos semanas. Los participantes pueden regresar a
sus ocupaciones y trabajar por s mismos. E n efecto, el enfoque de capa-
citacin desarrollado consiste en un ciclo de una duracin aproximada de
un ao compuesto por dos talleres (Al y A2) de dos semanas cada uno
con un panel (Pa) hacia la mitad. Un segundo ciclo de dos talleres (Bl y
B2) y un panel (Pb) se traslapa con el ciclo A como sigue:
(Al)...(3-4 meses)...(Pa)...(3-4 meses)...[(A2)(B1)]...
(3-4 meses). . .(Pb).. .[(B2)(C1)], etc.
Cada uno de los dos perodos de tres o cuatro meses de duracin se
usaba sistemticamente como parte del ciclo de capacitacin (los paneles
despus se convirtieron en talleres completos). Estos eran perodos de
"aprender haciendo" -proporcionaban el tiempo para la accin.
Efectivamente, es de esta caracterstica que el modelo toma el nombre de
capacitacin en la accin, pues demanda de los sujetos una accin en la cual
se aplican en su trabajo o en la vida real en situaciones institucionales, las
habilidades que aprendieron durante la capacitacin.
La Planificacin del Proyecto General
Descripcin del proyecto
La descripcin del proyecto por escrito era el primer paso de la planificacin
de un taller (o serie de talleres, segn se considerara apropiado). Esta se
converta en un instrumento de discusin y comunicacin entre todos los
involucrados. Se utilizaba para explicar el proyecto a los funcionarios de
los ministerios, las instituciones anfitrionas, los patrocinadores, los
participantes potenciales y quienquiera que estuviera interesado. La
descripcin contena mucha de la informacin que incluimos en este captulo
sobre la capacitacin.
La seleccin de una institucin
Y a hemos mencionado la necesidad de institucionalizar las iniciativas
cuando son forneas. La seleccin de una institucin que se responsabilice
de la capacitacin en evaluacin depende del contexto del pas. Una
universidad, puede ser un sitio ideal, pero cualquier institucin de
capacitacin en las reas del desarrollo, en alfabetizacin, educacin para
la salud o planificacin familiar podra servir igual, lo mismo que algn
departamento de gobierno o una organizacin no gubernamental, como
por ejemplo en la India la Asociacin de Educacin de Adultos de Nueva
D elhi.
La orientacin de la facultad a nivel local
Es esencial proporcionar una orientacin apropiada a los miembros de la
facultad a nivel local y a los facilitadores. Esto implica algo ms que una
introduccin al curso por medio de este libro. La ideologa y la filosofa
del M C A deben ser explicadas extensamente. El presente captulo se debe
leer con cuidado y hay que utilizar el material suplementario al que se
hace referencia en las "Notas" de este captulo.
E n efecto, trabajar en el M C A requiere una nueva manera de hacer las
cosas, una nueva socializacin para trabajar en talleres. El M C A asume la
existencia de una comunidad de aprendizaje, que comprende a todos los
sujetos de la capacitacin y a todos los capacitadores. Estos no vienen,
dictan sus conferencias a la hora fija y se van, simplemente. Se espera que
ellos sean parte del "sistema viviente", lo cual significa que deben estar
presentes todo el tiempo, asumiendo la responsabilidad de lo que sucede.
N o siempre est claro a quin le corresponder qu ni a qu hora. V arios
facilitadores pueden contribuir al desarrollo de una sesin de capacitacin
determinada. N o hay intervencionesque se consideren como interrupciones.
Un centro de recursos en evaluacin
Las bibliotecas profesionalesen el Tercer Mund o son absolutamente pobres.
Mu y pocas tienen en sus colecciones libros sobre evaluacin. Es importante
que como parte de la institutionalization de la iniciativa de capacitacin
se establezca un pequeo centro de recursos en evaluacin en la biblioteca
de la institucin responsable. La coleccin que se adquiera deber llevarse
a los distintos lugares donde se realicen los talleres, segn se necesite.
Grupo Nacional de Evaluacin
Aquellos que sean miembros de la facultad en los talleres y algunas otras
personas deben seleccionarse para constituir un Grupo Nacional de
Evaluacin que ayudara a los participantes del taller por correo, por telfono
o por medio de visitas personales, en el desarrollo de sus proyectos. Este
grupo deber, en el momento oportuno, formar el ncleo para organizar
una Asociacin Nacional o Regional de Evaluacin.
Contacto cor las agencias auspiciadoras
D urante la pre-planificacin, los capacitadores deben establecer contactos
con las institucionesque auspiciarn la participacin de los sujetos de la
capacitacin en los talleres. Estas no sern solamente las instituciones de
alfabetizacin. D eben incluirse todas las instituciones que llevan a cabo
programas de desarrollo. Puede darse preferencia a las "instituciones de
capacitacin" de m o d o que se logre un efecto multiplicador. Las
instituciones auspiciadoras deberan tener una clara idea de los beneficios
que recibirn, pero tambin de la importancia del compromiso contrado
por su parte.
La preparacin de un taller o serie de talleres especficos
Seleccin y orientacin de la facultad
El ncleo para integrar la facultad puede provenir de la institucin que
adquirir la responsabilidad de esta capacitacin, pero el grupo total debe
contar con una representacin nacional. D eben asignarse recursos separados
para la orientacin de los integrantesde la facultad y el desarrollo profesional
a largo plazo. C o m o lo indicamos anteriormente, debe quedar m u y clara la
forma especial como se hacen las cosas siguiendo el M C A .
D ebe recordarse que aunque la facultad haya estado de acuerdo con la
metodologa del M C A a un nivel intelectual, en la prctica habr resistencias.
Es ms cmod o para un conferencista presentar un grupo de conferencias
ya preparadas y contestar unas pocas preguntas que satisfacer las muchas
y variadas demandas que se hacen a un instructor en el contexto del M C A .
La seleccin de los participantes
N o debe solicitarse simplemente a las institucionesque enven delegados a
un taller. D ebe considerarse una combinacin del mrito y el inters
personal, por una parte, y el compromiso institucional, por la otra. Esto
quiere decir que los individuos deben postular, los responsables del taller
seleccionarlos y la instituciones acceder a comisionar a los participantes
para cumplir una funcin oficial. L a seleccin debe ser precedida siempre
por entrevistasen los lugaresde trabajo de los candidatos. D ebe explicarse
claramente a todos los interesados el tipo de compromiso que se exige de
los participantes.
La eleccin del lugar
La sede debe permitir que las incomodidades e interferencias sean mnimas.
D ebe evitarse que los participantes lleven sus automviles particulares.
Diagnstico de necesidades
D ebe realizarse un diagnstico general de necesidades, no para discutir un
currculo, sino para desarrollar un concepto sobre cules podran ser las
necesidades y conceptualizar un "currculo tentativo". Probablemente
surgirn tpicoscomo los siguientes:
Qu es la evaluacin?
La planificacin y la gestin de la evaluacin
- L a elaboracin de propuestas de evaluacin
- L a formulacin de temes
Cartilla de evaluacin
- La elaboracin de informes, etc.
Algunos grupos pueden desear capacitarse en el diseo y utilizacin
de un sistema de Informacin para la Gestin (SIG). Otros querrn llegar a
ser capaces de manejar la E N . E n todo caso, hablamos de no focalizar
demasiado la capacitacin. N o queremos adelantarnos al esfuerzo que
honestamente se haga por reinventar el currculo en el contexto local, con
la colaboracin del grupo real de participantes.
En la sede, durante el taller
Preparacin de la sede
La sede debe ser cmoda y agradable. Las instalaciones deben incluir un
saln grande con mucho espacio disponible en la paredes, en el cual
puedan acomodarse de 35 a 40 personas sentadas en una disposicin en
forma de herradura. En otras palabras, los participantes deben sentarse
como en una mesa redonda y no enfilas como en la escuela. D ebe haber,
adems, cuatro recintos disponibles para el trabajo en grupos y una oficina
para la secretara. D ebe haber un saloncito adyacente donde los integrantes
de la facultad pueden atender las consultas individuales. La iluminacin
debe ser buena en todas las reas, incluyendo los dormitorios. Finalmente,
debe haber tambin un saln social con radio y peridicos.
Recepcin e inscripcin
Es importante q ue la recepcin e inscripcin de los participantes se maneje
bien, de mod o q ue los participantes se sientan bienvenidos e integrados.
Los recursos en la sede
Debe haber suficientes recursos para la instruccin en el taller: materiales
para distribuir entre los participantes y facilitadores; papel, lpices, reglas,
tijeras, etc. y la biblioteca mvil de libros sobre evaluacin q ue debe
traerse.
El primer da de taller
El primer da del taller es el ms importante. Debe comenzar con una
sesin plenaria. Es importante q ue sta se dirija bien, pero a veces los
participantes pueden sentirse sobrecargados por tener un presidente, un
moderador y un maestro de ceremonia. N o debe perderse mucho tiempo.
En lo posible una sola persona debe dirigir la sesin a no ser q ue solicite
ayuda.
Es esencial q ue los miembros de la facultad constituyan un equipo y
construir una comunidad q ue aprenda involucrando a cada participante.
Lo primero q ue debe hacerse es la presentacin por parte de los participantes.
Ellos, adems, deben llenar un formulario con sus datos personales sobre
el cual hagan su presentacin y sirva luego para preparar el directorio de
participantes. El tiempo dedicado a la presentacin es un tiempo bien
invertido, no hay q ue apresurarse.
Debe solicitarse a los participantes q ue expresen lo q ue desean aprender
en el taller. Deben escribirse con paciencia las palabras claves q ue
representen todos los intereses, en cartulinas o papel q ue se exhiba en las
paredes. Una vez q ue todos hayan tenido la oportunidad de expresar sus
intereses, estos se agrupan y se establece una secuencia de necesidades de
aprendizaje.
Se les explica entonces cmo se procurar atender a sus intereses tanto
como sea posible en el programa del taller. Y se les debe indicar por q u
no se les ha dado un horario pre-establecido, sino q ue se va a construir el
programa del taller, una versin particular adaptada a sus necesidades. Es
importante indicar q ue irn conociendo ms el Model o de Capacitacin en
la Accin ( MCA ) segn se vaya desenvolviendo el taller, despus de
hacerles una presentacin general.
Tras explicar el papel de un comit de animacin, ste debe establecerse.
Debe incluir de cinco a siete personas, entre las cuales por lo menos dos
sean participantes. Todos los asistentes pueden turnarse en hacer parte del
comit. Se explicar lo que se har en las reuniones del comit de animacin
y por qu.
Al distribuir los materiales del taller, se debe hacer algn comentario
sobre ellos, es decir, hacer q ue los participantes se familiaricen con lo q ue
contienen los materiales y cmo pueden utilizarlos durante el taller.
Se debe hablar de los distintos mtodos q ue se utilizarn para la
instruccin -las sesiones plenarias, el grupo, la consulta entre los
participantes y el trabajo individual dentro de situaciones colectivas.
Finalmente, se permitir que el grupo aprenda "el lenguaje del discurso",
esto es, los significados y definiciones de los trminos de evaluacin q ue
deben conocer para comenzar a trabajar. Esto ser ms q ue suficiente para
el primer da. N o debe ser causa de preocupacin si hay q ue dejar algo
para la primera parte del da siguiente.
La primera reunin del comit de animacin
En la primera reunin del comit, el director del taller, como presidente
provisional del comit, debe hacer un recuento sobre el papel q ue juega el
comit de animacin en todo el M C A . Debe destacarse q ue el comit de
animacin es el instrumento de evaluacin formativa del taller, un
mecanismo de reflexin colectiva y de control q ue debe ejercer el grupo y
no el equipo de expertos de fuera. Las preguntas q ue se har el comit al
finalizar cada jornada deben ser siempre las mismas: Qu tal fue el da de
hoy? Estamos haciendo lo mejor q ue podemos -los facilitadores, el
personal, los participantes? Estamos todos aprendiendo? Estn
comprometidos los participantes? Logramos lo q ue esperbamos para
hoy? En qu tuvimos xito y en qu fallamos? Qu debamos haber
hecho de otra manera? Con base en lo que ahora sabemos, cul debe ser
el plan para ma ana? Qu debe hacer quin, cundo, tomando cunto
tiempo?
El comit de animacin no necesita reunirse por ms de una hora.
Desafortunadamente, algunas reuniones del comit se han extendido por
dos o tres horas. As que debe haber equilibrio entre la democracia y la
efectividad al dirigir la reunin. Es oportuno que slo personas q ue hayan
tenido experiencia dirijan las reuniones del comit. Puede ser una buena
idea solicitar al coordinador local del taller q ue asuma la direccin
306
La Capacitacin de la Evaluacin
permanente de este importante mecanismo de planificacin y evaluacin
formativa.
Para evitar tener que programar el comit de animacin para cada da,
se establece la hora y el lugar en que sesionar diariamente durante toda la
duracin del taller.
El segundo da en adelante
Cada da debe comenzar con una breve sesin plenaria, en la cual se hacen
los anuncios de tipo administrativo que se requiera y luego se presenta un
resumen del programa del da anterior tal como realmente se desarroll y
un resumen de las deliberaciones del comit animador de la tarde anterior.
Se recordar a los participantes seleccionados que debern asistir a la
reunin del comit. Entonces se continuar con el programa tal como se
haya convenido en el comit animador, una vezaprobado por los
participantes.
La estrategia de instruccin central de los talleres de evaluacin
L a estrategia instruccional debe propiciar que todos y cada uno de los
participantes elabore una propuesta de evaluacin aceptable para ser
ejecutada a su regreso al trabajo. Tod o lo dems que se haga debe apoyar:
(i) el desarrollo de la propuesta de evaluacin, y (ii) el aprendizaje de
conceptos y habilidades que permita a los participantes desarrollar planes
de evaluacin en el futuro por cuenta propia.
Los materiales de instruccin esenciales
Ha y una tendencia por parte de los participantesde los talleres a recolectar
los documentos, las notas y losesquemas de las conferencias. Los
conferencistas padecen del mismo mal en los talleres. Aunque puede ser
necesario distribuir algunas notas y esquemas, debe evitarse la tendencia a
rehacer lo que ya est en los documentos o textos del taller. D ebe hacerse
uso del manual elaborado para el taller y ahorrar tiempo y recursos, los
cuales deben orientarse hacia la enseanza y el aprendizaje.
Situaciones de instruccin ampliadas
Se visualizan por lo menos cuatro diferentes formas instruccionales: las
sesiones plenarias, en las cuales se dan insumos o se ofrecen los aportes
individuales o de los grupos al conjunto de participantes; el trabajo de
grupos, las consultas individuales y el trabajo individual. Este ltimo debe
desarrollarse en el contexto de un grupo. Esto es, se puede trabajar
individualmente, pero en una situacin grupal, de mod o que un facilitador
pueda colaborar con cada uno de los participantes reunidosen determinado
lugar.
Las relaciones entre el facilitador y los participantes
El M C A no se basa en un conjunto de conferencias seguidas de una
discusin corts. Implica encuentros educativos entre los facilitadores y
participantes en los cuales se provee informacin de retomo mutuamente.
E n las situaciones en que haya diferentes nacionalidades o grupos tnicos
y diversos estatus sociales y burocrticos, la informacin de retomo que se
produzca debe ser til y darse con tacto. Esto no es tan fcil. Sin embargo,
cuando las personas han establecido inicialmente relaciones de confianza
tienen mucho que decirse unas a otras. La emocin del aprendizaje
compensa cualquier momento de tensin ocasional.
Ambiente social
L o anterior constituye una de las razones por las cuales debe prestarse la
debida atencin al ambiente social del taller. Algunos de los problemas
que se haya previsto se vayan a presentar deben abordarse abiertamente.
D ebe hacerse un uso efectivo de las recepciones oficiales y reuniones
sociales que siempre son parte de estas reuniones nacionales e
internacionales. Una reunin social en la noche del tercer da de un taller
de dos semanas de duracin puede ser ms til que una gran fiesta ofrecida
el ltimo da como despedida.
Un perfil bajo de direccin: los das 3,4,5 y dems
El M C A est centrado en los participantes, es participativo y flexible. Pero
esto no significa que en ste el experto no cuente, se margine del proceso
de participacin y no quiera servir de gua por miedo de imponer sus
opiniones. Nada estara ms lejos de la realidad. Al centrarse en los
participantes, el M C A les permite participar en la eleccin de lo que se
aprende y cmo se aprende, pero esto no quiere decir que el experto no
gue o no ensee. El M C A es participativo, lo cual no significa que el
experto no participe o no presente el punto de vista que conoce como
especialista. El M C A es flexible, pero es un deber moral del experto no
permitir que la flexibilidad vaya ms all de los lmites razonables y evitar
que el evento fracase.
Una vez que el grupo ha expresado sus necesidades curriculares y
stas se han exhibido en carteles en las paredes, y una vez que el comit
animador ha entrado en accin, es deber del director del taller mantenerlo
funcionando como un sistema. Esto implica dialogar con los distintos
interesados, mantener discusiones y dar lugar a gran cantidad de reflexin.
El director debe convertirse en "la conciencia" del taller, comunicando
a todos lo que ve que est ocurriendo y por qu. Tambin debe ser quien
se preocupe por el horario, haciendo que el grupo se d cuenta de cmo se
est utilizando el tiempo y qu cambios podran ser necesarios para poder
terminar a tiempo la elaboracin de la propuesta de evaluacin.
Con base en la experiencia previa de haber desarrollado talleres similares
y el contacto con los participantes del taller, el director deber mantener la
mira en las necesidades expresadas por los participantes y determinar qu
tanto puede hacerse dentro del tiempo disponible restante y cunto habr
que dejar para un segundo taller o para ser abordado por otros medios a
distancia.
El director tambin deber trabajar con el grupo de facilitadores
procurando que se constituyan en un equipo, ayudndolos a crecer y a
preparar los insumos que ellos ofrecern.
La vspera del ltimo da
Parte del da anterior al ltimo da del taller debe dedicarse a hacer un
recuento de lo que se ha hecho y lo que falta por hacer, de mod o que
puedan tomarse las medidas de emergencia necesarias para dar una
resolucin satisfactoria a la experiencia del taller.
El ltimo da y la prospectiva
E n el ltimo da deben incluirse por lo menos dos temes: una evaluacin
de la experiencia del taller y una visin sistemtica prospectiva. L a
evaluacin de la capacitacin en evaluacin debe ser diseada por un
grupo en el cual intervengan representantes de los participantes. Se puede
solicitar a todos los participantes que sugieran temes para ser incluidos en
la evaluacin final. D e ser posible debe procesarse la evaluacin y
devolverse a los participantes los resultados antes de partir.
D ebe darse el tiempo necesario para la mirada prospectiva. D ebe quedar
claro lo que hay que hacer, cundo y cmo. Los participantes deben
comprender lo que deben hacer entre este momento y el prximo taller,
dnde encontrar ayuda, quin pagar por servicios prestados o que se
La Capacitacin de la Evaluation 309
obtengan, etc. D ebe desarrollarse una programacin prospectiva por escrito
como parte de un esfuerzo de cooperacin.
Notas
1. Una descripcin de la prueba-en-la-utilizacin del M C A , que fue escrita
al concluir la primera fase del proyecto de Kenia y antes de transferir
la responsabilidad a los colegas de este pas en junio de 1982 se ha
incluido en Bhola, H. S . , Action training model (ATM): An innovative
approach to training literacy workers. Paris: UN E S C O Unit for
Cooperation with UNI CE F, marzo 1983. Recientemente se ha publicado
un anlisis ms sistemtico de los supuestos y experiencias con el
M C A en Bhola, H. S . , "Training evaluators in the Third World:
Implementation of the Action Training Model ( A T M) in Kenya",
Evaluation and Program Planning, V ol. 12 pp. 249-258,1989.
2. Los ejemplos son:
Mller, Josef, "Evaluation of basic education and development training
programmes". Bonn: Ger ma n Foundation for International
D evelopment, August 1980.
Nturibi, D audi N . , "Experiences in training evaluators from training
and development programmes in Kenya, 1979-82". Bonn: German
Foundation for International D evelopment, January 1983.
Mulusa, T om, Evaluation of basic education and development training
programmes: Mid-term evaluation of a workshop series. Nairobi:
College of Adult and Distance Education, University of Nairobi, April
1985.
Gachuhi, D . Kenyi, C , y Matiru B . , Designing and Writing Distance
Education Materials for Basic Education and Development Training
Programmes (Mid-term Evaluation 1985-1989). Bonn: Germa n
Foundation for International D evelopment.
3. V er Sechrest, Lee (ed.), Training program evaluators. San Francisco:
Jossey-Bass, 1980. Tambin D avis, Barbara Gross, (ed.) Teaching of
evaluation across the disciplines. San Francisco, C A : Jossey-Bass, 1986.
4. V er Bhola, H. S . , "Training Evaluators in the Third World", op. cit.
CAPITULO 19
CONCLUSIONES
Un libro no puede ser ms que una declaracin personal de su autor. Aun
as, hemos buscado escribir un libro a nombre de la comunidad profesional
de educadores y evaluadores de la alfabetizacin de adultos y la educacin
no formal. Hemos tomado posiciones clarasy, a veces, nicas. Sin embargo,
estas posiciones han surgido de nuestra experiencia en la prctica de la
evaluacin en el Africa, Asia y Amrica Latina. L o que hemos propuesto
no ha surgido de dogmatismos ideolgicos o metodolgicos, sino de las
realidades de la "cultura de la evaluacin" que prevalecen hoy da alrededor
del mund o y particularmente en el Tercer Mund o.
Aunque aceptamos la necesidad de la evaluacin externa para hacer
comparaciones interrgionales e internacionales, hemos enfatizado la
evaluacin interna. Por eso hemos aceptado la consideracin de que el
educador y el evaluador pertenecen a la misma comunidad ideal en continuo
aprendizaje.
1
Hemos sugerido que, idealmente, el papel del evaluador no
debe separarse del papel del educador.
Puesto que esperamos que todos los agentes educativos, incluyendo los
del nivel de base, acten como evaluadores, hemos tomado parte en
desmitificar la evaluacin. Algunos lectores del libro pueden pensar que
hemos presentado las cosas de una manera ms sencilla de lo que en
realidad son. A ellos les diremos que a cualquiera que se le da la respon-
sabilidad de conducir el proceso educativo puede drsele la de conducir el
proceso evaluativo. D icho esto, sealamos otro punto: que necesitamos
involucrarnos en un proceso continuo de aprender ms como educadores y
evaluadores en el contexto de nuestros programas particulares de
alfabetizacin de adultos y educacin no formal. La desmitificacin debe
ser seguida por la requerida capacitacin en evaluacin y el aprender a
evaluar haciendo evaluaciones.
Este libro ha tratado sobre la toma de decisiones "informadas". Esto
tiene una fuerte implicancia a lo largo del mismo: que "la evaluacin" se
inscriba bajo la categora ms general de "generacin de informacin".
Ha y razones tericas y prcticas para dar este paso conceptual, pasar del
"concepto de evaluacin" a la "categora de informacin". La razn tcnica
es, desde luego, que evaluar es producir informacin para tomar decisiones.
Conclusiones 311
Pero las decisiones sobre los programas necesitan algo ms que informacin
evaluativa. Necesitan informacin descriptiva tambin. Toma nd o en
consideracin la "categora de informacin" que es ms amplia, podemos
comprender la necesidad de informacin que se obtenga de otras fuentes
distintas a los estudios evaluativos ocasionales. L a razn prctica para este
paso ascendente, de evaluacin a informacin, es an ms importante.
Cuando se discute el mejoramiento del programa dentro del marco
conceptual de la "evaluacin", quienes ejercen la prctica sacan una
conclusin que no se esperaba: que lo que necesitamos para tomar deci-
siones efectivas sobre el programa son estudios evaluativos ocasionales.
Surge una confusin entre la parte y el todo. En lugar de pensar en una
"cultura de evaluacin" totalizadora en donde se acomoden tanto la
informacin evaluativa como la descriptiva, terminan centrndose en
pequeos trozos de informacin generada solamente por estudios eva-
luativos. Se pierde de vista la informacin generada por el programa en el
proceso de ejecucin y la informacin contextual que puede obtenerse de
fuentes externas.
D ebemos recordar que hemos sugerido tres formas de abordar la
generacin de informacin: (a) los sistemas de informacin para la gestin;
(b) la evaluacin naturalista y (c) la evaluacin racionalista. Juntas
propiciarn el desarrollo de una "cultura de evaluacin" dinmica en las
campaas, programas y proyectos de alfabetizacin de adultos y educacin
no formal. Un SI G basado en papel y lpizes una fuente indispensable de
informacin descriptiva que puede presentar el perfil del tamao, el alcance
y la estructura superficial de un programa de alfabetizacin de adultos.
V emos el SI G en una relacin simbitica con la E N y la E R. La naturaleza
numrica de un SI G no debe llevamos errneamente a pensar que el SI G y
la E R son congruentes y el SI G y la E N no guardan relacin.
Un estudiante de evaluacin principiante puede haber encontrado
algunas partes del libro "muy pesadas de leer". Puede ser que conceptos
tales como "sistema", "paradigma", "reduccionismo" y otros no hayan
quedado claros. El proceso de elaboracin que parte de los conceptos para
formular indicadores y de stos redactar los temes de las pruebas puede
parecer sencillo en teora pero difcil de practicar. Estas no deben ser
razones para desesperarse, sinouna invitacin a leer de nuevo y a practicar
ms. N o esperemos que todos los lectores acepten todo lo que se ha dicho
en este libro. Si el libro se utiliza como un trampoln para buscar otras
fuentes (especialmente en otros idiomas adems del ingls) y posiciones
312 Conclusiones
alternativas sobre el concepto y los mtodos de evaluacin, se habr logrado
su propsito.
N o slo hemos analizado cmo debe conceptualizarse la evaluacin
en una perspectiva holista,
2
sino tambin cmo debe llevarse a cabo la
capacitacin de los evaluadores en situaciones no acadmicas en el Tercer
Mund o. En esto tambin, nuestro sesgo ha sido a favor de los enfoques
naturalistas. Hemos hablado de un diseo de la capacitacin contextualizado
y del aprendizaje participativo de los conceptos y mtodos de la evaluacin.
Terminamos este libro comentando que la evaluacin es cuestin de
ser al mismo tiempo intelectualmente disciplinado, agudamente perceptivo
y maravillosamente intuitivo. Tambin debe decirse que los evaluadores
tienen que ser algo ms que metodolgicamente astutos: tienen que ser
morales.
Notas
1. Marshall, James y Peters, Michael. Evaluation and education: The
ideal learning community, Policy Sciences 18 (1985), pp. 263-288.
2. Chinapah, V inayagum, y Mirn, Gary. Evaluating Educational
Programmes and Projects: Holistic and Practical Considerations. Paris:
UNESCO, 1990.
GLOSARIO DE TRMINOS
Anlisis conceptual. Proceso "de desarrollar" los conceptos para definirlos
con tal precisin que para la mayora de los lectores tengan significados
innovadores al mximo.
Anlisis de contenido. Identificar, categorizar y hacer un listado de
conformidad con ciertas reglas, ideas, referencias, sentimientos o juicios
que se encuentran en un conjunto de transcripciones, documentos, etc.
Anlisis de costo-beneficio. L a apreciacin de los insumos y resultados de
un programa en trminos de valores monetarios.
Anlisis de costo-efectividad. L a apreciacin de los insumos, procesos y
resultados de un programa en trminos de la efectividad de los medios
empleados para obtener los fines.
Anlisis de datos. El proceso de identificar ideas, temas o hiptesis a partir
de los datos y el uso de losmismos para sustentarlas.
Anlisis de varianza ( A N O V A ) . Un mtodo para determinar si las
diferencias encontradas entre los grupos son estadsticamente significativas.
Anlisis estadstico. Exa men de las relaciones complejas entre variables
que utilizan datos empricos y las reglas de las estadsticas.
Anlisis modus operandi. Procedimiento similar a la labor detectivesca,
por la cual se hacen hiptesis sobre causas y efectos y stas se someten a
prueba y se analizan para llegar a establecer los patrones de eventos ms
probables y sus consecuencias.
Apareamiento. Proceso por el cual los sujetos que se asignan a grupos
diferentes pueden considerarse lo ms equivalentes posible (el apareamiento
puede hacerse sobre variablesc omo sexo, edad, educacin, estatus socio-
econmico, etc. Unos gemelos estarn perfectamente apareados para los
propsitos de algunos estudios).
314
Apreciaciones rpidas. Evaluaciones efectuadas con rapidez, menos
comprehensivas y menos exhaustivas que las regulares y que se conducen
bajo condiciones de emergencia para investigar la causa de un fracaso o
anticipar problemas para obtener rpidamente resultados sobre el impacto
de un programa.
Auditora de una evaluacin. Exa men y verificacin por parte de otro equipo
independiente de la calidad de un plan de evaluacin, la adecuacin de su
ejecucin, la precisin de sus hallazgos y la validezde sus conclusiones.
Capacitacin para el desarrollo. L a capacitacin de agentes de cambio,
quienes a su vez, impartirn habilidades econmicas, sociales y polticas a
los agricultores, obreros, amas de casa y jvenes, las cuales les posibilitarn
generar y sostener el desarrollo de sus sociedades.
Codificar. Convertir un conjunto de datos o temes determinados en un
conjunto de smbolos cuantitativos o cualitativos (ejemplos: 1, 2, 3 y 4; o
J. MyH).
Coeficiente. Estadstico (o valor) que representa el grado de ocurrencia de
una propiedad o una relacin (ejemplo: coeficiente de correlacin).
Confiabilidad. Propiedad de un instrumento cuando arroja el mismo puntaje
al ser utilizado por diferentes investigadores a la misma entidad o por el
mismo investigador repetidas veces en la misma entidad.
Construccin institucional. Proceso de desarrollar las formas organizativas
o sistemas para la ejecucin de programas o proyectos sobre una base a
largo plazo (institucionalizar es propiciar que el programa llegue a ser ms
o menos permanente mediante la construccin institucional).
Correlacin. Estadstico que indica el grado de relacin (ir juntos o suce-
der conjuntamente) entre variables. Las correlaciones pueden variar entre
-1. 00 y +1. 00.
Criterio. Un estndar respecto al cual se juzga algo.
Datos. Material recogido durante el transcurso de un estudio evaluativo
315
(tanto cuantitativo como cualitativo), el cual se usa para generar infor-
macin para la toma de decisiones.
Datos cualitativos. Hechos, declaraciones y aseveraciones presentados en
forma narrativa, no numricamente (sin embargo, los datos cualitativos
pueden convertirse en una forma numrica mediante la codificacin y la
calificacin).
Datos cuantitativos. Hechos, declaraciones y aseveraciones presentados
en forma numrica.
Desarrollo. El proceso que conduce a una mayor produccin de riqueza
en una sociedad y a una justa y equitativa distribucin de esa riqueza,
acompaado de un consumo progresivo de educacin y cultura y
compromiso con la hermandad, la paz y la conservacin del mund o.
Desarrollo del recurso humano. La educacin y capacitacin de recursos
humanos, tanto para el sector formal como para el sector informal de la
economa, utilizando sistemas de instruccin formales y no formales.
Descripcin abundante o rica. Descripcin detallada y fiel en forma de
registros fotogrficos y protocolos o estudios de caso escritos.
Desercin. L a prdida de sujetos de una muestra seleccionada, durante el
desarrollo del estudio. Tambin se conoce como "mortalidad".
Desviacin estndar. Medida de variabilidad calculada sobre la base de
las diferencias de los puntajes individuales en un grupo con respecto a la
media del grupo. La desviacin estndar al cuadrado se denomina va-
rianza.
Diagnstico de necesidades. El proceso de averiguar las necesidades de
aprendizaje, de salud y otras necesidades de desarrollo de los beneficiarios
de programas educativos y de desarrollo. El diagnstico de necesidades es
una mezcla de las necesidades "sentidas" expresadas por los beneficiarios
y nuevas necesidades "puesta de mod a " por los agentes de cambio.
Diferencia no significativa. Forma de expresar que la diferencia observada
316
entre dos estadsticas podra haber ocurrido por azar (ver Nivel de signifi-
cacin).
Difusin. Proceso de divulgar informacin acerca de los objetivos y los
resultados de la evaluacin entre aquellos a quienes concierne el estudio
evaluative Los mtodos de difusin pueden ser escritos u orales.
Diseo. Un modelo o conjunto de procedimientos claramente establecidos
que determinan cmo se realizar un estudio evaluativo (ver tambin
Diseo de capacitacin).
Diseo de capacitacin. Modelo o conjunto de procedimientos establecidos
para desarrollar un programa de capacitacin, que incluye la seleccin
planificada de objetivos educativos, las caractersticas de los educandos,
las metodologas de enseanza y los ambientes de aprendizaje.
Educacin no formal. Un conjunto de actividades educativas organizadas
o semi-organizadas, que operan por fuera del sistema de educacin formal
y que satisfacen necesidades educativas inmediatas de estudiantes
convencionales y no convencionales (te educacin formal es aquella que
se ofrece en las escuelas, colegios y universidades. L a educacin informal
es aquella en la cual ni el educador ni el educando son conscientes del
proceso de enseanza-aprendizaje que est ocurriendo).
Enfoques participatvos. D iseos, procedimientos y mtodos de planifi-
cacin, ejecucin y evaluacin que se construyen con el compromiso
activo de los beneficiarios potenciales de los programas y proyectos.
Estadstica. L a ciencia y los mtodos utilizados para analizar los datos
obtenidos de las observaciones empricas para hacer descripciones o
inferencias. Asi, existen la estadstica descriptiva y la estadstica inferencial.
Estadstico. Nmer o que describe en forma resumida las caractersticas o
propiedades de una muestra.
Estudio de caso. L a descripcin y el anlisis detallados de un programa,
proyecto, curso o material de instruccin determinado, conducido dentro
de su contexto educativo o social particular.
317
Estrategia para la situacin especfica (Modelo 3S de evaluacin) [por las
inicialesen ingls]. Modelo que se desarrolla en cinco pasos y relaciona la
evaluacin con el cambio; requiere una articulacin de los medios y los
fines dentro de un programa educativo o de desarrollo; propone el desarrollo
de perfiles de necesidades de informacin; sugiere que se desarrollen
agendas de evaluacin estratgicas y especficas para cada situacin y que
se escojan mtodos y tcnicas apropiadas tcnicamente y que sean viables
en la prctica dentro de la situacin de evaluacin.
Evaluacin. La recoleccin objetiva y sistemtica de informacin acerca
de un programa, proyecto o material de instruccin para mejorarlo (ms
recientemente, se define en la literatura como "la investigacin sistemtica
sobre el valor o el mrito de un objetivo; por ejemplo un programa,
proyecto o material de instruccin").
Evaluacin del contexto. La apreciacin y evaluacin de las variables del
medio en que se desarrolla un programa.
Evaluacin de los insumos. L a apreciacin de los distintos recursos
utilizadosen el desarrollo de un programa.
Evaluacin de los procesos. La apreciacin de estrategiasde procedimientos
as c omo de la efectividad de diferentes enfoques de la instruccin,
extensin, animacin y organizacin.
Evaluacin de los productos. L a apreciacin de la efectividad de los
productos curriculares o de instruccin.
Evaluacin de los resultados. L a que aprecia la cualidad y cantidad del (de
los) productos(s) final(es) de un programa y que toma en cuenta tambin
los productos colateralesno intencionadosdel programa.
Evaluacin externa. La evaluacin realizada por evaluadores que no son
parte del personal de un programa o proyecto.
Evaluacin formativa. La evaluacin realizada durante la formacin mis-
m a de un programa, proyecto o material de instruccin.
318
Evaluacin interna. Evaluacin realizada por uno o varios integrantes del
equipo institucional desde dentro de la organizacin, cuyo programa,
proyecto o material de instruccin es objeto de evaluacin.
Evaluacin libre de metas. Evaluacin de los resultados de los programas
y proyectos en la cual el evaluador realiza sus trabajos sin conocer los
propsitos ni metas de los mismos.
Evaluacin responsiva. Evaluacin que responde a las necesidades de
informacin de las distintas partes a quienes concierne un programa, al
proporcionar informacin evaluativa de retorno sobre los intereses y los
asuntos que stos plantean, en lugar de evaluar lo que el evaluador piensa
que vale la pena.
Evaluacin sumativa. Apreciacin y valoracin del impacto de un producto,
programa, etc., comparando los efectos observados con los efectos previstos
o deseados.
Extrapolar. Inferir de lo conocido algo que no se conoca (cifras sobre la
poblacin que tendr un pas en el ao 2000 pueden extrapolarse de las
cifras de crecimiento de la poblacin entre 1950 y 1980).
Generalizacin. El grado en que las proposiciones y aseveraciones que se
hacen sobre un programa, proyecto o material de instruccin en una
situacin puede aplicarse a otras situaciones.
Grupo de control. Grupo lo ms parecido posible a un grupo experimental
(el que se expone a un programa o un mtodo particular) al cual no se
aplica el programa o mtodo cuyos efectos se estudian. Sirve as al propsito
del evaluador de hacer comparaciones.
Indicador. Algo que indica, seala, significa; un calibrador que representa
otra entidad. As, una alta tasa de desercin en un programa de educacin
de adultos puede ser un indicador de falta de motivacin en la comunidad.
Informacin de retorno (Feedback). Trmino tomado de la electrnica:
consiste en la devolucin de parte del producto del sistema a la entrada
con el propsito de modificar y controlar el producto. E n el contexto de la
319
planificacin del programa, el feedback equivale a informacin evaluatva
sobre los efectos del programa.
Instrumento. Un dispositivo para hacer apreciaciones (prueba, cuestionario,
gua de entrevista o de observacin) utilizado con el propsito de evaluar.
Levantamiento de una lnea de base. Una encuesta inicial que puede servir
de base para comparar los cambios subsiguientes observados.
Media. L a suma de un grupo de puntajes dividido por el nmero de
puntajes.
Mediana. El puntaje en un grupo de puntajes que est en el medio de la
distribucin de los mismos.
Medidas no reactivas. Mtodos para examinar con los cuales los evaluadores
no interfieren materialmente en la situacin, sino que se basan en
procedimientos indirectos para recolectar los datos.
Moda o Modo. El puntaje ms frecuente en un grupo de puntajes.
Modelo. D iseo, descripcin o analoga utilizado para ayudar a visualizar
o a comprender algo que esms complejo.
Modelo de Capacitacin en la Accin (MCA). Un modelo de capacitacin
desarrollado bajo los auspiciosde la Fundacin Alemana para el Desarrollo
Internacional de Bonn, Repblica Federal de Alemania. El modelo surgi
en el contexto de una serie de talleres sobre la evaluacin de programas de
capacitacin para la educacin bsica y el desarrollo. El modelo llama as
por su nfasis en la accin. Se solicita a los participantes que se
comprometan a completar un ciclo de experienciasde capacitacin: primero,
un taller en el cual aprenden cuestiones generales sobre la evaluacin y
desarrollan propuestas especficas de estudios evaluativos; segundo, un
panel hacia la mitad del ciclo, al cual llevan los participantes los datos
evaluativos recolectadospor ellos durante unos seis meses de ejecucin de
sus estudios evaluativos, hacen un recuento de sus experiencias y se preparan
para el anlisis de los datos, y, finalmente, otro taller en el cual los
participantes antiguos vuelven a participar para informar sus hallazgos y
320
un nuevo grupo inicia un nuevo ciclo de capacitacin bajo el Modelo de
Capacitacin en la Accin.
Modelo de sistemas. Modelo que estudia la realidad social como un sistema
que siempre puede describirse en trminos de insumos, procesos, resultados
y contexto (ver tambin Modelo y Sistema).
Monitoreo. Monitorear es controlar el progreso de un programa o proyecto
en marcha para identificar sus desaciertos o fracasosde mod o que los que
toman las decisiones puedan regular las actividades o introducir acciones
correctivas. El monitoreo se basa normalmente en un sistema de informacin
para la gestin.
Muestra. Parte de la poblacin seleccionada de acuerdo a algn mtodo
para que represente a la poblacin total.
Muestra aleatoria. Porcin representativa elegida entre los integrantes de
la poblacin; asegura que cada individuo en la poblacin tenga igual
oportunidad de ser elegido cada vez que se hace una seleccin.
Nivel de significacin. El valor de probabilidad determinado que se usa
para decidir si los resultados de un estudio evaluativo fueron realmente
una consecuencia del programa, proyecto o material de instruccin, o si
stos ocurrieron al azar (p=.01 significa que slo hay una probabilidad
entre 100 de que el efecto del programa haya aparecido por azar).
Norma. V alor o patrn de valoresque representan el desempeo tpico de
un grupo o poblacin.
Paradigma. Ejemplo o patrn; ejemplo claro de un arquetipo. E n evaluacin
el paradigma equivale a la "ideologa intelectual" de un evaluador.
Paradigma de indagacin naturalista. El estudio de los fenmenos
conductualesen situaciones naturales y en su contexto normal, usando los
mtodos de la etnografa, la antropologa y de los estudios de campo
sociolgicos. Tambin se conoce c omo paradigma etnogrfico o
fenomenolgico.
321
Paradigma de indagacin racionalista. Enfoque tomado de las ciencias
exactas que incluye diseos experimentales, muestras aleatorias, grupos de
control y anlisis estadstico.
Parmetro. Cualquier conjunto de propiedades cuyo valor determina las
caractersticas o el comportamiento de algo.
Piezas de datos. Las pruebas individuales, guas de entrevistas, cuestionarios
y diarios completados durante la fase de recoleccin de datos en un estudio
evaluativo.
Poblacin. Todas las personas en el grupo a las cuales se aplicarn los
resultados del estudio (ejemplos: todos los agricultores que cultivan algodn
en las Regiones de los Lagos de Tanzania, todas las mujeres en edad de
tener hijos en Indiana).
Post-prueba. Prueba que determina los efectos de un programa, proyectos
o material de instruccin despus que ha sido terminado.
Pre-prueba. Prueba que determina el nivel de desempeo antes del
comienzo o aplicacin de un programa, proyecto o material de instruccin.
Problemtica. El conjunto de problemas interrelacionados (de planificacin
de gestin o de evaluacin) que surgen alrededor de un punto de decisin
dentro de un sistema.
Prueba de campo. Estudio preliminar de un programa, proyecto o material
de instruccin en una situacin m u y similar a aquella en la cual ser
posteriormente ejecutado o utilizado a escala mucho mayor.
Pruebas estandarizadas. Pruebas cuyos puntajes se interpretan en
comparacin con normas establecidas en trminos de algn grupo ms
amplio o poblaciones.
Pruebas referidas a criterios. Pruebas cuyas calificaciones se interpretan
de acuerdo con los criterios de desempeo especficamente definidos por
el maestro con respecto a un determinado grupo y no tomando como
referencia el desempeo de otras poblaciones comparables.
322
Pruebas referidas a normas. V er Pruebas estandarizadas.
Pruebas referidas a objetivos. Pruebas cuyos puntajes (calificaciones) son
interpretados de acuerdo con los objetivos para cuya enseanza un pro-
grama, proyecto o curso fue diseado, sin establecer comparaciones con el
desempeo de otros grupos en la prueba.
Rplica. Repeticin de un estudio evaluativo en el cual todos sus aspectos
esenciales se mantienen sin modificaciones.
Seminario operacional. Mtodo de capacitacin desarrollado en la
UN E S C O en el cual los participantes vivencian en una escala de tiempo
reducida el proceso total del trabajo comunitario, diagnstico de problemas
y necesidades, organizacin en el campo, diseo de materiales y evalua-
cin en una situacin real de campo.
Sesgo. L a consistente alineacin a un punto de vista particular que puede
hacer improbable la obtencin de resultados objetivos de evaluacin.
Sistema. Totalidad que emerge de un conjunto de partes interdependientes
en interaccin, sujetas a un plan comn y que comparten un propsito
comn.
Sistema de evaluacin. El conjunto estructurado de mtodos, procedimien-
tos y planes de accin diseados para suministrar informacin a los que
toman las decisiones sobre los insumos, los resultados, el contexto y los
procesos de un programa determinado.
Sistema de Informacin para la Gestin (SIG). Un sistema (computarizado,
manual o mixto) que incluye datos de la planificacin y la ejecucin de un
programa o proyecto (ver tambin Monitoreo).
Taxonoma. Clasificacin ordenada que tiene alguna sustentacin terica.
Triangulacin. Comparacin y prueba de los resultados desde dos o ms
enfoques diferentes para solucionar el mismo problema.
Unidad de anlisis. Unidad social como el individuo, la diada marido-
323
mujer, la familia, el grupo, la organizacin o la comunidad que constituye
el centro de inters para el evaluador, que determinar cmo se organizan
los datos y sobre la cual se hacen las afirmaciones, declaraciones y
aseveracionescomo resultado del anlisis.
Validez. Propiedad de un instrumento que es capaz de medir lo que se
supone que debe medir.
Variable. Caracterstica que puede tomar diferentes valores.
Variable dependiente. Una medida (por ejemplo, mejores hbitos
nutricionales) que se supone vare como resultado de la introduccin de
una variable independiente (por ejemplo, la enseanza de hbitos
nutricionales por parte del promotor de salud familiar).
Variable independiente. La variable que se introduce en el tratamiento en
una situacin de evaluacin (ejemplo: un nuevo mtodo de enseanza), la
cual se espera que crear efectos que varan en una variable dependiente
(por ejemplo, el desempeo en una prueba).
Varianza. Medida de variabilidad que se calcula sobre la base de las
diferencias de los puntajes individuales dentro de un grupo respecto a la
media del grupo. La razcuadrada de la varianza es la desviacin estndar.

Evaluacion en Mexico

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Evaluacion en Mexico

Uploaded by

Copyright:

Available Formats

L A EVA L UA CI N DE

You might also like