Investigaci. evaluativ. Santiago Correa Urib. Antonio Puerta Zapat. Bernardo Restrepo Gme.

INSTITUTO COLOMBIANO PARA EL FOMENT. DE LA EDUCACIN SUPERIOR, ICFE. DIRECCIN GENERA. Calle 17 No. 3-40 A.A. 691. Telfonos: 3387338 - 338736. Fax: 283677. Bogot, Colombi. HEMEROTECA NACIONAL UNIVERSITARIA CARLOS LLERAS RESTREP. SUBDIRECCIN DE FOMENTO Y DESARROLLO DE LA EDUCACIN SUPERIO. Avenida Eldorado No. 44A-4. Telfono: 368978. Telefax: 368002. Bogot, Colombi. DIRECTOR DEL ICFES. Daniel. Bogoya. Maldonad. SUBDIRECTORA DE FOMENT. Y DESARROLLO DE LA EDUCACIN SUPERIOR. Mara de Jess Restrep. COPYRIGHT: ICFES 199. Mdulos de Investigacin Socia. ISBN: 958-9329-09-. Obra complet. ESPECIALIZACIN EN TEORA, MTODO. Y TCNICAS DE INVESTIGACIN SOCIA. ISBN: 958-9329. Mdulo sei. INVESTIGACIN EVALUATIV. Composicin electrnica. ARFO Editores e Impresores Ltda. Diciembre de 200.

El proyecto para la formacin de recursos humanos en la educacin superior titulad. .Especializacin en Teora, mtodos y tcnicas de investigacin social. con la colaboracin d. ASCUN, fue realizado por el ICFES, para lo cual se conform el siguiente equipo de trabajo. Direccin y coordinacin acadmica. Direccin y coordinacin del proyecto. Asesor. GRUPO DE AUTORE. GUILLERMO BRIONE. Universidad de Chil. GUILLERMO HOYOS VSQUE. Universidad Nacional de Colombi. GERMN VARGAS GUILL. Universidad Pedaggica Naciona. GUILLERMO BRIONE. Universidad de Chil. CARLOS A. SANDOVAL CASILIMA. INER Universidad de Antioqui. HERNN HENAO DELGADO . LUCELY VILLEGAS VILLEGA. INER Universidad de Antioqui. SANTIAGO CORREA URIB. Universidad de Antioqui. ANTONIO PUERTA ZAPAT. INER Universidad de Antioqui. BERNARDO RESTREPO GME. Universidad de Antioqui. BERNARDO RESTREPO GME. Universidad de Antioqui. MDULO . MDULO . MDULO .

MDULO . MDULO . MDULO . GUILLERMO BRIONE. MARA DE JESS RESTREPO ALZAT. Profesional especializad. Coordinadora Grupo de Fomento del ICFE. MIGUEL RAMN MARTNE. Asesor Subdireccin Gral. Tcnic. y de Fomento ICFE. EPISTEMOLOGA DE LAS CIENCIAS SOCIALE. LA TEORA DE LA ACCIN COMUNICATIV. COMO NUEVO PARADIGMA DE INVESTIGACI. EN CIENCIAS SOCIALE. METODOLOGA DE LA INVESTIGACI. CUANTITATIVA EN LAS CIENCIAS SOCIALE. INVESTIGACIN CUALITATIV. ESTUDIOS DE LOCALIDADE. INVESTIGACIN EVALUATIV. MDULO 7 INVESTIGACIN EN EDUCACI.

Contenid. Presentaci. ................................................................................ .............................................. . Introducci. ................................................................................ .............................................. . Estructura general del mdul. ................................................................................ .............. 1. Objetivo genera. ................................................................................ ................................. 1. Objetivos especfico. ................................................................................ ......................... 1. Mapa conceptual del mdul. ................................................................................ ............ 1. PRIMERA UNIDA. Los conceptos de institucin - evaluacin e investigaci. evaluativa y aproximacin a una tipologa de evaluaci. ......................................... 1. Introducci. ................................................................................ ........................................ 1. Objetivos de la unida. ................................................................................ ....................... 2. Mapa conceptua. ................................................................................ ................................ 2. 1. Concepto de Instituci. ................................................................................ .................

2. 2. Concepto de evaluaci. ................................................................................ ............... 2. 3. Investigacin y evaluaci. ................................................................................ ............ 2. 4. Tipos de evaluaci. ................................................................................ ...................... 3. Autoevaluacin No. . ................................................................................ ....................... 4. Actividad de evaluacin........................................................... ........................................ 4. Lecturas complementarias. ................................................................................ ............ 4. Bibliografa. ................................................................................ ........................................ 4. SEGUNDA UNIDA. Itinerario de la evaluacin de programa. como disciplin. ................................................................................ ................................. 5.

Mapa conceptual. ................................................................................ ............................... 5. Introducci. ................................................................................ ........................................ 5. Objetivos de la unidad. ................................................................................ ...................... 5. Desarrollo de la unidad. ................................................................................ .................... 5. Cod. ................................................................................ ................................................... 7. Lecturas complementarias. ................................................................................ ............ 7. Autoevaluacin No. . ................................................................................ ....................... 7. Actividades de Evaluacin. ................................................................................ ............. 7. Bibliografa. ................................................................................ ........................................ 7. TERCERA UNIDA. Paradigmas - enfoques - orientacione. y modelos evaluativo. ................................................................................ ..................... 8. Mapa conceptua. ................................................................................ ................................ 8. Introducci. ................................................................................ ........................................ 8. Objetivos de la unida. ................................................................................ ....................... 8. 1. Paradigmas de la investigacin evaluativ.

................................................................ 8. 2. Enfoques de evaluaci. ................................................................................ ................ 8. 3. Orientaciones predominantes en l. investigacin evaluativ. ................................................................................ ............... 8. Autoevaluacin No. . ................................................................................ ..................... 12. Actividades de evaluacin. ................................................................................ ...........12. Lecturas complementarias. ................................................................................ ..........12. Referencias bibliogrfica. ................................................................................ ............ 12. CUARTA UNIDA. Diseo metodolgico, implementacin, anlisi. e informes de la evaluacin. ................................................................................ .........12. Mapa conceptual. ................................................................................ .............................13. Introducci. ................................................................................ ......................................13. Objetivos de la unidad. ................................................................................ ....................13. Etapas de la evaluacin de programa. .........................................................................13. 1. Especificacin del marco de referencia............................................ .......................13. 1.1. El programa de acci. ................................................................................ ....13. 1.2. La organizacin gestor. ................................................................................ .13. 1.3. Los factores del context.

................................................................................ 14.

"" 2. La formulacin del proyecto de evaluacin. .............................................................14. 2.1. El objeto de la evaluaci. ..............................................................................14 . 2.2. El diseo de la evaluacin. ............................................................................14. 2.3. El cronogram. ................................................................................ ................... 15. 3. Implementacin del proyecto de evaluaci. ............................................................15. 3.1. El equipo de evaluaci. ................................................................................ .15. 3.2. Ubicacin de las unidades de anlisi. .........................................................15. 3.3. Elaboracin de instrumentos d. recoleccin de informaci. ............................................................................15. 3.4. Pruebas pilot. ................................................................................ ..................15. 3.5. Preparacin de auxiliares......................................................... ......................15. 4. Ejecucin de la evaluaci. ................................................................................ ......... 15. 4.1. Aplicacin de los instrumentos d. medicin y registr. ................................................................................ ..........15. 4.2. Procesamiento de la informaci. ..................................................................15. 4.3. Anlisis de los resultados........................................................ .......................15.

4.4. Conclusiones y recomendacione. ................................................................15. 4.5. Informes de evaluacin............................................................ .......................15. Autoevaluacin No. 4. ................................................................................ ....................16. Lecturas complementaria. ................................................................................ ...........16. Actividades de evaluaci. ................................................................................ ............ 16. Bibliograf. ................................................................................ ....................................... 16. LECTURAS COMPLEMENTARIA. Lectura complementaria N . ................................................................................ ...... 16. Lectura complementaria N . ................................................................................ ...... 21. Lectura complementaria N . ................................................................................ ...... 23. Lectura complementaria N . ................................................................................ ...... 24. Lectura complementaria N . ................................................................................ ...... 273

Presentacin En cumplimiento de su misin y de sus funciones, el Instituto Colombiano para el F omento de la Educacin Superior ha realizado diversas acciones que permitan a las institu ciones de Educacin Superior no solamente enfrentar los retos del desarrollo cientfico, tcn ico y tecnolgico sino hacer del conocimiento y de la cultura, ejes de calidad y desar rollo. Esto implica necesariamente fomentar procesos de formacin que adems de articular y hacer coherentes los campos de conocimiento y sus campos especficos de prcticas, contribuyan a identificar problemas en diversos contextos y a encontrar o crear soluciones a partir de procesos de reflexin. Dentro de este contexto, el ICFES promovi la creacin del Programa de Especializacin en teora, mtodos y tcnicas de investigacin social, ofrecido en la actualidad por cin co universidades pblicas a saber: Universidad de Antioquia, Universidad del Valle, U niversidad Industrial de Santander, Universidad de Cartagena y Universidad Pedaggica Naciona l, las cuales atendieron el reto propuesto por el Instituto y despus de siete aos de iniciado el programa, en conjunto han graduado ms de 300 especialistas. La estructura temtica de esta serie de Investigacin Social la constituyen siete mdu los orientados al desarrollo de competencias para la apropiacin de metodologas y tcnica s de investigacin fundamentadas por las teoras que enmarcan las ciencias sociales. L os primeros cuatro mdulos ofrecen elementos que permiten profundizar e indagar sobre el objeto y los procesos de conocimiento en las Ciencias Sociales, las principales escuelas que han surgido a travs de los tiempos y las diferentes perspectivas de anlisis qu e conducen a la comprensin de los hechos sociales. Los tres ltimos mdulos orientan la aplicacin de estas ciencias en el campo de la investigacin educativa, la evaluacin y el estudio de localidades. Dada la pertinencia y vigencia de esta serie y aprovechando el desarrollo de las tecnologas de informacin y comunicacin que nos permite una socializacin ms amplia y gil de sus contenidos, la presentamos hoy en formato CD ROM con la expectativa que e sta estrategia de aprendizaje sea aprovechada por un mayor nmero de profesores y estu diantes de las instituciones de educacin superior del pas. DANIEL BOGOYA M. Director General ICFES

Introducci. La evaluacin es una ciencia social de gran actualidad cuyo potencial no se discut e, pero an sigue en permanente proceso de construccin. Como disciplina en construccin permite analizar su decurso y consolidacin a travs d e la evolucin histrica de sus conceptos y procesos, la constitucin de una comunidad acadmica y profesional que cada vez se internacionaliza ms con la aparicin de conferencias internacionales, asociaciones, agencias, centros e instituciones especializadas en este campo, con una vasta produccin intelectual y aportes metodolgicos plasmados en un sinnmero de publicaciones especializadas. La investigacin evaluativa se convierte, en la actualidad, en una importante fuen te de conocimientos y directrices, en las diversas actividades e instituciones de las sociedades modernas porque indica el grado de eficiencia o deficiencia de los programas y s eala el camino para su reformulacin y valoracin del xito alcanzado por los esfuerzos realiz ados. La investigacin evaluativa se vale de los mtodos y el instrumental de la investiga cin social; por lo tanto, su desarrollo sigue sus mismas evoluciones, lo cual le per mite una aproximacin permanente a criterios de cientificidad. En consonancia con lo anterior, el nfasis del mdulo se pone en las preocupaciones centrales de la investigacin evaluativa, su evolucin histrica, los enfoques evaluat ivos y la metodologa de la evaluacin.

Estructura general del mdulo El mdulo consta de cuatro unidades que en una secuencia lgica pretenden dar cuenta de los aspectos antes mencionados. La primera unidad aborda la conceptualizacin bsica de la investigacin evaluativa a travs del desarrollo de los conceptos de institucin, programa, evaluacin e investig acin evaluativa, as como tambin de los propsitos de la evaluacin y tipos de evaluacin. La segunda unidad da cuenta de la historia de la evaluacin en el mundo y en Colom bia. Inicia con un anlisis de las etapas histricas del desarrollo de la evaluacin de pro gramas y concluye con una detallada presentacin de los momentos de la evaluacin en Colomb ia con sus proyectos ms relevantes en los diferentes campos del quehacer evaluativo. La tercera unidad parte del anlisis de los paradigmas de la investigacin y su inci dencia en la investigacin evaluativa para adentrarse en sus enfoques y caracterizar las orientaciones predominantes y los modelos subyacentes en cada una de ellas. La cuarta unidad da cuenta del proceso metodolgico de la investigacin evaluativa o evaluacin de programas. Se definen cuatro grandes momentos o etapas del proceso metodolgico con sus correspondientes subrutinas. Estos momentos son: la formaliza cin del marco de referencia, la formulacin, la implementacin y la ejecucin del proyecto de evaluacin. Cada unidad parte de unos objetivos especficos y un mapa conceptual, continuando con el desarrollo de los contenidos, los cuales sern complementados con lecturas de afianzamiento y ejemplificacin de los temas de la unidad. Presenta a continuacin l a autoevaluacin sobre los contenidos y unas actividades de evaluacin productiva que pretenden dar aplicacin y dotar al estudiante de la experiencia requerida para el ejercicio de la investigacin evaluativa. Para terminar, aparecen las referencias bibliogrfic as utilizadas en el texto de la unidad.

OBJETIVO GENERAL Orientar el desarrollo de una experiencia de aprendizaje terico-prctico, que permi ta a profesionales de diferentes reas que cursan la Especializacin teora, mtodos y tcnicas de investigacin social lograr las competencias bsicas para disear, desarrollar e interpretar procesos de investigacin evaluativa de programas sociales. OBJETIVOS ESPECIFICOS Conceptualizar los trminos de institucin, programa, evaluacin e investigacin evaluativa y determinar sus alcances. Presentar un panorama del recorrido histrico de la investigacin evaluativa en sus etapas de formacin y consolidacin como disciplina y delinear el derrotero de la evaluacin de programas en Colombia y el mundo en los ltimos 30 aos, tanto en el mbito investigativo como en el acadmico. Caracterizar paradigmas, enfoques, orientaciones y modelos de evaluacin y sus posibles campos de aplicacin. Desarrollar el proceso metodolgico de la investigacin evaluativa. Apoyar a los participantes en el desarrollo de proyectos de investigacin evaluati va, dotndoles de herramientas conceptuales, metodolgicas y tcnicas, propias de este campo.

Mapa conceptual del mdul. LA INVESTIGACIN EVALUATIVA exige una Se estudia desde ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Analizado en UNIDAD 2 CONCEPTUALIZACIN BSICA Propuesta en UNIDAD 1 PARADIGMAS-ENFOQUES ORIENTACIONES Y MODELOS EVALUATIVOS UNIDAD 3 DISEO METODOLGICO UNIDAD 4 Permite plantear Vistos en Que requieren Propuesto en

Los conceptos d. institucin-evaluaci. e investigacin evaluativ. y aproximacin a un. tipologa de evaluaci. Santiago Correa Urib. Profesor Universidad de Antioqui.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN INTRODUCCIN Esta primera unidad pretende hacer claridad sobre los conceptos de institucin, ev aluacin e investigacin evaluativa de tal manera que permita reconocer la evaluacin como un a ciencia social de gran actualidad que se vale de los mtodos, tcnicas e instrumenta l de la investigacin social, pero que, dadas sus peculiares caractersticas y sus marcos de accin, presentan una complejidad diferente para lo cual no basta con el dominio d e los mtodos y tcnicas antes mencionadas. Define, adems, esta unidad los propsitos de la evaluacin y presenta diferentes tipo s de evaluacin referenciados en la literatura sobre el tema. Por ltimo, pretende resaltar los aportes hechos por la investigacin evaluativa a l a cualificacin y mejoramiento de los programas sociales.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN OBJETIVOS DE LA UNIDAD 1. Hacer claridad sobre los conceptos de institucin-evaluacin e investigacin evaluativa. 2. Reconocer los principios, criterios cientficos, criterios prcticosoperativos y propsitos de la investigacin evaluativa o evaluacin sistemtica. 3. Caracterizar los diferentes tipos de evaluacin, referenciados en la literatura sobre el tema. 4. Resaltar los aportes hechos por la investigacin evaluativa a la cualificacin y mejoramiento de los programas sociales.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Mapa conceptua. CONCEPTO DE INSTITUCIN NIVELES DE LA INSTITUCIN EVALUACIN EVALUACIN SISTEMTICA INVESTIGACIN EVALUATIVA O EVALUACIN DE PROGRAMAS TIPOS DE EVALUACIN como establece requieren cuando es se denomina propone tales como permiten META EVALUACIN EX-ANTE FORMATIVA INTERNA INTERMEDIA PROCESOS INSTITUCIONAL DE OBJETIVOS DESCRIP TIVA COSTO INTERNOS BENEFICIO IMPACTO SUMATIVA EXTERNA TERMINAL REPERCUSIONES DE PROGRAMAS DE OBJETIVO EXPLICA TIVA COSTO EXTERNOS EFECTIVIDAD COSTO RENDIMIENTO COSTO UTILIDAD SOCIAL LA ORGANIZACIN TOTAL LA ORGANIZACIN CONCRETA PROGRAMAS Y PROYECTOS

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN I. CONCEPTO DE INSTITUCIN Institucin: concepto de la ciencia social, introducido por la sociologa positivist a y la antropologa funcionalista que designa cualquier dispositivo (material, de organiz acin, de intercambio) que, con carcter permanente, regula las relaciones de una socieda d en orden a atender las necesidades humanas (Diccionario enciclopdico Grijalbo, 1995) . La definicin anterior plantea la complejidad del concepto institucin, el cual pued e asumirse como un complejo de normas institucionalizadas, como cada una de las organizacio nes fundamentales de un estado o nacin o como organismo que desempea una funcin de inters pblico. En lo que si existe acuerdo es en afirmar que la Institucin es el te stimonio sensible de la verdad de que el hombre no est solo en el escenario de la vida soc ial y que una institucin slo tiene fuerza cuando corresponde a la necesidad verdadera y actualmente sentida que hace establecerla. Los socilogos asumen la institucin como un complejo de normas institucionalizadas. Operacionalizando este concepto, debe aclararse que la referencia a normas institucionalizadas es denotativa. stas, para cumplirse, deben ser internalizadas por quienes las practican. Las normas, adems de ser aceptadas e internalizadas, son sancionadas por el grupo. El hecho de ser sancionadas posibilita que la norma se a gua de un grupo humano importante. Es importante aclarar que el concepto de norma es igualmente extenso y complejo. La norma tiene el sentido de un patrn de medida con acepciones tanto en el mundo de lo material, como en el campo de la especulacin intelectual y en el mundo de los val ores. La norma, cuando es descubierta, promueve la regularidad, la predecibilidad. Sin embargo, no se hace referencia exclusiva a normas escritas o a disposiciones, se refiere adems a modos activos de vida, a ambientes de desempeo. Un ejemplo de esta concepcin sera el matrimonio, el cual, como institucin, se compone de un conjunto de normas, algunas de las cuales no estn escritas. Otros ejemplos podran ser la familia, la j usticia, la educacin, etc., entendidas en su sentido ms general.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Planteando el concepto de institucin de una manera tan abstracta hara imposible la evaluacin institucional, porque evaluar la justicia o la educacin es una accin muy compleja que implica muchos niveles, diversas prcticas, algunas conscientes otras inconscientes, unas formales otras informales, pero esta dificultad se resuelve en el hecho de que toda institucin se materializa en una organizacin concreta y esto es lo que la gente generalmente llama institucin. En si, la educacin nunca podra ser evaluada, pero ella como accin pautada cristaliza en una serie de organizaciones como la universidad, la escuela, el preescolar y dentro de stas, a su vez, existen una se rie de suborganizaciones que pueden ser evaluadas. Esto lleva a pensar en los alcances del trmino institucin, lo cual incidir en los alcances de la evaluacin institucional. En concordancia con lo anterior podrn distinguirse varios niveles de institucin, a saber: Un primer nivel lo constituye la organizacin total; por ejemplo, la justicia colo mbiana, la salud, la educacin, etc. Al evaluar stas, se estaran evaluando todas las organizaciones en que se cristalizan cada una de las anteriores. Esta evaluacin podra hacerse, pero sera de una gran magnitud y requerira un equipo de expertos multidisciplinarios muy numeroso. Otro ejemplo sera el matrimonio colombiano como institucin, aunque esta investigacin sera ms antropolgica y social que institucional. Un segundo nivel es el de las organizaciones concretas dentro de todo el sector institucional, por ejemplo una universidad o una facultad, un hospital o una uni dad intermedia de salud, etc. A este nivel, la evaluacin es ms factible, pues se facilitan tanto el diseo de la investigacin, como la ejecucin y el anlisis. En este segundo nivel, la evaluacin es total y deben considerarse aspectos del contexto, insumos, procesos, productos y su impacto social. En la organizacin hay que destacar: Visin, misin y valores corporativos. Propsitos, metas y objetivos. Estructura organizacional.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Funciones planeadas para cumplir los objetivos. Recursos: fsicos, econmicos, humanos, financieros. Funcionamiento de la entidad. Integracin cargos funciones. Como se superan los conflictos y desviaciones. Resultado de ella en el medio (aceptabilidad e impacto social de sus realizaciones). El tercer nivel hace referencia a los programas y proyectos. La evaluacin de programas y proyectos trabaja con sectores ms restringidos y en niveles mucho ms concretos. El punto de referencia fundamental en esta modalidad de la evaluacin son los objetivos de los programas y los proyectos. En el lenguaje corriente, se entiende por programa una intencin o un designio planificado, para cuya ejecucin se requiere la aplicacin de medios determinados con miras a la obtencin de unos resultados o efectos predefinidos. La aplicacin de recursos financieros, humanos, la estructura y procesos organizacionales tien e como finalidad obtener unos resultados ms o menos concretamente definidos. En este sentido dinmico, el programa no es el mero acto de emplear recursos con fines determinados, sino ms bien un proceso cuyo punto de partida consiste en la aplicacin de los medios y su desarrollo se caracteriza por la secuencia de ciertos resultados previstos. Si definimos la totalidad de los medios y factores que habran de transformarse en determinados efectos como insumo (input) y la totalidad de los efectos que en determinado momento se producen como consecuencia de este proceso de transformacin como producto (output), entonces, puede designarse el programa, en un sentido puramente formal, como la transformacin unitariamente organizada de un insumo en un determinado producto previamente definido, dentro de un sistema socioeconmico o en el mbito de determinadas esferas o subsistemas del mismo.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Puerta plantea como condicin de un programa su coherencia interna. Cuando se habla de coherencia, se entiende que la naturaleza del programa armoniza con la necesidad o problema que se quiere resolver; que los objetivos son viables, las metas medibles, los recursos suficientes y adecuados a las estrategias propuesta s y que la metodologa utilizada corresponde y garantiza el cumplimiento de esos objetivos (1997:77). Es corriente encontrar en la literatura sobre evaluacin de programas y proyectos diferenciacin entre programas y proyectos econmicos y programas y proyectos social es aunque podra, en un momento dado, considerarse dudosa dicha delimitacin ya que economa y sociedad no son subsistemas de un sistema superior del que provengan ni topolgicamente separables. Todos los programas y proyectos de desarrollo generan cambios que pueden definirse tanto en trminos econmicos como sociolgicos. Hay hechos para cuyo anlisis debemos recurrir preferentemente a los instrumentos y tcnicas de las ciencias econmicas, mientras otros resultan ms asequibles a los mtodos de las ciencias sociales y humanas. En la medida en que tales hechos se identifican como efectos de un proyecto estudiado, los denominaremos efectos eco nmicos en el primer caso y sociales en el segundo. El criterio diferenciador va implcito en la metodologa especfica aplicada al caso. Existen tambin diferencias, al respecto, a los objetivos perseguidos y, por tanto , a los tipos de programas. Una fbrica, al igual que una institucin de salud, genera siemp re efectos econmicos como sociales. Sin embargo, en la primera predominan finalidade s y caractersticas estructurales que se formulan generalmente en categoras econmicas, mientras que en la segunda, los objetivos y caractersticas se definen por lo regu lar mediante el empleo de categoras referentes a beneficios sociales. En virtud de lo anterior denominamos como proyectos econmicos a aquellos que persiguen, ante todo, fines econmicos, y programas sociales a aquellos cuya finalidad principal consiste en b eneficios expresados en trminos sociolgicos, sociopolticos, culturales o psicosociales. Esta distincin es puramente operativa, independiente de toda consideracin terico-cientfic a y tiene por objeto nicamente una delimitacin pragmtica de los factores econmicos y sociales en los procesos de desarrollo.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN II. CONCEPTO DE EVALUACIN El trmino evaluacin es una palabra elstica que se emplea para abarcar muchas clases de juicios. Se habla de evaluacin de la ejecucin de la tarea, de evaluacin de la ca lidad de la educacin, de evaluacin del clima organizacional, de evaluacin del material didctico, de evaluacin del mercado potencial de un producto, de evaluacin de sentid o de pertenencia, de evaluacin de un determinado programa, proyecto o institucin, et c. Sin embargo, el trmino evaluacin, a pesar de su creciente popularidad y empleo permanente, es pobremente definido y a menudo impropiamente utilizado. Para la m ayora, su significado es tomado como garanta y muy pocos ensayos se han hecho en lo concerniente a formular una definicin conceptualmente rigurosa o al anlisis de los principios de su uso. El resultado es un gran desacuerdo con muchos otros trminos como valoracin, estimacin, apreciacin, juzgamiento, muchas veces utilizados como sinnimos de evaluacin. El concepto no se aplica, ni en la literatura cientfica de la especialidad ni en los concretos estudios de programas y proyectos, en un sentido inequvoco y unnime. Galtung, cita do por Musto (1975), observa que la literatura del ramo emplea ms de trescientas def iniciones diferentes del concepto de evaluacin. El examen de stas revela una inevitable mixt ura de definiciones conceptuales y operacionales. Las definiciones conceptuales en s u mayora no ofrecen una lgica formal y presentan una lista de caractersticas descriptivas d e la evaluacin como un proceso cognoscitivo y valorativo. Las definiciones operacional es concentran el propsito de la evaluacin en los procedimientos involucrados en la conduccin de un estudio evaluativo. Por evaluacin entienden algunos autores el control del xito o fracaso de programas , proyectos o instituciones, en el sentido de identificar y medir resultados. As, l a evaluacin es un esfuerzo por reconocer qu cambios se presentan durante y despus de un progra ma de accin y qu parte de dichos cambios pueden atribuirse al programa. La encicloped ia sobre poltica del desarrollo plantea: Bajo control de xito o evaluacin van comprendi das todas las medidas que se tomen para estudiar los efectos e implicaciones de un p rograma o un proyecto de desarrollo . Otros autores, en cambio, no ven en la evaluacin ningn fin cientfico en s, sino sola mente una ayuda para tomar decisiones administrativas racionales. As, la evaluacin es un

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN proceso que capacita al administrador para describir los efectos del programa y a partir de ello hacer los ajustes progresivos en orden a alcanzar las metas ms efectivame nte. Muchas otras definiciones coinciden en el concepto de finalidad como criterio de exploracin de los resultados del proyecto. La literatura de las ciencias econmicas y del anlisis de sistemas atribuye a la ev aluacin una funcin selectiva. As, la evaluacin es llegar, mediante determinados criterios o modelos de decisin, a poder pronunciarse acerca de la manera ptima de empleo de recursos en el curso de posibilidades alternativas de su aplicacin. De acuerdo co n este punto de vista, la evaluacin no sera, en lo fundamental, otra cosa que la ex-ante valoracin de las alternativas que se plantean para llevar a cabo un programa o un proyecto , mientras que el concepto del control del xito se reservara para denominar la valoracin y el anlisis de las fuentes de error de programas y proyectos ya realizados (ex-post evaluacin), con lo que servira la actuacin evaluativa as definida como base de decis in para las inversiones. El Diccionario de la Real Academia de la Lengua, define evaluar como sealar el va lor de una cosa y evaluacin como sinnimo de valuacin y valoracin, pero seguidamente asigna al trmino evaluar apreciar el valor de las cosas no materiales y reserva e l trmino a valuar y avalo para apreciar el valor de las cosas materiales. Desde esta perspectiva, la evaluacin queda designada a la determinacin de la calid ad de un proceso o actividad humana, sea ella econmica, social, poltica o de cualquie r otro orden. Es parte de un proceso y un proceso en s misma, dirigido conscienteme nte a determinar el logro de ciertos propsitos fijados con anterioridad. Restrepo (1974) plantea que la evaluacin consiste en la apreciacin de un objeto, persona, atributo, programa, institucin o sistema, a partir de ciertos criterios y destaca el aspecto valorativo como elemento que objetiviza la escogencia de factores o indicadores relacionados con el propsito de lo que se evala. Ahora bien, como toda actividad humana, es social y la mayora institucional, y cualquier sistema social est influenciado y determinado por variables circundantes, es en consideracin de toda s estas circunstancias como aparecen las conceptualizaciones tericas y los modelos de evaluacin.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Por diferentes que sean las maneras de concebir el fin y los mtodos de la evaluac in que estas definiciones implican, todas ellas podemos reducirlas a un comn denomin ador: el de que todas se refieren a la investigacin y la apreciacin de la eficiencia, ef icacia, efectividad y relevancia social de una institucin, programa o proyecto, para lo c ual se requiere disponer de informacin sobre los insumos, los procesos y los productos o resultados. Cuanto ms vlidas, confiables y representativas sean estas informacione s, mayor ser la posibilidad de reorganizar los fines y los medios de un programa o p royecto, de tal manera que ste arroje resultados ptimos. Obtener y valorar estas informacio nes es lo que denominamos evaluacin. III. INVESTIGACIN Y EVALUACIN La evaluacin es una ciencia social de gran actualidad cuyo ingente potencial no se discute, pero que an no ha llegado a su rendimiento ptimo. Se vale de los mtodos y el instrumental de la investigacin social, pero no basta el conocimiento de estos para lograr el desempeo de las funciones que requiere el evaluador, pues su marco de accin es, sin duda, de una complejidad diferente . (Carol H. Weiss, 1985). Adentrarnos en el anlisis de la relacin evaluacin e investigacin nos obliga a examin ar conceptualizaciones alternativas de evaluacin. Stufflebeam y Shinkfield (1995) es tablecen tres grupos amplios de tipos de evaluacin: Pseudoevaluaciones, Cuasievaluaciones y verdaderas evaluaciones. Las pseudoevaluaciones incluyen, en primer, lugar las evaluaciones polticamente orientadas (o encubiertas), que son dirigidas o utilizadas subrepticiamente para provocar un punto de vista determinado, positivo o negativo, sobre un objeto, independien temente de la valoracin objetiva de su valor o mrito. Los charlatanes y los manipuladores utilizan a menudo la evaluacin de una manera inadecuada para lograr sus objetivos. Puede que recopilen la informacin rigurosamente, pero no revelan las verdaderas conclusiones, o lo hacen de

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN modo selectivo, o incluso las falsifican, engaando tanto a la gente como a s mismos . (Stufflebean y Shinkfield, 1995: 68). La intencin de este tipo de evaluacin es conseguir asistencia para obtener, manten er o incrementar una esfera de influencia, poder o dinero. Los problemas que plantea son los que interesan al cliente, quien quiere que la informacin sea tan slida tcnicamente como sea posible, pero tambin que se le garantice la posibilidad de controlar su divulgacin para crear una falsa imagen del valor de un objeto, programa o proyecto. Otro tipo de pseudoevaluaciones son los estudios basados en las relaciones pblica s, planificados, realizados y utilizados para satisfacer propsitos que tengan que ve r con las relaciones pblicas. Buscan informacin que pueda ser de ayuda para asegurar el apoyo del pblico. Los mtodos que se usan ms frecuentemente en este tipo de estudios son las inspecciones, las pruebas y la utilizacin de asesores expertos . La principal

caracterstica de la utilizacin de mtodos dudosos por parte de este tipo de evaluado res es su propensin a crear una buena imagen del objeto de evaluacin . (Stufflebean y Shinkfield, 1995). Los estudios cuasievaluativos aparecen especificados porque existe la evidencia de que a veces pueden ser utilizados para enjuiciar el valor o el mrito de un objeto, mientras que en otros casos su alcance es demasiado estrecho o solo tangencial a las cuestiones del mrito y el valor. Que la informacin obtenida sea suficiente para apoyar un juicio sobre el valor de algo es, definitivamente, una cuestin secundaria. Los estudios cuasievaluativos poseen otros usos muy legtimos aparte de su relacin con la evaluacin . (Stufflebean y Shinkfield, 1995: 71). Pertenecen a este tipo de estudios los basados en objetivos que segn el autor men cionado han sido, quiz, la principal fuerza que ha impulsado el movimiento para sistemati zar el trabajo evaluativo y los estudios basados en la experimentacin los cuales incluye n cuestiones y metodologas a veces relacionadas, pero a veces no, con el juicio de valores. La principal

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN ventaja de los estudios experimentales en el trabajo evaluativo es que proporcio nan mtodos slidos para la determinacin de relaciones causales relativamente inequvocas entre e l programa y los resultados. Los problemas que plantea, no obstante, consisten en que el mtodo, a menudo, no resulta factible a la hora de sealar los lmites de la especific idad y proporciona una informacin mucho ms restringida de la que es necesaria para evalua r programas de educacin, salud y bienestar. Adems, los estudios experimentales tiend en a proporcionar una informacin final que no resulta til para el proceso de desarrollo . Por ltimo aparecen las denominadas verdaderas evaluaciones, basadas en cuestiones de valor y mrito. El mtodo concreto de la evaluacin es la investigacin evaluativa, donde las herramie ntas de la investigacin social se ponen al servicio del ideal consistente en hacer ms p reciso y objetivo el proceso de juzgar. En su forma de investigacin, la evaluacin estable ce criterios claros y especficos que garanticen el xito del proceso, rene sistemticamen te informacin, pruebas y testimonios de una muestra representativa de las audiencias que conforman el programa u objeto para evaluar, traduce dicha informacin a expresion es valorativas y las compara con los criterios inicialmente establecidos y finalmen te saca conclusiones. Suchman (1967) deline claramente las diferencias existentes entre los objetivos y las facultades investigativas de la evaluacin, oponindolas a las de la investigacin bsic a o pura, las cuales hacen referencia a una compleja mezcla de distintos valores, pro psitos y recursos . La investigacin evaluativa es un tipo especial de investigacin aplicada cuya meta, a diferencia de la investigacin bsica, no es el descubrimiento del conocimiento. Poniendo principalmente el nfasis en la utilidad, la investigacin evaluativa debe proporcionar informacin para la planificacin del programa, su realizacin y su desarrollo. La investigacin evaluativa asume tambin las particulares caractersticas de la investigacin aplicada, que permite que las predicciones se conviertan en un resultado de la investigacin. Las recomendaciones que se hacen en los informes evaluativos son, por otra parte, ejemplos de prediccin . (Suchman, 1967: 119).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN La investigacin evaluativa contiene una amplia serie de variables sobre las que e l evaluador tiene muy poco o ningn control y sus resultados son poco generalizables, pues son aplicables al programa que est siendo evaluado y a sus ramificaciones contextuale s. Existen tambin semejanzas importantes entre la evaluacin (investigacin evaluativa) y otras clases de investigacin. Como otras investigaciones, la evaluacin trata de de scubrir, de comprender las relaciones entre las variables y establecer la relacin causal. Los evaluadores utilizan toda gama de mtodos de investigacin para recabar informacin: entrevistas, cuestionarios, tests de conocimientos y destrezas, inventarios de a ctitudes, observacin, anlisis del contenido de documentos, registros y expedientes y exmenes de las evidencias fsicas, entre otros. Los evaluadores ingeniosos suelen encontra r las maneras mas convenientes de explorar una amplia gama de efectos. La clase de esq uema que se utilice para reunir los datos, depender de la clase de informacin que se ne cesita para dar respuestas a las preguntas especficas que plantea la evaluacin. Principios de la Evaluacin 1. Propsito: el propsito de evaluar es mejorar el funcionamiento del sistema. En el sistema educativo, esto significa mejorar su enclave en la sociedad y por tanto garantizar la calidad de los programas en sus diferentes niveles y modalidades. 2. Funcin: la evaluacin tiene como patrn de funcionamiento la conciencia social. Si se carece de esta condicin, la evaluacin ser restringida, unilateral y no procurar de una manera consciente el mejoramiento de la institucin o el programa. 3. Uso: los resultados de la evaluacin deben darse a conocer a todos los actores y ponerse a disposicin del pblico. 4. Fin: la evaluacin debe orientarse y organizarse teniendo en cuenta que el punt o final de sta es la toma de decisiones.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Criterios cientficos de la evaluacin 1. Validez: la evaluacin debe reflejar una correspondencia inequvoca entre la informa cin y el aspecto de la realidad que se evala, lo que implica que en el diseo de la evaluacin: a. Se elimine o controle la interferencia de variables extraas (validez interna). b. Se garantice que los instrumentos de medicin midan lo que se quiere medir (todo lo que se quiere medir y slo lo que se quiere medir), es decir, hayan congruencia s entre los tems que componen el instrumento y el objeto evaluado que se mide (validez de contenido de los instrumentos). c. Las muestras de informantes, al ser representativas de la poblacin, seleccionadas al azar y controlando factores ambientales ajenos, permitan cierto grado de generalizacin de la informacin (validez externa). 2. Confiabilidad: la evaluacin debe ser consistente. Esto es, si los instrumentos se utilizan ms de una vez para evaluar la misma calidad, los resultados obtenidos de ben ser muy parecidos. 3. Objetividad: la evaluacin debe minimizar las apreciaciones personales en el momen to de emitir juicios valorativos, empleando instrumentos que recojan hechos verific ables, de modo que, si distintos evaluadores aplican el mismo instrumento, obtengan resultados similares. Criterios prctico-operativos de la evaluacin 1. Integral: de modo que comprenda todos los elementos e involucre todos los factor es que intervienen en el programa o accin evaluada. 2. Participativa: esto es que vincule activamente los diferentes actores que int ervienen en el programa o accin que se va a evaluar.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN 3. Permanente: ha de realizarse en forma continua, asociada al desarrollo del pr ograma. 4. Acumulativa: al considerar los resultados de evaluaciones previas, para determin ar sus efectos sobre las sucesivas. 5. Autocorrectiva: esto es, contempla mecanismos de ajuste de estrategias e instrumentos para futuras etapas del proceso de evaluacin permanente. 6. til: en la medida en que contemple los aspectos ms importantes en relacin con los objetos evaluados (relevante) y que sea oportuna, de manera que proporcione a los diferentes niveles decisorios la informacin necesaria en el momento requerido. 7. Eficiente: si obtiene un mximo rendimiento de los recursos disponibles (humanos, fsicos, financieros). PROPSITOS DE LA EVALUACIN Suchman (1967) asume como propsitos de la evaluacin los expuestos por Bigman (1961). 1. Describir si los objetivos han sido alcanzados y de qu manera. 2. Determinar las razones de cada uno de los xitos y fracasos. 3. Descubrir los principios que subyacen en un programa que ha tenido xito. 4. Dirigir el curso de los experimentos mediante tcnicas que aumenten su efectividad . 5. Sentar las bases de una futura investigacin sobre las razones del relativo xito de tcnicas alternativas. 6. Redefinir los medios que hay que utilizar para alcanzar los objetivos, as como , incluso, las submetas, a la luz de los descubrimientos de la investigacin.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Estos propsitos, en opinin de Suchman, plantean una relacin intrnseca entre la plani ficacin del programa, su desarrollo y la evaluacin. Los medios para alcanzar dichos propsi tos (la investigacin evaluativa) deben proporcionar la informacin bsica para planificar y, si es necesario, replanificar los programas. As como la investigacin tradicional suele c onducir hacia una comprensin ms amplia de los procesos bsicos, la investigacin evaluativa de be conducir a una mayor comprensin de los procesos aplicados o administrativos . Weiss (1985) plantea como propsito de la investigacin evaluativa medir los efectos de un programa por comparacin con las metas que se propuso alcanzar, a fin de contri buir a la toma de decisiones subsiguientes acerca del programa y para mejorar la prog ramacin futura (p. 16). Aparecen aqu cuatro rasgos primordiales: la expresin medir hace referencia a la metodologa de la evaluacin que se emplea. La expresin los efectos hace hincapi en los resultados del programa. La comparacin de los efectos con las metas subraya el uso de criterios explcitos para juzgar hasta qu punto el programa est marchando bien. La contribucin a la toma de decisiones subsiguientes y al mejoramie nto de la programacin futura denota la finalidad social de la evaluacin. La evaluacin de programas sociales directamente relacionada con la tarea de decis iones debern, segn, Weiss ser orientadas hacia uno o ms de estos propsitos: 1. Continuar o descontinuar el programa. 2. Tratar de mejorar su funcionamiento. 3. Agregar o suprimir alguna de sus partes. 4. Establecer programas similares en otros lugares. 5. Redistribuir los recursos segn los resultados de programas alternativos. 6. Aceptar o rechazar algn enfoque o teora en la cual est basado el programa. Briones (1991) define como propsito principal de la evaluacin: proporcionar criteri os para la toma de decisiones en relacin con la estructura, el funcionamiento y el d esarrollo del programa , p. 17. Y a manera de ilustracin presenta una lista de propsitos que pueden perseguirse en una investigacin evaluativa:

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN 1. Mejorar la efectividad cuantitativa del programa, es decir, el logro de sus obje tivos. 2. Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del prog rama. 3. Aumentar la eficiencia interna del programa, vale decir, la relacin entre insumos y resultados. 4. Mejorar la eficiencia externa del programa o adecuacin de resultados con objetivo s externos. 5. Someter a verificacin la teora o hiptesis que relaciona los componentes del program a con los resultados buscados. 6. Redefinir la poblacin objeto: reducirla, homogenizarla, etc. 7. Modificar la estructura, el funcionamiento y la metodologa del programa. 8. Tratar de cumplir, si es pertinente, las expectativas de la poblacin objeto de l programa (sobre su funcionamiento, recursos, objetivos, etc.). 9. Controlar la aparicin de posibles prcticas o resultados no deseados. 10.Tratar de homogenizar los efectos, consecuencias y repercusiones del programa en diversos subgrupos de la poblacin de referencia del programa. Plantea el autor en mencin que, cualquiera que sea el caso, algunos de estos props itos surgen de algn indicio o sospecha de que algo anda mal en el programa. Tales indicaciones, junto con otras fuentes de informacin, permiten definir los objetiv os de la evaluacin y, en definitiva, ayudar a preparar el diseo metodolgico que se emplear. A manera de sntesis se presenta el planteamiento de Crombach y sus colaboradores (1980) cuando puntualizan: El propsito de una evaluacin es influir en el pensamiento social y la accin, durante la investigacin o en los aos subsecuentes. Tambin es razonable esperar influencias a largo plazo (p. 15).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Aparece en esta definicin un nuevo propsito la evaluacin de impacto, realizada para determinar los efectos residuales del proyecto. IV. TIPOS DE EVALUACIN Existe una amplia clasificacin de los tipos de evaluacin, diferenciados de acuerdo con mltiples criterios: el momento en que se realiza la evaluacin, la naturaleza del p rograma que se quiere evaluar, la procedencia de los evaluadores, las categoras que se va n a emplear y muchos otros que dificultan una tipologa universalmente aceptada. A continuacin se definen los tipos de investigacin mas conocidos, con el nimo de qu e el investigador disponga de varias opciones metodolgicas en el momento de emprend er una evaluacin. EVALUACIN FORMATIVA Y EVALUACIN SUMATIVA Es til distinguir como lo hace Scriven (1967) entre una evaluacin formativa y eval uacin sumativa o acumulativa. Evaluacin formativa: llamada tambin evaluacin intermedia, de proceso, configurativa , continua o concurrente, se caracteriza porque las mediciones de los efectos se h acen en diversos momentos del desarrollo del programa (el diagnstico, la formulacin, la implementacin o la ejecucin), de tal modo que los resultados o experiencias lograd as hasta entonces son utilizados en modificaciones o reorientaciones del mismo. En general, la evaluacin formativa se aplica en la fase de ejecucin de un programa o proyecto y es especialmente recomendable cuanto ste tiene etapas claramente defin idas, con metas intermedias y a largo plazo, o en proyectos que admiten, a manera de retroalimentacin, una modificacin en la marcha (mejoramiento continuo). La evaluac in formativa es parte integral de cualquier programa y debe estar presente en todas sus etapas, no solamente como siempre se ha pensado, para medir los efectos terminal es del mismo. La evaluacin formativa en general tiene un componente de participacin d e los diferentes actores del programa que se va a evaluar. Es entendida, desde los modelos

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN participativos y naturalistas o apreciativos, como un proceso educativo en el qu e aprenden tanto los evaluadores (tcnicos) como los evaluados (actores sociales). El Ministerio de Salud de nuestro pas caracteriza la evaluacin formativa as (1978:7 7): 1. Es un componente esencial de la planificacin; mide y controla los desempeos y alcances logrados con la programacin, direccin y ejecucin de los servicios. 2. Es continua e integral. 3. Permite estudiar la eficiencia y eficacia de un servicio. 4. Implica una autoevaluacin. 5. Cumple una funcin retroalimentadora dentro del desarrollo de un programa. 6. Brinda una informacin general del universo evaluado. 7. Ofrece registros sistemticos durante su ejecucin. 8. Minimiza el desfase entre identificacin de problemas y toma de decisiones. 9. No representa costos adicionales mayores. Evaluacin sumativa: llamada tambin acumulativa, terminal, de punto, de resultado, final de producto o ex-post, se caracteriza porque se efecta al trmino del program a y da cuenta, por lo tanto, slo de los resultados finales. Es, probablemente, el tipo de evaluacin que ms aplican las instituciones encargada s de prestar servicios sociales, inclusive se asimila a lo que en la administracin m oderna se denomina informe o balance social (Puerta, 1996:57). En Colombia, segn el Ministerio de Salud (1978), la evaluacin sumativa o de punto: 1. Es un componente del proceso de evaluacin, por tanto, es complemento de ese proceso.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN 2. Es circunstancial. 3. Se puede aplicar al estudio de factores de eficiencia. 4. Debe ser realizada por un personal diferente al que presta los servicios incl uidos dentro de un programa. 5. Es complemento del proceso de retroalimentacin de un programa. 6. Brinda una informacin especfica acerca del universo de desarrollo de un program a. 7. Utiliza formularios no manejados como registros sistemticos. 8. No ofrece identificacin oportuna de problemas. 9. Representa un costo adicional relativamente alto. La evaluacin sumativa o ex-post debe evaluar: Los productos, o sea, los bienes y servicios producidos y prestados por el progr ama o proyecto. Los efectos, o sea, los resultados de la utilizacin de los productos. El impacto, o sea, los cambios que permanecen luego de terminado el programa o proyecto. Evaluacin externa, evaluacin interna y evaluacin mixta: esta clasificacin hace referencia al tipo de personal encargado de llevar a efecto la evaluacin. Evaluacin externa: es la evaluacin realizada por agentes externos a la institucin o programa. Generalmente, son profesionales con reconocido prestigio en el campo d e la evaluacin, o funcionarios de entidades especializadas tales como universidades, c entros de asesora y auditoras especiales. Se dice que una evaluacin efectuada por investigadores externos asegura mayor objetividad en cuanto a la apreciacin del funcionamiento y resultados del program a.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Por otro lado es ms probable que el evaluador externo se haya sometido a un entre namiento especial en la evaluacin de programas y que tambin tenga experiencia en otras situaciones que pueda aplicar en esta oportunidad. Los evaluadores externos adqu ieren en el ejercicio de su profesin una gran habilidad para determinar los asuntos cla ves que deben ser evaluados, los indicadores ms adecuados y las mejores estrategias y dis eos para la recoleccin, el procesamiento, el anlisis y la interpretacin de la informacin . Pero tambin se hacen algunos cuestionamientos a la evaluacin externa tales como: e l evaluador externo no conoce el programa, por tanto invierte gran parte del contr ato tratando de comprender sus aspectos formales, pero el ambiente informal y las intimidades propias de cada programa y cada institucin nunca se comprendern. No es fcil compatibilizar los puntos de vista del evaluador externo con los que tiene en los temas de eval uacin el personal del programa. El evaluador externo hace que los costos se incrementen y no propicia una cultura de la evaluacin y del empoderamiento y en algunos casos tien de a crear resistencias frente a los residentes del programa, quienes, a su vez, no c onsideran que tales evaluadores tengan autoridad suficiente para valorar lo que ellos estn realizando. Evaluacin interna: es la evaluacin realizada por el personal de la institucin o del programa, generalmente grupos interdisciplinarios en los que estn representados t odos los estamentos y audiencias del programa. Los encargados de la evaluacin interna son responsables de analizar los problemas y ofrecer recomendaciones, pero tambin de corregir las dificultades e implementar l as soluciones; de modo que la evaluacin interna es, ante todo, una actividad adminis trativa (Love, 1991:24). Los defensores de este tipo de evaluacin afirman que los funcionarios tienen un conocimiento ms profundo de la estructura y funcionamiento del programa y, por consiguiente, estn en mejores condiciones de evaluarlo. Por el contrario, sus opo sitores afirman que el personal vinculado directamente al programa no podr tomar distanci a crtica frente al mismo, pues muchas veces el compromiso de estos funcionarios res ulta ms afectivo que racional o profesional, por lo cual no pueden ver las fallas del programa y, adems, en ocasiones la defensa del programa tal cual se realiza les representa una

estabilidad laboral.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Hamilton (1981) seala como ventajas de la evaluacin interna las siguientes: Puede contemplarse como parte fundamental en la estructuracin de una institucin o programa. Permite que se acepten ms fcilmente los resultados y que se tomen las medidas respectivas. La evaluacin interna ofrece a los evaluadores mayores posibilidades de conocer la naturaleza del programa. Evaluacin mixta: es la evaluacin realizada por un grupo conformado por evaluadore s externos y personal del programa (evaluadores internos). Se trata de una alterna tiva que minimiza los inconvenientes o factores excluyentes de las evaluaciones interna y externa, para, en cambio, potenciar las ventajas de ambas. Un caso especial de esta modal idad lo constituye la investigacin-accin, donde la evaluacin del programa es una tarea e n la que todos sus participantes se comprometen.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN OTRAS TIPOLOGAS DE EVALUACIN En la literatura sobre evaluacin de instituciones se encuentran, adems de las clasificaciones anteriores, muchas otras que, de alguna manera, podran encuadrars e dentro de stas. Se definirn a continuacin algunas de ellas. Evaluacin intermedia-evaluacin terminal Briones (1991) identifica la evaluacin intermedia como aquella que busca informac in durante el desarrollo del programa con el fin de detectar problemas de funcionam iento y buscarles soluciones adecuadas y oportunas. La evaluacin terminal, denominada tam bin evaluacin ex-post, es el estudio que se realiza despus de que el programa ha termi nado, con la finalidad de establecer si se obtuvieron los resultados esperados y los f actores que actuaron en una u otra direccin. Evaluacin de procesos-evaluacin de repercusiones El mismo autor define la evaluacin de procesos como aquella que se centra en el funcionamiento y otros aspectos dinmicos del programa, mientras que la evaluacin d e repercusiones se refiere a la determinacin del logro de objetivos de un programa o a la evaluacin de efectos externos. Evaluacin institucional-evaluacin de programas La evaluacin institucional se refiere a la evaluacin de una institucin en su nivel de organizacin, de tal modo que uno de sus focos principales de atencin est constituid o por las funciones que ella debe cumplir. Entre tales funciones se pueden definir objetivos o metas, pero como momentos puntuales dentro de esas actividades permanentes de la institucin. (Briones, 1991). La evaluacin de programas se refiere a la evaluacin de actividades ms o menos coord inales en torno a objetivos de duracin variable. Estos ltimos son estados o situaciones d eseables y que pueden lograrse mediante la estrategia que el programa utiliza y respecto de los cuales se evalan los resultados alcanzados o no. (Briones, 1991).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Evaluacin de objetivos internos-evaluacin de objetivos externos La evaluacin de objetivos internos se refiere al proceso destinado a verificar el logro de los objetivos que han de alcanzarse en la poblacin en la cual acta directamente el programa (objetivos internos). La evaluacin de objetivos externos hace referen cia a la evaluacin de situaciones o estados deseables de alcanzar fuera del mbito del programa cuando ste ya ha finalizado. Por lo general, estos objetivos son de natu raleza econmica, social y cultural, y se espera que se cumplan en la comunidad o en la sociedad global. EVALUACIN DESCRIPTIVA Y EVALUACIN EXPLICATIVA Evaluacin descriptiva: describe diferentes situaciones del programa (caracterstica s, factores que intervienen y relaciones de asociacin entre stas). Se apoya en tcnicas de anlisis de informacin descriptiva tanto cuantitativas como cualitativas. Evaluacin explicativa: trata de establecer la relacin causal entre los diferentes factores que intervienen en el programa y entre ste y el contexto. Estas explicaciones, a s u vez, estn constituidas por generalizaciones incorporadas al cuerpo de las disciplinas en las cuales se apoya el programa (psicologa, sociologa, antropologa, etc.), o bien se fo rmulan hiptesis explicativas ad hoc, que nuevas evaluaciones podrn confirmar o desconfima r (Briones, 1991:28). Al hacer la distincin entre evaluacin descriptiva y evaluacin explicativa, Suchman (1967:84) seala que en este segundo tipo es necesario examinar su fundamentacin racional, la que esencialmente consiste en concebir una secuencia causal en la c ual nuestro programa viene a ser slo una de muchas acciones o eventos posibles que pueden producir el efecto deseado. Adems, nuestro programa no slo influir para que se produzca el efecto deseado, si no que tambin tendr otros efectos (ver diagrama).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN CONDICIONES VARIABLE EVENTOS VARIABLE PREVIAS INDEPENDIENTE INTERVINIENTES DEPENDIENTE CONSECUENCIAS PROGRAMA A EFECTO B a1 a2 a3 an b1 b2 b3 bn c1 c2 c3 cn EVALUACIN COSTO-BENEFICIO, COSTO-EFECTIVIDAD Y COSTO-RENDIMIENTO Puerta (199:63-64) define estos tres tipos de investigacin as: Evaluacin costo-beneficio: se aplica para estimar el valor de bienes intangibles y para disponer de un elemento ms de juicio, cuando se deben tomar decisiones que implic an una asignacin de recursos. (Ander Egg, 1984:73). Este tipo de evaluacin puede apli carse antes de que se de inicio al programa o una vez concluido el mismo. En los proyectos sociales, la medicin del beneficio se expresa mediante la utiliz acin de uno o varios indicadores de impacto sobre la poblacin objetivo. En cambio, en la evaluacin financiera y en la evaluacin econmica, los beneficios se expresan en unidades econm icas. Evaluacin costo-efectividad: esta evaluacin contrasta los resultados o beneficios no monetarios con los costos monetarios (Abello, 1987). Determina la eficiencia eco nmica de un proyecto al relacionar sus costos y productos con los efectos alcanzados. Evaluacin costo-rendimiento: de acuerdo con Musto (1975:99), la finalidad que per sigue esta evaluacin es la de hallar y determinar la diferencia entre el valor actual d e los costos pblicos y el valor actual de los rendimientos o utilidades de un proyecto, teniendo en consideracin tambin aquellos costos y rendimientos que inciden sobre sujetos distintos de los directamente afectados por el proyecto. El autor incluye en este tipo de evaluacin el calculo de los rendimientos de lo q ue se considera el impacto del programa; que no son los resultados del programa, sino

los efectos indirectos en cuanto a la poblacin beneficiaria. Evaluacin costo-utilidad social: determina el costo de alguna actividad que afect a a la sociedad en conjunto y que no necesariamente son iguales a los costos que pag a la

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN persona o empresa que realiza dicha actividad. Por consiguiente, los costos soci ales estn formados por los costos de oportunidad de los recursos usados en la activida d, junto con el valor de cualquier prdida de bienestar o incremento de costos que es a actividad provoca para algn individuo o grupo social. EVALUACIN EX-ANTE: es la evaluacin que se aplica a la formulacin del proyecto (evaluacin social y econmica del proyecto). Est orientada al anlisis de la factibili dad del proyecto, coherencia interna e ingeniera del proyecto y eficiencia del mismo. Los parmetros utilizados son (Pichardo, 1989:103-114): -La viabilidad o posibilidad del proyecto en sus trminos tcnico, financiero, jurdic o, sociocultural, institucional y poltico. -La transcendencia social, la eficiencia del proyecto o su capacidad para produc ir impacto en los destinatarios, las organizaciones y el medio social. EVALUACIN DE IMPACTO: esta evaluacin se refiere al efecto agregado del programa sobre la comunidad como un todo (Quintero,1995:6). Es decir, es aquella evaluacin realizada para determinar, bien sea, los efectos residuales del proyecto en su t otalidad los efectos de una sola de las actividades asociadas al mismo (Garca, 1992:6). METAEVALUACIN: hace referencia a la evaluacin de la evaluacin. El trmino es introducido por Scriven en 1968 cuando escribe un artculo sobre la evaluacin de lo s instrumentos de evaluacin. Plantea que los evaluadores tienen la obligacin profesi onal de que las evaluaciones propuestas o concluidas estn sujetas a una evaluacin competente. Las sugerencias metodolgicas de Scriven, para la realizacin de metaevaluaciones, incluyen la utilizacin de un listado de control de indicadores de la evaluacin. Los resultados de la metaevaluacin deben ser utilizados formativamente, pero tamb in pueden incorporarse al informe o transmitidos al cliente y otras audiencias adec uadas.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN AUTO EVALUACIN 1 Intente dar respuesta a los interrogantes que a continuacin se plantean recurrien do a la revisin de la unidad, a las fuentes bibliogrficas referenciadas, incluida la lectura complementaria 1 y a la discusin con sus colegas. 1. Qu diferencias encuentra entre la investigacin social y la investigacin evaluativa? 2. Existe un mtodo nico para la investigacin evaluativa? En caso afirmativo, cul es ste y en caso negativo es esto ventajoso o desventajoso? 3. Hasta qu punto cree usted que la sociedad debe investir en preparar y emplear especialistas en investigacin evaluativa en lugar de simples evaluadores? 4. Dnde, cmo y hasta qu punto debe proporcionrsele preparacin a ambos tipos de evaluadores? 5. Se justifica la inversin econmica en los procesos de evaluacin institucional a sabiendas de que en ltima instancia la toma de decisiones es eminentemente poltica?

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN ACTIVIDAD DE EVALUACIN UN CASO PARA EL ANLISIS A continuacin se presenta un caso en cuyo anlisis usted aplicar los contenidos desarrollados en la unidad. Elabore un ensayo de mximo 3 paginas en el cual fije su posicin frente a la propuesta del jefe. El secretario de desarrollo comunitario de su municipio lo contrata para discuti r los planes de evaluacin de los programas a cargo de esta dependencia. El funcionario le manifiesta que se ha definido como estrategia la autoevaluacin, pues considera que todos los miembros del personal de la secretara son responsabl es de evaluar su propio trabajo y advierte, adems, que no se han empleado los servic ios de ninguna agencia evaluadora ni de especialistas en evaluacin. En lugar de ello, ha recordado a todos sus empleados su responsabilidad de evaluar su propio trabajo y les ha enseado un mtodo evaluativo con el fin de garantizar el xito en el proceso. El secretario espera que este tipo de actividad evaluativa sea de utilidad para convencer al Concejo municipal para incrementar el presupuesto de la dependencia.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN LECTURA COMPLEMENTARIA: Introduccin a la evaluacin . En: Stufflebeam, Daniel L. y Shinkield, Anthony J. Evaluacin sistemtica. Gua terica y prctica. Barcelona: Ediciones Paids, 1995.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN BIBLIOGRAFA Ander-Egg, Ezequiel. Tcnicas de evaluacin social. Buenos Aires: Humanistas, 1984. Abello, R. y Madarriaga, C. Estrategias de evaluacin de programas sociales. Barranquilla: Uninorte, 1987. Bigman (1961), citado por Suchman. Briones, Guillermo. Evaluacin de Programas Sociales. Editorial Trillas. Mxico 1991 . Crombach, L. J. Toward Reform of Program Evaluation. San Francisco: Jossey-Bass, 1980. Garca, Jos. Evaluacin de programas de planificacin familiar. Bogot; Profamilia, 1992. Ministerio de Salud. Manual de evaluacin de programas de salud. Bogot, 1978. Musto, Stefan A. Anlisis de eficiencia-metodologa de la evaluacin de proyectos sociales de desarrollo. Madrid: Editorial Tecnos, 1975. Pichardo, Arlette. Evaluacin del impacto social. San Jos, Costa Rica: Editorial Universidad de Costa Rica, 1989. Puerta, Antonio. Evaluacin y sistematizacin de proyectos sociales. Medelln: Imprent a Departamental de Antioquia, 1997. Quintero, Vctor Manuel. Evaluacin de proyectos sociales: construccin de indicadores . Cali: Fundacin FES, 1995. Restrepo, Bernardo. Conferencias sobre evaluacin. Documento mimeografiado. Medelln: Facultad de Educacin, Universidad de Antioquia, 1974.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Scriven, M. S. The Methodology of Evaluation . En: Perspectives of Curriculum Evaluation. Chicago: Rand Mc Nally, 1967. Stufflebeam, D. y Shinkfield, A. Evaluacin sistemtica, gua terica y prctica. Barcelona: Ediciones Paids, 1995. Suchman, E. A. Evaluative Research: Principles and Practice in Public Service an d Social Action Programs. New York: Russell Sage Foundation. Weiss, Carol. Investigacin evaluativa. Mxico: Editorial Trillas, 1985.

Itinerario de la evaluacin d. programas como disciplin. Bernardo Restrepo Gme. Profesor Universidad de Antioqui.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Mapa conceptua. Itinerario de la investigacin evaluativa a partir de Evaluacin emprica hacia La evaluacin sistemtica con la siguiente Periodizacin utilizando las fases foucaultianas de Disciplina Positividad Ciencia La evaluacin mundial para analizar en sus tres fases La evolucin en Colombia 2a. etapa y comentar La necesidad actual El mundo Colombia 1a. etapa 2a. etapa 3a. etapa 1a. etapa 3a. etapa y

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA INTRODUCCIN Esta unidad sobre la historia de la evaluacin como disciplina, que comprende la e volucin de la investigacin evaluativa, pretende dar al evaluador de instituciones y progr amas sociales una visin del itinerario seguido por este campo de accin investigativa a partir de la dcada de 1930 cuando comienz la sistematizacin de esta actividad, que, a deci r verdad, ha existido desde tiempos inmemorables. El valor y mrito de una poltica, d e una institucin, de un programa concreto, en efecto, han sido observados y medidos sie mpre por los estados con el propsito de tomar decisiones sobre la continuidad de unos y otros. Slo que se haca con base en la experiencia de quien apreciaba la situacin, s in instrumentos de ayuda capaces de refinar los resultados. El nacimiento de una di sciplina acadmica, encargada de producir conocimientos y tecnologa sobre la accin evaluativa , suele ubicarse en la dcada de 1930, concretamente en los trabajos de Ralph Tyler sobre evaluacin "como una rea que deba ir ms all del examen y de lo acadmico para incluir lo contextual de los programas educativos y de su rendimiento. Desde el acuamiento del trmino "evaluacin , hecho debido a Tyler (1934), la disciplin a se ha ido configurando y en torno a ella se ha ido consolidando una comunidad ac admica encargada de cultivar sus temticas, corrientes u orientaciones, metodologa y aplicaciones. Esta unidad se ha pensado como vehculo para pasear a los lectores p or los escenarios histricos que la evaluacin de programas ha recorrido desde 1934 has ta finales del siglo XX. La unidad consta de tres partes: el itinerario de la evaluacin en el mundo, el it inerario de la evaluacin en Colombia y la necesidad y vigencia de la evaluacin hoy en los dist intos campos del sector social.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA 3. Objetivos 3.1 Objetivo general La unidad busca dar al estudiante un panorama del recorrido histrico de la invest igacin evaluativa en sus etapas de formacin y consolidacin como disciplina. Adicionalment e, pretende escudriar eventos evaluativos que han impulsado el desarrollo de la eval uacin institucional y de programas en Colombia en los ltimos 30 aos. 3.2 Objetivos especficos La unidad se centra en los objetivos de: 3.2.1. Identificar etapas de desarrollo de la evaluacin de programas desde el mod elo tyleriano de la dcada de 1930 hasta los modelos participativos, particularmente e l de empoderamiento (Empowerment) de Fetterman de la dcada de los 90 y su aplicacin en diversos campos del sector social. 3.2.2. Sealar hechos y caractersticas que permiten periodizar la historia de la ev aluacin: orientaciones o enfoques, mtodos, modelos, organizacin de una comunidad acadmica y expresiones colectivas de sta. 3..2.3. Delinear el derrotero de la evaluacin de programas en Colombia en los ltim os 30 aos, tanto en el mbito investigativo como en el acadmico. 3.2.4. Discutir la vigencia de la evaluacin institucional y de programas en la ac tualidad en los sectores pblico y privado. 4. Desarrollo de la unidad Evaluar es someter algo a valoracin o tratar de juzgar el valor y mrito de algo, c omo la ha definido Scriven (Stufflebeam, 1997). Esto puede hacerse empricamente acudiend o al sentido comn, o puede hacerse sistemticamente con enfoques y mtodos compartidos por comunidades acadmicas y cientficas. Los Estados en sus distintos entes territo riales, las instituciones internacionales y multilaterales y, en general, quien patrocin a polticas,

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA programas o proyectos de cualquiera ndole exigen desde hace unas cuatro dcadas que la evaluacin de polticas y programas sociales, cientficos y productivos se adelante a travs del segundo tipo de evaluacin. Para entender el surgimiento y evolucin de la evaluacin institucional y de program as sociales como una disciplina con objeto y mtodo de trabajo, es necesario recorrer el derrotero de la formalizacin de la evaluacin. Para hacerlo acudiremos al planteami ento Foucaultiano sobre la historia de las ciencias, esto es, a las etapas de positiv idad, disciplina y ciencia. Este recorrido lo haremos primero en el mbito universal y l uego en el mbito colombiano. 4.1 Itinerario de la evaluacin en el mundo Hoy en da, la evaluacin de programas tiene gran desarrollo en los EE.UU., Europa (Inglaterra, Francia, Italia, Hungra, pases escandinavos...), Australia, Israel, fr ica y Amrica Latina. Su origen se ubica en los EE.UU. e Inglaterra (Worthen, Sanders y Fitzpatrick, 1997). 4.1.1 Los inicios de la evaluacin Apoyndonos, pues, en el esquema foucaultiano sobre la formacin de las ciencias (Foucault, 1972), podramos decir que la evaluacin de programas sociales, como toda disciplina, ha seguido un curso progresivo de lo simple a lo complejo, de propsit os particulares a una visin ms integral y de un enfoque nico a una variedad creciente de enfoques u orientaciones y de mltiples modelos alternativos dentro de cada orient acin. Los campos que desde ms temprano se han preocupado por evaluar su accionar son la educacin y la salud. En educacin, que por su razn de ser siempre ha incluido la actividad evaluativa o de comprobacin como componente esencial, la evaluacin de programas comenz a figurar como una positividad , o sea, un campo con cierto objeto ms all de la evaluacin del aprendizaje acadmico y abarcando otros factores, a partir de los trabajos de Ralph Tyler quien desde 1934 y cada vez ms intensamente plante la necesidad de transformar el sistema de evaluacin incluyendo aspectos filosficos, culturales y escolares al constatar logros de objetivos. Tyler acu el trmino evaluac in para expresar una apreciacin del rendimiento estudiantil ms holstica, ms all de la era del examen que incluyese la consideracin de las circunstancias explicativas de los

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA resultados de dicho rendimiento. Con sus trabajos iniciales al respecto se inici una individualizacin de la evaluacin educativa en cuanto investigacin evaluativa. Esta etapa se extendi hasta finales de la dcada de 1950. Hasta finales de la dcada de 1950, la orientacin tyleriana de una evaluacin basada en comprobacin del logro de objetivos campe en el mbito no solo de la educacin, sino de otros programas sociales y los mtodos utilizados para detectar productos fuero n los mtodos cuantitativos. La dcada de 1960 trajo nuevos desarrollos en el campo evalua tivo impulsados principalmente por hechos tericos y polticos. En el campo terico hay que mencionar la influencia creciente de la psicologa cognoscitivista, en particular los trabajos de Piaget, Bruner y Ausubel, al insistir en el desarrollo y evaluacin de las func iones intelectuales primarias, el aprendizaje por descubrimiento y el aprendizaje sign ificativo, nfasis que demandan una evaluacin ms orientada a procesos que a resultados comparados con objetivos. Este cambio en la teora del aprendizaje puntualiza, en el campo de la evaluacin institucional y de programas, un viraje de la valoracin de p roductos hacia la comprensin y mejoramiento de procesos, concepcin que se evidenciar en el florecimiento de modelos cualitativos a partir de la dcada de 1960. Los mtodos cualitativos entran a compartir con los cuantitativos la implementacin de la eval uacin, como se ver luego. Desde el punto de vista poltico, el sentimiento de culpa interiorizado en Estados Unidos sobre la baja calidad de su educacin, puesta de presente ante el triunfo espacial sovitico que lanz el primer Sputnik en 1959, intensific la conciencia de la necesidad de ev aluar todo proyecto educativo antes de renovarle fondos federales a los distritos educ ativos y de exigir evidencias evaluativas en planes y propuestas innovadoras. Tal necesid ad se materializ en una norma legal, el Ttulo I del Acta de Educacin Secundaria de 1964 d el mismo pas, que inclua requisitos especficos de evaluacin de programas como criterio para renovar fondos ofrecidos a los distritos educativos para acelerar el mejora miento de la educacin (Madauss et al., 1983). La inexistencia de procedimientos apropiados para el seguimiento y evaluacin de proyectos sociales despert el inters por la elaboracin y refinamiento de modelos y procedimientos evaluativos diferentes a los subyacen tes en el examen tradicional, esto es, distintos al simple cuestionario basado en objet ivos. Se ensay, entonces, el mtodo experimental a travs de diseos varios, experimentales

y cuasiexperimentales, aplicados a programas de educacin, salud y bienestar socia l

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA (Suchman, 1967; Campbel, 1969), impulsados para evaluar proyectos en varias reas sociales desde varias dcadas atrs hasta hoy da por el Banco Mundial (Grossman, 1994; Newman et al., 1994), diseos preocupados principalmente, sobre todo en las dcadas de 1970, 1980 y 1990, con las repercusiones sociales o el impacto real de la inversin en programas sociales. Pero se hizo obvio pronto que este enfoque, si bi en lograba evidencias bastante certeras sobre efectos debidos a determinados tratam ientos o intervenciones transformadoras, dejaba por fuera elementos no verificables experimentalmente, pero de necesaria apreciacin cuando de mejorar procesos se tra ta. Se acudi, entonces, al diseo de modelos ms cualitativos como el estudio de casos, e l modelo de discrepancia entre resultados y objetivos (Provus, 1969), la evaluacin de expertos, el modelo de evaluacin formativa y sumativa, ms orientada al cliente (Sc riven, 1967), el modelo de semblanza de Stake, ms preocupado con procesos y con la visin de todos los interesados en los programas (1967, 1968), y otros, con lo cual el avance de la evaluacin como disciplina fue notorio en la dcada de 1960. Muchos de los tericos consolidados hoy en la investigacin evaluativa aparecen ya en esta segunda etapa del itinerario de la evaluacin y plantean modelos con respecto al saber y prctica que manejan, normas y criterios de verificacin y pretensiones de sistematicidad, sin proponer an reglas universales. Paralelamente al desarrollo de la evaluacin en educacin, la inquietud por evaluar resultados y procesos se desarroll tambin en el sector salud, comenzando por la acreditacin de las facultades de medicina de Estados Unidos y Canad desde los inic ios del siglo XIX, en el rea de condiciones de sectores urbanos deprivados, en la adm inistracin y eficacia de las escuelas pblicas, en la investigacin de corrupcin de los gobierno s locales (Worthen, et al., 1997) y en la administracin de la investigacin. Muy conocido es el libro sobre Evaluative Research, de Edward Suchman, profesor de Sociologa y Prctica de la Salud Pblica en la Universidad de Pittsburgh (1967), en e l cual expone formas de evaluacin de programas de salud, pero aplicables a programa s de educacin y bienestar. Esta obra puede considerarse como puente entre las etapa s dos y tres de la historia de la evaluacin de programas. El mismo Suchman, en la p arte final del captulo sobre El crecimiento y status actual de la evaluacin , sostiene que una de las razones del estancamiento de la disciplina y an del abuso que se comete en su nombre es la ausencia de modelos y estndares para conducir los estudios evaluativo s

y que este informe (libro) abra al menos la puerta a posterior debate y anlisis de las

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA funciones, objetivos y mtodos de la investigacin evaluativa (Ibdem). Suchman conceba la evaluacin como un experimento social, como aplicacin de los diseos clsicos controlados a la prueba de efectividad de los programas de accin social y al uso del conocimiento resultante como gua para la accin prctica. A partir de esta crtica sobr e el estancamiento de la evaluacin y de su propuesta comienza una etapa de gran dinm ica que llega hasta nuestros das. Finalmente, a partir de la dcada de 1970 se inici una tercera etapa que enrut la evaluacin por senderos de madurez y de cientificidad. Difcil es trazar la lnea divi soria entre la segunda y tercera etapas de la historia reciente de la investigacin eval uativa. En ambas emergen modelos alternativos dentro de los diferentes enfoques u orientaci ones. Quizs el hecho ms visible en la ltima etapa es la consolidacin de una comunidad acadmica identificada y fuerte a travs de asociaciones de evaluacin, a travs de la conformacin de redes internacionales y de foros y conferencias tambin internaciona les para intercambiar temas de inters, problemas, mtodos, indicadores y estndares orientadores. Esto es lo que ha ocurrido desde 1970. Se promueven grupos profesionales cultore s de este campo, se crean asociaciones profesionales en Estados Unidos, Canad, Austral ia y Europa, como la American Evaluation Association, la Canadian Evaluation Societ y, La Sociedad Europea de Evaluacin (creada en 1994), la Australasian Evaluation Societ y (Worthen, Sanders, and Fitzpatrick, 1997), la African Evaluation Association, la United Kingdom Evaluation Society, y la Assocciazione Italiana de Valutazione; se crean publicaciones peridicas especializadas, como The American Journal of Evaluation ( antes Evaluation Practice) y New Directions For Evaluation, de la Asociacin Americana d e Evaluacin, de carcter general, Educational Evaluation and Policy Analysis, de la Asociacin Americana de Investigacin en Educacin, ms especfica, Canadian Journal of Program Evaluation, y Evaluation (de la Asociacin Europea) con 80 nmeros las americanas y 50 la canadiense hasta 1998; se establecen redes electrnicas de evaluadores e investigadores, como XC-Eval y Evaltalk, con grupos de discusin (On Line) en internet; se llevan a cabo Cyberconferencias como la Primera Cyberconfe rencia Internacional de Evaluacin, celebrada en 1998 con la participacin de 25 pases, entr e ellos Colombia; se organizan posgrados en evaluacin de programas y se refinan mod elos evaluativos, apareciendo, adems, nuevas propuestas con gran despliegue y acogida mundial, como es el caso de los modelos de evaluacin de contexto, insumos, proces o

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA y producto (Stufflebeam et al., 1971), que empez siendo un modelo de evaluacin de programas en educacin, pero que en sucesivas actualizaciones se proyect como un modelo para evaluar la educacin continuada en medicina, para evaluar programas de desarrollo comunitario y de servicio social (Stufflebeam, 1997); los modelos de oposicin o evaluacin cuasijudicial del Wolf (1979), Owens y Levine (1976); el de Anlisis de necesidades de Kaufman (1983) y el modelo participativo de empoderamiento de Fet terman (1994, 1995, 1996, 1998), ms orientado a capacitar a los usuarios de los programa s para hacer su seguimiento y tomar decisiones sobre los mismos, poniendo nfasis, entonces, ms en el contexto y en su transformacin, que en el producto y en los ins umos. Todos estos modelos han sido pensados y aportados para diferentes reas en el sect or social. Se concertaron tambin estndares internacionales para regular la evaluacin, se llevaron a cabo conferencias internacionales con amplia participacin de varios co ntinentes (el 9 de enero de 1999 se llev cabo en Chicago un panel para discutir la creacin d e una Relacin Colaborativa entre los profesionales de evaluacin en todo el mundo, con la asistencia de la Asociacin Americana de Evaluacin, la Sociedad Australiana de Evaluacin, la Sociedad de Evaluacin del Reino Unido, la Asociacin Africana de Evaluacin y la Asociacin Italiana de Evaluacin) y se hizo el esfuerzo por fundament ar epistemolgicamente los enfoques evaluativos existentes, tanto los experimentales clsicos y sus afines, ms orientados a evaluar productos, como los ms cualitativos, empeados en apreciaciones ms relacionadas con los procesos de implementacin de los programas y las necesidades de los interesados. Los objetivos de la evaluacin en la primera etapa de la historia de esta discipli na fueron los objetivos alcanzados en el programa de instruccin, inicialmente, extendidos l uego a otras reas del sector social, es decir, comparar resultados frente a objetivos pr opuestos. En la segunda etapa, junto con los productos, se resalt la importancia de los pro cesos y ms recientemente, durante la tercera etapa, se incluyeron el contexto, los esfu erzos, insumos o estrategias generales de implementacin, y los procesos y resultados organizacionales, internos y de impacto en la sociedad. Se pas as, poco a poco, de una evaluacin meramente acadmica o de aprendizajes, a la evaluacin de programas y de instituciones. A travs de estas siete dcadas de formacin de la disciplina, en sus etapas de positi vidad, de 1930 a 1950, de disciplina en ascenso, de 1950 a 1970, y de pretensin cientfica , de 1970 hasta nuestros das, tres preocupaciones han guiado el desarrollo de esta for macin:

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA la finalidad o propsito, los mtodos o procedimientos para llevar a cabo la evaluac in y el planteamiento epistemolgico, esto es, la concepcin del conocimiento que se priv ilegia para definir mtodos de acercamiento a la realidad del objeto evaluado. 4.2 La evaluacin en Colombia: el trnsito de la evaluacin de expertos a evaluaciones orientadas por modelos 4.2.1 La prctica evaluativa Un primer momento de la evaluacin educativa proviene de la evaluacin de colegios y universidades por parte del Ministerio de Educacin, las secretaras departamentales del ramo y el ICFES. La evaluacin de escuelas y colegios tuvo siempre un carcter institucional, o sea, de todos los subsistemas de la escuela. Se adoptaron mltipl es guas evaluativas en distintas pocas para dotar a inspectores y supervisores de instrumentos objetivos que refinaran su trabajo. A nivel de Educacin Superior, la prctica se orient a evaluar programas profesionales y el modelo ms utilizado fue el de exp ertos, ya que se acuda a evaluadores externos y se confiaba en su pericia. El ICFES, no obstante, tuvo tambin pautas o guas para valorar el funcionamiento de los programa s universitarios, tecnolgicos y tcnicos, ms de carcter descriptivo y principalmente en los aspectos administrativos, hasta comienzos de la dcada de 1980, cuando la refo rma universitaria puso de presente la necesidad de una evaluacin ms completa y sistematizada. En los primeros aos de esta dcada aparecieron varios documentos y s e construy un modelo que dio cuenta de una evaluacin integral (ICFES, 1985). Otro esfuerzo evaluativo de esta primera etapa lo constituyeron las pruebas de e stado o pruebas ICFES, aplicadas a los estudiantes que terminan bachillerato, con el fin de comprobar niveles mnimos de aptitudes y conocimientos de quienes aspiran a ingres ar a la educacin superior. La aplicacin de estas pruebas se inici en 1968 con el nombre de exmenes nacionales que en 1980 pasaron a ser exmenes de estado (ICFES, 1998). En otros mbitos distintos al educativo, como los de salud, agricultura, bienestar social y desarrollo comunitario, se llevan a cabo evaluaciones diagnsticas y de efectivi dad de reformas e innovaciones, casi todas de carcter descriptivo.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA 4.2.2 Praxis evaluativa A la aplicacin de pautas de evaluacin sin mucho acompaamiento terico, sigui una combinacin de teora y prctica. Los organismos internacionales comenzaron a exigir a los gobiernos e instituciones pblicas y sin nimo de lucro la inclusin de componente s evaluativos para el seguimiento de los programas y la rendicin de cuentas no solo a las entidades financiadoras, sino tambin a la comunidad. La exigencia pasa por la ela boracin de modelos sistemticos que detecten la efectividad de los programas, modelos que van desde los diseos experimentales y cuasiexperimentales hasta la adopcin o adaptacin de modelos emprico analticos y cualitativos construidos y sustentados por los expe rtos en evaluacin. El ICOLPE llev a cabo seminarios y eventos de preparacin de personal para evaluar diversos objetos, instituciones y programas. Es as como en 1971 y 19 72 elabor Criterios y escalas de evaluacin de textos (ICOLPE, 1972) y entre 1973 y 19 75 adelant seminarios sobre evaluacin institucional y de programas. El ICFES, por su parte, entr en la dcada de 1970 a manejar los modelos de evaluacin reconocidos, como los de Stufflebeam y otros, para fundamentar su actividad evaluadora, produ ciendo en esta dcada y en los primeros cinco aos de la de 1980 varios documentos sistemtic os sobre evaluacin de programas (Cano y Kairuz, 1978; Trllez, 1983; Botero, 1983a, 19 83b; Subdireccin Acadmica del ICFES, 1983; Trllez, 1984; ICFES, 1985). Universidades como las de Antioquia, Valle y Javeriana introdujeron en sus currculos de postgra do en administracin educativa la evaluacin institucional y de programas. Stufflebeam fue invitado por la Universidad Javeriana a participar en un seminario sobre evaluacin, en Bog ot, y el Departamento de Educacin de la OEA llev a cabo otro Seminario sobre Tecnologa Educativa, Sistemas y Evaluacin a mediados de la dcada de 1970. Estos eventos pusieron en boga el modelo CIPP en el pas. 4.2.3 Los grandes proyectos A la prctica ms o menos fundamentada sigui una etapa de integracin terico-prctica que tiene su momento de auge con el advenimiento de grandes proyectos educativos de las dcadas de 1970 y 1980, particularmente los proyectos de los INEM, la Educacin a Distancia y el Proyecto Principal de la UNESCO, en especial el Plan de Universal izacin de la Educacin Bsica, el Programa de Escuela Nueva y el Programa de Experimentacin y Renovacin Curricular, todos ellos con apoyo internacional que inclua, como requi sito, el seguimiento y evaluacin de tales proyectos.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA En otros frentes se dio la Evaluacin del Programa Experimental de Bibliotecas Pbli coEscolares de Colcultura (Isaza y Valencia, 1979); la evaluacin del programa de Ho gares Populares del Instituto Colombiano de Bienestar Familiar; la evaluacin de los pro gramas de Desarrollo Rural Integrado, DRI (DNP, 1979; Ministerio de Agricultura, 1989; Forero, 1990), con un enfoque descriptivo de tipo socioeconmico, sin claridad desde la pe rspectiva de las orientaciones tericas de la evaluacin; la evaluacin del Instituto de Seguros Sociales, para la cual el doctor Ricardo Galn propuso un modelo de evaluacin en 19 78. El mismo doctor Galn, experto en salud, profesor universitario e investigador, ha adelantado, desde la dcada de 1970, propuestas de evaluacin en el campo de la salu d (Galn y otros, 1978). La evaluacin de los INEM Varias evaluaciones se han hecho de los Institutos de Enseanza Media Diversificad a, INEM. La primera, ms curricular, data de 1973-75, paralela al Seminario de Evalua cin Institucional, adelantado por el Instituto Colombiano de Pedagoga, ICOLPE. Este i nstituto desarroll y public documentos y modelos relacionados con la evaluacin institucional (ICOLPE, 1973, 1974, 1975). Una segunda evaluacin de los INEM tuvo lugar en 1981-82 (Vlez y Trouchn, 1983) y se orient a detectar resultados laborales y acadmicos de los egresados de estos institutos. El estudio fue patrocinado por el Ministerio de Educacin, el BID y el Instituto SER de investigacin. El BID realiz luego varias evaluaciones a fondo del experimen to INEM, no solo en Colombia, sino tambin en Brasil y en Tanzania. Psacharopoulos (1 984a) efectu evaluaciones de los INEM en Colombia y Tanzania, y Psacharopoulos, Vlez y Zabala (1984b) efectuaron otra evaluacin en Colombia para comparar los niveles de empleo, ingresos y habilidades cognoscitivas de estudiantes egresados de estos i nstitutos frente a los mismos atributos de egresados de instituciones de educacin media tradicional. Los resultados fueron poco halageos. Posteriores evaluaciones arrojar on resultados similares y subrayaron la deficiente capacidad de los INEM para actua lizar su infraestructura tecnolgica y, aunque un estudio nacional arroj resultados contrari os en lo referente al desempeo laboral esperado de los INEM (Puig, 1987), el plan de de sarrollo del gobierno de Csar Gaviria desestimul, con base en estas evaluaciones, la modali dad de educacin media diversificada y sugiri dejar al SENA la funcin de formacin vocacio nal

que antes se haba encargado a los INEM.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA La evaluacin de las escuelas normales En 1977, el Ministerio de Educacin, con el auspicio del PNUD y UNESCO, llev a cabo una evaluacin nacional de las escuelas normales (Kurmen y Briones, 1978) con los objetivos de evaluar los insumos, funcionamiento y calidad de stas, as como su administracin y estimar la situacin de oferta y demanda de profesores de las escue las primarias del pas, con miras a establecer los principales problemas de las normal es y hacer recomendaciones relativas a mejorar el funcionamiento, la calidad y adecua r el nmero de establecimientos a las necesidades del pas. En la parte final del estudio se hizo una clasificacin o jerarquizacin de las normales, y se encontr que en todo el pas slo el 11,3% de las 209 escuelas normales quedaba en la primera categora, es decir , en la categora de excelentes, un 12,9% en la segunda categora, un 26,3% en la tercera , un 33,0% en la cuarta y un 16,5% en la quinta categora, esto es, en la de ms baja cal idad. Se recomend no abrir ms normales y cerrar progresivamente hasta el ao 1980 las que haban quedado en categoras tercera, cuarta y quinta, o sea, el 75% de estas instit uciones formadoras de maestros. La evaluacin del Proyecto de Educacin Abierta y a Distancia Aunque la evaluacin sistemtica haba tenido lugar en las Universidades de Antioquia y Valle, con reconocidos enfoques y modelos evaluativos a comienzos de la dcada de 1980, fue durante el Proyecto PNUD-Unesco-ICFES, entre 1984 y 1987, cuando la evaluacin se abord como un programa nacional. El Proyecto en mencin realiz varios seminarios durante los aos aludidos, en diferentes sitios del pas, consigui y puso a disposicin de las universidades del pas la literatura corriente en el mundo sobre evaluacin y autoevaluacin (Riascos, 1984), desarroll documentos sobre evaluacin y los distrib uy profusamente (Restrepo y otros, 1985; Ortiz y otros, 1986), invit expertos intern acionales a compartir sus experiencias y a servir como metaevaluadores del proyecto de eva luacin de la Universidad Abierta y a Distancia de Colombia (Lafourcade, 1986) , y, en f in, dise modelos de evaluacin y los aplic al estudio de costos, medios, rendimiento, administracin y calidad de los programas de educacin a distancia servidos en el pas . Sin lugar a dudas, este proyecto contribuy ampliamente a construir la cultura de la autoevaluacin de la educacin superior. El ICFES compil los informes y documentos producidos directamente por el Proyecto o contratados por ste con universidades d el pas.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA La evaluacin de la calidad de la educacin bsica primaria, de la renovacin curricular y de la Escuela Nueva En 1986, La UNESCO, en convenio de cooperacin con el Banco Mundial, realiz un importante estudio evaluativo de los aspectos de la calidad de la enseanza bsica p rimaria de Colombia, poniendo nfasis en la evaluacin del proyecto adelantado desde el gobi erno de Alfonso Lpez con el nombre de renovacin curricular, en el programa de Escuela Nueva, en los aspectos administrativos, en la capacitacin del personal docente y en el mismo componente evaluativo de la renovacin curricular (UNESCO, 1986). Aunque tod o el documento evala y recomienda, el captulo V del informe est dedicado a evaluar el componente evaluativo de la Renovacin Curricular en sus etapas de experimentacin y generalizacin desde 1977 hasta 1985 y a proponer una accin integral para mejorar l a evaluacin en el interior del MEN, accin que comprendera la formacin de una masa crtica de evaluadores capaces de realizar evaluaciones diagnsticas, hacer seguimien tos y evaluar el impacto de las polticas implementadas en el sector educacional; la a dopcin e instalacin de la evaluacin como una prctica corriente en la programacin del MEN... ; y la valoracin de la evaluacin por parte de los cuadros decisionales... (UNESCO, Ibd em). El programa de Escuela Nueva, por lo dems, ha sido objeto de varias evaluaciones realizadas por el mismo Ministerio de Educacin y por el Instituto Ser de investig aciones. La evaluacin del Proyecto Principal de la Unesco para Amrica Latina y El Caribe El Proyecto Principal abarc de los aos 1982 a 1999 y se fij tres objetivos bsicos relacionados con la escolarizacin para 1999 de todos los nios en edad escolar: eli minar el analfabetismo antes del fin del siglo, ampliar el servicio educativo para los adultos y mejorar la calidad y eficiencia de los sistemas educativos. El Proyecto fij como mxima entidad de seguimiento y evaluacin las Reuniones del Comit Intergubernamental del Proyecto Principal en la Esfera de la Educacin en la Regin de Amrica Latina y El Caribe, PROMEDLAC. La segunda de estas reuniones se llev a cabo en Bogot en 1987. A su vez, cada pas integr una Comisin Nacional del Proyecto Principal para hacer la evaluacin de logros de los objetivos del Proyecto y present ante las reun iones de PROMEDLAC informes sobre los avances y problemas, as como recomendaciones para el mejor cumplimiento de los compromisos adquiridos frente al Proyecto (MEN ,

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA 1987). Este gran proyecto, por sus implicaciones y compromiso internacional, fue otro mojn en el desarrollo de la evaluacin en el pas, particularmente en el rea educativa . El programa de alfabetizacin CAMINA y el Plan de Universalizacin de la Enseanza Bsica Primaria, materializaciones del Proyecto Principal, fueron objeto de evalua cin sistemtica. La enseanza de la evaluacin Paralelamente a la exigencia evaluativa de estos proyectos, la universidad colom biana se vio exigida con respecto a la preparacin de recurso humano para esta labor. Fue a s como en la dcada de 1970 universidades como las de Antioqua, Javeriana y Valle incluyeron, en sus currculos de posgrado en administracin, planeacin e investigacin, ctedras de evaluacin institucional y de programas. Abrieron tambin la lnea de investigacin evaluativa en sus tesis de grado. Posteriormente, la discontinuidad de estos posgrados disminuy el cultivo de esta lnea que casi desapareci en estas universidad es. 4.2.4 Evaluacin de programas educativos ms particulares En la dcada de 1970 se llev a cabo la evaluacin de Accin Cultural Popular por parte de un equipo de evaluadores de la Universidad Estatal de la Florida (Morgan, 198 0), quienes propusieron un modelo para evaluacin de sistemas de comunicacin educativa. El SENA, por su parte, realiz en 1988 y 1989 una evaluacin integral, de carcter nacional, de su programa FAD de formacin a distancia, utilizando para ello el mod elo de evaluacin responsiva de Stake, que intenta detectar no solo productos e impacto d e los programas, sino comprender paralelamente los procesos experimentados por los mis mos (Restrepo, Correa y Flrez, 1989). 4.3 Necesidad de la evaluacin hoy Qu vigencia mantiene la investigacin evaluativa en el presente? Cmo se est desarrollando la tercera etapa de formacin de la evaluacin de programas como disci plina? Echemos un vistazo a esta situacin en el mundo y en nuestro pas para escudriar desarrollos y retos.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA 4.3.1 La tendencia mundial La modernizacin del Estado trae aparejada la necesidad de evaluar permanentemente la efectividad, eficiencia y productividad de las polticas, instituciones, programas , proyectos y recursos que la implementacin de la modernidad implica. El progreso de la evalu acin debe tanto al seguimiento de la calidad de la educacin, poltica universal en las lt imas dcadas, como al seguimiento de los programas de guerra contra la pobreza, utiliza ndo el PPBS, Sistema de Planeacin, Programacin y Presupuesto, adaptado de la Compaa Ford por Robert McNamara, secretario de Defensa del Presidente Kennedy y recomen dado para todas las agencias federales (Worthen, te. al., 1997). Ms tarde, en 1970, McNamara, al frente del Banco Mundial, cre un grupo de evaluacin como parte del Departamento de Planeacin y Presupuesto. En 1975, este departament o fue elevado a Departamento de Evaluacin de Operaciones (OEA) con la misin de evaluar todas las actividades del Banco Mundial. En 1994, dicho departamento eva lu 350 operaciones de desarrollo en variedad de sectores: agricultura, cultura, energa, finanzas, transporte, provisin de agua, desarrollo urbano, educacin, salud, evaluacin que aba rca polticas, programas y proyectos en numerosos pases (Piccioto, 1997). El OED sintet iz los hallazgos de todas sus evaluaciones en su Anual Review of Evaluation Results (Ibdem). En las dcadas de 1960 y 1970, el enfoque predominante de evaluacin seguido por el Banco fue el orientado a resultados, a productividad: input-output, tasas de ret orno, costobeneficio, para determinar asignacin de recursos. Se sigui, en cierta forma, la or ientacin tyleriana de evaluacin de logro de objetivos. En la dcada de 1980 el enfoque anter ior se mantuvo, pero combinado con el enfoque de beneficios indirectos de los programas , de la pertinencia o utilidad social de estos frente a las prioridades de los pases y de su aporte al propsito de reformas y de construccin de capacidad nacional, regional y local p ara emprender desarrollo sostenible. Ya la importancia no recae tan exclusivamente e n la efectividad y eficiencia de cada programa individual, sino que se tiene en cuent a su contribucin al desarrollo nacional. ste es criterio vital en la evaluacin de progra mas del Banco (Piciotto, 1997). En la era de las ONG, la evaluacin de programas y proyectos sociales, bien sea en el rea educativa, en la de desarrollo comunitario (Giraldo, 1993), formacin de lderes,

programas de vivienda social, salud, nutricin, derechos de los nios, evaluacin de

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA violacin de los derechos humanos, evaluacin de la ayuda extranjera, programas de mejoramiento de acueductos y alcantarillado y, por supuesto, proyectos de desarr ollo social y econmico. La evaluacin ha irrumpido como un componente esencial en la financiacin y refinanciacin de tales programas. El Banco Mundial, UNICEF, UNESCO y otros organismos internacionales demandan la evaluacin de todos los programas relacionados con poltica social que promueven o financian (Grossman, 1994). La Oficina Regional de UNICEF para Amrica Latina y El Caribe ha desarrollado, a p artir de un Taller sobre Orientacin de Programas, realizado en Nueva York en 1997, ha desarrollado lneas estratgicas regionales relacionadas con evaluacin, tales como: fortalecimiento de la cultura de la evaluacin, mejoramiento de la planeacin y ejec ucin integradas de seguimiento y evaluacin, fortalecimiento de la capacidad tcnica, des arrollo de metodologas para evaluar reas emergentes relacionadas con la infancia y fortalecimiento de la evaluacin democrtica (Segone, 1998). Puede decirse que una de las tendencias de la evaluacin en la actualidad es su vi nculacin a debates sobre polticas de estado, lo cual ha puesto sobre el tapete la ingerenc ia de la poltica en la evaluacin. Chelimsky lo ha anotado (1997): la prctica de la evaluacin se ha extendido por los cuatro puntos cardinales del globo. Instituciones internaci onales como los Programas Ambientales y de Desarrollo de las Naciones Unidas, la Comisin Europea, el Banco Mundial, las Fundaciones Kellog y Rockefeller han incrementado notablemente su uso de la evaluacin para detectar resultados de sus proyectos. Pe ro la importancia de tales proyectos hace vulnerable la evaluacin a las presiones poltic as, a la presin de mltiples grupos que luchan por obtener fondos para sus programas. Chelimsky (1997) seala seis necesidades que los evaluadores deben atender como resultado de las implicaciones provenientes del ambiente poltico de la evaluacin e n la actualidad: la produccin de informes defendibles y dotados de credibilidad, el va lor para luchar por independencia de la presin poltica, la diseminacin de hallazgos crticos e n la evaluacin, el desarrollo de vnculos con otras disciplinas y con la investigacin bsica, la consecucin de mejor acceso a los datos y la incorporacin del realismo poltico en la capacitacin de los evaluadores. La Fundacin Kellog, segunda ms grande del mundo despus de la Fundacin Ford, ha diseado un manual de evaluacin para los programas subvencionados por la misma. La

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA presentacin del manual refuerza la conviccin de que la evaluacin tiene que ser un apoyo comprensible y sensato de los proyectos, ms que una finalidad en s misma (Kellog Foundation, 1995). La Fundacin subvenciona proyectos de salud, desarrollo comunitario, formacin de lderes, educacin... En Suecia y Noruega, la evaluacin ha sido utilizada como estrategia para hacer seguimiento a reformas polticas y evaluar el desarrollo industrial (Huag, 1998; K arlsson, 1998), mientras que en Dinamarca se la ha utilizado como estrategia de moderniza cin dentro del Estado benefactor (Andersen, 1998). En Francia, la evaluacin ha seguid o este mismo derrotero, es decir, se orienta ms a evaluar polticas estatales que pro gramas concretos (Ambrois, 1998). En 1990, un decreto del 22 de enero cre un mecanismo interministerial de evaluacin, mecanismo que fue ratificado y reforzado en 1993 c on una circular acerca de la necesidad de elaborar estudios de impacto de las polticas o ficiales (Ibdem, 1998). Se supone que las ms importantes polticas nacionales deben ser evaluadas y sus resultados publicados. En educacin, la evaluacin se ha hecho presente de muchas maneras. En la presente dcada, con singular fuerza, el movimiento de evaluacin y acreditacin de la educacin superior, que ya exista en los pases desarrollados (Estados Unidos donde la acredit acin de universidades data desde finales del siglo XIX (Worthen, et al., 1997), Reino Unido, Francia, Alemania, Dinamarca, Pases Bajos), ha incursionado en la mayora de los estados. En Espaa, por ejemplo, Se desarroll, entre 1992 y 1994, el Programa Experimental de Evaluacin de la Calidad de la Universidad, organizado por 17 universidades. Este programa se conect en 1994 con el Proyecto Piloto de la Unin Europea y como consecuencia de ambos proyectos se logr, en 1995, el Plan Nacional de Evaluacin de la Calidad, por propuesta del Consejo de Universidades, plan que instaur con carcter regular y sistemtico la evaluacin con miras al mejoramiento de la calid ad (De Luxn Melndez, 1998). En 1998, Espaa se atuvo ms al modelo europeo dentro de su integracin a los pases del rea. Cuba practica una evaluacin institucional y de programas de sus centros de educac in superior basada en el cumplimiento de objetivos institucionales y de los objetiv os de los planes y programas establecidos para la formacin de los profesionales. La evaluac in es un elemento clave para el perfeccionamiento del trabajo, la calidad y la pert inencia (Alemany, 1998).

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Chile est experimentando ltimamente una creciente diversificacin del sistema de educacin superior y ante este hecho se considera que uno de los retos del momento es definir criterios de evaluacin adecuada para los diversos programas que se ofrecen en el pas (Lemaitre, 1999), a fin de complementar los sistemas de autoevaluacin diseados por algunas universidades tradicionales y orientados al licenciamiento de las in stituciones de educacin superior, esto es, a la instalacin y consolidacin institucional para lo grar la autorizacin de funcionamiento autnomo. El pas dispone tambin de evaluadores con amplia experiencia en diversos tipos de evaluacin (institucional, de gestin, financiera, de programas, de examinacin) (Lemaitre, Ibdem). Se trabaja en el diseo d e un sistema nacional de acreditacin voluntaria de programas, que parte de un proce so de autoevaluacin de la institucin interesada. En la actualidad, la acreditacin es obli gatoria, pero slo para las universidades privadas (Ibdem). En Colombia, el movimiento de evaluacin de la educacin superior tuvo desarrollos f uertes en la dcada de 1980 con el advenimiento de la Educacin Abierta y a Distancia. En l a Ley 30 de 1992 se dio gran importancia a la evaluacin y acreditacin como correlato s de la autonoma universitaria y en los decretos reglamentarios se perfeccion este mand ato legal con la creacin del Sistema Nacional de Acreditacin. Los mtodos para el manejo de la calidad total han sido impulsados en Japn y Estado s Unidos como mtodos para el mejoramiento de la calidad y como procesos de evaluacin formativa y sumativa (Kanji and Asher, 1996). Otro campo de gran desarrollo en las ltimas dos dcadas es el de la evaluacin de la investigacin, incluyendo la internacionalizacin de este proceso, es decir, el some timiento de los proyectos e informes de investigacin al juicio de la comunidad cientfica internacional. Para terminar, la necesidad y vigencia de la evaluacin hoy es bueno plantear las tres perspectivas actuales de la evaluacin segn Chelimsky. Para esta autora, las perspe ctivas o tendencias son la de rendicin de cuentas, la perspectiva de conocimiento y la perspectiva de desarrollo (1997). La de rendicin de cuentas preconiza la medicin d e resultados para justificar gastos e inversiones. Su utilidad se centra en el apo yo a las reformas. La perspectiva de conocimiento busca comprender problemas pblicos, polticas y programas; desarrollar nuevos mtodos y someter a crtica y ajuste los

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA anteriores. Su utilidad tiende ms hacia la investigacin. La perspectiva de desarro llo, por su parte, se orienta a fortalecer las instituciones, programas y proyectos, o sea, a construir capacidad organizacional. 4.3.2 La tendencia en Colombia La modernizacin de la educacin en Colombia est comprendida principalmente en las Leyes 30 de 1992, sobre Educacin Superior, y 115 de 1994 o Ley General de Educacin . Tales leyes desarrollaron principios y polticas de la Constitucin de 1991, como la descentralizacin, la autonoma, la acreditacin, la evaluacin de docentes y la autoges tin, entre otros. Para monitorear la actuacin de estos aspectos innovadores y ejercer las medidas de control necesarias para ajustar su desempeo, es menester disear y aplic ar sistemas apropiados de evaluacin. 4.3.2.1 Ley 30 de 1992: Evaluacin de la Educacin Superior La Ley 30 de 1992 cre instituciones inexistentes antes en el pas y propulsoras de la calidad y eficiencia de la Educacin Superior, como el Sistema Nacional de Acredit acin, el Sistema de Informacin de la Educacin Superior y el Sistema de Universidades Estatales, SUE. La acreditacin, en particular, tiene que ver con la evaluacin. La acreditacin Esta prctica, orientada a que las universidades e instituciones de educacin superi or rindan cuentas de su calidad y cumplimiento de objetivos a la comunidad, a travs de un reconocimiento del Estado, se basa en la autoevaluacin de las mismas institucione s y en evaluacin externa adelantada por pares acadmicos de reconocida solvencia. Es un a institucionalizacin de la evaluacin que supone la preparacin de evaluadores en toda s las entidades de educacin superior. El crecimiento de la Educacin Superior En las ltimas dcadas se ha presenciado un crecimiento desmesurado de la cobertura de la educacin superior, crecimiento especialmente grande a partir de la Ley 30 q ue apuntal la autonoma universitaria y facilit la creacin de programas de pregrado y

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA especializacin. La Ley abri tambin la compuerta para la transformacin del carcter acadmico de las instituciones de educacin superior, facilitando la transformacin de nivel a nivel de estas instituciones, pero exigiendo un proceso de evaluacin que comprende un diagnstico socioeconmico de necesidades, un estudio de factibilidad, rediseos curriculares, estudio de evolucin de los aspectos acadmicos, de la estruct ura administrativa y de los recursos de todo tipo de la institucin solicitante. En la base de todo este proceso subyace un serio estudio evaluativo de la entidad y de su proy eccin futura. Nuevos campos se abren, as, a la evaluacin de programas. Evaluacin de la calidad de la educacin bsica y media El auge que en el mundo ha tomado la evaluacin de la calidad de la enseanza bsica y media a travs de pruebas como el TIMSS (Third International Mathematics and Scien ce Study) promovi en Colombia la evaluacin de la calidad en estos nieves de enseanza desde 1992, primero en matemticas y lenguaje en los grados tercero y quinto y lue go en otras reas en estos grados, as como en sptimo y noveno. El Informe Saber, como se conocen los informes de esta evaluacin permanente, cobija no solo aspectos cognoscitivos, conocimientos y habilidades, sino tambin factores socioeconmicos asociados con el rendimiento. 4.3.2.2 Ley 115 de 1994: Evaluacin de la Educacin Preescolar, Bsica y Media La Ley 115 de 1994 plantea necesidades concretas en evaluacin de programas y dese mpeo profesional. Qu componentes de esta Ley demandan conocimiento sobre evaluacin y promueven desarrollos significativos en el rea? La descentralizacin, la autonoma cu rricular, la acreditacin, la evaluacin de docentes, de directivos y de la institucin como un todo. Los PEI son un instrumento de descentralizacin pedaggica y de gestin, incorporados en la Ley 115 como medio para implementar la descentralizacin y promover la innov acin en la institucin escolar. Pero el cumplimiento de estos propsitos no se logra con la sola reglamentacin contenida en el Decreto 1860. Es menester evaluar su funcionamiento y resultados en los primeros aos de aplicacin con miras a realizar ajustes y seguir evaluando se efectividad. El Ministerio de Educacin contrat con universidades y ot ros organismos la primera evaluacin de los PEI en distintos municipios del pas a final es de 1997 y comienzos de 1998.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA La Ley 115 en sus artculos 80, 81, 82, 83 y 84 ordena crear un sistema de evaluac in de la calidad de la educacin, evaluar cada seis aos la idoneidad acadmica y la actuali zacin pedaggica de los docentes, evaluar a los directivos docentes del pas, oficiales y privados, y llevar a cabo la evaluacin institucional anual de las instituciones educativas con el fin de mejorar su calidad. Este mandato es un acicate para promover el desarrollo de la evaluacin. En 1998, el MEN expidi el Decreto 272 que obliga la acreditacin previa de los prog ramas de formacin de docentes, medida que compromete a las instituciones respectivas a evaluar su accionar, su currculo y sus insumos como paso previo para la mencionad a acreditacin. 4.3.2.3 Proyectos de mejoramiento de la calidad en las regiones. Crditos internac ionales Finalmente, los organismos internacionales como el Banco Mundial, el BID y otros , estn condicionando los crditos para la educacin y otras reas a la inclusin en los proyect os de subsistemas de evaluacin y seguimiento de sus procesos y productos, as como de sus impactos. As se ha exigido en recientes proyectos para el mejoramiento de la calidad de la enseanza bsica en el Departamento de Antioquia y en la ciudad de San Juan de Pasto. 4.3.2.4 La especializacin en teora y mtodos de la investigacin social, auspiciada por ICFES y ASCUN desde 1997 y ofrecida en varias universidades colombianas, tie ne como una de sus especialidades o nfasis la investigacin evaluativa. 5. Coda Por todo lo analizado, es obvio que la cultura de la evaluacin ha ido penetrando en Colombia y se hace indispensable que su prctica est acompaada de construccin terica, de preparacin de recurso humano capaz de adelantar seriamente estudios evaluativos que repercutan en aprendizaje organizacional y en el mejoramiento de la calidad, la eficiencia y la productividad de instituciones y programas.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Lecturas complementarias Forero, J. Evaluacin general del programa de desarrollo Rural integrado, DRI, en Colombia. Algunos elementos para una evaluacin descentralizada de proyectos. Bogot: Universidad Javeriana y Ministerio de Agricultura, 1990, pp. 198-210. Restrepo, B. La autoevalacin como proceso previo a la acreditacin de programas de pregrado en la Universidad de Antioquia. Proyecto general. Medelln: Vicerrecto ra de Docencia, Universidad de Antioquia, 1998.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA 6. Autoevaluacin 1. Cules fueron las orientaciones de los modelos ms conocidos de la primera y ltima etapas del desarrollo de la investigacin evaluativa y qu paradigmas metodolgicos utilizaron uno y otro? 2. Qu hechos caracterizaron la tercera etapa de la historia de la evaluacin de programas? Comente al menos tres de ellos. 3. Qu fases en el desarrollo de la evaluacin de instituciones y programas pueden observarse en Colombia en los ltimos 40 aos y cul es su naturaleza? 4. Qu vigencia tiene hoy la evaluacin de programas sociales en Colombia y cmo se materializa esta vigencia en el sector educativo, por ejemplo?

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA 7. Actividades de evaluacin 1. Realice un mapa conceptual a partir del concepto de vigencia actual de la evaluacin de programas sociales en Colombia y en el mundo. Asegrese de incluir la presencia poltica en la evaluacin y el papel que debe hacer el evaluado r frente a sta. 2. Elabore una contrastacin entre las aplicaciones dadas a la evaluacin por los pases escandinavos y Francia, por un lado, y por Estados Unidos y el Banco Mundial, por otro.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA BIBLIOGRAFA Alemany, S. Evaluacin institucional en las universidades cubanas: premisas y objet ivos de la acreditacin . Ponencia presentada en el Seminario-Taller sobre Educacin Superi or y Acreditacin en los Pases del Convenio Andrs Bello. Medelln: U de A-SECAB, 1998. Andersen, L. Evaluation as a Strategy of Modernization. New Directions for Evalu ation. No. 77, 1998, pp. 39-54. Botero, M. La prctica evaluativa del ICFES ante los desarrollos de la teora sobre esta rea. Bogot: Subdireccin Acadmica; Divisin de Formacin Avanzada, ICFES, 1983a. Fundamentos tericos de la prctica evaluativa del ICFES. Bogot: Subdireccin Acadmica; Divisin de Formacin Avanzada, ICFES, 1983b. Cadenas, J. M. La educacin superior en Venezuela. Ponencia presentada en el Seminario-Taller sobre Educacin Superior. Medelln: UdeA-SECAB, 1998. Cano, F. y Kairuz, V. Manual de Evaluacin de Instituciones y programas de Educacin Superior. Bogot: ICFES, 1978. Campbell, D. T. Reform as Experiments . American Psychologist, No. 4, 24,1969.

Chelimsky, E. The political environment of evaluation and what it means for the development of the field. Evaluation for the 21st Century. London: Sage Publicat ions; 1997, pp.53-68. De Luxn Melndez, J. M. La evaluacin de la universidad en Espaa . Ponencia presentada en el Seminario-Taller sobre Educacin Superior y Acreditacin en los Pases del Convenio Andrs Bello. Medelln: U de A-SECAB, 1998. DNP. Metodologa de evaluacin de impacto del programa de desarrollo rural integrado , DRI. Informe Final. Bogot: DNP, 1979. Fetterman, D. Empowerment Evaluation . Evaluation Practice, N. 15, 1994.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA . In Response. Evaluation Practice, N. 16. Fetterman, D., Kaftrian, S. and Wandersman, A. Empowerment Evaluation: Knowledge

and tool for Self-Assessment and Accountability. Thousand Oaks, CA: Sage Publications, 1996. Forero, J. Evaluacin general del programa de desarrollo rural integrado, DRI, en Colombia. Bogot: Universidad Javeriana, 1990. Foucault, M. La arqueologa del saber. Mxico: Siglo XXI Editores, 1972. Fundacin W. K. Kellog. Manual de evaluacin. Versin en Espaol. Buenos Aires: Crisol, Proyectos Sociales, 1999. Galn, R. y otros. Modelo de evaluacin para el I.S.S. Bogot: Ministerio de Salud, Superintendencia de Salud, 1978. Giraldo, F. E. Evaluacin de impacto social. Un modelo de evaluacin de procesos cualitativos basados en la experiencia de trabajo comunitario de Futuro para la Niez. Medelln: Futuro para la Niez. Litoimpresos, 1993. Grossman, J. B. Evaluating Social Policies: Principles and U.S. Experience . The World Bank Research Observer, Vol. 9,No.2, 1994. HAUG, P. Linking Evaluation and Reform Strategies . New Directions for Evaluation. No.77, 1998, pp. 5-20. ICFES. Autoevaluacin institucional. Bogot: Subdireccin Acadmica, 1983. ICFES. La evaluacin acadmica en el ICFES. Bogot: Subdireccin Acadmica, 1985. ICFES. Exmenes de Estado. Home Page. SNP, 1998. ICOLPE. Lecturas sobre definicin del concepto de evaluacin; metodologa de evaluacin institucional; definicin de evaluacin educacional. Bogot: Centro de Documentacin e Informacin Pedaggica, CENDIP, 1973, 1974, 1975.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Isaza, Y. y Valencia de V. M. Evaluacin del Programa Experimental de Bibliotecas Pblico-Escolares de Colcultura. Medelln: Universidad de Antioquia; Escuela Interamericana de Bibliotecologa, 1979. Kanji, G. P. and Asher, M. 100 Methods for Toal Quality Management. Newbury Park,

CA: Sage . Reviewed by David Coulton, iin American Journal of Evaluation. Vol 19, No. 2, Summer, 1998, pp. 273-275. Karlsson, O. Socratic Dialogue in the Swedish Political Context . New Directions fo r Evaluation. No. 77, 1998, pp. 21-38. Kaufman, R. y otros. La relacin entre la evaluacin de necesidades y el desarrollo, implementacin y evaluacin de necesidades . Revista de Tecnologa Educativa, Vol. 18, No.1, 1983. Kurmen, C. y Briones, G. Evaluacin de las rscuelas normales de Colombia. Bogot: Ministerio de Educacin Nacional. Oficina Sectorial de Planeacin Educativa. Program a MINED-PNUD-UNESCO. Proyecto Col 76/003, 1978. Lafourcade, P. D. Consultora en investigacin evaluativa: aportes para esclarecer l os planteamientos contemplados en las funciones asignadas. Bogot: ICFES. Proyecto PNUD-UNESCO-ICFES, 1986. Lemaitre, M. J. Una experiencia de aprendizaje y el diseo de un nuevo sistema. El caso de Chile y el Consejo Superior de Educacin. Caracas: IESALC/UNESCO, 1999. Levine, M. Experiences in adapting the jury trrial to the problem of educational program evaluation. Buffalo: State University of New York, 1976. MEN. Segunda Reunin del Comit Regional Intergubernamental del Proyecto Principal en la Esfera de la Educacin en Amrica Latina y El Caribe: Informe Nacional del Proyecto Principal. Bogot: Editorial del Ministerio de Educacin Nacional, 1987. Newman, J. et al. Using Randomizd Control Designs in Evaluating Social Sector in Developing Countries . The World Bank Research Observer, vol. 19, No. 2, 1994.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Ministerio de Agricultura. Proyecto sistema de control, seguimiento y evaluacin d el Fondo DRI. Documento preliminar de discusin. Bogot: Unidad de Planeacin, 1989. Ortiz, A. y otros. Estudios de caso sobre los procedimientos administrativos uti lizados para el desarrollo del proceso autoevaluativo en el SED. Bogot: Proyecto PNUDUNES COICFES, 1986. Psacharopoulos, G. Evaluation of Curricculum Diversification in Colombia and Tan zania. Washington, D.C.:IRDB, Discuss, R.P.O 672-45, 1984a. Psacharopoulos, G., Vlez, E. y Zabala, A. Una evaluacin de la educacin media diversificada en Colombia. Bogot: BIRD, MEN, Instituto SER, 1984b. Picciotto, R. Evaluation in the World Bank: Antecedents, Instruments, and concep ts. Evaluation for the 21st Century. London: Sage Publications, 1997, pp. 201-214. Puig, J. La escolarizacin de minoras populares en la escuela comprensiva Colombian a. Medelln: Universidad de Antioquia-Copiyepes, 1987. Restrepo, B. y otros. Una propuesta flexible de autoevaluacin para los programas de educacin a distancia. Bogot: Proyecto PNUD-UNESCO-ICFES, 1985. Restrepo, B., Flrez, R. y Correa, S. Situacin actual y perspectivas de la formacin a distancia en el SENA. Medelln: Universidad de Antioquia, Centro De Investigacione s Educativas, 1989. Restrepo, B. Itinerario de la evaluacin como disciplina. Ponencia presentada en e l Seminario Internacional de Evaluacin en Educacin. Santa Fe de Bogot: IDEP, 1997. Riascos, B. Bibliografa comentada sobre evaluacin, investigacin evaluativa y evaluacin de la educacin superior a distancia (segunda versin). Bogot: ICFES, Subdireccin de Fomento, 1984. Segone, M. Democratic Evaluation. Santa Fe de Bogot: UNICEF Regional Office for Latin America and the Caribean, 1998. Stake, R. The Countenance of Educational Evaluation . Techers College Record 68: 523-540, 1967.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Stufflebeam, D. et al. Educational Evaluation and Decision Making. Bloomington, Indiana: Phi, Delta, Kappa, in, 1971. Stufflebeam, D. The CIPP Model for Evaluation. Draft of Chapter 6. of a new book on evaluation. Kalamazoo: The Evaluation Center, Western Michigan University, 1997. Suchman, E. Evaluative Research. New York: Russell Sage Foundation, 1967. Trllez, E. Procesos de la evaluacin acadmica en el ICFES. Bogot: Divisin de Formacin Universitaria, ICFES, 1983. . Fundamento y mtodo de la evaluacin acadmica. Bogot: Subdireccin Acadmica; Divisin de Formacin Universitaria, ICFES, 1984. Tyler, R. W. Characteristics of a satisfactory diagnosis in Educational Diagnosi s. Edited by G.M. Whipple. NSSE Yearbook, 1935, pp. 95-112. UNESCO, Colombia: aspectos de la calidad de la enseanza bsica primaria. Pars: UNESCO, 1986. Vlez, E. y Trouchn, P. L. Logros educativos del bachiller colombiano: el caso de la

cohorte de 1978 . Revista Colombiana de Educacin, No. 12, 1983, pp. 77-99. Villarroel, C. La evaluacin institucional en las universidades venezolanas. Ponen cia presentada en el Seminario-Taller sobre Educacin Superior y Acreditacin. Medelln: U de A-SECAB, 1998. Wolf, R. L. The Use of judicial Evaluation Methods in the Formation of Educationa l Policy . Educational Evaluatioon and Policy Analysis, 1,19-28, 1979. Worthen, J., Sanders, J., and Fitzpatrick, J. Program Evaluation. New York: Long man Publishers, 1997.

Paradigmas - enfoques . orientaciones y modelo. evaluativo. Santiago Correa Urib. Profesor Universidad de Antioqui.

INVESTIGACIN EVALUATIVA plantea determinan PARADIGMA CUANTITATIVO PARADIGMA CUALITATIVO ENFOQUE DE EVALUACIN que pueden ser segn Briones segn Restrepo ANALTICOS GLOBALIZADORES configuran ORIENTACIONES EVALUATIVAS tales como EVALUACINDE EXPERTOS EVALUACINREFERIDAA OBJETIVOSMODELODE R. TYLERMODELO DEMETFESSELY MICHELMODELODE S UCHMAN EVALUACINORIENTADAA LA ADMON. MODELO CIPP. STUFFLEBEAMMODELO DEREFERNETESESPECFICOSDE BRIONES EVALUACINPOR OPOSICINMODELOJUDICIALDE WOLF EVALUACINORIENTADAAL CLIENTEMODELODE SCRIVEN EVALUACIN PARTICIPATIVAMODELO DE STAKEEVALUACIN ILUMINATIVAEVALUACIN FOCALIZADAMODE LO DE FETTERMAN EVALUACIN GLOBALIZADORA EVALUACIN DE PRODUCTO PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Mapa conceptua.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS INTRODUCCIN Esta unidad pretende abordar los grandes paradigmas de la investigacin evaluativa , los enfoques que de dichos paradigmas se derivan, las orientaciones o grandes propsit os que guan las propuestas evaluativas y, por ltimo, los modelos ms representativos dentro de las orientaciones aqu definidas. Se inicia con una revisin a los paradigmas cualitativo y cuantitativo y sus impli caciones en la investigacin evaluativa, como condicin para comprender los diferentes enfoqu es o tambin denominadas escuelas de evaluacin. Contina la unidad con una aproximacin a las investigacin evaluativa: evaluacin referida luacin orientada a la administracin, evaluacin por evaluacin orientada al cliente o centrada en va. orientaciones predominantes en la a objetivos, evaluacin de expertos, eva oposicin o evaluacin contrapuesta, el consumidor y evaluacin participati

Dentro de cada una de estas orientaciones se presentan los modelos ms representat ivos con sus caractersticas principales.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS OBJETIVOS DE LA UNIDAD 1. Diferenciar los paradigmas cualitativos y los paradigmas cuantitativos en la Investigacin evaluativa y analizar sus compatibilidades y posibilidades de complementariedad. 2. Identificar los enfoques predominantes en la investigacin evaluativa. 3. Caracterizar las orientaciones predominantes en la investigacin evaluativa y los modelos subyacentes en cada una de ellas. 4. Analizar las particularidades de los diferentes modelos de evaluacin y sus posibl es campos de aplicacin.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Tercera unidad PARADIGMAS-ENFOQUES-ORIENTACIONES Y MODELOS EVALUATIVOS I. PARADIGMAS DE LA INVESTIGACIN EVALUATIVA La polmica sobre los mtodos de investigacin en las ciencias sociales no es nueva. Estudiosos del tema ubican sus orgenes en los filsofos presocrticos, cuyas nociones y tomas de posicin son esenciales en la historia de las relaciones entre lo cuanti tativo y lo cualitativo , sin embargo se puede situar en la Grecia clsica el lugar y el mom ento en el que se inicia de una forma ms clara la polmica entre lo cuantitativo y lo cu alitativo siendo Platon y Aristteles las dos figuras y concepciones emblemticas del planteam iento inicial de la polmica. Polmica que originalmente estaba centrada en torno a la confrontacin entre las visiones mas formalista y mas sustantivista defendidas por ambos filsofos. De esta forma, ambos autores/concepciones fundaron las bases filosficas en los que, posteriormente, se iban a enmarcar las distintas aproximac iones y desarrollos que, desde hoy, podemos denominar e inscribir como perspectivas CUALITATIVAS y CUANTITATIVAS (Conde, 1994:54). Las relaciones entre las perspectivas CUALITATIVAS y CUANTITATIVAS, en la invest igacin social, se abordan desde diferentes puntos de vista: epistemolgicamente, metodolgicamente y tcnicamente. Recientes debates consideran la confrontacin no solo como un desacuerdo respecto a las ventajas y desventajas relativas de cada uno de los mtodos (cuantitativos y cualitativos), sino como una confrontacin bsica entre paradigmas metodolgicos. Segn esta concepcin, cada tipo de mtodo se halla ligado a una perspectiva paradigmtica distintiva y nica y son estas dos perspectivas las que se encuentran en conflicto . (Reichardt y Cook, 1986). Tal como lo expone Rist citado por Reichardt: En definitiva, la cuestin no estriba per se en unas estrategias de investigacin: lo que sucede ms bien es que la adhesin a un paradigma, y su oposicin a otro, predispone a cada uno a concebir el mundo y los

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS acontecimientos que en l se desarrollan de modos profundamente diferentes . Rist, (1977:43) El concepto de paradigma procede de Kuhn (1962-1970), basndose en sus trabajos, Patton citado por Reichardt, define un paradigma como: Una visin del mundo, una perspectiva general, un modo de desmenuzar la complejidad del mundo real. Como tales, los paradigmas se hallan profundamente fijados en la socializacin de adictos y profesionales; los paradigmas les dicen lo que es impor tante, legtimo y responsable. Los paradigmas son tambin normativos; sealan al profesional lo que ha de hacer sin necesidad de prolongadas consideraciones existenciales o epistemolgicas . (Patton,1978:203) Lo expuesto anteriormente permite inferir que en la consolidacin de un determinad o paradigma confluyan entre otros factores los siguientes: La naturaleza del conocimiento y de la realidad. La naturaleza de las relaciones entre el investigador y el conocimiento que gene ren. El modo de construir el conocimiento. Estos factores aparecen tratados en la Unidad 1 del mdulo de Investigacin cualitat iva, por lo cual no profundizaremos en su anlisis. En una aproximacin a la caracterizacin de los dos paradigmas se podra decir: El paradigma cuantitativo posee una concepcin global positivista, donde el experi mento y el tratamiento estadstico de la informacin se convierten en las principales herr amientas de las que dispone el investigador. El marco de observacin y de anlisis est orienta do por la formulacin de hiptesis y preguntas que pretenden anticipar el comportamient o de la realidad objeto de estudio (hipottico deductivo). Es particularista al pretend er identificar las variables presentes en dicho objeto de estudio, las cuales son sometidas a p ruebas empricas bajo condiciones de control riguroso con la pretensin de garantizar objet ividad en sus resultados. Est orientada a los resultados, los cuales se pretenden explic ar en trminos de principios y leyes. Propio de las ciencias naturales.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS El paradigma cualitativo propone una concepcin global fenomenolgica, inductiva, estructuralista, subjetiva, orientada al proceso y propia de la antropologa socia l. Esta confrontacin paradigmtica ha impactado igualmente a la investigacin evaluativa , donde despus de una larga tradicin de corte experimental emerge con fuerza la perspectiva cualitativa, sin que esto implique descartar, ni siquiera infravalor ar, la perspectiva cuantitativa. Se pretende ms bien defender la idea de que existen diferentes opci ones metodolgicas para abordar este tipo de investigacin. Tal vez lo ms novedoso, en el momento actual, resida en el inters por buscar las compatibilidades y la complementariedad entre las dos tendencias que posibiliten el trabajo conjunto y que proponen un nuevo panorama de investigacin denominado por algunos tericos INVESTIGACIN TOTAL. II. ENFOQUES DE EVALUACIN Existen diferentes posiciones en torno a lo que se podra denominar ESCUELAS o ENFOQUES de evaluacin. As, Restrepo (1974) identifica dos grandes escuelas de evaluacin: la que tiene ms en cuenta los resultados y la congruencia de estos con los objetivos, que se denomina EVALUACIN DE PRODUCTO y aquella que presta atencin al contexto, a los insumos, a los procesos y a los productos, que se denomina EVALUACIN GLOBALIZADORA. Por su parte, BRIONES (1991) clasifica los enfoques de evaluacin de los programas sociales en dos grupos: analticos y globales. Los enfoques ANALTICOS se caracterizan por abordar con mayor o menor desagregacin los componentes estructurales del programa, los cuales a su vez estn conformados por caractersticas o variables con las cuales es posible determinar relaciones especfi cas. Hacia estos componentes, caractersticas o variables se orientan los procesos de recolec cin, seleccin y anlisis de la informacin. Los enfoques analticos tambin admiten evaluacion es parciales de slo algunos componentes atendiendo a las necesidades del programa. Desde la perspectiva epistemolgica, los enfoques analticos son de corte racionalis ta con posiciones realistas u objetivistas, aunque pueden presentar matices natural istas y utilizan tanto mtodos cuantitativos como cualitativos de investigacin.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Los enfoques GLOBALES pretenden hacer una evaluacin holstica y totalizadora de tal manera que se pueda establecer el significado de las acciones y actividades que se desarrollan dentro del programa. Este enfoque no hace referencia a factores caus ales ni a variables particulares que pudieran ser sometidos a tratamientos estadsticos. Desde la perspectiva epistemolgica, los enfoques globales son en su mayora de cort e naturalista, subjetivista e idealista y emplean preferentemente mtodos cualitativ os de investigacin. En la prctica de evaluacin de programas, con frecuencia se combinan enfoques y procedimientos de uno o ms modelos y, con base en ellos, los investigadores defin en su diseo especfico de evaluacin. Lo anterior, tal como lo plantea Briones (1985), no s ugiere un eclecticismo arbitrario, sino un esfuerzo terico y metodolgico en la bsqueda de una propuesta que responda a necesidades y requerimientos del programa que se va a evaluar, as como a las caractersticas y limitaciones que existen en la realidad. III. ORIENTACIONES PREDOMINANTES EN LA INVESTIGACIN EVALUATIVA A. EVALUACIN REFERIDA A OBJETIVOS La evaluacin, referida a objetivos tiene sus orgenes en educacin, donde Ralph W. Ty ler desarroll el primer mtodo sistemtico de evaluacin en el cual procur hacer nfasis en una amplia gama de objetos por evaluar como los currculos y las ayudas didcticas, adems de la evaluacin centrada en el estudiante, para lo cual destac la necesidad d e establecer, clasificar y definir los objetivos en trminos de rendimiento, como et apa inicial o punto de partida de todo estudio evaluativo. La evaluacin se convirti en un proc eso para determinar la congruencia entre los objetivos y las operaciones. Tyler defini as la evaluacin: El proceso de evaluacin es esencialmente el proceso de determinar hasta qu punto los objetivos educativos han sido actualmente alcanzados mediante los programas de currculos y enseanza. De cualquier manera, desde el momento en que los objetivos educativos son esencialmente cambios producidos en los seres humanos, es decir, ya que los objetivos alcanzados producen ciertos cambios deseables en los modelos d e

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS comportamiento del estudiante, entonces, la evaluacin es el proceso que determina el nivel alcanzado . (Tyler, 1950:69) El concepto tyleriano de evaluacin ha sido, a menudo, aplicado con una rigidez y estrechez de miras que Tyler nunca propugn. Mientras propona estrategias y tcnicas prcticas para la recoleccin y anlisis de la informacin requerida para el proceso de evaluacin , la atencin termin enfatizando en los datos, que fueron considerados vlidos slo cuand o el programa haba concluido. A pesar de los cuestionamientos a la evaluacin asumida como un proceso terminal y del limitado alcance asignado hoy a los objetivos, el trabajo de Tyler permanece com o uno de los grandes hitos en la historia de la evaluacin concebida como ciencia. Ms aun, destacados estudiosos de la evaluacin educacional, como Michael y Metfessel, Prov us y Hammond, han llevado ms all el trabajo de Tyler, sin alejarse de su filosofa bsica y de su tecnologa. 1. MODELO DE EVALUACIN DE RALPH TYLER a. ENFOQUE: ANALTICO RACIONALISTA b. CONCEPTO DE EVALUACIN Proceso para determinar hasta qu punto los objetivos propuestos por el programa h an sido actualmente alcanzados, mediante los programas definidos para tal fin. c. PROPSITOS Proporcionar al cliente o a quienes toman decisiones la informacin requerida, bas ada necesariamente en la coincidencia entre los objetivos del programa y sus resulta dos reales. d. CARACTERSTICAS La ventaja de la definicin de evaluacin basada en la congruencia es que procede de una base lgica organizada a partir del desarrollo de un programa. Tyler consideraba q ue la evaluacin deba ser una etapa esencial de este desarrollo, adems consideraba que

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS deban existir una serie de etapas lgicas que afianzaran el proceso de evaluacin rea l. Estas etapas consolidan un mtodo que mida el alcance del cambio. Antes de que est o suceda deben ser determinadas con claridad y definidas las metas y objetivos. Di cho en trminos de comportamiento, deben comprobarse los objetivos despus de que se hayan establecido las condiciones apropiadas para su comprobacin. e. Metodologa De acuerdo con Tyler, el procedimiento para evaluar un programa es el siguiente: 1. Establecer las metas y objetivos. 2. Ordenar los objetivos en amplias clasificaciones. 3. Definir los objetivos en trminos de comportamiento. 4. Establecer situaciones y condiciones segn las cuales puede ser demostrada la consecuencia de los objetivos. 5. Explicar los propsitos de la estrategia al personal ms importante, en las situaciones ms adecuadas. 6. Escoger o desarrollar las adecuadas medidas tcnicas. 7. Recopilar los datos de trabajo. 8. Comparar los datos con los objetivos de comportamiento. 2. MODELO DE EVALUACIN DE METFESSEL Y MICHAEL a. ENFOQUE: ANALTICO RACIONALISTA b. CONCEPTO DE EVALUACIN

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Por ser una ampliacin del mtodo tyleriano el concepto de evaluacin es congruente con ste: Proceso para determinar hasta qu punto los objetivos propuestos por el programa h an sido alcanzados, mediante los programas definidos para tal fin. c. PROPSITOS Hacer ms perfectas las decisiones a partir de la valoracin de los resultados y ayu dar al personal bsico de las escuelas (profesores, administradores y especialistas) a ev aluar la consecucin de los objetivos en los programas escolares. d. CARACTERSTICAS Metfessel y Michael (1967) desarrollaron una lista de los mltiples criterios de v aloracin que podran ser utilizados para la evaluacin de programas. Especificando toda la ga ma de posibles criterios para la valoracin de los resultados, estos autores van bast ante ms all que Tyler. Sin embargo, su paradigma evaluativo es bsicamente similar al mtodo tyleriano. Este modelo proporciona detalles acerca de los individuos que deberan ser los pri ncipales responsables de la evaluacin en cada una de las etapas del proceso. Propone las valoraciones basadas en mltiples criterios (etapa 4 de la metodologa propuesta), lo que representa una excelente contribucin a la creacin de instrument os, porque incluye una lista de las diversas fuentes y tipos de valoraciones necesar ias para alcanzar una comprensin acabada y completa de los diferentes aspectos de un progr ama, ampliando el alcance de los juicios sobre un programa. e. METODOLOGA El modelo propone ocho etapas principales del proceso evaluativo para seguir: 1) Implicar a todos los miembros de la comunidad escolar como participantes o ay udantes de la evaluacin.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 2) Hacer una lista coherente de todas las metas y objetivos especficos, clasifica dos en un orden jerrquico, desde los resultados ms especficamente deseados hasta los ms generales. a) Poniendo primero las metas que ms ampliamente abarcan las intenciones tericas del programa. b) Luego, los objetivos especficos en trminos operacionales, para permitir una valoracin objetiva siempre que sea posible, y c) Desarrollando finalmente criterios de enjuiciamiento que permitan la definicin de los resultados ms significantes y relevantes, el establecimiento de prioridades realistas en trminos de necesidad social, de la facilidad del alumno, de la retroalimentacin alumno-maestro y de la disponibilidad de personal y de recursos materiales. 3) Traducir los objetivos especficos de rendimiento a una forma inteligible que p ueda ponerse en prctica para facilitar el aprendizaje en el ambiente escolar. 4) Seleccionar o crear una variedad de instrumentos que suministren valores de l os que se pueda colegir la efectividad de los programas a la hora de conseguir los obje tivos que se haban propuesto. 5) Llevar a cabo observaciones peridicas, a travs de la utilizacin de instrumentos variados, para calibrar el alcance del cambio en el rendimiento que resulta vlido respecto a los objetivos seleccionados. 6) Analizar los datos proporcionados por la valoracin del cambio a travs de la uti lizacin de mtodos estadsticos apropiados. 7) Interpretar los datos relativos a los objetivos especficos segn ciertas normas de enjuiciamiento y ciertos valores que se consideren apropiados para los niveles a los que se desee llegar en el trabajo. De esta manera, se podr llegar a conclusiones que proporcionen informacin acerca de la direccin de la evolucin, el progreso de los estudiantes y de la efectividad de todo el programa.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 8) Hacer recomendaciones que proporcionen una base para futuros perfeccionamient os, modificaciones y revisiones de toda la gama de metas y objetivos especficos con e l propsito de mejorar el programa; proporcionar continua informacin, basada en recomendaciones, a todos los individuos implicados en el programa y prepararse p ara cuando vuelva a recomenzar el ciclo del proceso evaluativo, una vez que los resu ltados ya hayan sido presentados a las audiencias correspondientes. 3. MODELO DE EVALUACIN DE EDWARD A. SUCHMAN: EL MTODO CIENTFICO DE LA EVALUACIN Edward Suchman, cientfico investigador que crea firmemente en la necesidad de basa r las conclusiones en evidencias cientficas, consideraba que la evaluacin deba dispon er de la lgica del mtodo cientfico. La contribucin de Schuman al campo de la evaluacin lo constituye su obra Evaluativ e Research: Principles and Practice in Public Service and Social Action Programs ( 1967). En ella deja claro su punto de vista de que un evaluador debe utilizar todo tipo de tcnicas investigativas que sean tiles y apropiadas a las circunstancias y necesidades de un estudio evaluativo determinado. Sus estudios evaluativos, especialmente referidos a la salud pblica, le hicieron reconocer que la evaluacin cientfica tiene algunas limitaciones prcticas y aunque consideraba que el estudio ideal debera estar enmarcado en los modelos experimentales clsicos, afirmaba que en la realidad los proyectos investigativos de evaluacin utilizan co mnmente alguna variacin o adaptacin de dicho modelo. Siguiendo el esquema hasta ahora propuesto, presentamos las caractersticas de est a orientacin . a. ENFOQUE: ANALTICO-RACIONALISTA b. CONCEPTO DE EVALUACIN La evaluacin es un proceso cientfico, por lo tanto, los mismos procedimientos que se utilizan para descubrir el conocimiento podran utilizarse para evaluar el nivel d e xito

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS obtenido en la aplicacin de este conocimiento. La investigacin evaluativa es inves tigacin aplicada y su propsito es determinar hasta qu punto un programa especfico ha conseguido el resultado esperado. Los resultados siempre sern utilizados por el administrador para tomar decisiones del futuro del programa. c. PROPSITOS 1) Describir si los objetivos han sido alcanzados y de qu manera. 2) Determinar las razones de cada uno de los xitos y fracasos. 3) Descubrir los principios que subyacen en un programa que ha tenido xito. 4) Dirigir el curso de los experimentos mediante tcnicas que aumenten su efectividad. 5) Sentar las bases de una futura investigacin sobre las razones del relativo xito de tcnicas alternativas. 6) Redefinir los medios que hay que utilizar para alcanzar los objetivos, as como las submetas, a la luz de los descubrimientos de la investigacin. d. CARACTERSTICAS Una precondicin de cualquier estudio evaluativo, segn Suchman, es la presencia de alguna actividad cuyos objetivos tengan algn tipo de valor. Este autor define el valor como cualquier aspecto de una situacin, actividad u objeto que tengan un inters particular, como ser bueno, malo, deseable, indeseable, etc. Los valores, por lo tanto, pueden estar constituidos como modos de organizar la actividad humana basados en principios que determinan tanto las metas como el perfeccionamiento de los progr amas, as como el medio de alcanzar esas metas. e. METODOLOGA Suchman consideraba que el proceso evaluativo parte de y regresa a la formacin de los valores, siguiendo los siguientes pasos:

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 1) Identificar un valor concreto (ya sea explcito o implcito). 2) Definir la meta: seleccin entre todas las metas alternativas posibles. 3) Seleccionar los criterios para valorar la consecucin de la meta. 4) Identificar las actividades que conduzcan a la meta: planificacin del programa. 5) Operar con las actividades que conduzcan a la meta: funcionamiento del programa. 6) Valorar el efecto de esta operacin: evaluacin del programa. 7) Formacin del valor: finalmente, basndose en esta evaluacin, se emite un juicio acerca de si esta actividad dirigida hacia la meta ha resultado til. Fig. 1. El proceso evaluativo. Formacin del valor Valorar el efecto de esta operacin Eleccin de la meta (objetivos) (evaluacin del programa) Valoracin de la meta (criterios) Operar con las actividades que conduzcan a la meta (funcionamiento del programa)

Identificacin de las actividadesde. que conduzcan a la meta (planificacin del programa b. LA EVALUACIN DE EXPERTOS La evaluacin de expertos, o tambin denominado mtodo del juicio profesional, asume el proceso de evaluacin igual al juicio profesional de un experto o de un grupo d e expertos.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS El experto o grupo de expertos es generalmente un profesional o grupo de profesi onales de reconocido prestigio en el campo de la evaluacin y en el objeto por evaluar. S e les solicita que estudien el sistema y emitan un juicio acerca de cmo est funcionando. Las ventajas de conformar un equipo de expertos que estudien la marcha de la ins titucin o programa y rindan luego un informe sobre lo que creen est bien o mal, lo que pu ede mejorarse y hacia dnde debe enrutarse el desarrollo de lo evaluado, residen en la facilidad de implementar tal tipo de evaluacin y en plantear la posibilidad de tener en cue nta todo tipo de variables. Los tericos de la evaluacin formulan ventajas y desventajas a este mtodo. Analicemo s algunas de stas. Ventajas: Es fcil de implementar, no requiere de la construccin de instrumentos complejos y el tiempo de la evaluacin es ms corto. Toma potencialmente en consideracin todas las variables. Pondera la experiencia de los expertos, la tiene en cuenta y le da posibilidad d e que desempee un papel importante en la evaluacin. Utiliza toda la habilidad y experiencia disponibles. No media tiempo muerto entre la recopilacin de datos y el anlisis de los mismos. Desventajas: Le falta refinamiento. Dictados principalmente por la oportunidad. Su fiabilidad y objetividad son cuestionables. Tanto los datos como los criterios son ambiguos y subjetivos. No se puede comprobar su validez.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Limitaciones en cuanto a la generalizacin de los resultados de la investigacin. c. EVALUACIN ORIENTADA A LA ADMINISTRACIN La evaluacin orientada a la administracin, tambin denominada enfoque de la decisin orientada, subraya que la evaluacin debe ser utilizada tanto para el perfeccionam iento de un programa, como para enjuiciar su valor. Las decisiones que se van a tomar, ya sea por un administrador, un consejo poltico, un personal de programacin o un electora do, proporcionan organizadores previos para los estudios de orientacin de la decisin. Bsicamente, la intencin de estos estudios es proporcionar conocimientos y bases valorativas para tomar y justificar decisiones. Los principales interrogantes que plantea este tipo de estudios son, entre otros : Qu es lo que hay que conseguir? Cul debe ser la planificacin de una empresa determinada? Cmo debe llevarse a cabo el plan? Cundo y cmo debe ser modificada la empresa? Crombach (1963) fue el primero que introdujo a los evaluadores en la idea de que la evaluacin deba ser reorientada y pasar a ser una ayuda para que los administradore s tomaran decisiones ms acertadas acerca de cmo orientar los programas o institucion es. Ms tarde Stufflebeam (1966, 1967) introdujo una conceptualizacin de la evaluacin qu e se basaba en la idea de que sta deba ayudar a los educadores a tomar y justificar decisiones que pudieran satisfacer ms las necesidades de los estudiantes. Posteriormente, otros autores como Alkin (1969), Reinhard (1972), Taylor (1974), Webster (1975) y Guba (1978) han contribuido al desarrollo del concepto de la evaluacin c entrada en las decisiones y orientada a la administracin. La principal ventaja de esta orientacin es que anima a los grupos de profesionale s, as como a las organizaciones, a utilizar la evaluacin continua y sistemticamente para planificar y proporcionar servicios que satisfagan las necesidades de sus client es. Tambin

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS proporciona una base lgica que ayuda a los profesionales a responder por las deci siones tomadas en el curso de un servicio. 1. MODELO DE STUFFLEBEAM-MODELO C.I.P.P. (CONTEXTO-INSUMOSPROCESOSPRODUCTOS) a. ENFOQUE: ANALTICO-RACIONALISTA b. CONCEPTO DE EVALUACIN La evaluacin es el proceso de identificar, obtener y proporcionar informacin til y descriptiva acerca del valor y el mrito de las metas, la planificacin, la realizac in y el impacto de un objeto determinado, con el fin de servir de gua para la toma de dec isiones, solucionar problemas de responsabilidad y promover la comprensin de los fenmenos implicados. c. PROPSITO Proporcionar informacin til para tomar decisiones con respecto a un programa, ya s ean estas de planeacin como resultado de la evaluacin de contexto; de estructuracin como resultado de la evaluacin de insumos; de implementacin como resultado de la evaluacin de proceso o de reciclaje como resultado de la evaluacin de producto. d. CARACTERSTICAS Establecer cuatro tipos de evaluacin: Evaluacin de contexto: busca definir el contexto institucional, identificar la po blacin objeto del estudio y valorar sus necesidades, identificar las oportunidades de s atisfacer las necesidades, diagnosticar los problemas que subyacen en las necesidades y ju zgar si los objetivos propuestos son lo suficientemente coherentes con las necesidade s valoradas. Evaluacin de insumos: busca identificar y valorar la capacidad del sistema, las e strategias del programa y sus alternativas, la planificacin de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Evaluacin de procesos: busca identificar o pronosticar, durante el proceso, los d efectos de la planificacin del procedimiento o de su realizacin, proporcionar informacin pa ra las definiciones preprogramadas y descubrir y juzgar las actividades y aspectos del procedimiento. Evaluacin del producto: busca recopilar descripciones y juicios acerca de los res ultados y relacionarlos con los objetivos y la informacin proporcionada por el contexto, los insumos y por los procesos e interpretar su valor y su mrito. Propone y utiliza la evaluacin formativa y sumativa para cada uno de estos tipos de evaluacin, as como el empleo de una amplia gama de mtodos y tcnicas de recoleccin de informacin como el anlisis de sistemas, la inspeccin (observacin directa), la rev isin de documentos, las audiciones, las entrevistas, los test diagnsticos y la tcnica D elphi entre otras. e. METODOLOGA Plantea cuatro niveles o etapas: 1) Delineacin: en la que se definen los objetivos de la evaluacin, se formulan preguntas, se delimitan las decisiones por tomar se identifican impedimentos. 2) Obtencin de informacin: se disean o adaptan instrumentos, se determinan las muestras, se aplican los instrumentos y se realiza el procesamiento estadstico de los resultados. 3) Anlisis de la informacin: se elabora un diseo de anlisis que garantice la mayor efectividad en la interpretacin de los datos obtenidos y se procede al anlisis de la informacin. 4) Aplicacin de la informacin: en la que se comunica la informacin a la audiencia y se le asesora para la utilizacin y aplicacin de dicha informacin. A continuacin se presenta el modelo globalizador simplificado (C.I.P.P) de Stuffl ebeam, grfica 1.

GRFICA 1: MODELO GLOBALIZADOR SIMPLIFICADO PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Evaluacin Proceso Evaluacin de contexto Decisin Planeacin Evaluacin Insumos Decisin Estructuracin Ensayo Decisin Implementacin Evaluacin Productos Terminacin Decisin Reciclaje IdentificacinSuministro Obtencin Retroinformacin Tomado de: Stufflebeam y Col. Educational Evaluation. Decision Making. 1972.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 2. MODELO DE REFERENTES ESPECFICOS DE BRIONES a. ENFOQUE: RACIONALISTA-ANALTICO b. CONCEPTOS DE EVALUACIN Investigacin aplicada que consiste en describir, medir, comparar y juzgar las pro piedades que definen el estado de los objetos de evaluacin que se seleccionan de un progra ma. c. PROPSITOS Proporcionar informacin til para tomar decisiones con respecto a un programa, bien sea referidas a sus objetivos, a su estructura, a su funcionamiento, a sus resul tados o a los usuarios. d. CARACTERSTICAS Plantea la necesidad de tener claridad respecto a cules son los referentes especfi cos de la evaluacin que reciben el nombre de objetos de evaluacin, y que se clasifican en generales y especficos. Tales objetos poseen propiedades o atributos que constitu yen las variables de evaluacin, se estudian con base en criterios definidos previamen te, llamados referentes de comparacin. Las variables se definen en trminos de indicado res, que pueden ser de naturaleza objetiva o subjetiva, cuantitativos o cualitativos. El modelo distingue entre objetivos finales e instrumentales, entre resultados previstos-n o previstos, logros-consecuencias y entre procesos de mantenimiento y desarrollo del programa y la metodologa. e. METODOLOGA Utiliza, tanto en la recoleccin de informacin como en el procesamiento de datos, tc nicas cuantitativas y cualitativas, teniendo como criterios, para ello, los objetivos de la evaluacin, los objetos y variables de la evaluacin y el diseo metodolgico bsico (experimental o no experimental). A continuacin se presenta el modelo general y el modelo operativo de Briones, grfi cas 2, 3 y 4.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS GRFICA 2: MODELO DE REFERENTES ESPECFICOS A. Objetivos generales de evaluaci.

1. Context. 2. Objetivos del program. (Preevaluacin de base. 3. Estructur. 4. Recursos logstico. 5. Funcionamiento administrativ. 6. Funcionamiento d. mantenimient. 7. Metodologa y medio. 8. Contexto de interacci. 9. Poblacin o usuario. 10. Grupo tcnic.

11. Resultado. B. Especificacin: objetivos especfico. de evaluaci. C. Caractersticas o variable.

Cuantitativas - Objetivo. - Subjetivo. Informaci. .

indicadore.

Cualitativas - Objetivo. - Subjetivo. D. Anlisis evaluativo.

Descriptiv. (Cuantitativo-cualitativo. Comparacin --> Expicativ.

(Normas. E. Informe. F. Decisione. G. Retroalimentaci.

Tomado de Briones, G. Evaluacin de programas sociales. Santiago, 1985.

103 PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS Contexto Poblacin GRFICA 3: MODELO DE REFERENTES ESPECFICOS DE BRIONES ESTRUCTURA SUSTANTIVA Tomado de Briones, G. Evaluacin educacional. Vol. 4, Bogot, 1985.

PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS D. EVALUACIN POR OPOSICIN O EVALUACIN CONTRAPUESTA La evaluacin por oposicin o evaluacin contrapuesta aparece en la literatura de la evaluacin a principios de la dcada de 1970. El mtodo de evaluacin contrapuesta o por oposicin pretende examinar a fondo e iluminar los aspectos ms importantes del programa que se evala. Los aspectos explorados pueden ir ms all de los objetivos originalmente propuestos para el programa. El modelo de evaluacin por oposicin sigue un proceso dialctico en el cual dos grupo s de evaluadores investigan los aspectos positivos y los aspectos negativos de un programa con el fin de clarificar honesta y abiertamente sus principales problemas con la intervencin de un juez o grupo de jueces, de all que tambin se denomine evaluacin JUDICIAL. Este mtodo aporta a la evaluacin las tcnicas de un tribunal, donde no se trata de presentar una decisin de tipo culpable o inocente, sino donde la esencia del conc epto de juicio es el establecimiento de un acuerdo en el contexto de un desacuerdo co n miras a perfeccionar la toma de decisiones. En un contexto legal, los procedimientos de contraposicin se desarrollan como una audiencia administrativa destinada a juzgar los mritos de un caso en el que estn implicadas dos partes opuestas. Owens (1973: 296-297) ha identificado las siguientes caractersticas de los proced imientos de contraposicin como las adecuadas para la toma de decisiones: Las reglas establecidas para manejar los procesos de contraposicin son totalmente flexibles. Las complejas reglas de la evidencia son sustituidas por una evaluacin libre de l a evidencia realizada por el director de la audiencia. Puede pedirse a ambas partes, antes del juicio, que informen al director de la a udiencia sobre todos los hechos relevantes, de las pruebas y de los nombres de los testig os. Debe proporcionarse una copia de los cargos al director de la audiencia y al def ensor, antes de que empiece el juicio, teniendo el defensor la opcin de admitir ciertos cargos por anticipado y recusar otros.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Los testigos declararan libremente y podrn ser interrogados. A menudo, los expertos son llamados a testificar, incluso antes del juicio. Las entrevistas previas al juicio, entre el director de la audiencia y las dos p artes, suelen convertir el juicio ms en una bsqueda de hechos relevantes que en una batalla de talentos. Adems de las dos partes implicadas, puede permitirse la participacin de otros grupos interesados. El modelo de evaluacin por oposicin o evaluacin contrapuesta puede funcionar conjuntamente con otros modelos de evaluacin, o funcionar conjuntamente con otros modelos de evaluacin. Dimensin 1: marco INFORMAL D a Decisin Decisin realInformacinpara la decisin El que toma las decisiones como juez Varios jueces o un jurado La audiencia como juez Ningn juez Dimensin 3: resultados Dimensin 2: jueces Cubo de Owens: Aplicaciones y dimensiones de los procedimientos contrapuestos. T omado de Stufflebeam y Shinkfield (1995).

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 1. MODELO JUDICIAL DE WOLF a. ENFOQUE: GLOBAL NATURALISTA b. CONCEPTO DE EVALUACIN Audiencia administrativa destinada a juzgar los mritos de un caso en el que estn implicadas dos partes opuestas. Permite que un amplio espectro de personas inter esadas en el programa expresen sus puntos de vista. Los juicios no se basan en las meta s iniciales del programa, sino ms bien en la combinacin entre stas y los problemas ms importantes planteados por quienes participan en las audiencias. c. PROPSITOS Proporcionar a quienes toman las decisiones evidencias slidas para actuar en consecuencia. Lo ms importante es perfeccionar la toma de decisiones. d. CARACTERSTICAS El modelo adapta y modifica conceptos tanto de los juicios con jurado como de la s audiencias administrativas. La metodologa legal (judicial) ofrece un til sistema d e procedimientos destinados a valorar las pruebas y a producir deducciones alterna tivas a partir del anlisis de los datos, antes de emitir juicios. Los evaluadores pueden centrarse en un grupo de problemas, apoyarse en los testimonios de diferentes grupos y per sonas, utilizando dos equipos evaluativos, lo que permite el desarrollo de un punto de vista equilibrado y estructurar las deliberaciones de quienes toman las decisiones. e. METODOLOGA Wolf ha definido cuatro etapas para la realizacin del modelo judicial, a saber: 1) La etapa que propone los problemas: inicialmente, se identifica una amplia gama de problemas relativos a la evaluacin del programa, desde el punto de vista de todo el personal implicado que resulte posible. Estos problemas deben coincidir con los objetivos iniciales del programa. A travs de entrevistas

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS y otros medios, deben identificarse los problemas que se consideren ms importantes. 2) La etapa que selecciona los problemas: durante esta etapa, se reduce el nmero de problemas hasta dejarlo en una cantidad apta para una audiencia. El personal del programa y otras personas relacionadas con l pueden ayudar a establecer un orden prioritario de problemas. Un grupo especial de investigacin, formado por representantes de los grupos ms importantes del programa, decide luego la importancia de cada problema, hace las modificaciones necesarias y lo pone todo por escrito. 3) La etapa de preparacin de los argumentos: los dos equipos evaluativos preparan entonces los argumentos formales. Se desarrollan, a partir de cada problema, los aspectos especficos del enfrentamiento. Los argumentos desarrollados proceden a menudo de los datos recopilados acerca de las virtudes y defectos del programa. Las afirmaciones que apoya un aspecto u otro del problema pueden proceder de testigos implicados en el programa o afectados por l. Adems, los informes evaluativos ms importantes (por ejemplo, acerca de las primeras evaluaciones formativas), los documentos y los informes formales son estudiados para su posible utilizacin en los argumentos finales. 4) La etapa de la audiencia: esta etapa tiene dos partes. En la sesin previa a la audiencia, ambos equipos examinan sus principales argumentos y, junto con el presidente de la audiencia, desarrollan las reglas y procedimientos de la audiencia. Aspectos como el nmero de testigos que deben ser convocados, el alcance de los interrogatorios y los criterios para determinar la admisibilidad de la evidencia (por ejemplo, la relevancia) deben surgir de un acuerdo mutuo. Finalmente, se hace un borrador de las cuestiones ms especficas que sirve como gua para las deliberaciones. La audiencia propiamente dicha, que puede ocurrir tras meses de preparacin a travs de las tres primeras etapas, puede constar de ms de una sesin, dependiendo de la naturaleza de la evaluacin. Tras la presentacin de los argumentos y los interrogatorios, el jurado delibera. Si el propio jurado no es el que toma las decisiones, recomienda qu decisiones deben tomarse.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Wolf ha afirmado que el modelo judicial ofrece un foro para la comunicacin y la di fusin, tanto como para la evaluacin . Ciertamente, el proceso puede clarificar las alterna tivas y las consecuencias de una decisin, que casi nunca pueden conocerse antes de la audiencia. E. EVALUACIN ORIENTADA AL CLIENTE O CENTRADA EN EL CONSUMIDOR Los exigentes requisitos federales para la evaluacin que se impusieron en la educ acin americana en la dcada de1970 estimularon el desarrollo de algunos nuevos mtodos evaluativos, entre los cuales aparece el mtodo evaluativo centrado en el cliente. Este mtodo plantea que el evaluador debe trabajar con y para ayudar a aquellas pe rsonas que desarrollan e imparten servicios. Potencialmente, contempla al evaluador al servicio de una amplia gama de clientes tales como administradores, funcionarios, contrib uyentes, legisladores, patrocinadores financieros, lderes comunitarios y el pblico en gener al. Los distintos clientes tienen distintas prioridades y el personal del programa d ebe, a menudo, prestarles mayor atencin. Michael Scriven es un filsofo que ha contribuido ampliamente al desarrollo de la profesin evaluativa. Ha criticado duramente tanto las clsicas como las mas recientes conceptualizaciones de la evaluacin. Desarroll su concepcin de la evaluacin sobre una postura filosfica bsica y ha desarrollado conceptos para ayudar a articular y aplicar su concepcin de la evaluacin. El verdadero papel del evaluador segn Scriven , es el de un sustituto informado del consumidor, provisto de tcnicas para obtener una informacin pertinente y exacta, y con un punto de vista profundamente razonado acerca de la tica y el bien comn, el eval uador debe ayudar a los profesionales a proporcionar productos y servicios de alta cal idad y gran utilidad para los consumidores. Y lo que es aun ms importante, el evaluador debe ayudar a los consumidores a identificar y valorar los bienes y servicios alterna tivos. Scriven ha sido muy crtico con las ideologas evaluativas que se centran en alcanzar los ob jetivos de los participantes en lugar de satisfacer las necesidades de los consumidores. Por ello ha propuesto ciertos conceptos y mtodos destinados a desplazar la evaluacin desde los objetivos hasta las necesidades (Stufflebeam y Shinkfield, 1995).

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 1. MODELO DE EVALUACIN DE MICHAEL SCRIVEN a. ENFOQUE: ANALTICO-RACIONALISTA b. CONCEPTO DE EVALUACIN La evaluacin es la determinacin sistemtica y objetiva del valor o el mrito de un obj eto, basndose en pruebas acumuladas procedentes de su comparacin con otros objetos distintos a la hora de satisfacer las necesidades del consumidor. c. PROPSITOS Buscar los resultados reales obtenidos por el programa, sin determinar por antic ipado sus objetivos para no limitar la identificacin de sus efectos posibles, entre ell os, los resultados no anticipados y los efectos imprevistos. d. CARACTERSTICAS Scriven introduce los conceptos de evaluacin formativa y evaluacin sumativa. La evaluacin formativa se realiza durante el proceso y sirve como retroalimentacin y gua para el mejoramiento del programa durante su marcha. La evaluacin sumativa es un juicio valorativo sobre lo hecho. Se concentra en la evaluacin de los resultados y efectos del programa, aunque estudia los diversos elementos del programa con un enfoque analtico. Busca establecer relaciones de causalidad entre variables dependientes e indepen dientes. e. METODOLOGA Se siguen los siguientes pasos: 1. Caracterizacin de la naturaleza del programa. 2. Determinacin de los fines de la evaluacin. 3. Indicadores de las relaciones que pueden darse entre las variables dependientes e independientes del programa.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 4. Verificacin amplia de todas las consecuencias del programa. 5. Determinacin de los criterios de valor y presupuestos filosficos del programa. 6. Estimacin de los costos. 7. Identificacin de acciones alternativas. 8. Identificacin de los elementos del programa y sus posibles impactos. 9. Conclusin sobre el valor del programa. F. EVALUACIN PARTICIPATIVA La evaluacin participativa es la forma que asume la investigacin participativa, al evaluar programas de accin. Por lo tanto, sus caractersticas bsicas corresponden a las de dicho tipo de investigacin. Sin embargo, podra decirse que lo participativo es ms u na modalidad y que cualquiera de los enfoques y modelos que hasta ahora se han anal izado podra presentar tales caractersticas con las limitaciones que las diferentes maner as y niveles de participacin plantean. La evaluacin participativa, en su sentido ms amplio, puede comprender todas las estrategias en las que los usuarios de un programa (clientes internos y externos ) participan activamente en la toma de decisiones y en la ejecucin de algunas o todas las fase s del proceso investigativo (proceso evaluativo). Desde luego no existe ninguna investigacin emprica, en la que no haya algn grado de participacin de sus actores: desde la voluntad de ser observados hasta responder cuestionarios o someter a entrevistas en profundidad. Sin embargo, en la evaluac in participativa, la idea es que las personas que pertenecen al programa tomen en s us manos las tareas que implican un estudio de este tipo, con claras ventajas para ellos en lo que toca a lograr los propsitos buscados: aprendizaje grupal e individual, aut orealizacin, etc. y, para el programa, mejor determinacin de los problemas, propuesta de soluc iones realistas, mayor compromiso de los usuarios, tanto con los objetivos de la evalu acin como con las soluciones (Briones, 1995: 59-60).

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS De manera muy sinttica, la evaluacin participativa es una combinacin de INVESTIGACON; EDUCACIN-APRENDIZAJE Y ACCIN. Ella tiene como objetivo conocer y analizar una realidad (programa o institucin) en sus momentos constitut ivos: 1. Los procesos y los problemas. 2. La percepcin que las personas tienen de ellos. 3. Las experiencias vivenciales dentro de dicha realidad concreta con el fin de emp render acciones tendientes a transformar dicha realidad. Tal como lo plantea Briones (1995), no existen frmulas preestablecidas para lleva r a cabo evaluaciones participativas. Ellas debern encontrarse en cada caso de evalua cin, para lo cual recomienda formularse, entre otras, las siguientes preguntas: 1. Es posible conciliar los propsitos, objetivos y diseos de investigacin, tiempo de realizacin, etc., entre agencias de financiamiento (privadas o estatales), gru pos tcnicos y usuarios de un programa? 2. Estn todos los miembros de un programa, interesados en participar en la evaluacin? Ese inters, de existir, se traducir en un trabajo real, efectuado con responsabilidad? 3. Disponen las personas interesadas del tiempo suficiente para realizar el estudio? 4. Es la poblacin del programa que ha de evaluarse demasiado grande de tal modo que impide la participacin de todos? Si fuera as, quines participarn y de qu forma se hara la seleccin? 5. Es posible formular un calendario de actividades para el grupo de participantes que asegure el logro de resultados y la formulacin de recomendaciones en un plazo que se considera adecuado? 6. Tiene el grupo un nivel cultural suficiente que le permita comprender, de manera ms o menos semejante, los propsitos y la dinmica de la evaluacin? Si hay diferencias marcadas, existe o no el riesgo de que algunos miembros del programa controlen su contenido y su marcha?

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 7. A qu nivel de informacin metodolgica pueden llegar los participantes?, tiene el conocimiento tcnico necesario para recoger, analizar e interpretar datos y par a escribir informes? 8. Si las respuestas planteadas en el numeral anterior indican la necesidad de recu rrir a uno o ms especialistas, cules sern las relaciones de estos con los miembros del programa?, cmo se evitar que el estudio se oriente hacia la competencia profesional? 9. Si como es natural hay un reparto de las tareas, cmo se lograr mantener una motivacin en los diferentes grupos por todas las actividades que se estn cumpliendo?, cmo se har la distribucin de esas tareas y de qu modo se supervisarn? 10. Quines se harn cargo del costo de la evaluacin? 11. Cmo se diseminarn los resultados de la evaluacin dentro del grupo y fuera de l? 12. Cmo participarn los miembros del programa en la ejecucin de las recomendaciones con las cuales termine la evaluacin? Concluye el autor con la siguiente reflexin: Esta breve lista de preguntas permite detectar los diversos problemas que se le p lantean a la evaluacin participativa. Reconocidos los beneficios que indudablemente tiene este tipo de investigacin aplicada, las situaciones concretas del contexto definirn los niveles y modalidades de la participacin de las personas; y asimismo los niveles tcnicos y las formas de participacin. La evaluacin participativa, al igual que otros esquemas, e s un proyecto de intenciones, muchas de las cuales se quedarn en el camino en diversos momentos de su desarrollo (Briones, 1995: 61). El lder de esta nueva orientacin es Robert Stake que exige un mtodo pluralista, flexible, interactivo, holstico, subje tivo y orientado hacia el servicio. El juicio racional de la evaluacin es una decisin que dice cunta atencin hay que prestar a las normas de cada grupo de referencia (clientes) a la hora de decidir si se emprende alguna accin administrativa. Stake recomendaba a los evaluadores trabaja r

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS continuamente con las distintas audiencias y responder a sus necesidades evaluat ivas. Ellas son los clientes en el sentido de que son precisamente ellas, las audienci as, las que apoyan, administran o directamente operan con los programas que se estn estud iando y buscan el consejo y los planes del evaluador para comprenderlos y mejorarlos. 1. MODELO DE EVALUACIN DE ROBERT STAKE (EVALUACIN SENSITIVA O EVALUACIN RESPONDENTE) a. ENFOQUE: GLOBAL-NATURALISTA b. CONCEPTO DE EVALUACIN Evaluacin sensitiva o concertada, segn la cual sta debe responder a lo que el clien te realmente necesita. Evaluacin orientada a la naturaleza compleja y dinmica de los programas educativos, atendiendo sus diversos aspectos y componentes. c. PROPSITOS Proporcionar al cliente o a los que adoptan decisiones la informacin que necesita n, en trminos de descripciones y juicios sobre diversos aspectos y componentes del prog rama. d. CARACTERSTICAS El modelo parte de la distincin entre antecedentes, transacciones y logros, tanto propuestos como observados, y utiliza los conceptos relacionales claves de conti ngencia y congruencia. Debe existir contingencia lgica y emprica entre los antecedentes, l as transacciones y los logros propuestos y observados, respectivamente, y debe exis tir congruencia entre lo propuesto y observado. Los aspectos principales atribuidos a la concepcin de Stake son los siguientes (Stufflebeam y Shinkfield, 1995:238). Las evaluaciones deben ayudar a las audiencias a observar y mejorar lo que estn haciendo (de all la denominacin de evaluacin centrada en el cliente).

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Los evaluadores deben describir programas con relacin tanto a los antecedentes y las operaciones como a los resultados. Los efectos secundarios y los logros accidentales deben ser tan estudiados como los resultados buscados. Los evaluadores deben evitar la presentacin de conclusiones finales resumidas, pero en su lugar deben recopilar, analizar y reflejar los juicios de una amplia gama de gente interesada en el objeto de la evaluacin. Los experimentos y los test regularizados son a menudo inadecuados o insuficient es para satisfacer los propsitos de una evaluacin y frecuentemente hay que sustituirlos o complementarlos con una variedad de mtodos incluyendo los subjetivos. e. METODOLOGA Se prepara un plan de observaciones y transacciones que se ejecutan llevando un diario de campo, a partir de lo cual se elaboran narraciones, descripciones, grficos, et c. Se averigua qu es valioso para los usuarios y se renen juicios de diversas personas c uyos puntos de vista difieren. Se presenta la informacin obtenida a las personas encar gadas del programa y a los mismos usuarios para que se pronuncien sobre la precisin e importancia de los hallazgos. A continuacin se presenta el modelo orientador (estructura sustantiva) grfica 5, y la estructura operativa grfica No. 6, del modelo de R. Stake.

GRFICA 5: MODELO ORIENTADOR DE LA EVALUACIN (R.STAKE). ESTRUCTURA SUSTANTIVA MATRIZ DESCRIPTIVA MATRIZ VALORATIVA PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS (1) CONCEPCIN DEL PROGRAMA ANLISIS DE CONTINGENCIA LGICA (2) (3) (4) COMPARACINABSOLUTA ANLISIS DE CONTINGENCIA EMPRICA INTENCIONES ANTECEDENTES COMPARACIN RELATIVA TRANSACCIONES TRANSACCIONES ANTECEDENTES OBSERVACIONES CRITERIOS (ESTNDARES) ANTECEDENTES TRANSACCIONES JUICIOS VALORATIVOS DATOS DE OTROS PROGRAMAS LOGROS L O G R O S L O G R O S CONGRUENCIA Tomado de: Investigacin evaluativa sobre situacin actual y prospectiva de la forma cin abierta y a distancia en el SENA. Restrepo, Correa y Flrez 1989.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS GRFICA 6: ESTURCTURA OPERATIVA DEL MODELO STAKE Validar,invalidar(anlisisy valoracin) Observarantecedentes, transacciones,logros Tematizar, preparar semblanzas, casos Escogerformatos/ audiencias Informes finales Contactarpersonal,clientelas yaudiencias Estableceralcancesdel programa Repasar actividades del programa Descubrirpropsitosy preocupaciones Conceptualizar objetivosyproblemas Identificar datos necesarios INFORMES ANLISIS RECOLECC12 1 2 4 57 8 9 10 11 T E O R I A 3

6 Tomado de Investigacin evaluativa sobre situacin actual y prospectiva de la formac in abierta y a distancia en el SENA. Resprepo, Correa y Flrez, 1989.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 2. LA EVALUACIN ILUMINATIVA La evaluacin iluminativa no es un mtodo regularizado, sino una estrategia de inves tigacin general. Pretende ser adaptable para descubrir las dimensiones, metas y tcnicas d e evaluacin, y eclctica para proporcionar al evaluador una serie de tcticas investiga tivas. Las decisiones acerca de la estrategia que debe ser utilizada en cada caso concr eto surgen del programa que debe investigarse. No intenta manipular, controlar o eli minar variables situacionales, sino abarcar toda la complejidad de la escena: su tarea principal es desenmaraarla, aislar sus caractersticas ms significativas, esbozar los ciclos c ausaefecto y comprender las relaciones entre las creencias y las prcticas y entre los modelos de organizacin y los modelos de los individuos (Parlett y Hamilton, 1977). MODELO DE EVALUACIN ILUMINATIVA DE PARLETT Y HAMILTON a. ENFOQUE: GLOBAL NATURALISTA b. CONCEPTO DE EVALUACIN Evaluacin interpretativa, en tanto que recoge las interpretaciones de las realida d que hacen las personas que participan en el programa. Hermenutica, ya que interpreta los smbolos del lenguaje que utilizan los participantes. E iluminativa, por cuanto bu sca clarificar los hechos y comprender las situaciones que se presentan en el programa, desde d istintas perspectivas. c. PROPSITOS Descubrir y documentar lo que supone participar en el programa en cualquier rol, discernir y discutir los rasgos ms importantes del programa, sus concomitantes recurrentes y sus procesos crticos: cmo opera, cmo es influenciado por situaciones externas e internas, sus ventajas e inconvenientes, etc. d. CARACTERSTICAS Se caracteriza por el uso del paradigma investigativo de la antropologa cultural que reconoce como natural el conflicto y la contradiccin que se dan en todo grupo hum ano.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS La evaluacin misma tiene como destinatarios principales los participantes del pro grama, quienes, adems, participan activamente en ella, puesto que hacerlo les permite re flexionar sobre su situacin. Parlett y Hamilton afirman que existen tres etapas caractersticas de una evaluacin iluminativa: 1) La fase de observacin, en la cual se investiga toda la ampla gama de variables que afectan al resultado del programa o la innovacin. 2) La etapa de investigacin, en la cual el inters se desplaza desde el reconocimiento (de la fase de observacin) hacia la seleccin y planteamiento de cuestiones de una manera coherente y ecunime, con el fin de realizar una lista sistemtica y selectiva de los aspectos ms importantes del programa en su contexto. 3) La etapa de la explicacin, en la que los principios generales subyacentes a la organizacin del programa son expuestos a la luz del da y se delinean los modelos causa-efecto en sus operaciones. e. METODOLOGA Se realiza en varias etapas: 1. Identificacin de interlocutores que puedan ensear problemas y caractersticas importantes. 2. Observacin y entrevistas etnogrficas. 3. Profundizacin de los aspectos encontrados en la primera etapa, mediante entrevistas en profundidad, historias de vida, etc. 4. Validacin de los resultados del programa mediante la triangulacin metodolgica. 5. Redaccin del informe final en un lenguaje accesible a los usuarios del programa.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 3. MODELO DE EVALUACIN FOCALIZADA DE PATTON a. ENFOQUE: GLOBAL NATURALISTA b. CONCEPTO DE EVALUACIN Evaluacin focalizada, segn la cual se seleccionan o focalizan los problemas y aspe ctos ms relevantes del programa, para luego tomar decisiones con respecto al contenido general de la evaluacin, sin establecer por anticipado especificaciones de ese co ntenido ni de los procedimientos por seguir. c. PROPSITOS Comprender la dinmica interna del programa tratando de responder preguntas tales como: qu factores son los que caracterizan este programa? Cmo se selecciona a los usuarios y qu hacen una vez estn en el programa? Cmo perciben los usuarios el programa? d. CARACTERSTICAS Se focaliza la evaluacin en los procesos, dando ms importancia a cmo se logra un cierto resultado que al producto mismo. Se consideran los resultados, pero desde el supuesto de que estos sern diferentes para los distintos tipos de participantes, es decir, se aboga por la identificacin de resultados individualizados. e. METODOLOGA Se comienza por identificar las personas que por su posicin sern las que tomarn decisiones con respecto al programa y se contacta a los usuarios activos. Con el los se focalizan los problemas y temas relevantes y luego se seleccionan las tcnicas de recoleccin de informacin, especialmente de tipo cualitativo (observacin, entrevista s, etc.), as como los procedimientos de anlisis que se van a seguir. Se caracteriza a los diferentes participantes para el estudio individualizado de los resultados a tra vs de estudios de caso.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS 4. MODELO DE EVALUACIN DE D. FETTERMAN-EVALUACIN POR EMPODERAMIENTO La evaluacin por empoderamiento es una innovadora propuesta de evaluacin que ha venido siendo adoptada en la educacin superior, el gobierno, distritos de educacin pblica, corporaciones sin animo de lucro y fundaciones, tanto en los Estados Unid os como en el extranjero. Un amplio rango de programas y sectores polticos emplean l a evaluacin por empoderamiento incluyendo entre estos los programas de prevencin del abuso de sustancias, prevencin del sida, prevencin del crimen, reformas de bienest ar social, proteccin a mujeres maltratadas, desarrollo agrcola y rural, libertad cond icional de adultos, prevencin del embarazo en la adolescencia, grupos o sociedades tribal es para el abuso de sustancias, autodeterminacin e individuos con discapacidades, programas doctorales y de escuelas aceleradas entre otros. Una descripcin detalla da de los programas que hacen uso de la evaluacin por empoderamiento aparece en las obras Empowerment Evaluation: Knowledge and tools for selfassessment and accountability (Fetterman, Kaftarian and Wandersman, 1996) y Empowerment Evaluat ion (Fetterman, in press). Adicionalmente, esta propuesta ha sido institucionalizada por la American Evaluation Association y es consistente con el espritu y los estndares desarrollados por el Joint Committee on Standards for Educational Evaluation. El autor de la propuesta, David Fetterman, decano de la Facultad de Educacin de l a Universidad de Stanford, reconoce que los programas que han adoptado procesos de evaluacin por empoderamiento estn tomando responsabilidad de sus propias acciones y sosteniendo por ellos mismos la evaluacin, convirtiendo dicho enfoque en una prop uesta que ha ganado credibilidad de supervisores y agencias externas comisionadas de e valuacin. La evaluacin por empoderamiento es definida como el uso de los conceptos de evalu acin, tcnicas y hallazgos para fomentar mejoramiento y autodeterminacin: sta es diseada para ayudar a la gente a ayudarse a s misma (Fetterman 1996). ste es un proceso democrtico en que las personas se empoderan asimismos, con la asistencia de un experto externo, el cual acta como un conductor, un facilitador, un entrenador, u n consejero, pero no como un evaluador convencional. Los participantes del program a deciden llevar a cabo su propia evaluacin, ellos planean e implementan sta, recogen y anal izan sus datos, interpretan sus hallazgos, proponen sus recomendaciones y lecciones aprendidas e implementan sus recomendaciones.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Desde una perspectiva del empoderamiento, el ejercicio de la evaluacin no es el p unto final del programa, sino un proceso en marcha de mejoramiento en que los autoeva luadores aprenden a continuar midiendo sus progresos hacia la autodeterminacin de sus meta s y redireccionar sus planes y estrategias acordes con los hallazgos de los procesos de evaluacin continua. Se han reconocido diferentes niveles de acceso a la evaluacin por empoderamiento, identificando tres niveles en que los cambios pueden ocurrir: a) El nivel individual, en que se da el empoderamiento psicolgico (incluye nuevos conocimientos, habilidades, competencias percibidas y expectativas), apropiarse, apoderarse de su lugar. b) El nivel intraorganizacional, en que el empoderamiento de la organizacin hace posible el empoderamiento colectivo de sus miembros: en este nivel, la evaluacin por empoderamiento ayuda a los miembros individuales de la organizacin a integrar sus necesidades, intereses y habilidades con los medios, metas y misin de la organizacin. c) El nivel extraorganizacional en que la relevancia social del sistema puede ser j uzgada por el mayor o menor empoderamiento organizacional, esto es, exitoso en influenc iar su desarrollo. La propuesta de evaluacin por empoderamiento est basada en los tres principios guas de la filosofa del empoderamiento (Rappaport, 1981): a) Todas las personas tienen fortalezas y capacidades, esa capacidad de llegar a se r ms competentes. b) El fracaso de una persona para desarrollar competencias no es imputable a las definiciones de las personas sino al fracaso del sistema social de proveer o cre ar oportunidades para que dichas competencias sean desarrolladas o adquiridas. c) En situaciones en que existan capacidades que necesitan ser reforzadas o nuevas competencias que necesiten ser aprendidas, stas son mejor aprendidas a travs

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS de experiencias que conduzcan o guen a la gente a realizar un autorreconocimiento de la influencia de sus capacidades en los eventos importantes de su vida. ETAPAS DE LA EVALUACIN POR EMPODERAMIENTO a) ENTRENAMIENTO: donde los evaluadores ensean a las personas a conducir su propia evaluacin, desmitificando e internalizando el proceso de evaluacin. En una evaluacin convencional, el proceso evaluativo concluye cuando el evaluador entreg a los resultados al administrador. En un proceso de evaluacin por empoderamiento, el proceso de evaluacin es internalizado dentro de la organizacin y llega a ser un permanente y continuo ejercicio de autoevaluacin para mejorar por su propia cuent a su desempeo. b) FACILITACIN: cuando el evaluador acta como un entrenador, un facilitador, que ayuda a las personas a conducir su propia evaluacin. El evaluador presenta las diferentes alternativas basado en metodologas y tcnicas propuestas, explicando beneficios y preocupaciones de cada alternativa, pero los participantes controla n el proceso de toma de decisiones. Ellos deciden qu alternativa metodolgica van a emplear, ayudados por el facilitador-evaluador. c) ILUMINACIN Y LIBERACIN: muchos participantes experimentan el ejercicio de la evaluacin por empoderamiento como una iluminadora y reveladora experiencia que formula una nueva conceptualizacin de s mismos. Muchas experiencias demuestran cmo, ayudando a las personas a encontrar el til camino de la evaluacin por ellos mismos, liberados de las tradicionales expectativas y roles, ellos se capacitan para encontrar nuevas oportunidades, redefinir sus roles e id entificar y facilitar sus visiones de los recursos existentes desde una nueva luz. Adems de las ventajas antes descritas, la evaluacin por empoderamiento facilita la integracin de mtodos cuantitativos y cualitativos, dado que la actividad desarroll ada en el proceso de evaluacin provee informacin cualitativa a los mtodos cuantitativos, a yuda a desmitificar el proceso de evaluacin repensando las formas de participacin y la capacidad de aproximarse a la construccin, mantenimiento, reinvencin y refinamient o de mtodos y tcnicas y, por ltimo, pero no menos importante, promueve la institucionalizacin e internalizacin de los procesos y mtodos de evaluacin.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS AUTOEVALUACIN N 3 Responda el siguiente cuestionario: 1. Son totalmente contrapuestos el paradigma cualitativo y el paradigma cuantitativo en la investigacin evaluativa o, por el contrario, son compatibles y complementarios? 2. Los paradigmas determinan lgicamente lla eleccin del mtodo de investigacin evaluativa? 3. Qu determina, en ltima instancia, la eleccin del enfoque investigativo? 4. Cul de las orientaciones de Investigacin evaluativa propuestas en la unidad considerada ha sido la predominante en Colombia y a qu ha obedecido ello? 5. Cules de los modelos propuestos considera usted tienen mayor posibilidad de aplicacin en la evaluacin de instituciones y programas en nuestro medio? Debe sustentarse y argumentarse la respuesta.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS ACTIVIDADES DE EVALUACIN 1. A partir de la propuesta por usted presentada para ingresar al programa de Especializacin, identifique el MODELO que considere ms pertinente para llevar a cabo dicha evaluacin y justifique adecuadamente dicha seleccin. 2. Estructure la propuesta investigativa en mencin, con la METODOLOGA definida por el modelo seleccionado, sin desarrollarla.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS LECTURA COMPLEMENTARIA Richardt, Charles, S. y Cook, Thomas O. Hacia una superacin del enfrentamiento entre los mtodos cualitativos y los cuantitativos . Mtodos cuantitativos de la investigacin evaluativa. Madrid: Ediciones Morata, S.A., 1986.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS REFERENCIAS BIBLIOGRFICAS Alkin. Citado por Stufflebeam, 1969. Briones, Guillermo. Evaluacin de programas sociales. Mxico: Trillas, 1991. Briones, Guillermo. Evaluacin educacional. Convenio Andrs Bello, volumen 4, Evaluacin institucional. Bogot: Editorial Guadalupe, 1998. Conde, Fernando. Las perspectivas metodolgicas cualitativa y cuantitativa en el contexto de la historia de las ciencias . En: Mtodos y tcnicas cualitativas de investigacin en ciencias sociales. Madrid: Editorial Sntesis, 1994. Fetterman, D. M. (1996a). Ethnography in the Virtual Classroom. Practicing Anthropology, 18(2): ______________. (1995a). Empowerment Evaluation: An Introduction to Theory and Practice. In Fetterman, D. M., Kaftarian, S., and Wandersman, A. (1996). Empower ment Evaluation: Knowledge and Tools for Self-assessment and Accountability. Thousand Oaks, CA: Sage. ______________. (1995). Kaftarian, S. and Wandersman, A. Empowerment Evaluation: Knowledge and Tools for Self-assessment and Accountability. Thousand Oaks, CA: Sage. ______________. (1998). Innovation in Evaluation. Cyber Conference. September 14 to 19. Guba, E. The Failure of Educational Evaluation . Educational Technology, 1978. Metfessel, N. S y Michael, W. B. A Paradigm Involving Multiple Criterion Measure s for the Evaluacion of the Effectiveness of School Programs, Educational and Psycholo gical Measurement 27, pp. 931-943, 1967.

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS Owens, T. R. Educational Evaluation by Adversary Proceedings in House . E. R. (comp.) Beryond the Numbers Game. Londres: Mac Millan Education, 1977. Patton, M. Q. Utilization-Focused Evaluation. Beverly Hills/Londres: Sage Public ations. Provus, M. Disccrepancy Evaluation. Berkeley: Mc Cutchan, 1971. Reichardt, Charles S. y Cook, Thomas D. Hacia una superacin del enfrentamiento entre los mtodos cualitativos y los cuantitativos . En: Metodos cuantitativos y cualitativos de la investigacin evaluativa. Madrid: Ediciones Morata, S. A., 1986 . Reinhard, D. L. Methodology Development for Input Evaluating Using Advocate and Design Teams. Tesis Doctoral Inedita, Universidad del Estado de Ohio, 1972. Restrepo, B., Correa, S. Y Flrez, R. Investigacin evaluativa sobre situacin actual y prospectiva de la formacin abierta y a distancia en el Sena. Medelln, 1989. Restrepo, B. Conferencias sobre evaluacin. Documento Mimeografiado, Facultad de Educacin. Universidad de Antioquia, 1974. Rist. 1997. Citado por Reichard y Cook. Stake, R. E. The countenance of educational evaluation, teachers college record. 1967. ______. Evaluting the arts in education: A responsive approach. Columbus, Ohio, Merril, 1975a. ______. Program evaluation: Particularly responsive evaluation. Kalamazoo: Centr o de evaluacin, Universidad de Western Michigan, Ocassional Paper n. 5, Noviembre, 197 5b. ______. A Theoretical Statement of Responsive Evaluation, Studies in Educational Evaluation 2, pgs. 19-22, 1976. ______. 1978. The Case Study Method in Social Inquiry Educational Researcher 7, pp. 58,

PARADIGMAS -ENFOQUES -ORIENTACIONES Y MODELOS EVALUATIVOS ______. Should Educational Evaluational be more Objective or more Subjective? , Educational Evaluation on Policy Analysis, 1979. Stufflebeam, D. L. A Depth Study of the Evaluation Requirement, Theory Into Prac tice, 5 n. 3, pp. 121-133, 1966. _____________. The Citizen as Jurist: A New Mode of Educational Evaluation, Citi zen Actionb in Education, Illinois, 1974. _____________. Evaluation as Enlightenment for Decision Making . En: Walcott A. (comp.). Improving Educational Assessment and an Inventory of Measures of Affect ive Behavior. Washington, D. C., ASCD, 1969. _____________. The Relevance of the CIPP Evaluation Model for Educational Accountability . Journal of Research and Development in Education (otoo), 1971. _____________. Metaevaluation. Occasional Paper Series. Kalamazoo, Michigan, Centro de Evaluacin, Universidad de Western Michigan, 3, 1975. Stufflebeam, D. L. y Otros. Educational Evaluation and Decision Making. Itasca, I11., Peacock, 1971. Taylor. 1974. Citado por Stufflebeam. Tyler R. W. Basic Principles of Curriculum and Instruction. Chicago: University of Chicago Press, 1950.tr Webster, W. J. The Organization and Funtions of Research and Evaluation in Large Urban School Districts. Texto presentado en el Congreso Anual de la American Research Association, Washington, D. C., 1975. Wolf, R. L. The Aplication of Select Legal Concepts to Educational Evaluation. T esis Doctoral Indita, Universidad de Illinois. 1974.

-Diseo metodolgico. implementacin, anlisi. e informes de la evaluaci. Antonio Puerta Zapat. Profesor Universidad de Antioqui.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Mapa conceptua. DISEO METODOLGICO OBJETO DE EVALUACIN DISEO DE EVALUACIN LA ORGANIZACIN EL PROGRAMA EL CONTEXTO CRONOGRAMA PRESUPUESTO MARCO DE REFERENCIA

FORMULACIN DEL PROYECTO

UNIDADES DE OBSERVACIN UNIDADES DE ANLISIS INSTRUMENTOS DE RECOLECCIN TIPO DE EVALUACIN DISEO PLAN DE ANLISIS IMPLEMENTACIN DEL PROYECTO DE EVALUACIN

EJECUCIN DE LA EVALUACIN EQUIPO DE EVALUACIN UBICACIN UNIDADES DE ANLISIS ELABORACIN DE INSTRUMENTOS PRUEBA PILOTO

PREPARACIN AUXILIARES APLICACIN DE INSTRUMENTOS PROCESAMIENTO DE LA INFORMACIN ANLISIS DE RESULTADOS CONCLUSIONES Y RECOMENDACIONES INFORME

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN INTRODUCCIN En sta unidad se desarrolla el proceso metodolgico de la evaluacin de programas. Se definen cuatro grandes momentos o etapas del proceso metodolgico con sus correspondientes subrutinas. Estos momentos son: la formalizacin del marco de ref erencia, la formulacin, la implementacin y la ejecucin del proyecto de evaluacin. La concepcin aqu presentada se basa fundamentalmente en los diseos de investigacin social, para reafirmar que la evaluacin se concibe como una investigacin evaluativ a. Entendemos, que con Rossi y Freeman (1989:14), la investigacin evaluativa es la aplicacin sistemtica de los procedimientos de la investigacin social, para valoriza r la conceptualizacin y el diseo, la ejecucin y la utilidad de los programas de interven cin social . Varios de los elementos aqu referenciados fueron tratados en los mdulos anteriores , por ello, el estudiante debe hacer una transferencia de esos elementos a la eval uacin.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN OBJETIVOS DE LA UNIDAD Describir los momentos y componentes de la metodologa de evaluacin. Demostrar la relacin lgica y secuencial de cada uno de esos componentes. Comprender el aporte metodolgico que hace la investigacin social a la evaluacin de programas.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Cuarta unidad El diseo metodolgico en una investigacin evaluativa corresponde al momento en el cual se deben tomar las decisiones correspondientes a las estrategias o activida des que debe realizar el evaluador para el logro de los objetivos de evaluacin o la respu esta a las preguntas de evaluacin por l planteadas. En trminos generales, el diseo metodolgico responde a la pregunta de cmo se debe proceder en la evaluacin. Se denomina diseo, en el sentido en que avizora o planea lo que se debe hacer, y es una metodologa puesto que establece un modelo, un camino y una manera de proceder. Las decisiones que se deben tomar sobre el diseo no son de orden mecnico, es neces ario tomarlas pensando fundamentalmente en la coherencia interna del proyecto. Esta c erteza debe estar acompaada de la conciencia de que existen unos factores del contexto evaluativo que, en un momento dado, pueden favorecer u obstaculizar la toma de d ecisiones por parte del evaluador. El diseo de evaluacin en el contexto de la investigacin evaluativa se asemeja, en buena medida, al diseo en una investigacin social. El diseo metodolgico de la evaluacin es similar al diseo correspondiente de la investigacin social y consiste e n la estrategia para reunir, procesar y analizar la informacin que se necesita para satisfacer los objetivos de evaluacin (Abello y Madarriaga, 1987:94). Para una mejor comprensin de los diseos de evaluacin se debe describir el proceso de la evaluacin y ubicar en l los diseos o metodologas de evaluacin. Si bien cada enfoque de evaluacin propone una metodologa especfica, estamos abogando por un mtodo eclctico. En este sentido, nos sumamos a lo expresado por Stuffebeam y Shinkfield (1995:25). ...creemos que los evaluadores deberan conocer un amplio espectro de tcnicas adecuadas y saber cmo aplicarlas en los distintos contextos

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN evaluativos. De este modo, podran valorar, en cada situacin, qu tcnicas son potencialmente aplicables y cules pueden servir de un modo ms eficaz a los propsitos particulares de la evaluacin en cuestin. De manera simplificada puede decirse que el proceso o recorrido de una evaluacin comprende unos momentos o etapas. ETAPAS DE LA EVALUACIN DE PROGRAMAS 1. Especificacin del marco de referencia El evaluador parte de la reconstruccin de un marco referencial que debe contener el detalle del programa que se quiere evaluar, la organizacin gestora del programa y el contexto o entorno social. A continuacin se detallan cada uno de los componentes del marco referencial. 1.1 El programa de accin El evaluador puede encontrar dos posibles situaciones: una que el programa est formalmente definido o en su defecto lo que existen son una serie de actividades que es necesario entrar a formalizar. El programa objeto de la evaluacin tambin se le define como programa de accin o simplemente proyecto de intervencin. Por programa o proyecto social se entiende el conjunto de actividades que desarrolla la empresa social, en un tiempo determina do, propiciando la resolucin de un problema o necesidad de las personas, el grupo o l a regin (Quintero, 1995:19). Las teoras de la planeacin y de la administracin social hablan de planes, programas , proyectos y actividades como unidades de la planeacin. Se entiende que el plan es lo genrico. En el caso de una ONG, el plan puede ser el mejoramiento de los ingresos de una poblacin determinada. El programa es un componente del plan, es una unidad

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN menos compleja. Un programa para el ejemplo anterior podra ser el de creacin de microempresas. El proyecto es un componente del programa, que est inscrito, a su vez, en un plan; es lo especfico. As, por ejemplo, puede ser un proyecto del programa enunciado con anterioridad, la capacitacin tcnica de los microempresarios. Finalme nte, las actividades son aquellas acciones puntuales que garantizan la ejecucin de los proyectos. Para continuar con el mismo ejemplo, pueden ser actividades del proye cto los cursos de capacitacin en diferentes reas. Para el caso de la evaluacin es ms comn hablar de programas o proyectos, pues son las unidades, que, por su relativa autonoma y limitada extensin, permiten la aplic acin de estas metodologas de evaluacin descritos en este mdulo. Se asume que la evaluacin de los planes se logra mediante la evaluacin de los programas, proyectos y activi dades que los conforman. En este mdulo se utiliza el concepto de programa de accin, para evitar la posible confusin con el concepto de proyecto de evaluacin que es la planeacin de la evaluac in y para diferenciarlo de la evaluacin de proyectos que tradicionalmente se ha ente ndido como la evaluacin de factibilidad del proyecto. En este contexto, el programa de accin es un diseo prospectivo que orienta la ejec ucin de unas acciones intencionadas para cambiar o transformar una realidad diagnosti cada. Es un programa de accin porque contiene una serie de elementos o insumos que al s er puestos en marcha deben producir unos resultados relativamente predecibles. El programa es un acto intencionado o deliberado que debe tener una coherencia i nterna o sea una lgica de relaciones entre sus componentes. El programa establece el deb er ser y simula el orden de los acontecimientos. Cuando se habla de coherencia interna del programa, se quiere decir que la natur aleza del programa armoniza con las necesidades o problema diagnosticado que se quiere resolver, que los objetivos sean viables, que las metas sean medibles, que los r ecursos sean suficientes y adecuados a las estrategias elegidas y que la metodologa de intervencin propuesta corresponda y garantice el cumplimiento de los objetivos de cambio formulados.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Para el caso de la evaluacin, el programa se convierte en aquella variable que pu ede controlarse o manipularse, o sea que se induce deliberadamente en una realidad p ara impactarla; es la variable independiente o la variable conocida. El programa debe dar cuenta de todos los ingredientes o insumos que entran en ju ego para alterar la situacin diagnosticada como problema, de ah la importancia de la elaboracin tcnica del programa, lo que facilita el proceso de evaluacin. Los elementos bsicos de un programa responden a las preguntas: Por qu existe el programa? Quiere decir cul es la justificacin para su existencia? Cul es el diagnstico o situacin del problema que da origen al programa de accin? Un buen diagnstico o una buena evaluacin de necesidades es lo que justifica el diseo de una estrategia de accin denominada programa. El diagnstico se convierte en un patrn de comparacin, que permite contrastar los resultados del programa con la situacin inicial de la cual se parti. De esta maner a es posible decir cules son las caractersticas y la magnitud del cambio logrado. El qu? Cules son los objetivos o metas del programa? Qu se pretende lograr con el programa? Cul es la situacin que se quiere alcanzar? Es la utopa, el ideal, el deber ser. Ese deber ser se expresa mediante objetivos y la fijacin de metas. A su vez, estas metas son las variables dependientes o de resultado que se buscan medir con la evaluacin. Los objetivos de un programa deben ser especficos, claros y medibles. Para French y Kaufman (1983:41), los objetivos deben tener en cuenta: - Los comportamientos deseados; ejemplo, la disminucin del consumo de sustancias psicoactivas. - Unas circunstancias especficas; ejemplo, despus de tres meses, los usuarios del programa deben haber disminuido el consumo de drogas. - El nivel de logro; ejemplo, sostener el bajo consumo o la abstinencia total despus de un ao de iniciado el tratamiento. La mayora de los programas estn diseados para producir unos efectos intermedios en los usuarios (objetivos intermedios ), como mejorar la autoestima . Se asume, por parte del programa, que el logro de los objetivos intermedios es u na condicin necesaria y suficiente para el logro del objetivo final, por ejemplo, la reduccin del consumo de alcohol (French y Kaufman, 1983:41).

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN El quin? Son los beneficiarios, participantes, usuarios o clientes externos del programa. Se refiere a la cobertura poblacional que tiene el programa. Esta cobe rtura puede corresponder a la cobertura espacial; ejemplo, un programa educativo que tiene como cobertura una regin geogrfica. La cobertura tambin puede ser una cobertura de usuarios; ejemplo, un programa de atencin a discapacitados fsicos tiene una cobertura, no en trminos geogrficos, sino en trminos de las personas que tienen una determinada demanda que necesitan satisfacer o una caracterstica que las hace susceptibles de ser agrupadas en una categora. El cmo? La metodologa, procedimientos o actividades que deben cumplirse para el logro de los objetivos. Incluye, fundamentalmente, procesos de intervenc in. El con qu? Cules son los recursos humanos, materiales, fsicos, equipos y econmicos que se requieren para el logro de los objetivos del programa. En otros trminos, son los insumos requeridos para desatar los procesos que han de producir unos resultados o impactos. El cundo? El tiempo requerido para la implementacin del programa. Corresponde al cronograma de las etapas del programa. El dnde? Es la ubicacin fsica o la sede del programa. El con quines? Son las personas, profesionales, funcionarios que intervienen en la implementacin del programa. Debe tenerse en cuenta el perfil, la cantidad y la calidad del talento humano. Desde qu enfoque? Es la corriente del pensamiento que sustenta la lnea de accin y garantiza, desde lo conceptual, la eficacia del programa. Debe explicar l a relacin entre los diferentes componentes del programa. 1.2 La organizacin gestora El marco referencial incluye, adems, informacin sobre la organizacin gestora del programa, o sea la agencia gubernamental, privada o no gubernamental responsable del proyecto.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN En la mayora de los casos, los procesos evaluativos estn ligados a instituciones u organizaciones formales, en el sentido de que los programas de accin tienen asien to en ellas. Es, tal vez, imposible encontrar programas por fuera de las organizacione s. En la evaluacin, la organizacin debe ser considerada parte del objeto de evaluacin, porque los programas tienen la impronta de las organizaciones que los patrocinan . El perfil del programa est, en buena medida, definido por la organizacin como un sist ema complejo de componentes. Los componentes de la organizacin que el evaluador debe tener en cuenta para comprender cmo sta es parte del objeto de evaluacin, son: La razn social de la organizacin. Su nombre. La naturaleza legal o jurdica de la organizacin (carcter pblico o privado). La misin, visin, principios de la organizacin. La cultura o clima organizacional. Los valores corporativos. La estructura de la organizacin o de gestin, entendida tambin como la jerarqua administrativa. La historia de la organizacin. Los programas de la organizacin. Los clientes internos. Perfil del talento humano vinculado, responsable de los programas. Los clientes externos. Perfil, necesidades y potencialidades de los usuarios de los programas. Las fuentes de financiacin de la organizacin.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN La cobertura espacial o geogrfica de la organizacin. La imagen corporativa hacia el exterior, o sea la opinin que el pblico tiene de la s ejecutorias de la organizacin. Experiencias de evaluacin. El control interno y sistemas de evaluacin. De otra parte existen una serie de caractersticas de las instituciones que pueden incidir positiva o negativamente en el desempeo de los programas y en el ejercicio de la evaluacin. Estas caractersticas son: Las organizaciones tienen diferentes grados de complejidad que inciden tambin en el grado de complejidad de los procesos evaluativos. Hablamos de complejidad en trminos del tamao de la organizacin; por ejemplo, la evaluacin de un programa en el contexto de una ONG, que administra un programa de proteccin de menores, es ms elemental que la evaluacin de un programa en otra ONG que administra simultneamente varios programas. El carcter pblico o privado de la organizacin. La lgica de funcionamiento y la estructura de las organizaciones pblicas es muy diferente a las organizaciones privadas. Las organizaciones pblicas dependen, en buena medida, para su funcionamiento de los procesos polticos del entorno y que muchas veces producen inestabilidad de los programas y del personal, dificultades administrativas para la toma de decisiones y la ejecucin de los presupuestos, la verticalidad de la autor idad y muchas veces el uso de la favorabilidad poltica en la prestacin de los servicios . Las organizaciones privadas, especialmente aquellas que han modernizado su gestin, por el contrario, tienen mayor estabilidad, la limitacin de los recursos las obliga a realizar una planeacin ms rigurosa, la toma de decisiones es gil, hay un estilo administrativo ms participativo, generalmente gozan de mayor credibilidad en el medio y la prestacin de los servicios es ms profesional.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN En trminos generales, se puede afirmar que la evaluacin encuentra un mejor campo de aplicacin en el sector privado, que en el sector pblico, a pesar de que este ltimo es el que con mayor urgencia requiere de la evaluacin de sus programas, por utilizar dineros pblicos, tener mayor cobertura y un mayor impacto. La misin de la organizacin determina la naturaleza de los programas que ofrece. El perfil de los funcionarios de la organizacin tiene que ver con las profesiones de sus funcionarios, la experiencia laboral, el tipo de compromiso con la organizac in, los grados de satisfaccin personal y laboral, los estilos de gestin, las relacione s interpersonales y las experiencias en procesos de evaluacin. Todas estas caractersticas del perfil de los funcionarios tienen que ver con las fortalezas y debilidades que demuestran estos mismos funcionarios en procesos concretos de evaluacin. Las personas que trabajan en una organizacin llegan a identificarse con sus metas, con su clientela o con aspectos especficos del programa. Los que se ocupan de la evaluacin deben conocer este compromiso personal y emocional como una fuerza potente de la dinmica organizativa (Hamilton-Smith, 1981:370). En ocasiones, el perfil de las personas de la organizacin rie con el perfil de los evaluadores, quienes estn comprometidos con cierta objetividad, poseen una mirada crtica y global de los problemas, disponen de unas herramientas metodolgicas propi as de la evaluacin, tienen otros hbitos de trabajo, manejan un enfoque terico que no siempre es compatible con el del programa que se quiere evaluar y, por lo genera l gozan de una mayor libertad de pensamiento y de accin. Las organizaciones tienen diferentes experiencias y tradicin frente a la evaluacin . Algunas nunca se interesaron por el tema; otras, en cambio, la incorporaron a las rutina s de gestin. Lo ideal es encontrar organizaciones que tengan un entrenamiento o al men os alguna sensibilidad por la evaluacin. La evaluacin ideal ser la de aquella organizacin que se evala a s misma. Vigilara sus propias actividades continuamente para saber si estaba cumpliendo sus metas o incluso si esas metas deberan continuar. Cuando el anlisis sugiera cambiarlas o alterar los programas para alcanzarlos, estas proposiciones seran consideradas seriamente por los encargados superiores

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN de la toma de decisiones. Se introduciran los cambios necesarios y no habra derechos adquiridos para la continuacin del programa. En cambio se ira siempre tras nuevas alternativas en un afn de servir mejor las metas propuestas (Wildavsky, citado en Hamilton-Smith, 1981:371). La evaluacin es un evento que, de alguna manera, afecta las organizaciones en su interior; demanda de ellas procesos de concertacin y de adecuacin interna a los requerimientos propios de la evaluacin. Existen organizaciones con climas ms propicios a la evaluacin; mientras que otras sern ms hostiles y en las cuales es muy difcil que prospere la evaluacin. Las evaluaciones ms tiles suelen darse cuando: hay acuerdo entre los interesados sobre la conveniencia de evaluar el programa. Se comprenda claramente el objetivo de la evaluacin que se realizar. Hay acuerdo sobre las aplicaciones y posibles consecuencias de la evaluacin (Hamilton-Smith, 1981:368). Para las Naciones Unidas (1978:45-46) existen unas dificultades, pero a la vez u nas alternativas en las organizaciones para realizar procesos de evaluacin. stas son: Falta de compromiso poltico administrativo. Cuando los encargados de adoptar decisiones creen que pueden comprobar la eficiencia sin necesidad de sistemas de evaluacin o temen que los resultados indiquen que el rendimiento del programa no es tan satisfactorio como debera ser. Frente a esta dificultad se debe disear un sistema slido de evaluacin para entregar los resultados a los encargados del programa. Factores de costo. Es difcil comprobar que la evaluacin reduce los costos del programa. Una medida paliativa para esta objecin es invertir de manera razonable en evaluacin. Medidas institucionales. Para mejorar la economa de las operaciones de evaluacin, se deben establecer stas de manera regular e institucionalizada.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN 1.3 Los factores del contexto Finalmente, como parte del marco de referencia, deben considerarse los factores del contexto; tambin llamados de coyuntura, que afectan directamente la vida de la organizacin y la ejecucin del programa que se quiere evaluar. En la consideracin de los factores del contexto deben tenerse en cuenta las caractersticas de los usuar ios o beneficiarios directos e indirectos del programa. Los factores de coyuntura tienen que ver con aquellas situaciones del entorno so cial, poltico, econmico, cultural en las cuales se desenvuelven los programas y las cual es afectan de una manera positiva o negativa el desempeo de los mismos programas. Estas situaciones van a afectar los programas y sus efectos deben estar reflejad os en los resultados de la evaluacin. Los factores de coyuntura no dependen del programa, no son siempre controlables por la organizacin, actan como factores estructurales que, en la mayora de los casos, apar ecen en la marcha misma del programa y que tambin en la mayora de los casos obligan a introducir cambios en la gestin del programa. En cierto sentido, los factores de coyuntura pueden considerarse como variables intervinientes, o sea, que median entre el programa (variable independiente) y l os resultados (variables dependientes). Estos factores son de naturaleza diversa, por ejemplo: cambios en la legislacin, situaciones de conflicto social, situaciones de alteracin del orden pblico, desast res naturales, cambios en las relaciones internacionales, cambios de gobierno, decis iones de los organismos de cooperacin internacional, etc. Como parte del entorno social, estn los usuarios directos de los programas. Estos usuarios tienen una serie de caractersticas que los hacen sensibles a la influenc ia del programa. Esto quiere decir que no todos los individuos, grupos o comunidades re accionan igual al programa y, por lo tanto, los cambios o resultados no son los mismos. El perfil de los usuarios, que debe estar determinado en el diagnstico que da ori gen al programa, es un insumo que, como el programa, la organizacin y el mismo contexto,

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN interviene en los resultados de la intervencin social. Por ello, las caracterstica s de estos usuarios deben tenerse en cuenta como parte del objeto de evaluacin. En la consideracin de estas caractersticas, debe darse especial prelacin a aquellas directamente asociadas al tipo de programa desarrollado. Para la determinacin de esas caractersticas, que podemos llamar variables, la teora, la observacin y la propia e xperiencia son fundamentales. As, por ejemplo, los antecedentes ocupacionales de un grupo so n importantes si se trata de un programa de capacitacin profesional, mientras que para la evalu acin de un programa de prevencin de la farmacodependencia es ms importante la historia psicos ocial de los individuos. Una comunidad con experiencia en la conformacin de organizaciones de base, seguramente, ser ms receptiva a un programa del sector solidario de la economa. Son muchas las variables que pueden estar asociadas a los resultados de los prog ramas: la historia de los individuos y los grupos, indicadores sociodemogrficos, las exp eriencias anteriores de los grupos con relacin a programas de intervencin similares, las for mas organizativas de las comunidades, etc. 2. La formulacin del proyecto de evaluacin La formulacin del proyecto de evaluacin comprende la determinacin del objeto de evaluacin, el diseo metodolgico, el cronograma y presupuesto de la evaluacin. 2.1 El objeto de evaluacin Si bien el programa de accin es el objeto de evaluacin, es el evaluador quien debe definir qu asuntos, ejes, temas, variables o categoras le interesa evaluar. O sea que el evaluador es quien formula unas preguntas evaluativas que dan lugar a la definic in de unos objetivos de la evaluacin. Segn Briones (1991:86), los objetivos de evaluacin son los conocimientos o informaciones relativas a los objetos, instancias o cara ctersticas del programa que se requiere recoger y analizar de acuerdo con las finalidades q ue sirven de justificacin al estudio evaluativo . Los objetivos de evaluacin pueden estar referidos al comportamiento de la organiz acin frente a la ejecucin del programa, a los productos, efectos, resultados o impacto s del programa. Quiere decir, a medir los cambios en los usuarios del programa o de su entorno.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Adems de la formulacin de una preguntas u objetivos de evaluacin, debe existir una delimitacin temporal del objeto de evaluacin. O sea, es el evaluador quien define el periodo de vida del programa que se quiere evaluar. Pueden evaluarse todas las e tapas del programa o algunas de ellas. Finalmente, se debe hacer una delimitacin espacial, especialmente cuando se trata de un mismo programa ejecutado en diferentes espacios geogrficos o institucionales o con diferentes tipos de usuarios o poblaciones. 2.2 El diseo de la evaluacin El diseo de una evaluacin comprende: la determinacin de las unidades de observacin, las unidades de anlisis, los instrumentos de recoleccin de informacin, definicin del tipo de evaluacin, el diseo, el procesamiento e interpretacin de la informacin. El diseo metodolgico comprende unas reas tcnicas que, segn Stufflebeam y Shinkfiel (1995:25), deben conocer a fondo los evaluadores profesionales. Se enc uentran las siguientes: Las entrevistas, los informes preliminares, el anlisis de contenidos, la observac in, el anlisis poltico, el anlisis econmico, el examen investigativo, los informes tcnicos, el estudio de caso, la evaluacin sin metas, la escucha de opiniones contrapuestas, l as asociaciones de defensa, las listas de control, la elaboracin de pruebas, el anlis is estadstico, el diseo de la investigacin, el anlisis sistemtico, la teorizacin y la administracin del proyecto. 2.2.1 Las unidades de observacin Las unidades de observacin son las variables, categoras, asuntos o componentes que deben ser medidos. Los objetivos o preguntas de evaluacin contienen las variables que deben ser obse rvadas o medidas. Para medir una variable es necesario traducirla a indicadores. La construccin de indicadores es, tal vez, una de las tareas ms complejas de la evaluacin. Existe una literatura disponible sobre el sentido de los indicadores, pero su

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN diseo particular es un ejercicio dispendioso, pues se trata de traducir objetivos de evaluacin a variables y stas a indicadores para poderlas medir. Los investigadores sociales se han preocupado por el tema de las definiciones op eracionales o indicadores para medir las variables de sus investigaciones y han propuesto, e n consecuencia, modelos para la medicin de las variables. Los evaluadores pueden ec har mano de esa lgica de construccin de indicadores y de los instrumentos para su medi cin, pero hay que entender que los indicadores de evaluacin no pueden ser universales, sino que corresponden a la especificidad del programa que se quiere evaluar. La evaluacin de un programa demanda la construccin y validacin de indicadores particulares que van a depender de los objetivos del programa que se quiere eval uar, de su enfoque terico, de la poblacin usuaria del programa, de los propsitos de la eval uacin. Los indicadores son medidas especficas (explcitas y objetivamente verificables de los cambios o resultados de una actividad). Los indicadores sirven de patrn para medir, evalu ar o mostrar el progreso de una actividad respecto a las medidas establecidas, en cuanto a la entrega de sus insumos (indicadores de insumo), la obtencin de los productos (indicadores de producto) y el logro de sus objetivos (indicadores de efecto e impacto) (Quintero y Velsque z, 1993). Los indicadores pueden ser directos o indirectos. Los indicadores de naturaleza cuantitativa, por lo general, pueden medirse de una manera directa; ejemplo, el nmero de person as atendidas por un programa, el nmero de crditos otorgados para un proyecto asociati vo. Los indicadores son indirectos cuando se trata de medir objetivos intangibles; e jemplo, medir liderazgo, participacin, motivacin, etc. Los indicadores estn determinados por la naturaleza de los objetivos, por los efe ctos y por el impacto que se busca con el programa de accin. La construccin de indicadore s depende, en buena medida, de la claridad y especificidad de los objetivos. En mu chos casos encontramos que los programas sociales no tienen objetivos y metas clarame nte definidas. Esta situacin se debe, entre otras razones, a: En el pasado las acciones sociales eran de buena voluntad y estaban por fuera de la planificacin del desarrollo. Hoy existe una mayor preocupacin por la elaboracin

estratgica de los programas.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN La formulacin de un objetivo en el campo del desarrollo social tiene mayores dificultades que en el campo de lo econmico o de las obras fsicas. Lo social, de alguna manera, es de ms difcil control y medicin. No siempre existe consenso por parte de los funcionarios en las organizaciones acerca de las metas de los programas debido a que priman las propias concepcione s que ellos tienen sobre la organizacin y sus programas; igualmente, a la propia formacin profesional de cada uno de ellos. Cuando se presenta esta ltima situacin de no consenso sobre las metas en una organizacin o de un programa, Weiss (1990:43) recomienda las siguientes alternati vas, que puede adoptar el evaluador. Plantear la situacin en el interior de la organizacin y esperar a que el personal del programa llegue a un acuerdo. El evaluador puede estudiar el programa, hablar con los ejecutores del programa y observar el desempeo del programa para luego formular por s mismo las metas del programa. El evaluador, conjuntamente con el personal del programa, podr formular las metas . Sugerir la realizacin de un estudio exploratorio antes de una evaluacin. Para la definicin de los indicadores debe tenerse en cuenta la conceptualizacin qu e se tenga del programa y la experiencia de las personas que lo ejecutan. Adems del em pleo de este mecanismo, Weiss (1990:50-53) recomienda tres alternativas para determin ar los indicadores de resultado. Buscar medidas existentes, empleadas por otros evaluadores en situaciones similares. Usar medidas mltiples. Medidas separadas pueden combinarse para formar una medida general del xito del programa .

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Usar medidas aproximadas. Deben utilizarse las medidas de acuerdo con las metas, si estn establecidas a corto, mediano o largo plazo. Las evaluaciones producen diferentes tipos de informacin. Segn las Naciones Unidas (1978:11), la evaluacin proporciona tres tipos de informacin: Informacin sobre rendimiento del programa. Es la informacin que da cuenta de si la ejecucin del programa se realiz de conformidad con el plan y el presupuesto asignado. Para este tipo de informacin se cuenta con indicadores establecidos en el cronograma de accin y en el presupuesto asignado a la ejecucin del programa. Informacin sobre la eficacia del programa. Da cuenta si el programa logr los objetivos propuestos y en qu medida. Para este tipo de informacin, los indicadores son las metas del programa. Cuando no existen las metas, los objetivos deben ser traducidos a indicadores observables. Informacin sobre la eficiencia del programa. Determina si los resultados del programa se obtuvieron de la forma ms econmica, maximizando productos y minimizando insumos. Los indicadores adecuados a este tipo de informacin son aquellos que tienen como unidad de medida la monetaria. Para Espinoza (1983:43), la evaluacin debe partir de una traduccin de los objetivo s a metas, pues el autor considera que una meta es un objetivo cuantificado y califi cado. Por lo tanto, a cada objetivo corresponde una o varias metas. O sea que para medir e l grado de obtencin de los objetivos es necesario medir el grado de obtencin de las metas. Para el autor, la evaluacin de las metas tiene varios aspectos. Evaluacin de la cantidad. Consiste en medir el nmero de unidades logradas en comparacin con las unidades programadas. Evaluacin de calidad. La meta tiene unos atributos que conforman su calidad y se debe medir el grado de obtencin de los atributos. Evaluacin del tiempo. Mide el tiempo gastado en la consecucin de la meta en comparacin con el tiempo previsto.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Evaluacin de los objetivos. Mide el grado de obtencin de los objetivos. Evaluacin de la cobertura. Mide si las metas logradas cubrieron a toda la poblacin usuaria del programa. Evaluacin de costos. Mide la inversin realizada para el logro de las metas en comparacin con los costos previstos. Victor Manuel Quintero (1995:35) distingue dos tipos de indicadores: de gestin o eficiencia y de logro o eficacia. Define los indicadores de gestin como aquellos que tienen como misin valorar el rendimiento (productividad fsica) de insumos, recursos y esfuerzos dedicados a ob tener ciertos objetivos con unos tiempos y costos registrados y analizados . Segn el mismo autor, los indicadores de gestin permiten la valoracin de los siguien tes elementos: la utilizacin de los recursos humanos, fsicos y financieros, el tiempo, el cumplimiento de actividades, tareas o metas intermedias, el rendimiento fsico pro medio (productividad), o sea la relacin que existe entre los logros y los recursos util izados, el costo promedio y el grado de eficiencia. Los indicadores de logro o de eficacia, tambin denominados de xito, son hechos concretos, verificables, medibles, evaluables, que se establecen a partir de cad a objetivo (Quintero, 1995:36). Segn el mismo autor, existen cuatro indicadores de logro. Indicadores de impacto. Logros a largo plazo, contribuyen al cumplimiento de la misin de la organizacin. Indicadores de efecto. Logros a mediano plazo, contribuyen al cumplimiento de lo s objetivos programticos en una regin especfica. Indicadores de resultado. Logros a corto plazo, contribuyen a resolver las necesidades y problemas del grupo. Indicadores de producto. Logros del inmediato plazo, contribuyen al cumplimiento de los objetivos especficos del proyecto social.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Las Naciones Unidas (1978:7) utilizan algunos de los conceptos anteriores de man era diferente. Entienden los productos como las consecuencias fsicas producidas por el programa, como escuelas construidas, kilmetros de carreteras habilitados. Tambin incluyen la medicin de los servicios prestados, ejemplo: personas capacitadas, crditos concedi dos. Los efectos se entienden como las consecuencias directas o inmediatas de los pro ductos, ejemplo: mayores tasas de asistencia escolar, mejores cosechas. Las repercusiones, como aquellos cambios que ocurren en el nivel de vida del gru po, como consecuencia del programa. 2.2.2 Unidades de anlisis. Las unidades de anlisis tambin son denominadas fuentes de informacin. Una vez definidos los indicadores, nos preguntamos quines (individuos, familias, grupos, comunidades, etc.) o qu objetos (documentos, monumentos, artefactos, situaciones, etc.) contienen esos indicadores. Hablamos, entonces, de las fuentes de informac in que pueden ser objetos o sujetos. La unidad de anlisis es un dato observable y exte rno que se convierte en la unidad de informacin bsica. Es un concepto referido al obje to de estudio, por ejemplo, individuos, grupos, regin, hechos, procesos (Aigneren, 1997: 22). La eleccin de las fuentes est condicionada por las unidades de observacin (lo que s e quiere medir), por la naturaleza del programa objeto de evaluacin, por los objeti vos de evaluacin, por los recursos humanos, tcnicos y financieros disponibles, por la pos ibilidad de acceder a las fuentes y por la disponibilidad de tiempo. El modelo de evaluacin es tambin determinante en la seleccin de las fuentes. Los enfoques cualitativos hacen nfasis en los muestreos estadsticos y algunos diseos, como el experimental, implican la seleccin de muestras aleatorias. Los diseos cualitativos trabajan con muestreos tericos, muestreos intencionales, informantes claves, etc. Para determinar las fuentes se deben tener claros los conceptos de universo, pob lacin, muestra, tipo de muestreo que fueron vistos en los mdulos anteriores.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN 2.2.3 Instrumentos de recoleccin de informacin Para capturar o recoger informacin sobre los indicadores que estn presentes en una s fuentes debemos recurrir a los instrumentos de medicin o recoleccin de informacin. La evaluacin utiliza los instrumentos propios de la investigacin social, bien sean de naturaleza cuantitativa, como los cuestionarios, o de naturaleza cualitativa, co mo las entrevistas en profundidad. Decimos que son instrumentos de medicin porque son sensibles a los indicadores y son de registro porque no basta con medir, sino que se debe guardar y ordenar la informacin de tal manera que pueda ser recuperada e interpretada. Los instrumentos contienen a los indicadores y son aplicados a las fuentes de in formacin. La eleccin de los instrumentos depende de la naturaleza de lo que se quiere evalu ar, el tipo de indicadores, las fuentes de informacin, los recursos humanos y econmicos disponibles, el tiempo de ejecucin de la evaluacin, el diseo elegido y la perspecti va conceptual y metodolgica del evaluador o del equipo de evaluacin. Los instrumentos de recoleccin de informacin fueron vistos en los mdulos anteriores . 2.1.4 Tipo de evaluacin El tipo de evaluacin puede ser ex-ante, formativa o sumativa, segn el momento de ejecucin del programa que se quiere evaluar. 2.1.5 El diseo La evaluacin toma prestados de la investigacin social los diferentes diseos disponi bles y que han sido probados en el estudio de la realidad social. Algunos de estos di seos, inclusive, no son exclusivos de las ciencias sociales, tambin son aplicados en la s ciencias naturales, como es el caso de los diseos experimentales. Se debe determinar si el diseo de la evaluacin ser no experimental o experimental. Los diseos de evaluacin estn asociados a los enfoques de evaluacin: de corte cuantitativo o de corte cualitativo y a los modelos de evaluacin existentes.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN En los mdulos de investigacin cuantitativa y cualitativa se pueden encontrar refer encias a estos diseos y a los enfoques. 2.1.6 El plan de anlisis El evaluador debe prever, desde el proyecto, cmo va a realizar el procesamiento, organizacin e interpretacin de la informacin. El procesamiento y anlisis de los resultados. Esta etapa implica la limpieza de l a informacin (cuando se han administrado instrumentos de recoleccin de informacin estandarizados), la organizacin de la informacin, el procesamiento de datos, la representacin de datos y el anlisis estadstico y lgico de los resultados. La evaluacin, igualmente, comparte con la investigacin social los mismos procedimi entos para el procesamiento e interpretacin de la informacin. Hoy estn disponibles paquet es estadsticos de procesamiento de informacin para datos cuantitativos y cualitativos . Se entiende que segn el enfoque de evaluacin elegido va a depender el procesamient o e interpretacin de la informacin. Para ello, el lector debe remitirse a los mdulos anteriores que desarrollan esta temtica en detalle. 2.3 El cronograma El cronograma de la evaluacin hace referencia a la determinacin anticipada del tie mpo que dura la planeacin y ejecucin de la evaluacin. Normalmente los cronogramas se elaboran utilizando la semana como unidad de medida. El cronograma se define por el tipo y nmero de actividades previstas para la form ulacin del proyecto, la implementacin y la ejecucin de la evaluacin. Las etapas del proces o evaluativo sugeridas en esta unidad pueden servir de gua para la conformacin del cronograma. No sobra recordar que el cronograma del proceso de evaluacin es diferente al cron ograma de ejecucin del programa de accin.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN 2.3. El presupuesto El presupuesto es la actividad de asignarcin del valor monetario a cada una de la s actividades, recursos humanos, fsicos, locativos, papelera, transporte, etc., que se requiera para la ejecucin del proyecto de evaluacin. La elaboracin de un cronograma y de un presupuesto para la evaluacin permiten ser ms realistas en el diseo de la evaluacin y contar con instrumentos de control y monitoreo de la gestin del proceso de evaluacin. Tambin hay que recordar que el presupuesto de la evaluacin es diferente al presupu esto de ejecucin del programa de accin. 3. Implementacin del proyecto de evaluacin La implementacin del proyecto de evaluacin implica: la conformacin del equipo de evaluacin, la elaboracin de instrumentos de captura de informacin, la prueba piloto de los instrumentos si es requerida, la seleccin de las fuentes o audiencias y la pr eparacin del personal auxiliar si es necesario. 3.1 El equipo de evaluacin La evaluacin puede ser planeada y ejecutada por un evaluador quien, obra como exp erto o en representacin de una agencia evaluadora. ste es el caso de las evaluaciones externas. La evaluacin puede, tambin, planearse por un equipo o grupo evaluador. En el caso de las evaluaciones internas, el grupo est conformado por personas vinculadas al pro grama o a la organizacin gestora del programa. Pueden existir grupos de evaluacin que ob ran como agentes externos y tambin pueden darse grupos con una conformacin mixta que incluye personal interno y personal externo. El equipo de evaluacin puede integrarse para formular el proyecto de evaluacin solamente, para formularlo y ejecutarlo o slo para ejecutarlo. La tendencia moderna de la evaluacin es la de ser una tarea colectiva, mas que in dividual y va ms all al plantear modelos ms participativos de la evaluacin. Se sugiere que lo s

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN diferentes actores del programa participen en su evaluacin. Aparecen, entonces, n ociones como la de empoderamiento, o sea, el poder de decisin que ganan los actores en lo s procesos autogestionados. Otro concepto que est ligado a la evaluacin es el de participacin ciudadana, tambin denominada por algunos participacin comunitaria, participacin social o participacin popular. La participacin ciudadana ocupa hoy un rol protagnico en los procesos de planeacin, ejecucin y evaluacin de los programas sociales: los planes de gobierno, las agenci as de cooperacin internacional, la planeacin regional y local incluyen la participacin como un componente bsico para el logro de los objetivos de mejoramiento de la calidad de vida que se proponen los programas sociales. La participacin ciudadana, segn los modernos enfoques del desarrollo y la administracin, debe darse en todas las fases, desde la evaluacin de necesidades mediante los mtodos de autodiagnstico o diagnstico participativo, la programacin y la evaluacin. Para la evaluacin, la participacin ciudadana es un componente muy importante. Segn Wagner y Dinkel (1981:9-10), la participacin ciudadana en la evaluacin se justific a por las siguientes razones: La participacin hace ms responsable a las instituciones con relacin a la comunidad. La participacin ciudadana refleja los valores de la comunidad. La participacin ciudadana incrementa el uso de la informacin evaluativa. Es una oportunidad para que los ciudadanos adquieran habilidades y conocimientos . Incrementa el conocimiento de los ciudadanos acerca del programa. Proporciona un beneficio teraputico para los usuarios del programa.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Los ciudadanos proveen fuentes adicionales de informacin para la evaluacin. Es un mecanismo para estimular la aceptacin de los programas por la comunidad. La participacin ciudadana no reemplaza la funcin del evaluador, pues ste debe ser u n miembro calificado del grupo y debe cumplir las funciones de coordinador. El pro fesional o lder del equipo, as la evaluacin sea participativa, seguir teniendo un papel determinante. Desde el comienzo de la evaluacin deben clarificarse las funciones del lder o coor dinador y las de los dems miembros del equipo. Es indispensable organizar unas condicione s de trabajo: asignar recursos, fijar tiempos, establecer lugares para el trabajo, distribuir las funciones. Una adecuada atencin a estos asuntos administrativos evita conflic tos, racionaliza el trabajo y garantiza unos productos evaluativos ms confiables y efi cientes. La evaluacin comporta, adems de los aspectos tcnicos, otras consideraciones de orden poltico y administrativo que es necesario atender. Es claro que la activida d evaluativa exige habilidades polticas, adems de las tcnicas por parte del evaluador. En este mismo sentido, Andrade y Otros (1987:19) advierten cmo el conocimiento tcnico y la experiencia profesional no son suficientes para el evaluador. ste debe identificar y trabajar con aquellas personas que toman las decisiones y todas la s personas interesadas en los resultados de la evaluacin como los clientes, los grupos organ izados de la comunidad, el gobierno, las agencias financieras. En todos estos casos deb e conformarse un grupo evaluador y el esponsable debe ser el lder del equipo, el me diador y el facilitador. El evaluador, responsable de orientar la evaluacin segn la naturaleza de los usuar ios de la informacin evaluativa, debe identificar quin necesita qu informacin, en que condiciones, para qu propsitos . El evaluador debera tratar de identificar a aquellas personas estratgicamente ubicadas, que sean dedicadas, competentes y que se inter esen por el asunto, aunque no ocupen una alta posicin en la institucin (Andrade y otros, 1987:22).

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN 3.2 Ubicacin de las unidades de anlisis En el diseo metodolgico se toma la decisin de determinar cules sern las fuentes de informacin, o sea cules son los sujetos u objetos portadores de los indicadores qu e se requieren medir. En el momento de la implementacin del proyecto de evaluacin se tr ata de ubicar las unidades de anlisis; lo que quiere decir, la localizacin fsica de los sujetos u objetos portadores de la informacin. En el caso de los sujetos, se trata de con certar las entrevistas, hacer la motivacin necesaria para lograr su cooperacin. Si se est utilizando un sistema de muestreo, es preciso hacer la aplicacin correspondiente, seleccionando los casos especficos representados en la muestra. Si se estn utilizando documentos, el equipo evaluador debe disponer de ellos medi ante la localizacin de los originales, los textos, los recortes de prensa, informes es tadsticos, publicaciones, fotocopias, etc. 3.3 Elaboracin de instrumentos de recoleccin de informacin En este momento del proceso, deben elaborarse los instrumentos enunciados en el proyecto de evaluacin: cuestionarios, guas de observacin o entrevista, test, guas para historias de vida, guas para entrevistas en profundidad o para grupos focale s. La manera de confeccionar estos instrumentos se puede consultar en los mdulos anteriores. 3.4 Pruebas piloto Siempre que se utilizan instrumentos de recoleccin de informacin, es conveniente hacer pruebas piloto para probar la consistencia y confiabilidad de los instrume ntos elaborados. La aplicacin de pruebas piloto sirve para revisar los contenidos y forma de los instrumentos. As se puede mirar si estn comprendidos todos los indicadores, si es el orden el ms indicado, si son claras y precisas las preguntas, cmo es la reaccin de los sujetos frente a cierto tipo de preguntas, si la forma de presentacin en el caso de instrumentos autoadministrados es la ms conveniente, etc.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN 3.5. Preparacin de auxiliares Para el caso de aquellas evaluaciones en la cuales se requiere de personal adici onal al del equipo evaluador, para llevar a cabo la evaluacin, es preciso hacer una capac itacin a cada una de las personas auxiliares segn el tipo de tarea que tenga que desempea r en el grupo. Generalmente, el personal auxiliar es empleado en tareas administra tivas, de digitacin, recoleccin de la informacin (entrevistadores, encuestadores, talleris tas), para bsquedas documentales, establecimiento de contactos, etc. La preparacin de entrevistadores, de observadores y, en general, de personas que en s mismas, segn se afirma en los enfoques de investigacin cualitativa, son instrument os de recoleccin de informacin, estos esfuerzos de capacitacin tienen que ser ms especializados. Se deben tener criterios unificados, una postura tica y el desarr ollo de una gran destreza en el ejercicio de estas responsabilidades. Es menos exigente la capacitacin cuando se utilizan instrumentos cuantitativos, l os cuales son intermediarios entre el evaluador y la realidad que se quiere evaluar . Adems de la capacitacin en las funciones especficas, debe instruirse a los auxiliar es en todo lo relacionado con la evaluacin: objetivos, propsitos, diseo, conceptualiza cin, marco de referencia, indicadores, etc. Un conocimiento global del proyecto de ev aluacin permite desarrollar un sentido de identidad con las tareas que se requieren. Igu almente, estos auxiliares deben ser tratados con respeto y ofrecerles condiciones dignas para el desempeo de sus funciones, que garanticen la calidad del trabajo. En el caso de utilizar instrumentos de mayor naturaleza cualitativa, deben hacer se simulaciones de estos instrumentos con informantes claves voluntarios a quienes se les explica muy bien el alcance de su participacin. 4. Ejecucin de la evaluacin El momento de la ejecucin de la evaluacin significa la puesta en marcha de las eta pas correspondientes a la formulacin e implementacin del proyecto de evaluacin. Esta etapa corresponde al trabajo de campo que debe ser planeado. Tambin se le denomin a administracin o gestin de la evaluacin y comprende la recoleccin de la informacin, su procesamiento e interpretacin, las conclusiones y recomendaciones y la escritu ra

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN del informe final. Aunque todas estas tareas deben estar previstas en el proyect o de evaluacin, es muy probable que en el trabajo de campo sea necesario introducir ca mbios a la propuesta original. En el trabajo de campo, el propio evaluador confronta l a coherencia del proyecto formulado. 4.1 Aplicacin de los instrumentos de medicin y de registro Es el momento para aplicar los instrumentos de medicin a las unidades de anlisis o fuentes de informacin. En la fase de construccin del marco referencial ya se ha recopilado una informacin muy rica que tiene que ver con los fundamentos conceptuales del programa, la org anizacin y el contexto. Adems, la prueba piloto de los instrumentos brinda a los evaluador es una orientacin sobre el tipo y calidad de informacin que van a recoger. En todos los casos es muy importante tener un profundo respeto por cada uno de l os informantes, establecer con ellos una buena relacin, ser claros en la explicacin de los objetiv os de la evaluacin y demostrarles la importancia que ellos tienen para el resultado final de la evaluacin. El equipo de evaluacin debe ejercer una supervisin especial de esta etapa, especia lmente si se han contratado personas auxiliares para cumplir con las tareas de recolecc in de informacin. En algunos casos, la falta de una preparacin suficiente y la ausencia de un acompaamiento puede viciar ostensiblemente los resultados de la evaluacin. 4.2. Procesamiento de la informacin Esta etapa implica: recibir la informacin, supervisar su calidad (limpieza de dat os), ordenarla (establecer categoras y cdigos para la informacin cualitativa, digitarla, procesarla y representarla). Si bien el uso del computador facilita y garantiza rapidez y alta calidad en el procesamiento de la informacin, la intervencin de los evaluadores es fundamental. La informacin debe ser recibida, contada y supervisado su contenido. Antes de ser digitada debe ordenarse. Generalmente, los digitadores no tienen tiempo o por su labor

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN mecnica no detectan las inconsistencias en la informacin. stas deben detectarse por los evaluadores, quienes conocen la naturaleza de la informacin recogida. Para el procesamiento de la informacin debe hacerse en un equipo adecuado y utili zando el programa que garantice el anlisis de la informacin segn los parmetros establecido s en el plan de anlisis. Desde la elaboracin de los instrumentos, se debe tener muy claro cul es el program a que se va a utilizar con el objeto de adecuar el sistema de codificacin a los req uerimientos del programa o paquete estadstico elegido, si es del caso. 4.3. Anlisis de los resultados Una vez procesada la informacin y teniendo los datos representados en cuadros o g rficos, se hace una lectura e interpretacin de ellos. En la lectura se destacan aquellos datos ms relevantes que se ubican en los extremos y aquellos que son tpicos o promedios. En esta etapa la formacin terica del evaluador, su capacidad interpretativa y el m arco referencial son definidos para lograr que los datos adquieran su verdadero valor . No se quiere decir que ste es el nico momento del anlisis, pues en todo el proceso de evaluacin, incluyendo la etapa de formulacin del objeto de evaluacin y de recoleccin de informacin, el evaluador debe tener una actitud de anlisis e interpretacin. El anlisis debe ser lgico y estadstico. El anlisis estadstico va a depender de la naturaleza de los datos producidos por la evaluacin (ver mdulo de diseos cuantitati vos). El anlisis lgico o de contenido parte del marco referencial y conceptual del progr ama evaluado. Debe recordarse que los datos tienen sentido en la medida en que se ha gan hablar desde una interpretacin comprensiva (ver mdulo de diseos cualitativos). 4.4 Conclusiones y recomendaciones La evaluacin es una investigacin aplicada que debe producir conclusiones a manera de hallazgos conceptuales y metodolgicos referidos al programa, pero adems debe ofrec er alternativas de accin a manera de acciones mejoradoras para el programa. Los eval uadores deben tener, por lo tanto, habilidades administrativas, conocimientos sobre plan ificacin y gerencia para proponer recomendaciones que mejoren el programa.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN 4.5 Informes de evaluacin El informe de evaluacin debe dar cuenta no solo de los resultados finales de la e valuacin, sino que debe recoger adems el proceso que va desde la formulacin del proyecto de evaluacin, su implementacin y ejecucin. No basta con la escritura de los informes de evaluacin, tambin se requiere tener estrategias para la diseminacin o entrega de los resultados a los diferentes pblic os o usuarios de la informacin evaluativa. Para la presentacin de los informes pueden utilizarse formatos escritos o visuale s, segn los destinatarios de la informacin. Los formatos ms comunes son: el informe tcnico, el resumen ejecutivo, el reporte profesional, el artculo para publicacin, una conf erencia de prensa, un reporte para un medio de comunicacin, una reunin pblica, un taller, afiches, plegables, memos, audiovisuales, etc. Los resultados correspondientes a una evaluacin podrn presentarse simultneamente de diversas maneras, de acuerdo con los criterios definidos a continuacin: La naturaleza del programa que se est evaluando: el tipo de variables elegidas, los indicadores empleados, el diseo utilizado y las tcnicas de anlisis utilizadas. Los contratantes de la evaluacin. Los que facilitan los recursos para financiar l a evaluacin podrn establecer en el convenio las condiciones para la presentacin y definir los destinatarios de los resultados. Los usuarios de la evaluacin, o sea los responsables de la utilizacin de los resultados. Los usuarios ms comunes son: los administradores de los programas, los contratantes de la evaluacin, los profesionales o mandos medios encargados de prestar los servicios, los usuarios o beneficiarios de los programas, las organizaciones polticas, las organizaciones civiles o sociales, los profesionales independientes del programa como investigadores universitarios u otros acadmicos. El nivel de comprensin de los destinatarios que tiene que ver con la experiencia en el manejo de estos estudios, los intereses intelectuales, la capacidad de ent ender cierto tipo de anlisis.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Las condiciones de tiempo y espacio en las cuales se presentar el estudio. Los recursos con que se cuenta en el presupuesto para invertir en el informe. De otra parte, la diseminacin de los resultados tiene que ver con la manera como son difundidos los resultados de una evaluacin. La diseminacin guarda una relacin inseparable con los formatos de presentacin de los resultados. Para Morris y Otro s (1987:22), las normas que deben tenerse en cuenta para difundir los resultados s on: La informacin debe ser entregada a los usuarios adecuados. Los informes deben tratar los asuntos que los usuarios consideren que son importantes. Los informes deben entregarse a tiempo para que sean tiles. Tambin deben ser claros para los destinatarios. Estos mismos autores, recomiendan unos criterios que deben ser tenidos en cuenta para entregar la informacin a los usuarios de ella. Diferentes usuarios desean informacin diferente, inclusive para responder a las mismas preguntas. Algunos usuarios no tienen claro lo que necesitan conocer. Algunos usuarios, esperan apoyo para sustentar su propio punto de vista. Algunos usuarios esperan que se produzcan cambios en la informacin durante el desarrollo de la evaluacin. En cuanto al contenido del informe de evaluacin, ste debe tener en buena medida lo que fue previsto en el proyecto de evaluacin, los pasos dados en la ejecucin e implementacin del proyecto. Debe recordarse que el informe debe ser lo ms claro y completo posible pues va dirigido a personas que no participaron directamente de la experiencia evaluativa. Estos son los contenidos que debe tener un informe:

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN El marco referencial, que incluye: una descripcin completa del programa de accin, un perfil de la organizacin gestora y los factores del contexto que inciden en el desempeo del programa. Los antecedentes, justificacin y propsitos de la evaluacin. Los objetivos o preguntas de evaluacin. El objeto de evaluacin y su delimitacin. El diseo metodolgico. El enfoque utilizado y el modelo. El equipo evaluador. La agencia evaluadora (cuando se trata de una evaluacin contratada). La ejecucin de la evaluacin. Los resultados de la evaluacin. Recomendaciones o acciones mejoradoras. Evaluacin de la propia evaluacin. Tiempo empleado, costos, aciertos y dificultades del proceso evaluativo. Necesidad de otros estudios. Bibliografa. Anexos.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN AUTOEVALUACIN Conteste el siguiente cuestionario: Qu se entiende por diseo metodolgico de la evaluacin? Qu toma la evaluacin de la investigacin social? Cuales son los momentos del proceso evaluativo? En qu consiste el marco de referencia de una evaluacin? Qu son los indicadores? En qu consiste la administracin de la evaluacin? LECTURA COMPLEMENTARIA Briones, Guillermo. Evaluacin de programas sociales, Mxico, Editorial Trillas, 199 2.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN El estudiante, al finalizar esta unidad, debe presentar un anteproyecto de evalu acin que contenga los siguientes elementos: Formular por lo menos tres preguntas u objetivos de evaluacin ex-post, correspondientes a un programa de intervencin social. Enunciar las variables contenidas en esas preguntas u objetivos, que deben ser medidas a travs de los indicadores. Definir cules seran las unidades de anlisis o fuentes de informacin. Enumerar los instrumentos de recoleccin ms adecuados para esos objetivos de evaluacin, a fin de medir esas variables y para ser aplicados a esas fuentes de informacin. Disear y redactar un primer borrador de uno de los instrumentos enunciados en el punto anterior donde se tengan en cuenta los objetivos de la evaluacin, las variables enunciadas y los indicadores de dichas variables. A partir del numeral anterior, elaborar un plan de anlisis de la informacin recogi da con el instrumento.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN BIBLIOGRAFA Aigneren, A. Miguel.Investigacin cuantitativa en ciencias sociales. Procesamiento y anlisis de datos. Medelln: Universidad de Antioquia, 1997. Abello, R. y Madarriaga, Camilo. Estrategias de evaluacin de programas sociales. Barranquilla: Uninorte, 1987. Andrade, Selly y Otros. Mtodos cualitativos para la evaluacin de programas. Un manual para programas de salud, planificacin familiar y servicios sociales. Estad os Unidos: The Pathfinder Fund, 1987. Briones, Guillermo. Evaluacin de programas sociales, Mxico: Editorial Trillas, 199 1. Espinoza, V., Mario. Evaluacin de proyectos sociales. Buenos Aires: Editorial Humanitas, 1983. French, John F. and Kaufman, Nancy. Hanbook for preventioon evaluation, Usa, Department of Health and Human Services, 1983. Hamilton, Smith, Elery. La estrategia y la metodologa de la evaluacin de programas de desarrollo social , en Planificacin social en Amrica Latina y el Caribe, Chile, UNICEF, 1981. Morris, Lynn. How to communicate evaluation findings. USA Sage Publications, 198 7. NACIONES UNIDAS. Manual de vigilancia y evaluacin sistemticas de programas integrados de desarrollo, Nueva York, 1978. Quintero, Vctor Manuel y Velsquez, Mario. Los indicadores sociales. Marco conceptual, Cali: FES, 1993.

DISEO METODOLGICO, IMPLEMENTACIN, ANLISIS E INFORMES DE LA EVALUACIN Quintero, Vctor Manuel. Evaluacin de proyectos sociales: construccin de indicadores. Cali: Fundacin FES, 1995. Rossi, Peter H. y Freeman, Howard. Evaluacin. Un enfoque sistemtico para programas sociales, Mxico, Editorial Trillas, 1989. Stufflebeam, Daniel L. y Shinkfiel, Anthony J. Evaluacin sistemtica. Gua terica y prctica. Barcelona: Ediciones Paids, 1995. Wsgnrt, Dinober and Dinkel, Nancy R. A trust of evaluation. Tampa Florida: The F lorida Consortium for Research and Evaluation, 1981. Weiss, Carol. Investigacin Evaluativa, Mxico: Editorial Trillas, 1978.

1. Introduccin a la evaluacin. Daniel L. Stufflebea. y Anthomy J. Shinkfiel. ......................................... 16. 2. La autoevaluacin como proceso previo a l. acreditacin de programas de pregrado de l. Universidad de Antioquia. Bernardo Restrepo Gme. ................................... 21. 3. Algunos elementos para una evaluaci. descentralizada de proyectos. J. Forer. ........... 23. 4. Hacia una superacin del enfrentamiento entr. los mtodos cualitativos y los cuantitativos. Charles S. Reichardt y Thomas D. Coo. .............. 24. 5. Diseos de evaluacin. Guillermo Brione. ........ 27.

LECTURAS COMPLEMENTARIAS

LECTURAS COMPLEMENTARIAS Lectura complementaria N 1 Daniel L. Stufflebeam y Anthony J. Shinkfield INTRODUCCIN A LA EVALUACIN Tomado de Evaluacin sistemtica gua terica y prctica La evaluacin es una de las actividades fundamentales de los servicios profesional es ms solventes. Los clientes de estos profesionales merecen una asistencia que sati sfaga sus necesidades, que sea de una alta calidad, moderna y eficiente. Para que los profesionales se responsabilicen de satisfacer estos niveles, la sociedad debe s ometer regularmente a evaluacin a los propios servicios profesionales. Una parte del tra bajo evaluativo, la que consiste en la regulacin y proteccin del inters pblico, debe, obviamente, ser dirigida por organismos independientes, como agencias gubernamen tales y juntas acreditadas. Pero, fundamentalmente, las evaluaciones ms importantes de los servicios profesionales estn realizadas (o encargadas) por los propios profesiona les. Para mantener sus servicios al da y asegurarse de que, efectivamente, satisfacen las necesidades de sus clientes, los profesionales deben recabar continuamente infor macin oportuna sobre el trabajo evaluativo. Este proceso incluye estudiar las necesida des de sus clientes, evaluar los mtodos que proponen o utilizan otros, seguir muy de cer ca el desarrollo del servicio, valorar los resultados a corto y largo plazo y buscar m odos de que los servicios sean cada vez ms eficientes y efectivos. La primera pregunta que to do grupo evaluativo exterior debe plantear es si el profesional realiza peridicament e un programa de autoevaluacin que responde oportunamente, con las correspondientes pruebas y evidencias, a estas cuestiones.

LECTURAS COMPLEMENTARIAS Desafortunadamente, el alcance de las evaluaciones que realizan los servicios profesionales por medio de los propios profesionales y sus agentes acreditados ha sido, tradicionalmente, y en el mejor de los casos, desigual y, en general, pobr e. Algunos distritos escolares grandes y agencias gubernamentales mantienen sistemas de eva luacin competentes, realizados por un personal adecuado, y los evaluadores de agencia h an sabido ayudar a las organizaciones centrales a ser responsables con todos los im plicados y a obtener la capacidad de planificar y administrar sus servicios. Pero incluso el ms competente de estos sistemas evaluativos no puede asumir las responsabilidades evaluativas de todos los profesionales de la agencia. No debe olvidarse el hecho de que la evaluacin es una responsabilidad tanto personal como institucional. Las oficinas de evaluacin pueden cubrir las principales responsabilidades de una agencia y propor cionar preparacin para el servicio y ayuda tcnica al personal. Pero, a la larga, de todas maneras, cada profesional debe ser responsable de evaluar su propio trabajo. QU ES LA EVALUACIN? Se han dado muchas respuestas a la pregunta: qu es la evaluacin? Mientras algunas de ellas varan slo en aspectos menores, otras mantienen diferencias sustanciales. Por ejemplo, algunas definiciones identifican esencialmente la evaluacin con otros co nceptos como la investigacin o las encuestas, mientras otros distinguen claramente la eva luacin de otras materias. Una definicin importante, y que se viene dando desde hace much o tiempo, afirma que la evaluacin supone comparar objetivos y resultados, mientras que otras exigen una conceptualizacin ms amplia, apelando a un estudio combinado del trabajo en s y de los valores. Muchas de las distintas definiciones formuladas ap arecen en los diferentes modelos de evaluacin presentados en las unidades 3-10. Adems, la unidad 2 proporciona un anlisis comparativo de estos modelos y definiciones. Esencialmente, ese anlisis examina todo lo que se ha argumentado contra la defini cin que damos en esta unidad. Esta definicin es consecuente con lo que dice comnmente el diccionario y, de una manera ms especfica, es la que ha adoptado el Joint Committee on Standards for Educational Evaluation. La definicin es la siguiente: la evaluacin es el enjuiciam iento sistemtico de la vala o el mrito de un objeto.

LECTURAS COMPLEMENTARIAS Esta definicin se centra en el trmino valor e implica que la evaluacin siempre supo ne juicio. Desde el momento en que la evaluacin, en un sentido ptimo, emplea procedimientos objetivos para obtener una informacin segura e imparcial, ya est li gada a la valoracin. En efecto, su meta esencial es determinar el valor de algo que es t siendo enjuiciado. De acuerdo con esta definicin, si un estudio no informa de cun buena o mala es una cosa, no se trata de una evaluacin. Algunos autores se han mostrado contrarios a esta posicin. Creen que esta orienta cin valorativa conduce a interpretaciones radicales y subjetivas que conceden un pod er inmerecido a los evaluadores e impiden el progreso. Afirman, por as decirlo, que la belleza reside en los ojos del observador que las v aloraciones de un grupo no deben tener precedencia sobre las de otro a la hora de determinar si algo es bueno o malo. Tambin afirman que la evaluacin es, demasiado a menudo, una fuerz a negativa y, en general, mala psicologa. Pero sus argumentos slo nos convencen de q ue la mayora de las evaluaciones no son determinantes y de que es difcil hacerlas bie n; quizs existen muchas evaluaciones distintas, y posiblemente contradictorias en apariencia, de un objeto dado, dependiendo de la posicin valorativa que se adopta . Pero, inevitablemente, la valoracin debe desempear un papel. Y si sirve al progreso y se utiliza para identificar los puntos dbiles y los fuertes, y para tender hacia una mejora, puede ser una fuerza positiva. Como puede verse, la evaluacin es una empresa comp leja. Creemos que este aspecto de la complejidad no debe ser interpretado en el sentid o de que estas evaluaciones slo deben ser consideradas como procesos mentales que se producen de un modo natural, conducindonos as hacia una gran variedad de interpretaciones sobre el valor de algo. Al contrario, significa que hay que pon er mucho cuidado no slo cuando se recopile la informacin, que debe ser de calidad, sino tam bin cuando se clarifique y proporcione una base lgica que justifique las perspectivas de valoracin utilizadas para interpretar los resultados. Como se puede ver, en la afirmacin anterior incluimos la posibilidad de emplear m uchas perspectivas de valoracin. Consideramos que esta posibilidad es fundamental para los evaluadores y profesionales en general. A menudo, existen distintos pblicos, que exigen o necesitan cosas distintas de un servicio profesional. Por ejemplo, a las famil ias

LECTURAS COMPLEMENTARIAS acaudaladas quiz les importe ms el hecho de que las escuelas pblicas preparen a los estudiantes para entrar en colegios de elite y en universidades, mientras que lo s nuevos inmigrantes, que son pobres y hablan muy poco ingls, quiz rechacen las escuelas qu e no ofrecen una educacin bilinge, no atienden a los nios atrasados y no promueven la integracin social. A la hora de evaluar un distrito escolar en concreto, un evalu ador competente debe tener en cuenta, segn nuestra definicin, entre otras cosas, estas dos perspectivas de valoracin. De hecho, podramos afirmar que las necesidades que unen o separan a los clientes de un determinado servicio son las que deben considerarse como base para decidir qu tipo de informacin se debe recopilar y a qu criterios recurrir para determinar la vala o el mrito de un servicio. Los trminos vala y mrito tambin deben ser definidos para enriquecer nuestro concepto de evaluacin. Scriven (1981) ya ha indicado las trascendentales diferencias que h ay entre ellos y el importante papel que desempean a la hora de determinar el valor de algo. Por ejemplo, un programa para formar a profesores de historia, podr producir profe sores que enseen historia a otros de un modo efectivo y de manera que se pueda confiar en ellos? En general, har bien lo que se supone que debe hacer? Si lo hace, ser merito rio, pero puede que no sea vlido. Por ejemplo, si la sociedad ya no necesita ms profeso res de historia porque ya tiene ms de los que puede emplear, entonces aunque el progr ama sea muy bueno y quiz sea mejor que otros parecidos , continuar con el mismo nivel de expansin del programa quiz no sea la mejor manera de gastar sus escasos recursos. Aunque un programa meritorio puede no ser vlido, debemos indicar que un programa que no sea meritorio no puede ser vlido. Puede que no sea bueno formar malos profesor es de Historia aunque exista una gran escasez de ellos. Hasta aqu, esta discusin sobre qu bases de valoracin deben ser tenidas en cuenta a la hora de evaluar algo, ha proporcionado tres importantes fuentes de criterios: 1. Las distintas expectativas de los clientes. 2. El mrito o excelencias del servicio en cuestin. 3. Hasta qu punto el servicio es necesario (es decir, su validez potencial).

LECTURAS COMPLEMENTARIAS En general, recomendamos que se tengan en cuenta los tres aspectos cuando se rea lice una evaluacin. Pero creemos necesario considerar dos aspectos ms: la viabilidad y la equidad. Aunque un servicio pueda ser de mucha calidad, atienda los diferentes o bjetivos de distintos grupos de clientes y se centre en un rea que de verdad lo necesite, quiz falle en lo que se refiere a los valores de la viabilidad y la equidad. Por ejemplo, puede que consuma ms recursos de los que necesita o puede causar infinidad de problemas polticos. En cualquiera de los dos casos, el programa, en principio, debe ser modificado en esas reas para hacerlo ms viable. Obviamente, una buena evaluacin del servicio debera mencionar esto y, en su caso, proporcionar una soluc in para que el servicio sea ms sencillo, utilice el tiempo y los recursos de un modo ms apropiado y sea polticamente viable. Este argumento en favor de la viabilidad es, en principio, aplicable a todas las sociedades. La ltima base valorativa que vamos a mencionar aqu, la equidad, est predominantemen te relacionada con las sociedades democrticas. Se exigen las mismas oportunidades pa ra todo el mundo y se reclama la libertad para todos. En los Estados Unidos, una ev aluacin puede resultar incompleta si no tiene en cuenta que un servicio pblico debe estar pensado y ser asequible para todos los miembros de la sociedad. Es importante indicar qu e nuestro concepto de equidad es complejo. No es suficiente decir que los servicios pblicos educativos deben poder ser requeridos y usados por todo el mundo. Como ha dicho Kellaghan (1982), para que exista verdaderamente la igualdad deben existir siete indicios de equidad: 1. Los servicios pblicos educativos de una sociedad deben estar pensados para toda la poblacin. 2. Todos los sectores de la sociedad deben tener el mismo tipo de acceso a los servicios. 3. Todos los grupos deben disfrutar de una participacin equitativa en la utilizacin d e los servicios. 4. Los niveles de logro, por ejemplo, los aos en el sistema educativo, no sern significativamente distintos para los diferentes grupos.

LECTURAS COMPLEMENTARIAS 5. Los conocimientos exigidos para alcanzar los objetivos del servicio no deben ser sustancialmente diferentes para los distintos grupos. 6. Las aspiraciones vitales que se persiguen deben ser similares en todos los grupo s sociales. 7. El sistema del servicio deber producir resultados similares en lo que se refiere a la mejora en el bienestar de todos los grupos sociales. De la discusin anterior, se puede colegir que la definicin de evaluacin que hemos propuesto es engaosa en su aparente simplicidad. Cuando examinemos seriamente el trmino base valor, debemos inevitablemente tomar en consideracin tanto las perspec tivas de valoracin como la informacin, la combinacin de ambas con el fin de conseguir averiguar el valor de algo y, por ltimo, la transformacin de los resultados en con ocimientos operativos que se utilizarn para suministrar o no suministrar (o para comprar o n o comprar) ciertos servicios y para mejorar los que ya se estn ofreciendo. Antes de terminar con este tema de la definicin de evaluacin, debemos considerar otros tres aspectos de la evaluacin. El primero se refiere a si la evaluacin neces ita ser comparativa; el segundo, a las principales utilizaciones de la evaluacin; y el te rcero se pregunta hasta qu punto los evaluadores necesitan cualificaciones especiales. Algunos autores (Stake, Scriven, Cronbach) han indicado que la evaluacin puede ce ntrarse en un solo producto o servicio, o compararlo con otras alternativas vlidas. Por o tra parte, han debatido los mritos de estas dos posturas, para acabar quedndose con una de ellas. Nosotros creemos que, dependiendo de las circunstancias, una evaluacin pue de ser, legtimamente, tanto comparativa como no comparativa. Algo que se debe tener muy en consideracin es la naturaleza de la audiencia y qu e s lo que necesita saber acerca del objeto de la evaluacin. Si la audiencia est compu esta por consumidores que desean escoger un producto o servicio, la evaluacin debe ser comparativa y ayudar a los consumidores a saber qu alternativas son convenientes y cmo compararlas crticamente. Si, por el contrario, la audiencia incluye promotores o consumidores que ya estn comprometidos con el desarrollo o el uso de un programa determinado, es mejor que la evaluacin se centre intensamente en la evolucin del programa para intentar mejorarlo. A veces sucede, sin embargo, incluso si un gru po es

LECTURAS COMPLEMENTARIAS totalmente devoto de cierto servicio o producto, que, al considerar otras opcion es, obtiene mejores resultados de su proveedor o encuentra una alternativa mejor. En general, creemos que la evaluacin debe ser comparativa antes de que empiece el proceso o antes de suscribirse a un servicio, no comparativa durante el proceso (para que permita concentrarse en lo que resulte mejor para el desarrollo del servicio), y peridicamente comparativa despus del proceso o la utilizacin continuada, para que e l camino quede abierto ante posibles mayores avances. Hablando en general, que una evaluacin deba ser comparativa o no depende de lo qu e se quiera conseguir de esa evaluacin, en cuanto a su utilizacin se refiere. Nosotr os consideramos tres utilizaciones principales: perfeccionamiento, recapitulacin y ejemplificacin. La primera utilizacin se refiere a la informacin que se proporciona para asegurar la calidad de un servicio o para mejorarla. Hay que prestar mucha atenc in a la naturaleza y las necesidades de los consumidores, y a la relacin existente entre el proceso y los resultados. En este punto, los evaluadores deberan estar muy en con tacto con el personal del programa y servir como guas para las tomas de decisiones. El plan de evaluacin necesita ser flexible y receptivo. Cuando la meta principal es mejor ar algo, la evaluacin debera parecerse ms al estudio de un caso que a un experimento comparativo. La segunda funcin ms importante de la evaluacin es hacer recapitulaciones o informe s sumarios. Se trata de anlisis retrospectivos acerca de proyectos ya terminados, programas ya hechos o productos ya acabados. La informacin no va dirigida al pers onal encargado de su desarrollo, sino a los patrocinadores y consumidores. Debe inclu ir una valoracin de la eficacia de lo invertido, siendo tambin importantes las comparacio nes con los ms importantes competidores. La informacin que se deriva de estos profundo s estudios y de las encuestas comparativas es muy interesante para la audiencia en este tipo de situaciones. La tercera utilizacin es la ejemplificacin. Bsicamente, la evaluacin y la investigac in son actividades distintas. La primera se dedica a considerar todos los criterios que se utilizan en la determinacin de un valor, mientras que la segunda se limita ms bien al estudio de ciertas variables que tienen un inters terico. Las evaluaciones suelen utilizar

mtodos subjetivos y no estn tan estrechamente controladas ni sujetas a manipulacin

LECTURAS COMPLEMENTARIAS como las investigaciones. No obstante, los resultados obtenidos, en un cierto pe rodo de tiempo, evaluando servicios pueden facilitar informacin que luego ser utilizada pa ra crear y ensayar una teora. Y, sin duda, los resultados de las evaluaciones a menu do deberan conducir y conducen, de hecho, a unas conclusiones ms concretas e interesantes en el terreno de la investigacin. Por lo tanto, creemos que es impor tante que los evaluadores, al planificar sus estudios, tengan en cuenta que sus conclu siones pueden ser utilizadas en el contexto de una investigacin que se proponga una comp rensin ms amplia de los fenmenos examinados en la evaluacin. Con una planificacin ms minuciosa y cuidadosa, las evaluaciones pueden servir no slo como gua de programas operativos, o como resumen de sus contribuciones, sino tambin para investigacione s concretas o cuestiones tericas. As pues, parece claro que la evaluacin es un concepto altamente complicado. A la h ora de planificar o dirigir una evaluacin, deben tenerse en cuenta una serie de cuest iones: Qu valores deben ser mencionados al juzgar los resultados? Qu criterios deben ser adoptados y cules deben tener preferencia? La evaluacin debe ser comparativa? La evaluacin debe estar capacitada para guiar el desarrollo, responsabilizar a los profesionales, ordenar las opciones o promover nuevas intuiciones acerca de los fenmenos implicados? Si se tienen en cuenta estas cuestiones con el fin de que la audiencia confe en l os resultados y los utilic, los evaluadores deben mantener ciertos criterios o norma s en su trabajo. Como consecuencia, creemos que la distincin entre evaluaciones profesion ales y evaluaciones informales es importante. Desde luego, todo el mundo recurre a la s segundas cuando se trata de emplear, opinar, aceptar o comprar cosas. Pero ocurr e demasiado a menudo que nuestras evaluaciones resultan poco o nada sistemticas y e n modo alguno convincentes, ni siquiera para nosotros mismos. En muchos casos, preferiramos que nuestras conclusiones tuvieran ms relevancia, rigor y objetividad . Estos requisitos, sin embargo, requeriran a menudo ms tiempo, dinero y habilidad de los que nosotros tenemos.

LECTURAS COMPLEMENTARIAS As, en muchas ocasiones, las buenas evaluaciones deben ser realizadas por un pers onal especializado. Aunque nuestra definicin afirma que la evaluacin es sistemtica, much as veces, sin duda, no lo es. Lo que intentamos proponer en este libro es una espec ie de evaluacin que sea justificable. La clase de evaluacin que tenemos en mente requier e un esfuerzo sistemtico por parte de una o ms personas que posean, en principio, un cierto nivel mnimo en lo que se refiere a las tcnicas evaluativas que se exigen en estos casos. Pensamos que el concienzudo estudio que propone este libro puede ayudar a l estudiante a alcanzar el nivel bsico de habilidad que se necesita para llevar a b uen trmino nuestro concepto de evaluacin sistemtica y para evaluar las evaluaciones realizadas por otros. Mtodos Un aspecto que diferencia la evaluacin sistemtica de la evaluacin informal es, sin lugar a dudas, el rea metodolgica. Cuando pasamos de las evaluaciones realizadas con juici os rpidos e intuitivos a las que suponen una rigurosa recopilacin de resultados que d eben ser considerados de un modo efectivo, debemos necesariamente enfrentarnos a las comp lejas reas de la epistemologa, las reglas empricas, las ciencias informativas, los proyec tos de investigacin, las valoraciones, las estadsticas, la comunicacin, etc. Muchos princi pios, instrumentos y estrategias de estas reas son importantes para la evaluacin sistemti ca. El evaluador bien preparado debe dominar convenientemente todas las tcnicas de estas reas y mantenerse informado acerca de los avances tecnolgicos que puedan resultarle til es. Estos evaluadores, que pueden convertirse en pioneros y contribuir al desarrollo de su profesin, suelen aumentar las crticas de los mtodos ya existentes y la aparicin de otros nuev os. A lo largo de los aos, muchos evaluadores han escogido, e incluso defendido, la u tilizacin exclusiva de unas pocas tcnicas. Algunos han equiparado la evaluacin a sus mtodos favoritos, como el diseo experimental, las pruebas estandarizadas o las visitas p ersonales. Otros han atacado duramente la estrechez de miras respecto de la adecuacin de los mtodos y, en algunos casos, han abogado por sustituir su tcnica favorita, como por ejemplo el estudio de un caso. Nosotros creemos que ambas posiciones son inefica ces, inadecuadas y, a veces, parciales.

A cambio, recomendamos un mtodo eclctico. As, creemos que los evaluadores deberan conocer un amplio espectro de tcnicas adecuadas y saber cmo aplicarlas en los dist intos

LECTURAS COMPLEMENTARIAS contextos evaluativos. De este modo, podran valorar, en cada situacin, qu tcnicas son potencialmente aplicables y cules pueden servir de un modo ms eficaz a los propsitos particulares de la evaluacin en cuestin.

Entre las reas tcnicas que, segn creemos, deben conocer a fondo los evaluadores profesionales se encuentran las siguientes: las entrevistas, los informes prelim inares, el anlisis de contenidos, la observacin, el anlisis poltico, el anlisis econmico, el exa en investigativo, los informes tcnicos, el estudio del caso, la evaluacin sin metas, la escucha de opiniones contrapuestas, las asociaciones de defensa, las listas de control, la elaboracin de prueba, el anlisis estadstico, el diseo de la investigacin, el anlisis sistemtico, la teorizacin y la administracin del proyecto. Es recomendable consulta r las fuentes de informacin general que, acerca de estas reas tcnicas, pueden encontr arse en Scriven (1974); Anderson, Ball y Murphy (1974); Brinkerhoff y otros (1983) y Smith (1981a y 1981b). Normas Una de las caractersticas de las prcticas profesionales es que sus miembros deben cumplir exigentes normas referentes al trabajo y al servicio que realizan. Por l o general, estas normas ya vienen formuladas por los miembros de la profesin, y, en algunos casos, por el gobierno. Ejemplos tpicos de ello son las normas existentes en las r eas de la ley, la medicina y la contabilidad, con el fin de asesorar y valorar la prc tica en cuestin, y, en algunos casos, llegar a conclusiones acerca de ciertos procedimien tos ilegales. Hasta muy recientemente, los evaluadores de programas no disponan de no rmas explcitas para la evaluacin, pero esta situacin est cambiando. Recientemente, se han publicado dos conjuntos de normas para las evaluaciones. U no consiste en un grupo de treinta normas formuladas por el Joint Committee on Stan dards for Educational Evaluation. El otro es una serie de cincuenta y cinco normas for muladas por la Evaluation Research Society (ERS). Aqu vamos a centrarnos en el primero por unas razones determinadas. Cuidadosas comparaciones realizadas por investigadores independientes han demostrado que ca si todo lo que aparece en las normas de la ERS es examinado con mayor profundidad e n las Normas del Joint Committee. Es ms, la primera serie ha sido elaborada por un

LECTURAS COMPLEMENTARIAS comit cuyos diecisiete miembros han sido nombrados por doce organizaciones profesionales que abarcan un total de alrededor de dos millones de miembros, mie ntras que las normas de la ERS han sido elaboradas por un grupo de alrededor de dos mi l miembros. Otra diferencia clave es que las Normas del Joint Committee incluyen t anto al cliente como al que realiza los servicios evaluativos. El texto Standards for Evaluations of Educational Programs, Projects, and Materi al (Joint Committee, 1981) fue elaborado en un perodo de cinco aos. Este comit est formado por alrededor de doscientas personas relacionadas con la prctica profesional de l a evaluacin, que realizan la labor de crear, valorar y clarificar principios amplia mente compartidos con el fin de que sirvan como base para evaluaciones sobre programas educativos. El resultado son las treinta normas resumidas en la tabla 1-1. Es particularmente notable el continuo proceso que llevan a cabo reexaminando y rev isando las normas. En esencia, el Joint Committee concluye afirmando que las treinta no rmas son necesarias y suficientes para asegurar que las evaluaciones sean tiles, facti bles, precisas y vlidas. Se aconseja al lector que estudie en profundidad ese libro de Normas. En general, las Normas del Joint Committee aconsejan que los evaluadores y los c lientes cooperen entre s para que las evaluaciones puedan cumplir estas cuatro condicione s principales: Una evaluacin debe ser til. Debe estar dirigida a aquellas personas y grupos que estn relacionados con la tarea de realizar aquello que se est evaluando o que sean sus ms directos responsables. Debe ayudarles a identificar y examinar lo bueno y lo malo de este objeto. Debe poner muchsimo nfasis en plantearles las cuestiones de mayor importancia. Debe proporcionarles informes claros de una manera oportuna. Y, en general, debe facilitar no slo informaciones acerca de virtudes y defectos, sino tambin soluciones para mejorarlo todo. 2. Debe ser factible. Debe emplear procedimientos evaluativos que puedan ser utilizados sin demasiados problemas. Debe tomar en consideracin y aplicar controles razonables sobre aquellas fuerzas polticas que puedan, de alguna manera , inmiscuirse en la evolucin. Y deben ser dirigidas de un modo eficiente. 3. Debe ser tica. Debe estar basada en compromisos explcitos que aseguren la necesaria cooperacin, la proteccin de los derechos de las partes implicadas y la

LECTURAS COMPLEMENTARIAS honradez de los resultados. Adems, debe proporcionar un informe equitativo que revele todas las virtudes y defectos del objeto. 4. Debe ser exacta. Debe describir con claridad el objeto en su evolucin y en su contexto. Debe revelar las virtudes y defectos del plan de evaluacin, de los procedimientos y de las conclusiones. Debe estar libre de influencias. Y debe proporcionar unas conclusiones vlidas y fidedignas. TABLA 1-1. Resumen del texto Standards for Evaluations of Educational Programs, Projects, and Materials A Normas de utilidad Las normas de utilidad estn concebidas para asegurar que una evaluacin proporcione las informaciones prcticas que necesita una audiencia determinada. Estas normas son: A1 Descripcin de la audiencia La audiencia relacionada con la evaluacin o afectada por ella debe ser descrita con el fin de que todas sus necesidades puedan ser satisfechas. A2 Credibilidad del evaluador Las personas que dirigen la evaluacin deben ser honradas y a la vez competentes para poder llevarla a cabo, con el fin de que sus conclusiones alcancen el mximo de credibilidad y aceptacin. A3 Alcance y seleccin de la informacin La informacin recopilada debe tener el suficiente alcance y haber sido selecciona da de tal manera como para incluir en s misma las cuestiones pertinentes acerca del obj eto de la evaluacin y responder a las necesidades e intereses de audiencias concretas .

LECTURAS COMPLEMENTARIAS A4 Interpretacin valorativa Las perspectivas, procedimientos y bases lgicas utilizadas para interpretar los resultados deben ser cuidadosamente descritas, con el fin de que queden claras las bases para el juicio valorativo. A5 Claridad del informe El informe de la evaluacin debe describir el objeto que se est evaluando y su contexto, a la vez que los propsitos, procedimientos y resultados de la evaluacin, con el fin de que las audiencias comprendan en seguida qu se ha hecho, cmo se ha hecho, qu tipo de informacin se ha obtenido, qu conclusiones se han sacado y qu recomendaciones se hacen. A6 Difusin del informe Los resultados de la evaluacin deben ser dados a conocer a los clientes y a otras audiencias interesadas o adecuadas, para que puedan valorar y utilizar las conclusiones. A7 Oportunidad del informe La difusin de los informes debe ser oportuna, con el fin de que las audiencias puedan hacer el mejor uso posible de la informacin recopilada. A8 Impacto de la evaluacin Las evaluaciones deben ser planificadas y dirigidas de manera que animen a la audiencia a continuar investigando por s misma. B Normas de viabilidad Las normas de viabilidad estn concebidas para asegurar que una evaluacin sea realista, prudente, diplomtica y moderada. Son stas:

LECTURAS COMPLEMENTARIAS B1 Procedimientos prcticos Los procedimientos evaluativos deben ser prcticos, para que los problemas sean mnimos y pueda obtenerse la informacin necesaria. B2 Viabilidad poltica La evaluacin debe ser planificada y dirigida conociendo las distintas posturas de los diferentes grupos de inters, con el fin de obtener su cooperacin, y para que cualq uier posible intento, por parte de alguno de estos grupos, de abreviar las operacione s evaluativas o de influir en los resultados o utilizarlos, pueda ser prevenido o contrarresta do. B3 Eficacia de los costes La evaluacin debe producir informacin con el valor suficiente como para justificar lo que ha costado. Normas de honradez Las normas de honradez estn concebidas para asegurar que una evaluacin sea realiza da legal y ticamente, y, a la vez, con el debido respeto por el bienestar de todos l os que intervienen en ella, as como de aquellos que estn interesados en las conclusiones. C1 Obligacin formal Las obligaciones de las partes formales de una evaluacin (qu hay que hacer, cmo hacerlo, quin debe hacerlo y cundo) deben ser plasmadas en un compromiso escrito, con el fin de que estas partes estn obligadas a cumplir todas las condiciones del compromiso o a renegociarlo formalmente. C2 El conflicto de intereses El conflicto de intereses, frecuentemente inevitable, debe ser afrontado abierta y honestamente, con el fin de que no interfiera en el proceso evaluativo y sus res ultados.

LECTURAS COMPLEMENTARIAS C3 Informes completos y claros Los informes orales o escritos de una evaluacin deben ser francos, directos y honestos en la revelacin de las conclusiones pertinentes, incluyendo las limitaciones de la evaluacin. C4 El derecho del pblico a saber Las partes formales de una evaluacin deben respetar y asegurar el derecho del pblico a saber, dentro de los lmites de unos principios y estatutos determinados, como por ejemplo la seguridad del pblico y el derecho a la intimidad. C5 Los derechos humanos Las evaluaciones deben ser preparadas y dirigidas de tal manera que sean respetados y protegidos los derechos y el bienestar de los seres humanos. C6 Relaciones humanas Los evaluadores deben respetar la dignidad y la integridad humanas en su trato con otras personas relacionadas con la evaluacin. C7 Informacin equilibrada La evaluacin debe ser completa y honrada en la presentacin de las virtudes y defectos del objeto de la investigacin, para que las virtudes puedan ser mejorada s y los problemas solucionados. C8 Responsabilidad fiscal La cuota del evaluador y los gastos efectuados deben reflejar los procedimientos econmicos del trabajo y, por otra parte, ser prudentes y ticamente responsables.

LECTURAS COMPLEMENTARIAS D Normas de precisin Las normas de precisin estn concebidas para asegurar que una evaluacin revele y transmita una informacin tcnicamente exacta acerca de las caractersticas del objeto que est siendo estudiado, para poder determinar su valor o su mrito. Estas normas son: D1 Identificacin del objeto El objeto de la evaluacin (programa, proyecto o material) debe ser examinado en profundidad, de manera que su(s) estructura(s) pueda(n) ser claramente identificada(s). D2 Anlisis del contexto El contexto en el que est incluido el programa, proyecto o material debe ser examinado en su ms mnimo detalle, con el fin de identificar sus posibles influencias sobre el objeto. D3 Descripcin de intenciones y procedimientos Las intenciones y los procedimientos de la evaluacin deben ser concebidos y descritos con todo detalle, de manera que puedan ser identificados y valorados. D4 Fuentes de informacin fiables Las fuentes de informacin deben ser descritas con todo detalle, para que pueda valorarse si la informacin es suficiente. D5 Determinar la validez Los instrumentos y procedimientos para la recopilacin de informacin deben ser escogidos o creados y luego utilizados de manera que aseguren que la interpretac in final es vlida para su uso. D6 Determinar la exactitud Los instrumentos y procedimientos para la recopilacin de informacin deben ser escogidos o creados y luego utilizados de manera que aseguren que la informacin obtenida es lo suficientemente exacta para ser utilizada debidamente.

LECTURAS COMPLEMENTARIAS D7 Control sistemtico de los datos Los datos recopilados, sistematizados y finalmente presentados en una evaluacin deben ser revisados y corregidos, con el fin de que los resultados de la evaluac in no sean inexactos. D8 Anlisis de la informacin cuantitativa La informacin cuantitativa de una evaluacin debe ser adecuada y sistemticamente analizada con el fin de asegurar que las interpretaciones sean fidedignas. D9 Anlisis de la informacin cualitativa La informacin cualitativa de una evaluacin debe ser adecuada y sistemticamente analizada con el fin de asegurar que las interpretaciones sean fidedignas. D1O Conclusiones justificadas Las conclusiones a las que se llegue en una evaluacin deben ser explcitamente justificadas, para que las audiencias puedan valorarlas. D11 Objetividad del informe Los procedimientos de las evaluaciones deben proporcionar las garantas suficiente s para proteger los resultados y los informes de la evaluacin contra la distorsin de los sentimientos e inclinaciones personales de cualquiera de las partes formales . FUENTE: The Joint Committee on Standards for Educational Evaluation. McGraw-Hill , 1981.

LECTURAS COMPLEMENTARIAS Las Normas del Joint Committee pueden aplicarse en cualquier etapa del proceso evaluativo: deben ser tenidas en cuenta, por ejemplo, a la hora de decidir si ha y que realizar la evaluacin o no, a la hora de planear la evaluacin y llevarla a cabo, a l presentar los resultados y al aplicar las conclusiones. Por lo tanto, la utilizacin de las Normas no slo sirve para controlar la calidad de un informe ya terminado, sino tambin como asesoramiento durante la realizacin de la evaluacin. Un segundo punto que hay que tener en cuenta es que las distintas normas son ms o menos importantes en cada et apa de la evaluacin. As, quienes utilicen las normas deben estudiarlas y analizarlas comparativamente con el fin de poder aplicarlas juiciosamente en cada una de las etapas de la evaluacin. El resumen de las treinta normas presentado en la tabla 1-1 es u n punto de partida, pero recomendamos al lector que consiga y estudie el texto completo. El trabajo del Joint Committee se ha basado en dos premisas bsicas: que la evalua cin es una actividad humana tan esencial como inevitable, y que la evaluacin solvente debe proporcionar una comprensin ms amplia y una mejora de la educacin. Adems, el comit se guio por la creencia de que una serie de normas concienzudamente elabora das puede desempear un papel vital a la hora de mejorar la prctica de la evaluacin educ ativa. En otras palabras: un papel metaevaluativo. Otro punto trascendental con respecto a las Normas del Joint Committee es que se trata de un documento vivo. Un comit permanente, formado por doce organizaciones y respaldado por el Centro de Evaluacin de la Universidad de Western Michigan, cont rola la utilizacin de las normas y carga con la responsabilidad de ponerlas al da y perfeccionarlas peridicamente. El comit anima a los usuarios para que les proporci onen informacin basada en crticas y, especialmente, en los usos ms actuales de las norma s. La historia1 Ninguna introduccin a la evaluacin entendida como una prctica profesional estar completa si no se presta la debida atencin a la evolucin histrica del tema. Cualqui er profesin, para poder satisfacer las necesidades de sus clientes, debe evolucionar de acuerdo con los cambios de las necesidades sociales y teniendo en cuenta todos l os 1. Este apartado sobre la historia de la evaluacin est basado en un anlisis de Geor ge Madaus y Daniel Stufflebeam, que aparece resumido en George MADAUS, Michael SCRIVEN y Daniel STUFFLEBEAM. Eva luation Models. Boston: Kluwer-Nijhoff, 1983

LECTURAS COMPLEMENTARIAS avances tericos y tcnicos. A menos que los miembros de una profesin elaboren y sostengan una perspectiva histrica sobre su trabajo, probablemente seguirn teniend o siempre una concepcin limitada de su funcin social, sin poder estimular la innovac in ni contribuir a ella. Se dice a menudo que los que no conocen su propia historia estn condenados a repetirla. Nosotros facilitaremos nicamente un breve esbozo histrico con el fin de informar al lector sobre los acontecimientos ms significativos ocur ridos en el campo de la evaluacin. Nuestro anlisis histrico se basa en un trabajo clave de Ralph W. Tyler (vase unidad 3), que a menudo es considerado el padre de la evaluacin educativa. Utilizando sus contribuciones iniciales como principal punto de referencia, hemos establecido c inco perodos bsicos: 1) el perodo pre-Tyler, que abarca hasta 1930; 2) la poca tyleriana, que va desde 1930 hasta 1945; 3) la poca de la inocencia , desde 1946 hasta 1957; 4)

la poca del realismo, que cubre el perodo 1958-1972; y 5) la poca del profesionalis mo, que incluye la evolucin experimentada desde 1973 hasta el presente. El perodo pretyleriano La evaluacin sistemtica no era desconocida antes de 1930, pero tampoco era un movimiento reconocible. El hecho de evaluar individuos y programas apareci, como mnimo, en el ao 2000 a. C., cuando algunos oficiales chinos dirigieron unas investigaciones de los servicios civiles, y en el siglo V a. C., cuando Scrates y otros maestros griegos utilizaron cuestionarios evaluativos como parte de su metodologa didctica. En el siglo XIX, en Inglaterra, se utilizaron comisiones reales para ev aluar los servicios pblicos. En 1845, en los Estados Unidos, Horace Mann dirigi una evaluacin , basada en tests de rendimiento, para saber si las escuelas de Boston educaban bi en a sus estudiantes. Entre 1887 y 1898, Joseph Rice estudi los conocimientos en ortog rafa de 33.000 estudiantes de un amplio sector escolar y sac la conclusin de que la gra n insistencia en la enseanza de la ortografa, que entonces estaba en boga, no haba producido avances sustanciales en el aprendizaje. Este estudio est generalmente reconocido como la primera evaluacin formal sobre un programa educativo realizado en Amrica. Tambin en los ltimos aos del siglo pasado, empez a crearse el movimiento para la acreditacin de instituciones educativas y programas en los Estados Unidos ; desde entonces, el proceso de acreditacin se ha convertido en uno de los principa les

LECTURAS COMPLEMENTARIAS medios para evaluar los servicios educativos. Una aproximacin aun mayor a la eval uacin se produjo, en los primeros aos de este siglo, con la aparicin de los tests estand arizados. Este acontecimiento formaba parte de un gran esfuerzo que pretenda que la educacin fuera ms eficiente para que un mayor nmero de estudiantes pudiera utilizar los rec ursos entonces disponibles en las escuelas. El breve resumen anterior viene a confirmar que la evaluacin sistemtica tiene una larga historia. Mientras que slo muy recientemente se ha llegado a considerar la evalua cin como una prctica profesional, buena parte del trabajo evaluativo moderno contina basndose en ideas y tcnicas que ya se aplicaban hace mucho tiempo, como por ejemplo las encuestas, las comisiones la acreditacin y las comparaciones experime ntales de varios programas. La poca tyleriana En los primeros aos de la dcada de los treinta, Ralph Tyler acu el trmino evaluacin educacional y public una amplia y renovadora visin del currculo* y la evaluacin. En un perodo de alrededor de quince aos, desarroll sus intuiciones hasta que conformaron un mtodo que supona una clara alternativa a otras perspectivas. La principal caracterstica de su mtodo era que se centraba en unos objetivos clara mente fijados. De hecho, defina la evaluacin como algo que determina si han sido alcanza dos ciertos objetivos. Como consecuencia de esta definicin, los evaluadores deban ayud ar a quienes elaboraban currculos para clarificar el rendimiento de los estudiantes, que haba sido precisamente determinado a travs de la realizacin de un currculo. Los obje tivos resultantes, referidos al rendimiento, proporcionaban entonces la base para elab orar un currculo y un test de desarrollo. La elaboracin del currculo quedaba as influida tan to por los contenidos que deban aprenderse como por la evolucin del rendimiento de lo s estudiantes. La tecnologa de los tests de desarrollo iba a servir de base para la elaboracin de tests relacionados con los objetivos, y tambin a los relacionados con las dife rencias individuales y con las normas nacionales o del estado. * Dado el significado amplio que tiene la palabra curriculum en ingls, utilizada en g eneral para designar todo aquello que gira en torno a la actividad docente y no slo al plan de estudios, he mos preferido conservarla, una vez castellanizada, a lo largo de toda la obra. (T.)

LECTURAS COMPLEMENTARIAS Durante la dcada de en las profundidades de cas, se estancaron en una elt intentaba con su New los treinta, los Estados Unidos, como el resto del mundo, cay la Gran Depresin. Las escuelas, como otras instituciones pbli ausencia total de recursos y optimismo. Justo cuando Roosev Deal sacar de este abismo a la economa americana, John Dewey

y algunos otros intentaron contribuir a que la educacin se convirtiera en un sist ema dinmico e innovador, que a la vez se fuera renovando a s mismo Con el nombre de Educacin Progresiva, este movimiento reflej la filosofa del pragmatismo y emple los instrumentos de la psicologa conductista. Tyler se vio metido de lleno en este movimiento cuando le encargaron dirigir la parte de investigacin del hoy famoso Eight-Year Study (Smith y Tyler, 1942). Este estudio fue pensado para examinar la efectividad de ciertos currculos renovadores y estrategi as didcticas que se estaban empleando en treinta escuelas a lo largo de toda Amrica. El estudio resulta notable porque ayud a Tyler a difundir, ensayar y demostrar su co ncepcin de la evaluacin educacional de una manera inmediata. A travs de este programa de mbito nacional, Tyler pudo publicar lo que l vea como un mtodo que tena claras ventajas sobre los dems. Desde el momento en que la evaluacin tyleriana inclua comparaciones internas entre los resultados y los objetivos, ya no necesitaba recurrir a costosas y problemticas comparaciones entre grupos de contr ol y grupos experimentales. El mtodo se centra en determinar el grado de xito, por lo q ue se opone a mtodos indirectos que determinan factores como la calidad de la enseanz a, el nmero de libros que hay en la biblioteca, los materiales y la participacin de l a comunidad. Y adems, las evaluaciones tylerianas no se ven demasiado afectadas por la fiabilidad de las diferencias entre las puntuaciones individuales de los alumnos ya que generalmente cubren una franja ms amplia de variables exgenas que las cubiertas po r los tests tipificados. Todos estos argumentos fueron bien recibidos por el secto r de la educacin americana, y a mediados de los aos 40 Ralph Tyler ya haba conseguido la categora suficiente como para ejercer una gran influencia sobre el panorama educa cional en los prximos veinticinco aos. La poca de la inocencia

Para la sociedad americana, los ltimos aos 40 y la dcada de los 50 fue un tiempo pa ra olvidar la guerra, dejar atrs la Depresin, crear y desarrollar aptitudes, adquirir

recursos, y lograr disfrutar de la

buena vida . Podramos haber calificado esta poca como el

LECTURAS COMPLEMENTARIAS perodo de expansin, pero hay que tener en cuenta que tambin exista una amplia complacencia a la hora de enjuiciar los graves problemas de aquella sociedad. Co mo consecuencia, creemos que es mejor referirnos a esta poca como al Perodo de la inocencia o incluso de la irresponsabilidad social. Adems de ser una poca de plenitud, este perodo fue un tiempo de pobreza y desesperacin en las ciudades del interior y en las reas rurales, pero al parecer c asi nadie, excepto los afectados, se dio cuenta. Fue un perodo de profundos prejuicio s raciales y de segregacin, pero gran parte de la poblacin blanca pareca inconsciente de esta enfermedad. Fue un perodo de exorbitado consumo y de gran despilfarro de los recursos naturales, sin tener en cuenta que un da de estos recursos iban a agotar se. Fue un perodo de un abrumador desarrollo de la industria y la capacidad militar, pero se tomaron muy pocas precauciones contra los perjuicios que iban a sufrir el paisaj e y las futuras generaciones. Ms que de la evaluacin educacional, se trat de una expansin de las ofertas educacionales, del personal y de las facilidades. Se construyeron nuevos edifici os. Aparecieron nuevos tipos de instituciones educativas, como los colegios comunita rios. Los pequeos distritos escolares se unieron a otros con el fin de proporcionar un ms amplio abanico de servicios educativos, como ya lo hacan los sistemas escolares ms grandes, incluyendo servicios para la salud mental y fsica, consejos escolares, c omedores; enseanzas musicales,amplios programas deportivos, educacin comercial y tcnica y educacin social. Se incrementaron desmesuradamente las inscripciones en los programas educativos para maestros y, en general, las inscripciones en los coleg ios aumentaron espectacularmente. Este panorama general de la sociedad y la educacin se reflej tambin en la evaluacin educacional. Mientras se produca esta gran expansin de la educacin, la sociedad no pareca tener un gran inters en formar profesores competentes, en localizar y soluc ionar las necesidades de los menos privilegiados o en identificar y solucionar los pro blemas del sistema educativo. Los educadores escriban sobre la evaluacin y sobre la recop ilacin de los datos ms importantes, pero, al parecer, no traducan estos esfuerzos en inte ntos de mejorar los servicios educativos. Esta falta de objetivos provoc tambin el retr aso de los aspectos tcnicos de la evaluacin. Hubo un considerable desarrollo de los instrumentos y estrategias aplicables a los distintos mtodos evaluativos, como lo s tests,

LECTURAS COMPLEMENTARIAS la experimentacin comparativa y la coincidencia entre resultados y objetivos . Como consecuencia, los educadores dispusieron de nuevos servicios de tests y de nueva s maneras de calificarlos, de algoritmos para designar objetivos de comportamiento , de taxonomas de objetivos, de nuevos modelos experimentales y de nuevos procedimient os estadsticos para analizar los datos educativos. Pero estas contribuciones no se d erivaban de un anlisis de la informacin necesaria para valorar y perfeccionar la educacin ni representaban un desarrollo de la experiencia escolar. Durante este perodo, las evaluaciones educacionales dependan, como ya lo haban hecho antes, sobre todo, de los lmites de los distritos escolares locales. Las es cuelas, pues, dependan del inters y la habilidad locales para poder hacer o no una evaluac in. Las agencias federales y estatales an no estaban demasiado introducidas en el cam po de la evaluacin de programas. Los fondos destinados a las evaluaciones provenan de las arcas locales, de fundaciones o de organizaciones profesionales. Esta ausenc ia de ayudas exteriores y de apoyos para la realizacin de evaluaciones en todos los niv eles de la educacin iba a concluir con la llegada del prximo perodo de la historia de la evaluacin. La poca del realismo La poca de la inocencia en la evaluacin tuvo un brusco final con el auge, a finale s de los aos 50 y principios de los 60, de las evaluaciones de proyectos de currculos a gra n escala, financiadas por estamentos federales. Los educadores se encontraron dura nte este perodo, con que ya no podan hacer o no hacer las evaluaciones a su antojo, y que los futuros progresos de las metodologas evaluativas deberan estar relacionados co n conceptos como utilidad y relevancia. Su violento despertar, en este perodo, marc el final de una era de complacencia y ayud a emprender profundos cambios, guiados po r el inters pblico y dependiendo del dinero de los contribuyentes para su financiacin, l o cual condujo a que la evaluacin se convirtiera en una industria y en una profesin. Como consecuencia del lanzamiento, por parte de la Unin Sovitica, del Sputnik 1 en 1957, el gobierno federal respondi promulgando la National Defense Education Act de 1958. Entre otras cosas, esta acta proporcion nuevos programas educativos en matemticas, ciencias e idiomas y cre servicios asesores y programas de encuestas

en los distritos escolares. Aparecieron, as, un cierto nmero de nuevos proyectos

LECTURAS COMPLEMENTARIAS nacionales para el desarrollo de currculos, especialmente en las reas de ciencias y matemticas. Finalmente, se asignaron fondos para evaluar estos programas. Los cuatro mtodos evaluativos expuestos hasta aqu estaban ya representados en las evaluaciones que se realizaron en este perodo. Primero, el mtodo Tyler fue usado para definir los objetivos de los nuevos currculos y para valorar el grado en que estos objetivos quedaban, ms tarde, alcanzados. Segundo, los nuevos tests estandarizado s de carcter nacional sirvieron para reflejar mejor los objetivos y los contenidos de los nuevos currculos. Tercero, el mtodo del criterio profesional fue usado para valora r las propuestas y verificar peridicamente los resultados. Finalmente, muchos evaluador es se comprometieron a evaluar los resultados del desarrollo del currculo a travs de pruebas concretas. A principios de los aos 60, algunos de los ms importantes evaluadores educacionale s se dieron cuenta de que su trabajo y sus conclusiones no ayudaban demasiado a lo s que elaboraban currculos, y no respondan a las preguntas sobre los programas que plant eaban aquellos que necesitaban comprobar su grado de efectividad. La flor y nata de la comunidad evaluativa educacional particip en estos esfuerzos para evaluar los nue vos currculos; estaban adecuadamente financiados y aplicaban cuidadosamente la tecnol oga que haba ido desarrollndose durante la pasada dcada o incluso antes. A pesar de tod o esto, empezaron a darse cuenta de que sus esfuerzos no tenan xito. Esta valoracin negativa qued perfectamente reflejada en un histrico artculo de Cronbach (1963: vase unidad 5). Examinando los esfuerzos evaluativos del pasado reciente, critic duramente los conceptos en los que se haban basado las evaluacion es por su falta de relevancia y utilidad, y aconsej a los evaluadores que abandonara n sus inclinaciones de entonces y se dedicaran a hacer evaluaciones basadas en comparaciones de los resultados obtenidos en tests tipificados, realizados por g rupos experimentales y de control. Cronbach recomend a los evaluadores que reconceptual izaran la evaluacin no como si se tratara de una carrera de caballos entre programas competidores, sino como un proceso consistente en recoger y formalizar informacin que pueda ayudar a quienes elaboran los currculos. Cronbach arga que el anlisis y la relacin de los resultados de un test podran ser, probablemente, de ms utilidad para los profesores que informales sobre el promedio del total de las calificaci ones. Cuando fue publicado por primera vez, el consejo de Cronbach y sus recomendacion es

LECTURAS COMPLEMENTARIAS pasaron inadvertidos durante mucho tiempo, exceptuando un pequeo crculo de especialistas en evaluaciones. De cualquier manera, el artculo era bsico y contena hiptesis sobre la conceptualizacin y la direccin de evaluaciones que iban a considerarse totalmente vlidas al cabo de muy pocos aos. En 1965, conducida por la clarividencia del senador Huben Humphrey, el carismtico liderazgo del presidente John Kennedy y la gran habilidad poltica del presidente Lyndon Johnson, se desencaden la Guerra contra la Pobreza. Estos programas invirtieron b illones de dlares en reformas que pretendan igualar y aumentar las oportunidades para todo s los ciudadanos de los Estados Unidos a travs de una amplia serie de servicios san itarios, sociales y educativos. La expansin de la economa permiti que el gobierno federal financiara estos programas, y se consigui un gran apoyo de toda la nacin para desa rrollar lo que el presidente Johnson llam la Gran Sociedad. Junto a este esfuerzo masivo para ayudar a los necesitados, se produjo, en ciert as regiones, una cierta preocupacin por el posible despilfarro de las inversiones si no se exigan algunos requisitos en la contabilidad. En respuesta a estas preocupaciones , el senador Robert Kennedy y algunos de sus colegas del Congreso promulgaron el Acta de la Educacin Elemental y Secundaria, de 1965, que inclua requisitos especficos para la evaluacin. Como resultado, el primer artculo de esa acta (que aspiraba a proporcio nar una educacin compensatoria a los nios menos favorecidos) exiga especficamente que cada distrito escolar recibiera fondos, basndose en ese artculo, para que eval uara anualmente hasta qu punto los proyectos que haba realizado al amparo del artculo I haban alcanzado sus objetivos, todo ello utilizando los datos de tests debidament e estandarizados. Este requisito, con su referencia especfica a las encuestas y a l a valoracin de la congruencia entre resultados y objetivos, refleja cmo se encontraba la eval uacin educacional en aquella poca. Y, lo que es ms importante, el requisito oblig a los educadores a que trasladaran sus preocupaciones, en lo que se refiere a la evalu acin educacional, desde el campo de la teora y las suposiciones al de la prctica y el perfeccionamiento. Cuando los distritos escolares empezaron a responder a los requisitos evaluativo s del artculo I, comprobaron rpidamente que los instrumentos y estrategias, que empleaba n entonces los evaluadores, resultaban totalmente inapropiados para aquel trabajo. Los tests estandarizados que se haban elaborado con el fin de determinar el promedio del gr ado de

LECTURAS COMPLEMENTARIAS conocimientos de los estudiantes no sirvieron para casi nada cuando hubo que dia gnosticar las necesidades y valorar los avances de los nios menos favorecidos, cuyo desarro llo educativo se encontraba muy por detrs del de sus compaeros de clase media. Adems, dichos tests eran relativamente inadecuados para discernir las diferencias entre escuelas y programas, principalmente a causa de sus propiedades psicomtricas y el alcance de sus contenidos. En lugar de determinar los resultados directamente relacionados con una escuela o un programa en concreto, estos tests determinaban , en el mejor de los casos, el grado de aprendizaje, centrndose casi en los mismos ras gos que los tests de aptitudes (Kella Ghan, Madaus y Airasian, 1980). La utilizacin de tests estandarizados plante otro problema: un mtodo de evaluacin como ste se opona a los preceptos del mtodo tyleriano. Desde el momento en que Tyler reconoca y enfatizaba las diferencias entre los objetivos de un lugar u otr o, a este modelo le resultara difcil adaptar a todo el mbito nacional sus programas de tests estandarizados. Para ser comercialmente viables, estos programas regularizados d eban olvidar ciertos objetivos bastante extendidos e importantes para ciertos lugares , en favor de otros que eran importantes para la mayora de los distritos. Es ms, haba una esca sez de informacin acerca de las necesidades y niveles de xito de los nios menos afortunados, lo cual limitaba a los profesores a la hora de fijar objetivos de c omportamiento que fueran significativos para este grupo de alumnos. Los intentos de aislar los efectos del artculo I a travs de la utilizacin de planes establecidos por grupos de control o experimentales fallaron, debido, principalm ente, a la incapacidad de cumplir los requisitos de estos planes. Y las inspecciones in situ realizadas por expertos aunque fueron muy utilizadas p or responsables gubernamentales no resultaron aceptables como primera estrategia evaluativa porque se consider que este mtodo estaba falto de la objetividad y el r estipulados en la legislacin de la ESEA. Cuando se informaba de que no se haba llegado a ninguna conclusin, lo cual ocurra frecuentemente, se daba muy poca informacin acerca de los procedimientos empleados y, a menudo, no se proporcionab an datos sobre cmo se haban llevado a cabo. Frecuentemente, el nfasis puesto en las puntuaciones de los tests desviaba la atencin del examen de los procedimientos o de su ejecucin.

rigo

LECTURAS COMPLEMENTARIAS Como resultado de la creciente inquietud producida por los esfuerzos realizados en las evaluaciones con resultados siempre negativos, el Phi Delta Kappa cre el National Study Committee on Evaluation (Stufflebeam y otros, 1971). Tras examinar el panorama, este comit concluy que la evaluacin educacional era vctima de una grave enfermedad y recomend el desarrollo de nuevas teoras y mtodos de evaluacin, as como nuevos programas para preparar a los propios evaluadores. Al mismo tiempo, empezaron a aparecer nuevas conceptualizaciones sobre la evaluacin. Provus (1971), Hammon (19 67), Eisner (1967) y Metfessel y Michael (1967) propusieron una reforma del modelo Ty ler. Glaser (1963), Tyler (1967) y Popham (1971) recomendaron los tests basados en cr iterios como una alternativa a los tests basados en normas. Cook (1966) pidi la utilizacin del mtodo de anlisis sistemtico para la evaluacin de programas. Scriven (1967), Stufflebeam (1967, 1971) y STAKE (1967) crearon nuevos modelos de evaluacin que s e alejaban radicalmente de los mtodos anteriores. Estas conceptualizaciones reconoca n la necesidad de evaluar las metas, examinar las invasiones, y analizar el perfec cionamiento y la prestacin de los servicios, as como determinar los resultados que se desean ( o no se desean) obtener del programa. Tambin insistieron en la necesidad de enjuiciar el mrito o el valor del objeto de la evaluacin. Los ltimos aos de la dcada de los 60 y l os primeros de la de los 70 vibraron con las descripciones, discusiones y debates a cerca de cmo deba ser concebida la evaluacin. Las unidades que siguen tratan en profundidad los mtodos alternativos que empezaron a tomar forma en este perodo. La poca del profesionalismo Aproximadamente en 1973, el campo de la evaluacin empez a cristalizar y a emerger como una profesin diferenciada de las dems, relacionada con (pero tambin distinta de) sus antecedentes de investigacin y control. El campo de la evaluacin ha avanza do considerablemente como profesin, aunque es instructivo considerar su desarrollo e n el contexto del perodo anterior En aquellos momentos, como ya hemos explicado, los evaluadores se enfrentaban a una crisis de identidad. No saban muy bien cul era su papel, si deban ser investigadore s, adiestradores de tests, profesores, organizadores o filsofos. Cualquier calificac in especial que se les pudiera dar no resultara clara. No existan organizaciones profesionales dedicadas a la evaluacin entendida como especialidad, ni tampoco publicaciones

LECTURAS COMPLEMENTARIAS especializadas a travs de las cuales los evaluadores pudieran intercambiar inform acin acerca de su trabajo. Esencialmente, no exista literatura acerca de la evaluacin educacional, excepto trabajos inditos que circulaban nicamente entre crculos de especialistas. Haba muy pocas oportunidades de prepararse para ejercer un servici o evaluativo. Las normas claras para una buena prctica se vean confinadas a las encu estas educacionales y psicolgicas. El campo de la evaluacin era amorfo y fragmentado. Muchas evaluaciones estaban dirigidas por personal sin preparacin, otras por investigadores metodolgicos que intentaban sin xito adaptar sus mtodos a las evaluaciones educativas (Guba, 1966). Los estudios evaluativos estaban cargados de confusin, ansiedad y hostilidad. La evaluacin educacional como especialidad tena poca talla y ninguna dimensin poltica. Con este teln de fondo, el progreso realizado por los evaluadores educacionales p ara profesionalizar su especialidad durante los aos 70 es totalmente destacable. Algu nas publicaciones, como Educational Evaluation and Policy Analysis, Studies in Evalu ation, CEDR Quarterly, Evaluation Review, New Directions for Program Evatuation, Evalua tion and Program Planning y Evaluation News, aparecieron en aquella poca, y luego han demostrado ser excelentes vehculos para recoger y difundir informacin acerca de la s diversas facetas de la evaluacin educacional. A diferencia de lo que ocurra quince aos atrs, numerosos libros y monografas tratan ahora exclusivamente de la evaluacin. De hecho, el problema actual no es encontrar literatura sobre la evaluacin, sino seg uir el ritmo de lo que se publica. El grupo May 12, la Division H de AERA, la Evaluatio n Network y la Evaluation Research Society han proporcionado excelentes oportunidades para que pueda establecerse un intercambio profesional entre personas relacionadas con la evaluacin y otros programas. Muchas universidades han empezado a ofrecer por lo menos un curso de metodologa evaluativa (distinguindola de la metodologa investigativa). Unas pocas como la Univ ersidad de Illinois, la Universidad de Stanford, el Boston College, la UCLA, la Universi dad de Minnesota y la Universidad de Western Michigan han elaborado programas para graduarse en evaluacin. Durante siete aos, la Oficina de Educacin de los Estados Unidos patrocin un programa nacional de preparacin para el servicio evaluativo destinado a educad ores especiales (Brinkerhoff y otros, 1983), y otras organizaciones profesionales han ofrecido talleres e institutos que tratan distintos temas relacionados con la evaluacin. S e han fundado centros para la investigacin y el desarrollo de la evaluacin, entre los qu e se

LECTURAS COMPLEMENTARIAS encuentran la unidad de evaluacin del Northwes; Regional Educational Laboratory, el Center for the Study of Evaluation de la UCLA, el Stanford Evaluation Consortium, el Ce nter for Instructional Research and Curriculum Evaluation de la Universidad de Illinois, el Evaluation Center de la Universidad de Western Michigan y el Center for the Study of Testin g, Evaluation, and Educational Policy del Boston College. El estado de Louisiana ha establecido un sistema y un programa para la titulacin de evaluadores, Massachusetts est trabajan do actualmente en un programa evaluativo similar y Dick Johnson (1980) ha elaborado un primer borrador de una gua telefnica de evaluadores y agencias de evaluacin. De un modo creciente, la especialidad est considerando la metaevaluacin (Scriven 1975; Stufflebeam, 1978) como un medio para asegurar y comprobar la calidad de l as evaluaciones. Como ya se ha indicado, un comit (Joint Committee, 1981), formado p or doce organizaciones profesionales, ha publicado una clarificadora serie de norma s para juzgar las evaluaciones de los programas educativos, proyectos y materiales, y h a establecido un mecanismo (Joint Committee, 1981) para repasar y revisar las Norm as y facilitar su uso. Adems, se han publicado muchos otros grupos de normas important es para la evaluacin educacional (Evaluation News, mayo de 1981). Y han aparecido mu chas tcnicas nuevas, tal y como se describe a lo largo de este libro. Este considerable desarrollo profesional de la evaluacin educacional ha producido diversos resultados. Primero, al producirse un indudable aumento y mejora de la comunicac in en la especialidad, ha aparecido tambin una enorme cantidad de chchara (Cronbach, 1980). Segundo, aunque la preparacin y titulacin de evaluadores ha mejorado con el fin de que las instituciones puedan disponer de servicios realizados por personas cu alificadas, algunos lamentan que este desarrollo pueda reducirse a una especie de club cerra do y exclusivista (Stake, 1981). Tercero, la cooperacin entre organizaciones profesion ales relacionadas con la evaluacin educacional, promovida por el Joint Commitee on Sta ndards for Educational Evaluation, es un prometedor pero frgil compromiso para fomentar la ejecucin y utilizacin de trabajos evaluativos de alta calidad. Cuarto, mientras la creacin de nuevas organizaciones profesionales ha incrementado la comunicacin y reducido la fragmentacin de la especialidad evaluativa, an persiste una profunda divisin entre la Divisin H de AERA, la Evaluation Network y la Evaluation Research Society. Finalm

ente, aunque se ha incrementado la comunicacin entre los partidarios de los mtodos positivistas/cuantitativos y los que proponen mtodos fenomenolgicos/cualitativos, existe, actualmente, el peligro de que se produzca una polarizacin entre estos dos campos .

LECTURAS COMPLEMENTARIAS A pesar de la creciente bsqueda de mtodos adecuados, del incremento de la comunicacin y el entendimiento entre los principales tericos, y del desarrollo de nuevas tcnicas, la prctica actual de la evaluacin ha cambiado muy poco en la mayora de los casos. Est claro que es necesario renovar los esfuerzos para educar a los evaluad ores en las nuevas tcnicas, para poner a prueba e informar de los resultados conseguid os mediante estas nuevas tcnicas y para desarrollar tcnicas adicionales. En todos est os esfuerzos, debe ponerse el nfasis en conseguir que la metodologa responda a las necesidades de los profesionales y de aquellos a quienes sirven. Hemos presentado la evaluacin educacional como una profesin dinmica y an en desarrollo. Aunque se trata de una profesin an inmadura, no hay duda de que poco a poco se va convirtiendo en una parte identificable del amplio aparato profesiona l y gubernamental de educacin, salud y bienestar. La prediccin que se sola hacer en los aos 60, en el sentido de que la evaluacin de programas formalizada era slo una moda que pronto desaparecera, ha demostrado ser falsa, y hay fuertes indicios de que e sta especialidad continuar creciendo en importancia, complejidad y valor. Los logros alcanzados desde el final de la dcada de los sesenta son importantes, pero an exis ten muchas deficiencias obvias y son necesarias una investigacin y evolucin constantes . Reparto de papeles en el trabajo evaluativo Hasta aqu hemos presentado y discutido una definicin bsica de la evaluacin, descrito algunos de los mtodos relacionados con el trabajo evaluativo, sealado las normas d e esta profesin y proporcionado un panorama histrico. Hecho esto, concluiremos echan do un vistazo a los papeles que se desempean en una evaluacin. Tanto si una evaluacin es dirigida por una persona como s lo es por muchas, deben desempearse unos cuantos papeles, y cuando se considera el trabajo relacionado co n apoyar y promover la evaluacin como profesin, este abanico de papeles se convierte en uno mucho ms amplio. Todos los que estn relacionados con la evaluacin, ya sea en general o como especialistas, deben tener una amplia visin de todos estos papeles con el fin de que su participacin y su colaboracin se integren en la labor de grupo. Q uizs nada sea tan destructivo con respecto a la potencial contribucin en una evaluacin como el hecho de pensar que esa evaluacin es una investigacin independiente realiz ada

LECTURAS COMPLEMENTARIAS por un solo investigador. Por el contrario,la evaluacin alcanza su mejor momento cuando se desarrolla como un trabajo de equipo. Con la intencin de proporcionar un amplio panorama del trabajo, relacionado con l as evaluaciones individuales y con la profesin evaluativa en general, hemos descrito doce papeles bsicos. Aunque otros autores describan un panorama distinto y le asignen funciones diferentes, nosotros creemos que nuestra clasificacin de papeles abarca muchas, sino todas, de las responsabilidades laborales que los evaluadores puede n llevar a cabo. Es ms, en nuestra experiencia, esos doce papeles se han asociado con la actual distribucin del trabajo. Desde luego, no siempre existe una correspondenci a unvoca entre papel y trabajo, pero creemos que esos doce papeles pueden resultar tiles p ara el lector, no slo para que reflexione sobre la amplia serie de actividades evaluativ as existentes, sino tambin para que tenga en cuenta los posibles estudios que se pue den realizar en torno a la evaluacin. Lo que sigue, pues, son unas breves definicione s de los doce papeles bsicos que pueden desempearse en una evaluacin. El cliente de la evaluacin Cualquier evaluacin de utilidad implica la plena participacin de un cliente. Esto es cierto tanto si el estudio est dirigido por una persona para servir a sus propios propsitos como si lo est por muchas. El cliente es la persona o grupo que utilizar los resul tados para algn propsito, como la seleccin o el perfeccionamiento de un programa. El grup o de los clientes incluye tanto a quien haya encargado la evaluacin, en primer luga r, como a todos aquellos que esperan los resultados para hacer uso de ellos. De una form a u otra, el tiempo y los reccuos requeridos para una evaluacin son proporcionados por el c liente o por una o ms personas pertenecientes a un grupo de clientes. Los clientes son, tambin, el origen crucial de las cuestiones planteadas y de los criterios emplead os para interpretar los resultados; tambin tienen la responsabilidad primordial de aplica r las conclusiones; y, a menudo, una evaluacin no puede realizarse si el cliente no lo dispone todo con mucho cuidado y trata de asegurar que existir una plena cooperacin entre todos los que intervienen en el trabajo. Puede encontrarse una gran variedad de clientes en las organizaciones educativas , sociales y de la salud. Esto incluye, por ejemplo, inspectores de distritos escolares, ad ministradores hospitalarios y directores de agencias; directores de colegios, presidentes de d

epartamento

LECTURAS COMPLEMENTARIAS y administradores de becas; y maestros, psiclogos y mdicos. Si la evaluacin consist e en contribuir al mximo a la hora de proporcionar servicios meritorios y vlidos a l a gente, debern intervenir y aprovecharse toda esta serie de clientes. Adems, creemos que d eben estar activamente comprometidos en el encargo y la planificacin de las evaluacion es, con el fin de obtener la informacin que necesitan para hacer bien sus trabajos. Por l o tanto, para satisfacer estas expectativas, deben estar adecuadamente preparados, tanto como todas aquellas personas que van a realizar los otros once papeles. Queremos subr ayar que, quizs, la misin ms importante de los programas de preparacin para una evaluacin tanto para antes del servicio como para su realizacin es ensear a los clientes de la evaluacin a cumplir con sus responsabilidades. Si no tienen un concepto slido de l a evaluacin, probablemente no intervendrn en ella, se mostrarn pasivos, no sabrn utili zarla para conseguir sus propsitos o considerarn que los resultados tienen poco inters. E n cambio, los clientes entendidos pueden ayudar a asegurar que la evaluacin sea un instrumento til y poderoso para garantizar la calidad de los servicios profesiona les. El diseador de la evaluacin Uno de los aspectos ms fascinantes del trabajo evaluativo es que se trata de una empresa creativa. Disear una evaluacin para satisfacer la demanda de informacin de un clien te es algo ms que un proceso mecnicamente rutinario. Entre otras responsabilidades, debe conceptualizar las cuestiones que sern abordadas, examinar el panorama poltic o, trazar una recopilacin de datos y un plan de anlisis, idear los informes y el proc eso informativo, encargarse del aspecto financiero y del personal y determinar cmo de ben ser empleadas las normas profesionales de la evaluacin. Para solucionar todo este complejo entramado de decisiones de planificacin, no bastan modelos de otras evaluaciones o planes ya publicados. Por el contrario, el diseo tpico de una evalu acin consiste en un continuo proceso conceptual. Para disear una buena evaluacin, se debe ser un observador sensible de los ambient es sociales, saber entrevistar y escuchar, y estudiar con voluntad y capacidad lo e sencial del programa que va a ser examinado. El evaluador debe ser tambin experto en un amplio campo de tcnicas comunicativas y de encuestas, y capaz de reunir las disti ntas piezas de las premisas y la informacin en planes de trabajo que sean prcticos, coherentes y que sirvan como guas racionales.

LECTURAS COMPLEMENTARIAS Debemos considerar el papel del diseador de la evaluacin como el ms importante del trabajo evaluativo, junto con el del cliente. Aquellos que se convierten en expe rtos en diseo evaluativo, a menudo, trabajan todo el tiempo como evaluadores y estn muy solicitados como asesores para ayudar a los clientes de una evaluacin a planifica r y encargar los estudios evaluativos. Las conceptualizaciones generales sobre la evaluacin presentadas en las unidades 3 a 10 proporcionan un importantsimo material de estudio a todos aquellos que deseen adquirir mayor facilidad para conceptualizar planes de evaluacin. Adems de estudiar las contribuciones creativas de otros, subrayamos que el desarrollo de la capacidad para disear evaluaciones requiere prctica: se necesita haber participado en la planific acin de muchas evaluaciones. Creemos que esta prctica debe incluir algn trabajo individ ual con un cliente. Adems, se puede aprender mucho colaborando con grupos encargados del diseo de evaluaciones. Igualmente, el estudio de un gran nmero de diseos evalua tivos preparados por otros proporciona muchos buenos ejemplos de intuiciones acerca de esta compleja rea de trabajo. Creemos que estos programas de preparacin para evaluacion es deben incluir ejercicios y otras formas de guas prcticas para la planificacin de evaluaciones. El coordinador de la evaluacin Muchas evaluaciones requieren los esfuerzos de varios participantes, y la utiliz acin de considerables recursos y servicios para mltiples clientes. Por lo tanto, se hace necesario coordinar de un modo eficaz todo este trabajo. Esta necesidad se ampla cuando una determinada agencia tiene en preparacin varios proyectos de evaluacin distintos. N o es sorprendente, por lo tanto, que la profesin incluya muchos trabajos evaluativos c on nombres como ayudante del supervisor de la evaluacin, coordinador de proyectos evaluativo s, director del departamento de evaluacin o director de personal del proyecto de evaluacin. Este papel implica que las personas especializadas en evaluaciones deben tambin prepararse para funciones administrativas, e igualmente que aquellos a quienes s e les asigne un trabajo administrativo relacionado con la evaluacin deben poseer o adqu irir conocimientos bsicos sobre la planificacin de evaluaciones. Finalmente, creemos qu e las ms importantes instituciones educativas, sanitarias y sociales deben, a menud o, dirigir sus esfuerzos hacia la creacin de grupos administrativos competentes.

LECTURAS COMPLEMENTARIAS Asistentes de la evaluacin Frecuentemente, uno de los papeles ms importantes a menudo independientes de la evaluacin es el del asistente. Este papel supone contactos peridicos con los clien tes, revisiones de los documentos del programa, inspecciones de las actividades del p rograma, hacer entrevistas y recoger otro tipo de informaciones acerca de las partes, red actar informes y asumir la principal responsabilidad a la hora de presentar los inform es. A veces, el asistente es el encargado de realizar la planificacin del estudio compl eto. En otros casos, l o ella tiene una responsabilidad menor. Pero siempre estar encargad o de colaborar con el personal del programa y de cooperar en la realizacin de la pl anificacin del estudio. Para desempear el capacidad para las o deben poseer o ser s y ante todos aquellos que papel de asistente se requieren tanto habilidad tcnica como relaciones humanas. Adems, las personas asignadas a este puest capaces de desarrollar una gran credibilidad ante los cliente participan en la realizacin del programa.

Respondedores de la evaluacin Se trata de un papel al que, generalmente no se le concede mucha importancia. So n las personas que rellenan los formularios, responden los tests, contestan las entrev istas y permiten que los observen en su trabajo. En muchos casos, la calidad de la infor macin obtenida depende casi por completo de su buena voluntad para cooperar y dar lo m ejor de s mismos. Es improbable que realicen cualesquiera de estas tareas si no estn infor mados acerca de su papel y convencidos de la importancia del estudio. Como consecuenci a, quienes estn al frente de las evaluaciones deben hacer un esfuerzo especial para asegurar que el estudio servir de algo a estos colaboradores, tal y como ocurre con los cl ientes. Tambin deben cuidar que las actividades que promuevan los motiven y preparen para responder apropiadamente. Especialistas en ayuda tcnica La mayor parte de las evaluaciones supone una cierta cantidad de trabajo tcnico q ue requiere la ayuda de expertos especializados. Por ejemplo, puede ser necesario s upervisar

LECTURAS COMPLEMENTARIAS y anotar los resultados de unas entrevistas; crear, proporcionar y utilizar inst rumentos para una recopilacin de datos estructurada; analizar tanto la informacin cuantitat iva como la cualitativa; y realizar presentaciones audiovisuales de los resultados. En las evaluaciones a pequea escala, un simple evaluador puede, a menudo, hacer todas estas tareas sin asistencia especializada. El agente evaluador est obligado a coordinar y realizar todos los trabajos que sean necesarios, as como a dominar to das las tcnicas especializadas que se requieran. Este tipo de agente necesita una amp lia preparacin que le introduzca en las ms importantes de estas especialidades. A menu do, esta persona debe ser capaz de coordinar la asistencia de los especialistas cual ificados. De todas maneras, es inevitable que los estudios a gran escala contraten especia listas para llevar a cabo estas tareas con el fin de que los asistentes puedan concentr ar sus esfuerzos en su propio campo de trabajo: los clientes y los respondentes. Este g rupo de expertos puede incluir especialistas en la elaboracin de pruebas, especialistas e n muestreos, especialistas en el procesamiento de datos, estadsticos, especialistas en el estudio de casos y redactores tcnicos. Especialistas en informacin Un papel tcnico que hemos escogido para dedicarle una atencin especial es el del especialista en informacin. Y lo hemos hecho porque ese papel supone una continua necesidad de informacin relacionada con otras evaluaciones y no con problemas tcni cos determinados. El especialista en informacin es especialmente importante en las ag encias que disponen de departamentos de evaluacin. Las evaluaciones dirigidas desde esto s departamentos deben tomar en consideracin el panorama institucional y su contexto histrico, examinar los descubrimientos del pasado y de la actualidad para determi nar las tendencias y evitar una innecesaria pluralidad de esfuerzos en lo que se ref iere a la recopilacin de datos. Es necesario, como mnimo, un buen sistema para ordenar y archivar los informes de manera que la informacin que contienen pueda ser fcilment e consultada en futuras evaluaciones. Adems, muchas agencias se beneficiaran de una recopilacin regular de informacin que las ayudara a estar totalmente al corriente d e entradas de datos, procesos y producciones, as como de la actitud de sus componen tes hacia los servicios de la agencia.

LECTURAS COMPLEMENTARIAS El desempeo del papel de especialista en informacin requiere que el evaluador, o u no o ms miembros del equipo de evaluacin, conozca bien las ciencias informativas. Eso supone conocimientos y tcnicas en reas como la comunicacin, los sistemas de informacin, el proceso de datos, la contabilidad financiera y la planificacin de g ran alcance. Las personas que piensan especializarse en evaluacin deben adquirir un d ominio general de las especialidades de la informacin, mientras que un cierto tipo de tr abajo correspondiente a esta rea resulta importante incluso para las evaluaciones ms sen cillas. Adems, los departamentos de evaluacin deben, a menudo, asignar una o ms personas para el cumplimiento de esta importante funcin. Especialistas en comunlcacin La evaluacin bien hecha es una comunicacin efectiva acerca del mrito y el valor de algn objeto. Esto quiere decir que los problemas de los clientes guan el trabajo de lo s evaluadores, y las conclusiones de estos llegan hasta tos clientes para informarlos. Ninguno de estos objetivos se hace posible sin una comunicacin efectiva entre el evaluador y el cl iente. Ocurre demasiado a menudo, de todas formas, que la comunicacin efectiva se pierde en el trabajo evaluativo. Los evaluadores y los clientes asumen que los primeros co nocen su oficio y, de algn modo, obtendrn y facilitarn las conclusiones adecuadas; en lugar de eso, los evaluadores, regularmente, se ocupan de las cuestiones equivocadas. Por otra parte, los evaluadores deben hacer un buen trabajo consiguiendo que los clientes ayuden a centrar la evaluacin y a recopilar una informacin que resulte slida y potencialme nte til, para luego pasarles la pelota y que sean ellos los que, sin ayuda, interpreten y apliquen la informacin. Desearamos dejar totalmente claro que la evaluacin efectiva supone no slo recopilar y analizar la informacin apropiada, sino tambin asegurar, a travs de una efectiva tecnologa comunicativa, que la informacin sea presentada de u na forma til y utilizada en consecuencia. Sabemos que los evaluadores no deben ser considerados responsables de todas las falsas interpretaciones y empleos errneos que se han hecho de sus informes, pero s, entre otras cosas, de asegurarse de que sus informes sean relevantes para los intereses de sus audiencias y de que puedan en tenderlos. Todo esto requiere que los evaluadores tengan conocimientos sobre tecnologas de l a comunicacin. Bsicamente, deben ser capaces de preparar informes escritos con clari

dad y que estn dirigidos a

y resulten comprensibles para la audiencia o audiencias que

LECTURAS COMPLEMENTARIAS los han solicitado. Tambin deben saber cmo comunicar conclusiones a travs de medios distintos del material impreso: por ejemplo, deben saber cmo hablar en pblico, uti lizar tcnicas audiovisuales y servirse de los medios pblicos. Finalmente, queremos sealar que deben poseer conocimientos sobre el anlisis poltico y la solucin de conflictos, ya que, a menudo, las evaluaciones son objeto de controversia. El papel del especialista en comunicacin tiene considerables implicaciones para l a preparacin de los evaluadores, su utilizacin de los especialistas y la eleccin de p ersonal en los departamentos de evaluacin. Sin duda, los evaluadores deben adquirir prepa racin en una amplia serie de tcnicas comunicativas. En su prctica, deben, como mnimo, someter los borradores de sus informes al juicio de los editores. Y los departam entos de evaluacin, a menudo, deben emplear a especialistas en comunicacin para que asesore n la planificacin de las evaluaciones y la presentacin de las conclusiones. Estos especialistas tambin desempean un importante papel a la hora de evaluar y ayudar a mejorar el exhaustivo trabajo de un departamento de evaluacin, comunicando los resultados a sus clientes. El anlisis de los papeles realizados hasta este punto ayuda a clarificar la compl ejidad del trabajo evaluativo. Una gran agencia, que deba someter continuamente a evalu aciones a sus exhaustivos servicios, puede que necesite un personal completo de especial istas en evaluacin. La figura 1-1 es un ejemplo de cmo debe estar organizado el departam ento de evaluacin de una agencia para que cumpla a la perfeccin las diversas funciones de una evaluacin. Como puede verse en ese esquema organizativo, el coordinador de la evaluacin tiene la responsabilidad de satisfacer las necesidades evaluativas de l a agencia y de sus componentes. Para ayudarle en el desempeo de este papel, el coordinador de la evaluacin dispone de los esfuerzos de distintos especialistas. Que los servici os del departamento sean tcnicamente slidos e influyentes, depende de hasta qu punto su trabajo est coordinado de un modo efectivo. Al mismo tiempo, queremos subrayar qu e la evaluacin debe, a menudo, estar realizada por un solo evaluador. Para hacer bi en su trabajo, debe llegar a desenvolverse bien en toda la amplia gama de papeles ya d escritos. Probablemente, la mejor manera de encontrar y aprender el modo de conocer bien t oda la gama de papeles de una evaluacin es dirigiendo evaluaciones de una sola persona b ajo la tutela de un experto en evaluaciones. Participar en equipos de evaluacin tambin

proporciona excelentes oportunidades de aprender. Los evaluadores deben ser inve ntivos a la hora de utilizar la ayuda de los especialistas, que pueden resultarles bara tos e

LECTURAS COMPLEMENTARIAS incluso no costarles nada. Hasta el Llanero Solitario consideraba necesario y be neficioso colaborar con un socio leal y capaz. Llegados a este punto en el anlisis de los papeles en una evaluacin, slo hemos examinado aquellos que corresponden a una evaluacin efectiva. Ahora vamos a ver o tros cuatro que actan como papeles secundarios en la profesionalizacin de la evaluacin. Preparador de la evaluacin A lo largo del anlisis precedente, nos hemos ido refiriendo a la necesidad de una buena preparacin por parte de aquellos que participan en una evaluacin. Estas necesidade s incluyen tanto la orientacin hacia unos planes de evaluacin especficos como el desa rrollo de unas tcnicas y conocimientos ms generalizados, y, ms concretamente, los conocimientos que se adquieren examinando una prctica determinada. Adems, la necesidad de una preparacin corresponde tanto a los especialistas como a los clie ntes y a los respondedores. Clientes y respondedores de la evaluacin Figura 1-1 Esquema organizativo

LECTURAS COMPLEMENTARIAS La evaluacin, como cualquier otra profesin, debe asegurarse de que los que partici pan en ella disfruten de una amplia gama de slidas oportunidades para prepararse bien. E sto incluye programas de preparacin especializada que culminan en una titulacin; curso s auxiliares que estn concebidos para asesorar a todos aquellos que se estn preparan do para una serie de funciones profesionales como supervisores, asistentes sociales, profesores y mdicos sobre la evaluacin de sus propios servicios profesionales; cont inuas oportunidades educativas para evaluadores y especialistas, y sesiones orientativ as sobre estudios especficamente evaluativos destinados a clientes y respondedores. Este t ipo de preparacin debe presentar un contenido actual que resulte vlido para los problemas concretos que debern enfrentar los aprendices. Sin duda, la preparacin es un papel crucial para mantener y hacer progresar la calidad de los servicios evaluativos. Investigador evaluativo La misin de cualquier profesin es servir a sus clientes de la mejor manera posible , y la realizacin de este imperativo se ve siempre limitada por el estado actual de los conocimientos acerca de la especialidad. Por lo tanto, todas las profesiones deb en tener un carcter investigativo. Los profesionales deben estudiar las necesidades relaci onadas con la profesin y los problemas de los clientes, examinar sus prcticas a la luz de los conocimientos y principios de las disciplinas ms relevantes, analizar su trabajo en su contexto histrico, teorizar sobre los servicios profesionales y hacer avanzar los conocimientos sobre su especialidad a travs de un anlisis estructurado de sus principales premisas e hiptesis. Los programas de investigacin ms extensos se dan en las profesiones ms veteranas, como la medicina y el derecho, o los negocios y la industria. En el primer caso, la investigacin, bajo la influencia de la tica profesional, se u tiliza para rendir el mejor servido posible. En el segundo, la principal motivacin es la obtencin de beneficios y la supervivencia en un mundo competitivo. Ambas reas son muy conscientes de que un mejor servicio y la competitividad dependen casi totalment e de un programa de investigacin dinmico y adecuado. Aunque la evaluacin es tan antigua como la civilizacin, slo desde hace muy poco tiempo existe como prctica formal. nicamente en las dos ltimas dcadas se han

LECTURAS COMPLEMENTARIAS realizado serios esfuerzos para recopilar la historia de la especialidad, teoriz ar sobre la prctica evaluativa y planificar estudios que resulten adecuadamente descriptivos y se basen en hiptesis apropiadas. Pero existe, y debe existir, una fuerte tendencia h acia el establecimiento y mantenimiento de una base investigativa para la especialidad. Esta tendencia es especialmente evidente en la gran cantidad de literatura aparecida sobre la especialidad evaluativa, aunque gran parte de este material no puede calificarse como investigativo. En cualquier caso, queremos subrayar que la investigacin evaluativ a es una funcin vital para asegurar que los evaluadores mejoren progresivamente sus se rvicios y sus resultados. Promotor de la evaluacin Se trata de otro de los papeles vitales de la evaluacin. Tiene como base la funcin de ayudar colectivamente a los evaluadores a alcanzar y mantener el estatus de una profesin. El significado de este papel puede encontrarse en la definicin de un diccionario que afirma que una profesin es un oficio que requiere un conocimiento especializado y, a menudo, una preparacin larga e intensiva, incluyendo el dominio de tcnicas y mtodos , as como tambin de las nociones cientficas, histricas y eruditas en las que se basan estas tcnicas y mtodos, manteniendo, mediante la organizacin o la coordinacin de conceptos, altos niveles de ejecucin y xito, y sometiendo a sus miembros a un estu dio continuo y a una concepcin del trabajo en la que lo que ms importa es el ofrecimie nto de un servicio pblico . La especialidad de la evaluacin est empezando ya a presentar las caractersticas de una profesin, tal y como se promulgan en esta definicin. Ya existen programas de preparacin que terminan en doctorados y maestras, as como tambin una extensa y boyante literatura sobre el tema. La literatura sobre evaluacin recomienda conten idos y experiencias para ser incluidas en los programas de preparacin, as como anlisis sob re cmo deben elaborarse los programas a partir de disciplinas afines, como la filoso fa, la psicologa, la sociologa y la economa. Muchas organizaciones profesionales y dos amplios conjuntos de normas profesionales ya estn a disposicin de los evaluadores. Y, desde luego, el gobierno, el pblico y las organizaciones de servicios continan req uiriendo evaluaciones de los servicios profesionales, as como fondos que los financien. Ma ntener estos avances hacia la profesionalizacin de la evaluacin requiere iniciativas naci onales

LECTURAS COMPLEMENTARIAS y estatales, adems del apoyo de los miembros de la profesin. Cada una de las perso nas que cobren por trabajar como evaluadores estn obligadas a apoyar los distintos es fuerzos que se estn haciendo para que la profesin siga adelante. Entre las funciones especf icas que pueden cumplirse se encuentran las de editor de una publicacin sobre la evalu acin, elaborador de normas, educador de evaluadores y especialista y funcionario de un a sociedad evaluadora. Compartiendo las responsabilidades de estas funciones, los evaluadores pueden contribuir a asegurar al pblico que los servicios profesionale s que ellos ofrecen son modernos y de gran calidad. El metaevaluador El ltimo papel que queremos subrayar, el del metaevaluador, requiere mucha astuci a y penetracin. Est relacionado con las funciones de evaluar evaluaciones, pero tambin supone enjuiciar el valor y el mrito de todo lo que representa y hace la profesin: servicios de evaluacin, utilizacin de las evaluaciones, preparacin de la evaluacin, investigac in evaluativa y desarrollo organizativo. La metaevaluacin utiliza las normas aceptad as de la profesin y trata de asegurar que son cumplidas. Tambin se ocupa de examinar las propias normas con el fin de decidir en qu sentido deben ser revisadas. De una manera u otra, la metaevaluacin necesita incorporarse a cada una de las actividades de la profesin. A veces se trata de una actividad de autoasesoramient o, como cuando los evaluadores, los preparadores, los investigadores o los funciona rios de sociedades evaluativas examinan sus planes, la ejecucin de su trabajo o los resul tados, comparndolos con las normas de la profesin. En otros casos supone contratar a un agente independiente para que valore los servicios. El objetivo de la metaevalua cin es asegurar la calidad de los servicios evaluativos, evitar o enfrentarse a las prct icas ilegales o a los servicios que no son de inters pblico, sealar el camino para el perfecciona miento de la profesin y promover una mayor comprensin de la empresa evaluativa. Desde luego, todos los evaluadores profesionales deben mantener al da sus conocimientos de las normas de la profesin, incorporarlas a su trabajo, estar dispuestos a actuar como metaevaluadores de los trabajos de otros profesionales y actuar profesionalmente a la hora de evaluar e intentar mejorar las contribuciones que la evaluacin hace a la sociedad. Con este breve comentario sobre la metaevaluacin, terminamos nuestro repaso de lo s papeles que se desempean en una evaluacin. Hemos analizado minuciosamente, hasta

LECTURAS COMPLEMENTARIAS cierto punto, la funcin del evaluador profesional y hemos echado un vistazo a las divisiones que presenta. Creemos que, sin duda, todo ello ha contribuido a apoyar la idea d e que la evaluacin es a menudo un trabajo de equipo. Pero sacar la conclusin de que las evaluaciones necesitan de los esfuerzos de un equipo sera una falsa interpretacin: por el contrario, la evaluacin debe ser una parte necesariamente integrante de las fu nciones de todo profesional. Nuestra conclusin es que estas funciones (o papel) son tan d ifciles como importantes. Y la conclusin ms obvia y fundamental es que todos los profesion ales deben desarrollar sus responsabilidades evaluativas, puedan o no conseguir la ay uda de un equipo y aunque tengan que desempear ellos solos todas las funciones de la evaluacin. Ya daramos un gran paso en la direccin adecuada si consiguiramos una mayor facilida d para conceptualizar los problemas evaluativos y los mtodos adecuados para solucio narlos. El resto de este libro ha sido pensado para llevar a cabo este proceso. Presenta y examina en profundidad varias conceptualizaciones alternativas de la evaluacin.

LECTURAS COMPLEMENTARIAS Lectura complementaria N 2 La autoevaluacin como proceso previo a la acreditacin de programas de pregrado de la Universidad de Antioquia Proyecto general Bernardo Restrepo Gmez 1998 1. Antecedentes La Ley 30 de 1992, Ley de la Educacin Superior, cre en Colombia el Sistema de Acreditacin de programas universitarios. El Comit Nacional de Acreditacin, CNA, organismo adjunto al CESU e integrado al reglamentar la Ley, produjo un conjunto de normas o lineamientos para orientar la acreditacin. Entre estas normas estableci procedimientos especficos en relacin con las etapas que se deben seguir en el proc eso. Estas etapas incluyen la revisin de condiciones iniciales del programa por acredi tar, que es, en realidad, un paso previo al proceso de acreditacin en s, y que se lleva a c abo a travs de una visita del CNA para verificar la existencia de tales condiciones y d ar luz verde tendiente a la acreditacin. La realizacin de la autoevaluacin, cuyo informe f inal debe ser sometido al CNA; la visita de pares como expertos externos verificadore s de la autenticidad del informe de autoevaluacin; la evaluacin final realizada por el CNA teniendo en cuenta la autoevaluacin y la evaluacin de pares y, finalmente, la decisin de acreditacin por parte del Ministerio de Educacin. La Universidad de Antioquia, teniendo en cuenta este acto legal, y considerando tanto la necesidad de mejorar la calidad de los programas acadmicos y profesionales, como la

LECTURAS COMPLEMENTARIAS obligacin de responder ante la comunidad por el servicio educativo que presta, co menz a motivar las facultades, escuelas e institutos para que sopesasen la posibilida d de asumir el proceso de acreditacin. El propsito fundamental, eso s, es el mejoramient o del currculo, la enseanza, la investigacin y otros aspectos institucionales y de lo s programas acadmicos. En 1997, ao sealado como el ao del cambio curricular en la Universidad, se dio inicio a la acreditacin de los primeros programas. Diecisis programas de pregrado respondieron positivamente a esta solicitud y otro s manifestaron su inters de participar en el proceso como observadores para aprende r de l y emprender luego el proceso de acreditacin. El proceso de autoevaluacin tom cerca de ao y medio. En septiembre de 1998 fueron enviados al CNA los informes de 14 programas. 2. La autoevaluacin 2.1 Marco referencial 2.1.1 La decisin sobre la evaluacin y el objeto por evaluar La decisin de evaluar y acreditar es tomada por las autoridades universitarias. L os consejos de facultad deciden qu programas acreditar y autoevaluar. Los primeros programas en entrar al Sistema Nacional de Acreditacin fueron los de Enfermera, Nutricin y Diettica, Educacin Primaria, Ingeniera Sanitaria, Medicina Veterinaria, T rabajo Social, Diplomatura en Filosofa, Bibliotecologa, Contadura, Biologa, Qumica Farmacutica, Bacteriologa, Educacin Fsica, Odontologa y Medicina. Los programas acadmicos, no las facultades ni la Universidad, son los objetos de autoevaluacin. Ahora bien, muchas cosas pueden mirarse y evaluarse. Un programa acadmico comprende un ambiente, una filosofa, metas y objetivos, polticas, un currcu lo, prcticas y actividades, recursos y actores puestos al servicio de la preparacin de profesionales que sean capaces de desempearse apropiadamente en sus respectivas reas en la sociedad. Volviendo a los objetivos fundamentales de la autoevaluacin, calidad y responsabilidad ante la sociedad, un primer impulso es identificar resultados del programa acordes con dichos objetivos. Esto, en gran medida, ha sido hecho ya por el CNA, luego

LECTURAS COMPLEMENTARIAS de consulta con universidades y profesores de todos los programas en talleres qu e se llevaron a cabo en diferentes regiones del pas. Tal precedente enmarca la bsqueda de resultados esperados de los programas. Qu es importante para el profesorado universitario y cmo sus opiniones fueron tenidas en cuenta? El desarrollo de la Ley 30 de 1992 autoriz al Consejo Nacional de Acreditacin, CNA , para construir unos lineamientos orientadores del proceso de autoevaluacin. El co nsejo solicit ideas a las universidades. Variadas fueron las reacciones de stas, incluye ndo el rechazo por parte de algunas universidades privadas renuentes a la acreditacin. L a Universidad de Antioquia conform, junto con otras nueve universidades, entre ella s las ms importantes del pas, un grupo de estudio para establecer grandes logros e indic adores de estos y redactar con ellos una propuesta en relacin con los lineamientos gener ales para la autoevaluacin. La propuesta sali y fue entregada al CNA. ste, a su vez, con voc, como ya se dijo, a profesores de todas las universidades del pas, por programas, para debatir una propuesta ms refinada de lineamientos, solicitando complementacin, crti cas, sugerencias sobre indicadores y criterios. Despus de estos talleres, los lineamie ntos definitivos fueron finalmente publicados y distribuidos a las universidades para su uso. No obstante ser obligatoria su aplicacin, se ha dado cierto margen para que las univ ersidades incluyan nuevos factores de acuerdo con su filosofa y proyecto educativo. Los lineamientos se basan en los logros esperados de la educacin superior, as como en los insumos y procesos necesarios para alcanzar los primeros Cules son unos y otros? Un modelo lgico, construido a partir de los propsitos y funciones de la edu cacin superior deja ver la estrategia que tanto el Grupo de las Diez como el CNA deben h aber seguido para elaborar su propuesta. Ante todo, se pone atencin a la misin, la filosofa y el proyecto educativo del prog rama. Estos tres componentes estn enraizados en los ambientes cultural, social, econmico y poltico, en los problemas, las necesidades y las condiciones que circundan el p rograma. Ello quiere decir que la evaluacin tiene que considerar el contexto donde los pro fesionales trabajarn. El xito o fracaso de un programa puede explicarse, en buena medida, deb ido a estas condiciones prevalecientes. Para comenzar un programa nuevo o redisear un

o ya existente es necesario, entonces, diagnosticar estas necesidades y condicione s.

LECTURAS COMPLEMENTARIAS Un segundo componente en el modelo lgico proviene de los insumos que el programa recibe de la misin, la filosofa y la historia de la institucin. A la par con estos insumos institucionales, la implementacin y calidad del programa dependen tambin de los insumos de personal y de los insumos tecnolgicos y materiales, como estudiantes, profesorado, currculo, equipo y facilidades fsicas, entre otros, y de las estrateg ias actual y alternativas para poner en funcionamiento el programa con alta probabilidad de efectividad y eficiencia. Un tercer componente, necesario para alcanzar los resultados, es el relacionado con la implementacin del programa, esto es, con el proceso o procesos. Para poner en mar cha un programa universitario es menester desarrollar un currculo; impartir docencia; hacer investigacin; llevar a cabo actividades sociales, culturales y recreativas y cont ar con un funcionamiento adecuado y oportuno de administracin y toma de decisiones. Un cuarto componente por evaluar es el de los resultados o productos esperados d e un programa universitario. Tales productos comprenden, en primer lugar, la entrega a la sociedad de profesionales idneos, de resultados de investigacin, innovaciones, publicaciones, servicios de consultora y asesoras, y programas de extensin a la comunidad. Finalmente, los lineamientos del CNA tienen en cuenta algunos impactos o repercu siones de los programas, a travs de la informacin concerniente al desempeo de los egresado s en sus puestos de trabajo y a travs tambin de la repercusin de la investigacin y las publicaciones. El siguiente esquema trata de sintetizar el proceso lgico de derivacin de componen tes fundamentales en un programa y, por ende, de los componentes esenciales en la ev aluacin del mismo.

LECTURAS COMPLEMENTARIAS Modelo lgico de los programas de pregrado Contexto Ambiente cultural, social, econmico y poltico; evaluacin de necesidades; prospectiva. Insumos Misin, filosofa, proyecto educativo, currculo, recursos estrategias. Proceso Implementacin curricular, docencia, actividades sociales y recreativas, administracin. Productos Profesionales, investigacin, publicaciones, extensin, servicios de consultora. Impactos Inmediatos -Mejores niveles de aprendizaje. -Desarrollo de la investigacin. -Profesionales actualizados. Intermedios -Ms altos niveles de aprendizaje. -Refinamiento de la investigacin. -Profesionales contextualizados De largo plazo -Mejoramiento de la calidad de vida. -Desarrollo cientfico y tecnolgico. -Competitividad

productiva. NNNNN De este esquema, supuestamente, o modelo ideal de componentes de un programa, el CNA debe haber seleccionado componentes especficos para la autoevaluacin, tales como la misin y el proyecto educativo de 105 programas, los procesos acadmicos (implementacin curricular, procesos de enseanza, investigacin, publicaciones), gest in y toma de decisiones, bienestar institucional, servicios de extensin y asesora, fa cilidades fsicas y retroalimentacin de egresados. stas seran las categoras obligatorias. El proceso de autoevaluacin, sin embargo, puede ir ms all y, en el caso de la Universi dad de Antioquia, sta lo hace para ser coherente con su concepcin de calidad y de proy eccin de los programas.

LECTURAS COMPLEMENTARIAS 2.1.2 Preguntas relevantes, marco referencial, criterios e indicadores 2.1.2.1 Preguntas relevantes y marco referencial Varias preguntas crticas presiden la evaluacin interna, a saber: Est el programa logrando sus objetivos? Qu tan pertinentes son los programas en relacin con la misin de la universidad, con las necesidades del pas y con el progreso cientfico? Cul es el impacto real sobre la sociedad? Qu factores pueden estar facilitando u obstaculizando la capacidad del programa para alcanzar sus metas? Cmo mejorar el programa para alcanzar ms satisfactoriamente sus metas e incidir ms positivamente en la sociedad? El modelo lgico debe estar apoyado en una teora de base, en un marco referencial q ue explique las modificaciones, que nuevas necesidades y cambios en el contexto y l a tecnologa producen en las profesiones. Tal marco debe basarse en la teora sobre educacin superior, en la teora social aplicada al anlisis del contexto, en teoras particulares de los respectivos campos profesionales y en opciones tericas hechas por los programas entre las diferentes escuelas de pensamiento con respecto a las ci encias bsicas y aplicadas, que aportan su concurso a los programas. En esta forma, el ma rco referencial permite seguir y al mismo tiempo tomar distancia de los lineamientos del CNA, es decir, cumplir la ley al tiempo que salvaguardar la autonoma, y confiere a la evaluacin un mayor sentido de utilidad, identificacin de valores y viabilidad polti ca, sobre todo ahora que los estudiantes cuestionan la acreditacin relacionndola con p olticas neoliberales, con la apertura econmica y con la reduccin del estado, particularmen te con la poltica de privatizacin. Un buen marco referencial permite a profesores y e studiantes debatir la razn de la evaluacin y de una evaluacin en trminos de la universidad, no en trminos del gobierno y de influencias externas. Algunas pautas bsicas, no contenidos, fueron desarrolladas por los asesores, por solicitud expresa de los comits coordinadores, como un punto de partida para que cada progr ama

LECTURAS COMPLEMENTARIAS las enriqueciera y modificara de acuerdo con su situacin especfica y el nfasis dado al mismo. Se da como un hecho que cada programa tiene su racionalidad, esto es, su razn de ser, de haber sido instaurado en un momento dado y de mantener su vigencia. En otras palabras, cada programa universitario tiene una historia y un trasfondo filosfico , social y cientfico. Un resumen de estas pautas bsicas para construir el marco referencial es el sigui ente: Antecedentes del programa Los antecedentes deben incluir la historia del programa y los cambios curricular es por ste experimentados, as como las explicaciones de dichos cambios, relacionadas tant o con las necesidades sociales como con el desarrollo cientfico y las concepciones profesionales. Filosofa institucional Esta pauta tiene que ver con la filosofa de la universidad y con la especfica del programa: su visin del mundo, sus estndares profesionales, sus valores, su compromiso con la sociedad. La estructura curricular Es indispensable que quede claro cmo el programa establece la mltiple relacin cienc iaculturatecnologa-sociedad, bsica para emprender un diseo y un rediseo curricular. En la base de esta mltiple relacin debe producirse una reflexin acerca de la opcin terica con respecto a las ciencias y disciplinas bsicas del programa y acerca del tejido de interdisciplinariedad entre las ciencias bsicas y las aplicadas que lo conform an. Pertinencia de programa Qu tan pertinente es o debe ser el programa, tanto desde el punto de vista social como del cientfico. A quin sirve y qu problemas intenta resolver y desde qu bases de

LECTURAS COMPLEMENTARIAS conocimiento. Es fundamental lograr un equilibrio entre las pertinencias social y cientfica; la primera se logra mejor si se afirma sobre la segunda. Prospectiva programa Esta pauta se relaciona con las nuevas tendencias y rumbos que las profesiones e stn tomando y con los factores determinantes de dichos cambios. Es cada vez ms import ante no perder de vista este punto debido al mundo globalizado en que vivimos y a la a ldea planetaria en que, segn muchos, se est convirtiendo el mundo. 2.1.2.2 Criterios Teniendo presentes los propsitos, categoras principales definidas por el CNA y el marco referencial en que se basa la evaluacin interna, el siguiente paso consisti en est ablecer criterios coherentes para juzgar la situacin del programa. El CNA sugiri algunos c riterios, que fueron complementados as: -Efectividad - Colaboracin internacional -Calidad - Orientacin hacia la investigacin -Pertinencia social y cientfica - Prospectiva -Eficiencia - Modernizacin de la enseanza 2.1.2.3 Indicadores El Comit Nacional de Acreditacin public a la par con los Lineamientos generales un conjunto de indicadores de las categoras definidas como obligatorias y sugiri, inc luso, fuentes para extraer los datos requeridos. La Universidad, sin embargo, consult indicadores utilizados por otros sistemas de acreditacin, como los de las asociac iones norteamericanas de acreditacin y los sistemas de algunas universidades espaolas, mexicanas y chilenas, antes de construir su propia lista de indicadores.

LECTURAS COMPLEMENTARIAS Para cada componente delineado en el modelo lgico se identificaron series de indi cadores. Para el componente de investigacin, por ejemplo, se desarrollaron tentativamente los siguientes indicadores, que cada programa entrara a revisar y redefinir segn sus necesidades: Porcentaje de profesores que conocen las polticas de investigacin. Porcentaje de profesores que conocen los recursos disponibles para investigacin. Porcentaje de profesores del programa que participan en investigacin. Premios y reconocimientos a la investigacin recibidos por el profesorado en los mb itos nacional e internacional. Mecanismos para promover las actividades de investigacin. Lista de proyectos de investigacin en curso. Lista de publicaciones en los tres ltimos aos. Criterios para juzgar la calidad de la investigacin. Relacin entre los proyectos de investigacin y los objetivos del programa. Apoyo a la produccin en las reas de las humanidades, la esttica y la plstica. Existencia de programas conjuntos de investigacin en los mbitos nacional e internacional. Porcentaje de profesores vinculados a asociaciones y redes nacionales e internacionales de investigacin. Lista de revistas y publicaciones peridicas bajo suscripcin. Evidencia acerca de la consulta y lectura de las revistas de investigacin.

LECTURAS COMPLEMENTARIAS Estos son algunos de los indicadores del componente investigativo. De manera sim ilar, todos los elementos de los componentes de contexto, insumos, procesos y producto s se someten a identificacin de indicadores adecuados, no solo cuantitativos, sino tambin cualitativos, con miras a facilitar luego la construccin de los instrumentos. 2.1.3 Quin evalua el sistema de manejo de la evaluacin Dado que la autoevaluacin es una evaluacin interna, los evaluadores son actores de l programa evaluado. Los Consejos de Facultad, luego de ambientar la acreditacin en sus respectivos espacios, toman la decisin de acreditar determinados programas. E l Consejo Superior ha integrado un Comit Central Coordinador del Programa para toda la Universidad. Este comit es coordinado por uno de los asistentes del vicerrecto r de docencia. Buscando ofrecer a los programas asesora experta en evaluacin, el vicerrector inte gr, tambin, desde el comienzo del proceso, un equipo de tres personas con experiencia en evaluacin de programas y les solicit acompaar el proceso, comenzando por la preparacin de los evaluadores internos. Cada facultad, escuela o instituto consti tuye comits coordinadores (tres profesores) para conducir el proceso a nivel de progra ma. Estos docentes son preparados en teora evaluativa, enfoques, modelos, criterios d e evaluacin y diseo metodolgico antes de iniciar el proceso y durante ste, de modo que ellos puedan a su vez coordinar el trabajo de todos los actores del programa y lograr as un amplia participacin en la evaluacin. El propsito, dentro del enfoque de empoderamiento, es, pues, capacitar a los comits para que estos a su vez capaciten a administradores, docentes, estudiantes y empleados, propiciando as una evaluacin participativa que de a los programas el poder del aprendizaje organizacional y c on l el mejoramiento continuo de la calidad y la efectividad. El proceso estuvo abierto al debate. Dada la diversidad d ideologas, puntos de vista polticos, se mantiene abierto a cri terios y opiniones sobre quin y cmo debera adelantarse la evaluacin. El marco referencial se constituye en valioso mecanismo para manejar la diversidad y permitir ampliar las contribuciones tericas y metodolgicas. Un cronograma debe ser preparado, discutido y acordado por los comits de programa con miras a tener terminado el trabajo en 10 meses y mximo en un ao. Los hitos principales de este cronograma son:

LECTURAS COMPLEMENTARIAS Preparacin del marco referencial. Entrega de primer borrador de instrumentos. Entrega de instrumentos finales, incluyendo el 20% de tems especficos de cada programa. Sesin especial para discutir los problemas surgidos en la recoleccin de datos. Sesin especial para discutir las categoras formuladas para el anlisis e interpretac in de datos. Entrega de primer borrador de anlisis de datos. Sesin especial para discutir el anlisis e interpretacin de datos. Entrega del primer borrador de informe. Sesin especial para discutir informes. Entrega de informes finales al terminar el noveno mes. El seguimiento y monitorizacin de este calendario recae en manos del asistente de l vicerrector de Docencia. A travs de memorandos recordatorios y de llamadas telefni cas se asegura el cumplimiento de las fechas y la calidad de las tareas y sus produc tos. Terminada la autoevaluacin, es necesario adelantar un proceso de crtica a su implementacin. El tiempo real del proceso de autoevaluacin de los primeros 14 programas se dobl virtualmente. Se haba calculado un periodo de 9 meses y los programas trabajaron 17 meses hasta el momento de enviar los informes al CNA. De la reflexin sobre el proceso recorrido quedan lecciones importantes para acometer autoevaluacin de otros programas: los instrumentos son demasiado largos y cargado s de mucha informacin, no siempre pertinente. El proceso de sistematizacin de datos debe hacerse en cada programa para evitar errores y repeticin de procesos. La jerarquizacin de componentes y caractersticas, antes de emprender los procesos tcnico de indagacin, es una actividad altamente significativa y sobredeterminante de

LECTURAS COMPLEMENTARIAS todo el proceso, al punto de centrarlo y hacerlo ms eficiente. La etapa de evalua dores internos da un fruto valioso en resultados. 2.1.2 El enfoque de la evaluacin El principal objetivo de la universidad, como se dijo antes, es mejorar sus prog ramas y rendir cuentas a la comunidad. Por lo tanto, la evaluacin ha sido tomada como un proceso de aprendizaje organizacional. La evaluacin sistematiza este aprendizaje mediante la vinculacin de todos los interesados en los programas a los cuales se les da la oportunidad de observar cmo marchan estos, cmo se llevan a cabo y cmo responden a las necesidades de la comunidad. Muy ligado a lo anterior es el hecho de que e n varios programas, a medida que se evala, se sealan necesidades y no solo se prospectan acciones mejoradoras, sino que se disea una actividad de gestin de las mismas, de modo que al terminar la evaluacin ya varias acciones se encuentran en curso para llenar vacos o corregir deficiencias o modernizar procesos. Teniendo presente lo anterior, no es apropiado hablar de un modelo o enfoque par a orientar la evaluacin. Primero que todo porque hay dos momentos distintos en sta: la autoevaluacin y la evaluacin de pares. En efecto, cuando el informe final de la autoevaluacin llegue al CNA, este consejo enva un grupo de pares a contrastar el i nforme con la realidad de los programas y a contribuir con algunos juicios y sugerencia s para la evaluacin final que hace el CNA y para la recomendacin que ste hace al Ministro de Educacin. Quiere ello decir, entonces, que tenemos dos tipos de evaluacin, una int erna y otra externa. La primera, de acuerdo con el esquema lgico planteado y los comen tarios del prrafo anterior, seguir una adaptacin del modelo CIP (Stufflebeam, 1971: 1998) combinado con los recientes enfoques de evaluacin-accin (Rothman, 1998) y evaluacin de empoderamiento (Fetterman, 1996: 1998), mientras que la segunda es ms bien del tipo de evaluacin de expertos. La combinacin de los enfoques CIPP, evaluacin-accin y empoderamiento proviene del hecho, ya sealado, segn el cual se quiere que todas las audiencias y dentro de ellas el mayor nmero de personas participen en la autoevaluacin para ganar el mayo r aprendizaje organizacional posible, lo cual plantea acciones relacionadas con ev aluacin participativa y de empoderamiento, esto es, el uso de conceptos de evaluacin, tcni cas y hallazgos para fomentar la autodeterminacin, la autorregulacin y el mejoramiento de

LECTURAS COMPLEMENTARIAS los programas (Fetterman, 1996: 1998), y ello no slo como resultado de todo el pr oceso, sino a medida que ste avance (Rothman, 1998). Estudiantes y profesores son parte especialmente interesada en el programa y sus contribuciones son muy importantes , tanto para generar nuevos factores y categoras de anlisis, como para identificar p roblemas y necesidades en el camino y contribuir a disear su solucin. Podemos decir, entonces, que en lo que a enfoque se refiere, el programa de auto evaluacin de los programas acadmicos de la Universidad de Antioquia asume una posicin eclctic a, una combinacin del modelo CIPP, el enfoque de expertos y la evaluacin participativ a, concretamente los enfoques de la evaluacin-accin y la evaluacin de empoderamiento. 2.2 Diseo de la evaluacin 2.1 Tipo de diseo El diseo escogido, dados los lineamientos del CNA y el tiempo definido para termi nar la autoevaluacin, es el diseo descriptivo, aunque con algunos elementos predictivos, al menos en el mbito lgico, no en el estadstico. Es descriptivo porque su intencin es describir la estructura y funcionamiento actuales de los programas, su calidad, efectividad, elementos fuertes, carencias y perspectivas. En relacin con este ltimo aspecto, el marco de referencia insiste en la prospectiva de las profesiones, lo que da a la evaluacin un toque de prediccin. El diseo en un proyecto investigativo o evaluativo contempla principalmente dos t ipos de planes: el plan para recoger los datos necesarios alrededor de las preguntas imp ortantes del estudio y el plan para analizar e interpretar los datos. 2.2.1.1 Recoleccin datos El primer plan incluye una revisin de las categoras o los componentes del programa evaluado, las fuentes de datos, esto es las audiencias y posibles muestras, as co mo las tcnicas e instrumentos para obtener los datos en las fuentes identificadas. -Categoras u objetos de evaluacin.

LECTURAS COMPLEMENTARIAS Misin y filosofa. Estructura e implementacin curricular. Mtodos y materiales de enseanza. Informacin sobre caractersticas del profesorado. Informacin sobre caractersticas de los estudiantes. Desempeo y calidad de la investigacin. Estructura administrativa y toma de decisiones. Bienestar institucional. Polticas y programas de extensin. Facilidades fsicas y equipo. Desempeo de egresados. El CNA agrupa estos objetos en siete factores. -Audiencias, muestras y tcnicas de recoleccin de datos. Para obtener la informacin debida acerca de las categoras acordadas es necesario i dentificar audiencias apropiadas o poblaciones poseedoras de los datos buscados. Es conveni ente, asimismo, tener en cuenta los actores afectados por los programas o interesados en l. Las audiencias determinadas en relacin con los programas universitarios son: Los administradores de los programas, de las facultades y de la universidad. Tod os son entrevistados a nivel de facultad, as como una muestra intencional en el nive l de la administracin central de la universidad.

LECTURAS COMPLEMENTARIAS El profesorado. En programas pequeos, todos los profesores son contactados para diligenciar un cuestionario y luego se convocan grupos focales de anlisis. En programas ms grandes se disean muestras y se llevan a cabo tambin grupos focales para profundizar sobre temas especiales. Los estudiantes. Una muestra estratificada al azar es diseado para cada programa, teniendo en cuenta el sexo y el semestre cursado. Se usa cuestionario para la recoleccin de datos y se realizan tambin grupos focales. Egresados. Se aplica un cuestionario a una muestra intencional. Empleadores. La muestra es intencional y a ella se aplica un cuestionario. Empleados. Se considera realizar un censo de empleados, dado su escaso nmero. Se utiliza un cuestionario y se convoca grupo focal. Ex decanos y fundadores son entrevistados con el fin de reconstruir la historia de los programas y los cambios principales experimentados por estos. Expertos profesion ales en los diversos campos son tambin entrevistados. El sistema de informacin de la universidad entrega oportunamente un paquete de datos atinentes a caractersticas demogrficas, profesionales y laborales de los docentes, as como a caractersticas demogrficas y acadmicas de los estudiantes. Las decisiones sobre identificacin de audiencias, diseo de muestras, envo de cuestionarios, definicin de entrevistas, recoleccin de datos y convocatoria de gru pos focales son tomadas por los comits de programas en estrecha comunicacin con el profesorado y otros interesados en los programas. Instrumentos Los comits coordinadores de programa preparan cuestionarios para docentes, estudiantes, egresados, empleadores y empleados. El 80% de dichos cuestionarios deben reflejar los indicadores sugeridos por el CNA, mientras que el 20% restant e debe reflejar la particularidad de los programas.

LECTURAS COMPLEMENTARIAS Pautas de entrevistas han sido desarrolladas para obtener informacin de los administradores, ex decanos, fundadores y profesionales expertos. Protocolos para llevar a cabo sesiones con grupos focales. Protocolos para anlisis de contenido son desarrollados con sus respectivas catego ras para analizar documentos de apoyo. Los comits coordinadores, conjuntamente con los asesores y con el asistente de la Vicerrectora de docencia, se renen regularmente para discutir los borradores de lo s instrumentos y convalidar su contenido. Los asesores, luego, revisan los instrum entos, etapa por etapa e tem por tem, con miras a refinar su contenido, refinamiento que se considera suficiente sin tener que recurrir a pruebas piloto de los instrumentos . La oficina de estadstica de la universidad ha sido requerida para apoyar la codif icacin de los instrumentos y el posterior anlisis estadstico de los datos. Refinados los instrumentos, se aplican con el acompaamiento de los asesores de la autoevaluacin. 2.1.1.2 Plan de anlisis Dado que el diseo es descriptivo, los datos cuantitativos se reducen a porcentaje s y sus resultados se presentan en barras simples y agrupadas en grficas de lnea mltiple y en grficas de pastel, a partir de las categoras generales acordadas por los comits. Ta les categoras actan como hitos bsicos del anlisis cuantitativo. Los datos cualitativos, recogidos en las entrevistas no estructuradas, en los anl isis de contenido y en los grupos focales, son reducidos a categoras y analizados en rela cin con las preguntas relevantes y los criterios definidos al plantear la evaluacin. Estos referentes, sin embargo, no son obstculo para el desarrollo de nuevas categoras qu e pueden emerger en la primera lectura de los datos y en la observacin realizada a lo largo del trabajo de campo. Lo que importa es obtener buenas respuestas a las pregunta s centrales sobre la calidad y pertinencia social y cientfica de los programas, con firmar en qu grado estos estn logrando sus metas y qu se ha logrado aprender durante la

LECTURAS COMPLEMENTARIAS evaluacin para mejorar la calidad y efectividad. Entra aqu el anlisis lgico a comple mentar el anlisis descriptivo. Logrado ste, los evaluadores deben escrutar holsticamente e l panorama para hacer contrastaciones con el marco de referencia, plantear discusi ones, extraer inferencias y sugerir cambios. ste es el momento para usar los criterios en el juicio sobre la situacin real de l os programas y para sostener reuniones con los interesados para identificar argumen tos facilitadores de la interpretacin. Miembros destacados del profesorado, personas que son crticas del desarrollo del programa, son fuentes para ampliar la visin del anli sis. Por supuesto, mucho trabajo de equipo deber llevarse a cabo para interpretar lo q ue los datos estn diciendo y mucha imaginacin y perspicacia son necesarias para sacarle l o mximo a los datos brutos, cuantitativos y cualitativos. Los comits coordinadores d eben sealar las fortalezas y debilidades de los programas: aquello que es sorprendente en los hallazgos, las necesidades identificadas, preocupaciones de los estamentos, camb ios indispensables y cmo encauzar dichos cambios, y quizs algunos elementos para un plan de accin. Es importante resaltar cmo la triangulacin de enfoques evaluativos, la triangulacin de mtodos y tcnicas de recoleccin y anlisis de datos y la traingulacin de pares acadmicos internos y externos enriquecen el proceso de evaluacin en sus distintas etapas. 2.3 Informes, metaevaluacin y diseminacin Terminado el anlisis e interpretacin de resultados, se pasa a la etapa de elaborar informes y diseminar los hallazgos a travs de diferentes formas y medios. Se ha considerado la posibilidad de invitar pares colombianos, conocedores profu ndos de los programas y las profesiones, a que se desempeen como metaevaluadores y juzgue n la utilidad, propiedad, factibilidad y exactitud de la evaluacin. Se piensa que e stos metaevaluadores podran actuar en dos momentos: durante la recoleccin de los datos y en el momento de elaboracin de los informes finales. Los informes finales van al CNA para efecto de envo de pares verificadores y a lo s consejos acadmico y de facultades, escuelas e institutos para conocimiento, difusin a los

LECTURAS COMPLEMENTARIAS interesados y afectados y toma de decisiones. Debern escribirse tambin resmenes ejecutivos para facilitar la diseminacin a ciertas audiencias. Y presentaciones o rales, resaltando los hallazgos principales y los cambios necesarios, se harn ante el Co nsejo Superior de la universidad. El vicerrector de docencia se encarga de presentar l os informes en los niveles superiores de la administracin y de ver que estos tomen conciencia de los cambios que se requieran. A nivel de programa, la responsabilidad de diseminar l os resultados recae en los comits coordinadores, en concertacin con los respectivos consejos de facultad, escuela e instituto. El peridico de la universidad, as como su emisora cultural, ser utilizado para informar a la comunidad universitaria y a la sociedad acerca de los resultados y cambios prospectados. Los informes finales siguen la estructura de las etapas descritas en este docume nto: antecedentes, conceptualizacin de la evaluacin, diseo de recoleccin y anlisis de datos, situacin del programa en el momento de emprender la acreditacin y, finalmen te, los resultados y su interpretacin. Debe ponerse especial atencin en las recomendac iones de accin, ya que el propsito primordial de la autoevaluacin es el mejoramiento de l os programas. El paso siguiente consiste en la concertacin de acciones mejoradoras entre el pro grama y la direccin central, comprometiendo tareas, tiempos y recursos adecuados a los resultados especficos previstos. Esto, sin restar fuerza a los cambio que durante el proceso mismo de la evaluacin se van poniendo en marcha a la luz del enfoque de evaluacin - accin ya mencionado.

LECTURAS COMPLEMENTARIAS Referencias Feiferman, D., Kaftarian, 5., and Wandersman, A. Empowerment Evaluation: Knowled ge and tools for self-assessment and accountability. Thousand Oaks: Sage, 1996. Feflerman, D. Empowerment Evaluation: Collaboration, Action Research, and a Case Example. Innovations in Evaluation. Cyber Conference. Sep. 14-l9, 1998. Rothman, J. Action-Evaluation: ntegrating Evaluation into the Iritervention Proce ss. Innovations in Evaluation. Cyber Conference. Sept 14-19, 1998. Stufnebeam, D. and others. Educational Evluaflon and Decision Making. Itasca, 11 1.: F. E. Peacock Publishers, inc.1971. El modelo ha sido actualizado por el autor en 1 997.

LECTURAS COMPLEMENTARIAS Lectura complementaria N . Tomada de Forero, J. Evaluacin general del programa de desarrollo rural integrado , DRI. en Colombia. Bogot: Universidad Javeriana y Ministerio de Agricultura, 1990. Algunos elementos para una evaluaci. descentralizada de proyecto. La idea central de esta propuesta es que la evaluacin de un proyecto dentro de u. programa que, como el Desarrollo Rural Integrado, se propone contar con la parti cipaci. de los campesinos y de la municipalidad en esta tarea, rebasa la metodologa de anl isi. costo beneficio. El anlisis de la rentabilidad que afronta esta metodologa es apen a. una herramienta de apoyo. Lo determinante como parmetro de seleccin de un proyect. y de su evaluacin es el proceso de concertacin entre comunidad e instituciones: e. grado de compromiso de quienes van a ser sus actores y las condiciones reales pa r. sacarlo adelante. Condiciones dentro de las cuales, nuevamente, la voluntad y l. comunicacin humana son los elementos centrales. Otra consideracin esencial para los proyectos es su pertenencia a programas ms amp lio. que fijen metas generales de carcter regional y nacional. Es preciso, por lo tant o, que e. Desarrollo Rural Integrado recupere su capacidad de liderar la poltica de desarro llo rural. entre otras cosas, en cumplimiento del mandato legislativo. Dentro del espritu de nuestr. propuesta, este liderazgo implica contar con una participacin orgnica de los funci onario. en todos los niveles y de las organizaciones campesinas y las comunidades rurale s. Una planeacin dirigida a cumplir objetivos precisos en un plan de cofinanciacin d. proyectos no puede soslayar la planificacin normativa a mediano y largo plazo en funci. de tal proyecto nacional de fortalecimiento, en nuestro caso, de la sociedad rur al y l. economa campesina. Estructurar los elementos institucionales y los procesos que i mplic. el cumplimiento de esta tarea no es un objetivo de esta propuesta. Nos circunscr ibimo. a proponer algunos elementos dirigidos a hacer posible la participacin dentro de l.

planificacin y la evaluacin participativa.

LECTURAS COMPLEMENTARIAS 1. La elegibilidad de proyecto. A nuestro juicio, cmo elegir un proyecto no es el problema central de la planific acin de. desarrollo rural; la cuestin crucial est en cmo construir un proyecto. La sutileza y la especificidad de la organizacin social y econmica del campesinado n. encuadran dentro de los estudios de factibilidad de los proyectos ni dentro de l a evaluaci. de los mismos. El reto central est en cmo conseguir que las comunidades se apropien de los proyec tos. lo cual remite a preguntarse si un proyecto surge realmente de la comunidad y cm. surge y cmo lo puede apoyar una entidad como el Desarrollo Rural Integrado1. La conclusin de esta discusin no es que haya que eliminar el proceso de calificaci. tcnica de proyectos (lase evaluacin o estudios de factibilidad) para dar pautas par . su elegibilidad. No, nos proponemos descartar este instrumento de planificacin. Queremos advertir, eso s, que elegir proyectos centralmente, en Bogot o en las cap itale. departamentales, genera un obstculo tcnico y poltico para un verdadero desarroll. rural y una franca contribucin a la derrota precoz de cualquier intento de crear solucione. para los campesinos. El papel de quienes asuman la funcin de evaluar tcnicament. los proyectos debe consistir en aportar un insumo tcnico al proceso de concertaci. entre campesinos y entidades gubernamentales para que las decisiones se tomen en lo. municipios, con una representacin real de las comunidades rurales que conforman e . espacio municipal. Aqu se nos plantea con toda claridad que un proceso tcnico de evaluacin no tien. sentido en s mismo si se plantea exclusivamente como un sistema de flujo de infor maci. para la toma de decisiones. Se tiene que involucrar necesariamente una relacin vi vencia. con el medio, con el medio rural en nuestro caso. Quizs las cosas sean distintas par. otra clase de proyectos de naturaleza estrictamente privada, pero en materia de desarroll. social y econmico hay que contar con instrumentos pragmticos de concertacin, par. no repetir los modelos de imposicin vertical del desarrollo rural.

1 Conformarse con ir a preguntarle a unos cuantos lderes si les gustara que el Est ado trajese un dinero para hacer una obr. significa reproducir el rito intil de la participacin formal. Intil desde el punto de vista de la necesidad planteada atrs d. construir con los campesinos los proyectos de desarrollo rural.

LECTURAS COMPLEMENTARIAS Decamos que la evaluacin tcnica de proyectos no slo no se descarta sino que es u. instrumento til y quizs imprescindible tanto para las entidades financiadoras (el Desarroll. Rural Integrado y otras que acten como cofinanciadoras) como para quienes los lle va. a cabo. El problema est en superar la evaluacin convencional que, como dijimos, n. se ajusta ni a los objetivos ni a la dinmica del desarrollo rural y en utilizar l a evaluaci. como un elemento secundario, aunque imprescindible, para la toma de decisiones. Algunos elementos que contribuiran a superar la evaluacin convencional y maneja. herramientas de evaluacin que involucren asuntos (variables) centrales de los pro yecto. de desarrollo rural son, a nuestro juicio, los siguientes. a. Evaluacin financiera y econmica-social: no siempre aunque las metodologas l. contemplan y han desarrollado un instrumental para ello se introduce la dimensi. social en los proyectos de desarrollo rural la experiencia muestra que hay aspec to. de muy sencillo manejo que se pueden valorar cuantitativamente algunos ejemplos.

. Impacto en el nivel de vida del autoconsumo o de mejoras en la calidad de. agua y de la vivienda. . Un proyecto de produccin debe considerar, entre otros aspectos, calidad d. los alimentos e impacto en la dieta del productor y de la localidad. . Uno de mercadeo debe involucrar el impacto global sobre el mercado local . regional (y aun nacional si es el caso) en trminos de los precios (y del ingreso. en todo el espacio afectado por las variaciones de estos sin restringirse a. impacto en los productores directamente participantes, no bastara tampoc. con medir el efecto de un cambio de precios dentro del perodo en que s. alteran las condiciones del mercado, sino que habra que tener en cuenta e. impacto que hipotticamente significara su retiro en una situacin de nuevo. precios consolidados. Para tratar de aclarar ms este punto, vale la pen. mencionar que en el caso de proyectos de comercializacin hay que valorar e. surgimiento de liderazgos, la capacitacin de cuadros directivos y socios d. organizaciones de mercadeo en gestin empresarial, la consolidacin d. organizaciones, etc.

LECTURAS COMPLEMENTARIAS b. Anlisis (evaluacin) de los factores cruciales hacen viable un proyecto en l. realidad particular de una regin. . Participacin de la comunidad en la generacin del proyecto. . Identificacin de la comunidad con el proyecto. . Interrelaciones comunitarias y orgnicas (de hecho o institucionalizadas) qu. apoyaran el proyecto. . Interrelaciones con las estructuras locales de poder. c. Concordancia de objetivos con las estrategias de desarrollo rural municipal, reg iona. y nacional. 2. La relacin desarrollo rural y mercado en la evaluaci. Desarrollo Rural Integrad. Hay que partir del hecho de que la concepcin de los objetivos an. a la vez, el abastecimiento urbano de alimentos y la elevacin e lo. campesinos, se plantea implcitamente el reto de armonizar dos diferentes: la del mercado capitalista y la de la organizacin campesina2. del DRI que enfatiz del nivel de vida d lgicas econmica. de la producci.

As mismo, intervienen dos concepciones del bienestar tambin diferentes: la de l. elevacin de los ingresos monetarios frente al mejoramiento de los elementos natur ales. fsicos, sociales, culturales y polticos del mundo rural. 2. No sin razn se plantea, ltimamente, que no existe una lgica econmica o una racion alidad campesina. Hay multiplicida. de comportamientos racionales diferentes y aun opuestos entre distintos grupos d e campesinos y entre distintos campesino. considerados individualmente .condicionados por las interrelaciones entre factor es culturales y actitudes. El ser raciona. no tiene contenido, ste proviene de los campos de la cultura y de las actitudes.. .. (John ADAMS, .La vacuidad del concept. de .racionalidad campesina. en la revista Coyuntura Agropecuaria, del CEGA, vol. 5 nm. 2-3, jul . oct de 1988, Bogot.

Pero de todas formas el hecho de que en la produccin campesina la familia sea la base de la organizacin de la empres. y la subsistencia de la familia su finalidad, le imprime una racionalidad difere nte a la de otro tipo de empresas, o mejor u. conjunto de comportamientos racionales que aunque diversos entre s tienen una ide ntidad determinada, a su vez, por l. identidad entre familia, produccin y reproduccin.

LECTURAS COMPLEMENTARIAS De un lado estn las presiones alimentarias y macroeconmicas de la sociedad en s. conjunto y de otro est el fortalecimiento de uno de los sectores de esta sociedad : l. poblacin rural y los campesinos en particular. Estas consideraciones que normalmente son aceptadas por todo el mundo desaparece . cuando se trata de planificar y de evaluar (o de imponer, en la prctica) el desar rollo rural. Los parmetros utilizados perfilan una concepcin unidimensional que desde la lgic. del mercado capitalista reproducen los criterios velados de la expropiacin y la i mposicin3. Ante esta situacin es necesario adoptar, con toda claridad, nuevos parmetros d. evaluacin de los programas de desarrollo rural inscritos dentro de la bipolaridad mercad. - mundo rural, de tal manera que abarquen indicadores que tengan que ver, al mis m. tiempo, con las transferencias econmicas con la sociedad mayor y con la elevacin d . la calidad de la vida de los campesinos desde el punto de vista de las necesidad e. reales de los campesinos mismos y desde su particular forma de entender y sentir e. bienestar. La evaluacin del desarrollo rural debe preguntarse, en consecuencia, si las poltic a. aplicadas estn fortaleciendo o no la economa y la sociedad rural. Este fortalecimi ent. de la produccin rural implica necesariamente, por ejemplo, lograr un relativo gra do d. seguridad alimentaria. Esto no debe asustar a los planificadores: si los campesi no. tienen una mayor disposicin de alimentos (producidos por ellos mismos) van a esta r e. mayor capacidad de producir para el mercado. El hambre y la subalimentacin4 no so . un buen aliciente para producir. Al contrario, llevan, en muchos casos, a un est ado d. postracin en el cual las posibilidades productivas languidecen con las personas m ismas. A estas alturas del desarrollo de la economa de mercado, el lmite aquel en que e. campesino al satisfacer sus necesidades bsicas deja de producir para dedicarse al oci. pasa por la demanda de educacin para los hijos (aun universitaria), de servicios d. 3. Segn el modelo de Bataglia, cuando las comunidades toman decisiones ajenas acerc a de la utilizacin de sus propio. recursos se configura una situacin de expropiacin. Si adems los recursos son ajenos y las decisiones son tomada. tambin por personas ajenas a ellas, se conforma un estado de imposicin. Este model

o nos ha parecido impresionantement. claro para develar en nuestro propio actuar, y en el ajeno, las pretensiones tot alitaristas. 4. En el medio rural el 60% de la poblacin, 6 millones y medio de personas, no co nsumen los alimentos mnimos necesarios. La deficiencia en ingestas calricas abarca el 60% de las personas y la de protenas el 53%. Ver Carlos Arturo PATIO. Elizabeth CAICEDO DE CARDOZO y Mercedes RANGEL BOHRQUEZ, Pobreza y Desarrollo en Colombia. Su impact. sobre la infancia y la mujer. UNICEF . DNP . ICBF, Bogot, 1998.

LECTURAS COMPLEMENTARIAS salud, de vestido, de electricidad y de electrodomsticos, de transporte motorizad o y d. bicicletas, de nuevas mquinas y herramientas... Adems, es claro que si los campesi no. se alimentan bien se est contribuyendo a lograr uno de los objetivos centrales de . desarrollo: erradicar la pobreza del 35% de los colombianos. Seguridad alimentaria familiar y regional, salud, educacin, conservacin de la. condiciones naturales de la produccin (aguas, tierra y atmsfera, amenazadas po. tecnologas aplicadas irracionalmente) autonoma social y poltica, redistribucin de l. tierra y otros recursos productivos, reafirmacin de la identidad tnica: todos esto s so. objetivos del desarrollo rural, tan vlidos y tan imprescindibles como la elevacin de l. produccin mercadeada. Visto de otra forma: si alguna conclusin clara ha sacado el anlisis de los fracaso s de l. poltica de desarrollo rural, impulsada por el Banco Mundial y el BID, en el mundo , es que un. condicin indispensable para conjurar estos fracasos est en consultar a los campesi no. sobre sus necesidades, sus objetivos y sus propuestas. Esta es una consideracin q ue, po. supuesto, tiene que ver con la planificacin y con la evaluacin de tales polticas. 3. Algunos aspectos que debe involucrar la evaluacin d. proyectos del Desarrollo Rural Integrad. 3.1 Sistema permanente de informacin de precio. El montaje de un sistema de informacin permanente de precios .desde el producto. hasta los diversos puntos de venta detallista. es una herramienta indispensable par. controlar los proyectos de mercadeo. Al mismo tiempo tal insumo sera importantsim. tanto de la gestin institucional como a los campesinos y sus organizaciones5. 5. La evaluacin que hicimos de los programas de comercializacin en el Ariari muest ra con claridad que la falta de informaci. de precios no alert oportunamente a las entidades y a las cooperativas sobre el n ocivo rezago de los precios del canal e. donde se estaba actuando (Carulla), en relacin con otras alternativas (Corabastos ). Como se haba iniciado el proyect. en una situacin de precios altamente favorable por parte de Carulla, se asumi por mucho tiempo que la situacin continuab. estable, hasta que los intermediarios reconquistaron el mercado y colocaron a la cooperativa en una situacin inmanejable. Con seguridad, se hubiera podido tomar medidas eficaces oportunamente.

Un segundo ejemplo: el DRI mont en Bogot una de las alternativas de mercadeo ms int eresantes, exitosas y con grande. potencialidades de impactar el mercado. Nos referimos a los .mercados mviles urba nos.. Hasta donde conocemos, el DR. no tiene ni idea de que est pasando con ellos. Si no se controlan sus precios da a da, esta alternativa pierde su capacida. de impacto en la medida en que se reduce a un negocio ms de comerciantes privados que disfrutan de las rentas implcita. que significan operar a bajsimos precios en privilegiados sectores del espacio pbl ico.

LECTURAS COMPLEMENTARIAS Es recuperable la trayectoria del ICA, CECORA (y la de nivel piloto la U.E.R de l. Universidad Javeriana). Pero, con la infraestructura institucional existente, es ta tare. llevara a generar tan intil empapelamiento en las gerencias DRI o en las entidade. regionales. Habra que crear un soporte institucional. Nuestra propuesta es que el DR. monte, en convenio con algunas entidades, un sistema de toma e informacin de prec io. permanentes que debe ser uno de los pilares bsicos del sistema de informacin qu. requiere la evaluacin ex-ante, sobre la marcha y ex-post del programa. 3.. Anlisis de proyectos de mercade. a. Aspectos econmicos convencionales. b. Impacto en los contextos local y regional. . Precios sin proyecto frente a precios con proyecto y volumen de los producto. afectados por nuevos precios. . Anlisis de la distribucin social de los servicios que, a la poblacin rural, l. presta el proyecto. . Grado de concentracin en los usuarios de las compras, ventas, colocacione. de crdito, cursos, eventos de capacitacin... . Concentracin geogrfica (por veredas) del cubrimiento del proyecto. . Grupos sociales involucrados o marginados del proyecto (de acuerdo con e. tipo de produccin, tamao de las fincas, formas de tenencia, asalariamiento. sexo, edad). . Cantidad de personas que se capacitan en el manejo emprico del proyect. frente a grados de capacitacin. .

Consolidacin de las organizaciones. . Socios y no socios participantes contra grado de participacin (activa y pasiv. en cuerpos directivos, activa y pasiva en las operaciones econmicas, activ. y pasiva en las asambleas, activa y pasiva en la planeacin y discusin de lo. proyectos).

LECTURAS COMPLEMENTARIAS c. Consolidacin de la gerencia frente al tipo de administracin gerencial, (adecuad. - inapropiada, participativa - centralizada). d. Anlisis de los factores determinantes de la viabilidad del proyecto (para l. evaluacin ex-ante y sobre la marcha)6. e. Flujo de energa humana alrededor del proyecto o de la idea del proyecto: se trat. de establecer, por medio del anlisis colectivo (o de entrevistas y observacin), e. tipo y grado de conocimiento, as como la identificacin con la idea (diseo) y e. compromiso real de. . La base social (socios y no socios de la organizacin). . Los directivos de la organizacin. . Los funcionarios (como personas) y las entidades. f. Interrelaciones con las estructuras locales de poder. 3.3 Nutrici. Ante una situacin nutricional como la existente (ms del 50% de la poblacin rural es t. desnutrida), ste es un parmetro bsico de evaluacin global que se puede aplica. estratgicamente por pequeos grupos, comunidades veredales, municipios y regiones. para establecer un sistema de diseo, control y ejecucin tendiente a que el program . acte pragmticamente y en forma integral (produccin, autoconsumo, acueductos. campaas educativas, distribucin y mercadeo de alimentos por medio de proyecto. colectivos como los que ya estn funcionando). Se tratara de aplicar metodologas apropiadas, ya existentes, para medir la desnutr ici. y sus causas de manera que se cuente con un acervo de informacin que permita, en e. proceso de planificacin, ubicar los puntos crticos en que hay que actuar (insumo p ar. 6. Es claro que la evaluacin sobre la marcha ex-post y ex-ante se confunden en el caso, absolutamente generalizado en e. momento actual, de procesos (o digamos, proyectos) que ya han sido iniciados con o sin apoyo institucional y sobre lo.

cuales se disean proyectos para fortalecerlos. La situacin inicial corresponde, en estos casos, a la situacin de un. etapa anterior.

LECTURAS COMPLEMENTARIAS la evaluacin ex-ante y sobre la marcha) y valorar peridicamente el estado nutricio na. (insumo para la evaluacin ex-ante, sobre la marcha y ex-post). 3.. Seguridad alimentari. ste es un parmetro asociado con el anterior y que hay que involucrar en los criter ios d. evaluacin de los programas y proyectos de produccin y comercializacin. La segurida. alimentaria debe considerarse familiar y regional. El sistema de precios puede d ar aporte. significativos para orientar y evaluar polticas, arrojando seales sobre los punto. neurlgicos en que hay que actuar, al comparar constantemente precios locales a. productor con precios locales, regionales y nacionales. Incremento y diversificacin del autoconsumo familiar y regional son parmetros qu. obviamente hay que tener en cuenta y cuya medicin debe abordarse con grados d. especificidad que vayan desde los inventarios particulares de familias hasta las condicione. regionales. 3.. Proyectos de asistencia tcnic. a. Aspectos econmicos integrales. b. Afectacin de las relaciones. . Insumos y produccin de energa y de biomasa. . Costos monetarios - domsticos - precios - dependencia del mercado. . Autoconsumo - mercado. . Sostenibilidad en trminos ecolgicos y econmicos de las tecnologas. .

Fortalecimiento de la unidad de explotacin teniendo en cuenta la poliactivida. agropecuaria y artesanal. c. Impacto en el contexto socioeconmico. . Fortalecimiento local de la economa campesina.

LECTURAS COMPLEMENTARIAS . Seguridad alimentaria. . Autoconsumo - mercadeo. . Generacin de trabajo por grupos especficos sociales y demogrficos. . Impacto ambiental. d. Factores determinantes. . Flujo de energa humana. . Disponibilidad de insumos. . Mercad. . Locale. e. Concordancia con las estrategias regionales de fortalecimiento de la econom. campesina y abastecimiento a los mercados.

LECTURAS COMPLEMENTARIAS Lectura complementaria N . Hacia una superacin del enfrentamiento entr. los mtodos cualitativos y los cuantitativos. Por Charles S. Reichardt, Universidad de Denver, . Thomas D. Cook, Northwestern University. En Mtodos cuantitativos y cualitativos de la investigacin evaluativa. Madrid: Ediciones Morata, S. A., 1986. Es considerable el desacuerdo existente respecto a la adecuacin de mtodos diverso. y posiciones metodolgicas para realizar la investigacin evaluativa. Uno de los deb ate. actuales, de intensidad creciente, se centra en la diferencia entre mtodos cuanti tativo. y cualitativos. Por mtodos cuantitativos los investigadores se refieren a las tcni ca. experimentales aleatorias, cuasi-experimentales, tests "objetivos" de lpiz y pape l, anlisi. estadsticos multivariados, estudios de muestras, etc. En contraste, y entre los mt odo. cualitativos, figuran la etnografa, los estudios de caso, las entrevistas en prof undidad . la observacin participativa. Cada uno de estos tipos metodolgicos, es decir el cua ntitativ. y el cualitativo, tiene un grupo de partidarios quienes afirman que sus mtodos pr eferido. son lo mejor adecuados para la evaluacin. Seguidamente se incluye una muestra de la. opiniones que sustentan cada una de las partes del debate. Campbell y Stanley (1966) y Riecken y otros (1974) son citados a menudo como fir me. defensores de los mtodos cuantitativos. Aunque Campbell y Stanley (1966:2) no s. interesaron fundamentalmente por la investigacin evaluativa, describen lo experim enta. como "el nico medio de establecer una tradicin acumulativa en el que cabe introduc i. perfeccionamientos sin el riesgo de prescindir caprichosamente de los antiguo. conocimientos en favor de novedades inferiores". Riecken y otros (1974:6,12) se muestra. tan slo ligeramente ms moderados y no menos entusiastas en sus reivindicacione. acerca de los experimentos: "Los experimentos no slo conducen a conclusiones caus ale. ms claras sino que el mismo proceso del diseo experimental contribuye a aclarar l.

* Notas de los autores: El trabajo del que damos cuenta en este captulo cont en pa rte con la ayuda de una beca de investigaci.

de la Universidad de Denver, una beca de investigacin de la W. T. Grant Foundatio n y una beca (Dart-78-09368) de l. National Science Grant Foundation. Los autores agradecen a Brbara Minton y a Dafe Schellenger sus valiosos comentario. a un anterior borrador de este texto.

LECTURAS COMPLEMENTARIAS naturaleza del problema social que est siendo estudiado". "Cuando las condiciones n. son problemticas o cuando la creatividad y el ingenio de quien disea la investigac i. pueden resolver problemas difciles, entonces, la experimentacin es el mtodo preferi bl. para obtener una informacin vlida y fiable sobre la cual proyectar programa. sociales"(cursiva en el original). Weiss y Rein (1972), Parlett y Hamilton (1976) y Guba (1978) figuran entre quien es s. agrupan en favor de los mtodos cualitativos. Weiss Rein en particular (1972:243) indic. diversas estrategias alternativas de investigacin y derivadas de la tradicin cuali tativ. a las que consideran "en general superiores al diseo experimental como metodolog. para la evaluacin de programas de objetivos amplios". Al hablar especficamente de l. evaluacin educativa, Parlett y Hamilton (1976:141) aaden tajantemente. De modo caracterstico, los enfoques convencionales han seguido las tradicione. experimentales y sicomtricas que predominan en la investigacin educativa. Su propsi t. (irrealizado) de lograr plenamente unos " mtodos objetivos" ha conducido a estudi o. que resultan artificiales y de alcance limitado. Afirmamos que semejantes evalua cione. son inadecuadas para ilustrar las reas de problemas complejos con las que se enfr enta. y, como resultado, suponen una escasa aportacin efectiva al proceso de elaboracin d. decisiones... La evaluacin iluminativa se presenta como perteneciente por contraste a un "parad igm. de la investigacin antropolgica". De manera similar, Guba (1978: 81) seala que la investigacin naturalista (a la que s. compara con el trabajo etnogrfico de campo y con el periodismo de investigacin y s . presenta como diametralmente opuesta a la investigacin experimental y convenciona l. brinda "un modo de evaluacin ms apropiado y ms sensible que cualquier otro practica d. en la actualidad". La corriente actual de opinin revela, en realidad, ms desacuerdos que los ofrecido s po. estos dos grupos de citas. Desde luego, no hay unanimidad sobre si existe o n. desacuerdo. Por ejemplo, Rossi y Wright (1977:13) afirma: "Entre los investigado re.

evaluativos existe una coincidencia casi total en sealar que el experimento aleat ori. controlado es el modelo ideal para evaluar la eficacia de la poltica pblica ". Gub a (1978. cita esta declaracin con obvio desdn.

LECTURAS COMPLEMENTARIAS El propsito del presente captulo consiste en sealar que parte del debate actual sob re lo. mtodos cualitativos y cuantitativos no se centra en cuestiones productivas y, e. consecuencia, no se desarrolla de manera tan lgica como sera deseable. Esto no sig nific. afirmar que sea posible resolver por completo esta disputa metodolgica. Como ms ta rd. veremos, del debate surgen cuestiones importantes que permiten unas justas difer encia. de opinin y de criterio. Convendra perfilarlas antes de que se manifestaran sentim iento. como los expresados al menos en algunas de las citas anteriores. Pero el debate, tal com. se est llevando a cabo, oscurece de forma progresiva las cuestiones y crea sin ne cesida. cismas entre los dos tipos de mtodos, cuando debera tender puentes y poner en clar . cules son los autnticos desacuerdos a los que merece la pena prestar atencin. El lenguaje del debate actua. Para entender algunas de las falacias de las opiniones actuales que estn cobrand. popularidad, es preciso apreciar ms plenamente la forma en que se desarrolla el d ebat. entre los dos tipos de mtodos. Recientes comentaristas, crticos y defensores (cf. Guaba. 1978; Parlett y Hamilton, 1976; Patton, 1976, 1978; Rist, 1977 y Wilson, 1977) c onsidera. el debate no slo como un desacuerdo respecto a las ventajas y desventajas relativ as d. los mtodos cualitativos y cuantitativos, sino tambin como un choque bsico entr. paradigmas metodolgicos. Segn esta concepcin, cada tipo de mtodo se halla ligado . una perspectiva paradigmtica distinta y nica y son estas dos perspectivas las que s. encuentran en conflicto. Tal como lo expone Rist (1977: 43):" En definitiva, la cuestin n. estriba perse en unas estrategias de investigacin: lo que sucede ms bien es que l. adhesin a un paradigma y su oposicin a otro predispone a cada uno a concebir el mu ndo. y los acontecimientos que en l se desarrollan, de modos profundamente diferentes" . El concepto de paradigma procede de Kuhn (1962,1970). Basndose en sus trabajos. Patton (1978: 203 ) define un paradigma como. Una visin del mundo, una perspectiva general, un modo de desmenuzar la complejida d de. mundo real. Como tales, los paradigmas se hallan profundamente fijados en la soc ializaci. de adictos y profesionales; los paradigmas les dicen lo que es importante, legtim o .

razonable. Los paradigmas son tambin normativos, sealan al profesional lo que ha d . hacer sin necesidad de prolongadas consideraciones existenciales o epistemolgicas .

LECTURAS COMPLEMENTARIAS Los que ven el debate en trminos de un contraste entre paradigmas proporcionan, p or l. general, toda una lista de atributos de los que se afirman que permiten distingu ir la. concepciones globales cualitativa y cuantitativa. Por ejemplo, Rist (1977) brind a tres atributos. Patton (1978) proporciona siete y Guba (1978) aporta catorce. Sin propsito de se. exhaustivos, ofrecemos en la tabla nm. 1 muchos de los atributos ms prominentes d. cada paradigma. En resumen, del paradigma cuantitativo se dice que posee una con cepci. global positivista, hipottico-deductiva, particularista, objetiva, orientada a lo s resultados . propia de las ciencias naturales. En contraste, del paradigma cualitativo se afi rma qu. postula una concepcin global fenomenolgica, inductiva, estructuralista, subjetiva, orientad. al proceso y propia de la antropologa social. El estudio que Filstead realiza en este volume. sobre los paradigmas proporciona una descripcin ms profunda y detallada. Tales caracterizaciones paradigmticas se basan en dos suposiciones que tienen un. consecuencia directa en el debate acerca de los mtodos. En primer lugar se supon. que un tipo de mtodo se halla irrevocablemente ligado a un paradigma de manera ta . que la adhesin a un paradigma proporciona los medio apropiados y exclusivos de es coge. entre los tipos de mtodos. Es decir, como conciben el mundo de diferentes maneras . los investigadores han de emplear mtodos distintos de investigacin. Si la teora de l. evaluacin de uno de estos se encuentra relacionada ms estrechamente con los atribu to. del paradigma A que con los atributos del paradigma B, debe automticamente inclin ars. por los medios de investigacin que se hallan ligados al paradigma A. En segundo l ugar. se supone que los paradigmas cualitativo y cuantitativo son rgidos y fijos y que l. eleccin entre estos es la nica posible. O sea que se consideran inmutables a lo. paradigmas y que no existe la posibilidad de modificaciones ni de otras opciones . Intencionadamente o no (y en algunas discusiones no resulta claramente evidente l. intencin), estas dos suposiciones conducen a la conclusin de que nunca cabe emplea . juntos los propios sistemas cualitativos y cuantitativos. Como los mtodos se hall a. ligados a diferentes paradigmas y como hay que escoger entre estas concepcione. excluyentes y antagnicas, uno tiene tambin que elegir entre los diversos tipos d. mtodos.

Tratar como incompatibles a los tipos de mtodos estimula obviamente a lo. investigadores a emplear slo uno u otro cuando la combinacin de los dos sera la m. adecuada para las necesidades de la investigacin. Paraliza, asimismo, cualquier t entativ.

LECTURAS COMPLEMENTARIAS de superar las diferencias entre las partes enfrentadas en el debate acerca de l os tipo. de mtodos. Por estas razones, la conceptualizacin de los tipos de mtodos com. antagnicos puede muy bien estar llevando por mal camino tanto el debate como la. prcticas metodolgicas actuales. En nuestra opinin constituye un error la perspectiv . paradigmtica que promueve esta incompatibilidad entre los tipos de mtodos. Especficamente ambas suposiciones antes citadas son falsas, as que no se sostien. la conclusin segn la cual los investigadores han de elegir entre los tipos de mtodo s. En el anlisis que sigue exponemos la falacia de ambas suposiciones (es decir, el nex. entre paradigma y mtodo y la eleccin forzada entre paradigma cualitativo y cuantit ativo). Tras haber considerado as al conflicto entre los puntos de vista paradigmtico. redefinimos, entonces, las cuestiones suscitadas por el debate acerca de los tip os d. mtodos y resaltamos algunos de los beneficios potenciales del empleo conjunto de lo. mtodos cualitativos y cuantitativos. Tabla . Atributos de los paradigmas cualitativo y cuantitativ. PARADIGMA CUALITATIV. PARADIGMA CUANTITATIV. Aboga por el empleo de los mtodo. Aboga por el empleo de los mtodo. cualitativos. cuantitativos. Fenomenologismo y verstehem (comprensin. Positivismo lgico; .busca los hechos . .interesado en comprender la conduct. causa de los fenmenos sociales. humana desde el propio marco de referenci. prestando escasa atencin a los estado. de quien acta.*. subjetivos de los individuos... Observacin naturalista y sin control. Medicin penetrante y controlada. Subjetivo. Objetivo. Prximo a los datos; perspectiva "desd. Al margen de los datos; perspectiva "desd. dentro".

fuera". * Citas de Bogdan T. Taylor (1975: 2). No suscribimos necesariamente estas descr ipciones de "fenomenologismo" y "positivism. lgico" (cf. Cook y Campbell 1979) aunque semejantes caracterizaciones se hallen m uy difundidas.

LECTURAS COMPLEMENTARIAS PARADIGMA CUALITATIV. Fundamentado en la realidad, orientado . los descubrimientos, exploratorio, expan. sionista, descriptivo e inductivo. Orientado al proceso. Vlido: datos "reales", "ricos" y "profundos". No generalizable: estudios de caso. aislados. Holista. Asume una realidad dinmica. PARADIGMA CUANTITATIV. No fundamentado en la realidad, orientad. a la comprobacin, confirmatorio, reduc. cionista, inferencial e hipottico deductivo. Orientado al resultado. Fiable: datos "slidos" y repetible. Generalizable: estudios de casos ml. tiples. Particularista. Asume una realidad estable. . Determinan lgicamente los paradigmas la eleccin del mtodo d. investigacin. Segn el uso actual, un paradigma consta no slo de una concepcin filosfica global. sino tambin de un nexo con un determinado tipo de mtodo de investigacin. En est. sentido de la definicin, el paradigma determina, entonces, el mtodo. La cuestin qu. aqu se plantea es la de precisar si este nexo entre paradigma y mtodo resulta nece sari. e inherente o si sencillamente procede de la definicin y de la prctica. En otras p alabras. existe una consistencia inherente entre la admisin a la filosofa de un paradigma y e. empleo de los mtodos de otro? La pregunta se responde con facilidad considerand. sucesivamente cada uno de los atributos paradigmticos para ver si se halla lgicame nt. ligado tan slo a uno de los mtodos o si puede aplicarse igualmente bien a ambos. C ad. uno de los atributos de la tabla nm. 1 es examinado separadamente a continuacin.

Reconsideracin de la relacin entre paradigma y mtod. . Es necesariamente un positivista lgico el investigador que emplea procedimiento. cuantitativos? Y del mismo modo es necesariamente un fenomenologista e.

LECTURAS COMPLEMENTARIAS investigador que emplea procedimientos cualitativos? Ciertamente no, porque, po. un lado, muchos investigadores sociales que utilizan mtodos cuantitativos suscrib e. una posicin fenomenolgica. Por ejemplo, las teoras sicolgicas sociales de l. atribucin son fenomenolgicas en cuanto que se proponen comprender conducta. y creencias desde la perspectiva de los mismos actores. Sin embargo, la mayo. parte, si no toda, de la investigacin de la atribucin se realiza en el laboratorio co. mtodos cuantitativos. Pero consideramos la investigacin sobre la introspeccin. un tema que asimismo corresponde claramente al terreno del fenomenologismo. E. la revisin sobre la investigacin de la introspeccin, realizada por Niseett y Wilso. (1977), la vasta mayora de los estudios emplearon procedimientos cuantitativo. como los experimentos aleatorios y las mediciones "objetivas" de la conducta. Por otro lado sera posible, aunque quiz resultara improbable, que un etngraf. realizara investigaciones desde una posicin de positivismo lgico. Por ejemplo. imaginemos a un investigador que crea que la categora socioeconmica se defin. exclusivamente en trminos de bienes materiales como televisores, coches, casa. y ropas. Como tales artculos pueden ser observados y contados sin referencia . los significados que tengan para sus propietarios, semejante medida de la catego r. socioeconmica corresponde claramente a la tradicin del positivismo lgico. As. un investigador que emplee esta medida y que compruebe las pertenencias de u. individuo mediante un trabajo etnogrfico de campo estara suscribindose a. positivismo lgico al tiempo que empleaba mtodos cualitativos. . Son necesariamente naturalistas las medidas cualitativas y necesariament. penetrantes los procedimientos cuantitativos? Los procedimientos cualitativos, c om. la observacin participativa, pueden resultar penetrantes en algunas situacione. investigadoras. Por ejemplo, la categora de Margaret Mead como persona ajena fu. probable y fcilmente advertida por las personas que decidi estudiar y, desde luego . esta circunstancia influy en su relacin de trabajo con ellas. De la misma maner. algunos de sus procedimientos cuantitativos, tales como las experiencias aleator ias. pueden, en ocasiones, ser empleados de un modo completamente discreto (cf. Lofra n. y Lejeune, 1960). De hecho, la cuestin del engao se ha suscitado en mucho. experimentos de campo y de laboratorio precisamente porque se consideraba qu. tanto el investigador como la manipulacin se hallaban perfectamente encubierto. (cf. Davis, 1961; Lofrand, 1961; Roth,1962 y Kelman, 1972).

LECTURAS COMPLEMENTARIAS . Son necesariamente subjetivos los procedimientos cualitativos y necesariament. objetivos los procedimientos cuantitativos? Segn Scriven (1972), habra qu. reconocer que el trmino subjetivo (o alternativamente el trmino objetivo) ha llega d. a tener dos significados diferentes. Con frecuencia subjetivo da a entender "inf luid. por el juicio humano". Conforme a este uso todos los mtodos y medidas, tant. cualitativos como cuantitativos, son subjetivos. Desde luego, los modernos filsof o. de la ciencia coinciden en gran parte en sealar que todos los hechos se halla. inspirados por la teora y as, resultan, al menos parcialmente, subjetivos. Po. supuesto que la asignacin de nmeros de una manera mecnica, como es com. en los procedimientos cuantitativos, no garantiza la objetividad. Por ejemplo, B ogda. y Taylor (1975) describen una evaluacin de un programa de adiestramiento qu. demuestra claramente la subjetividad de un indicador nominalmente objetivo. E. esta evaluacin poda sealarse una tasa de xito del 12% o del 66%. La discrepanci. procede de las diferencias en el modo en que uno (subjetivamente) decide emplea. los indicadores objetivos para definir el xito. Buena parte de este gnero d. subjetividad aparece all en donde se emplea un diseo y un anlisis cuantitativ. (cf. Boruch, 1975). El significado alternativo de subjetivo corresponde a la medicin de sentimientos . creencias. Es decir, una medida o un procedimiento son subjetivos si toman e. consideracin sentimientos humanos, no siendo presumiblemente estos observable. de una manera directa. Una vez ms hay que sealar que no hay razones par. suponer que los procedimientos cualitativos tengan un monopolio de la subjetivid ad. Los sondeos de opinin de carcter nacional ( por ejemplo, una encuesta sobre l. popularidad del actual presidente ) son excelentes ejemplos de medidas cuantitat iva. que resultan subjetivas. Tal es el caso de las ilustraciones en el anlisis de. fenomenologismo. . Aslan necesariamente los mtodos cuantitativos al investigador respecto de lo. datos? Fienberg (1977: 51) piensa que es "sorprendente que pueda considerarse e. acercamiento a los datos como atributo exclusivo del enfoque (cualitativo) ". Co m. por ejemplo, Fienberg (1977) cita el hecho de enviar a sus alumnos titulados a p asa. un par de noches en un coche-patrulla de la polica para ser ms capaces de concebi. una evaluacin cuantitativa de las actividades policiales. De forma semejante, muc ho. investigadores cuantitativos se aventuran en el campo "para ensuciarse las manos .

LECTURAS COMPLEMENTARIAS y los siclogos de laboratorio realizarn sus propias manipulaciones y acosarn . preguntas a sus sujetos para averiguar lo que significan las reacciones apreciad a. en sus conductas. Tal vez un adicto defensor de lo cualitativo afirmar que todo. estos son ejemplos de procedimientos cuantitativos ligados con mtodo. cuantitativos. De cualquier manera resulta claro que el investigador cuantitativ o n. debe aislarse de los datos. . Estn necesariamente fundamentados en la realidad, son exploratorios o inductivo. los procedimientos cualitativos mientras que los cuantitativos carecen de es. fundamentacin y son necesariamente confirmatorios y deductivos? A Glaser . Strauss (1967: 17-18 ) se les reconoce generalmente como autores de una verdader . Biblia sobre la teora fundamentada en la realidad. Afirman: "No existe choqu. fundamental entre los fines y las capacidades de los mtodos o datos cualitativos . cuantitativos... Creemos que cada forma de datos resulta til tanto para l. comprobacin como para la generacin de la teora, sea cual fuere la primaca de. nfasis" (en cursiva en el original). Estamos de acuerdo: los mtodos cualitativo. no slo pueden ser empleados para descubrir las preguntas que resulta interesant. formular y los procedimientos cuantitativos no slo pueden ser empleados par. responderlas. Por el contrario, cada procedimiento puede servir a cada funcin. Po . ejemplo, Glaser y Strauss (1965,1967) detallan cmo cabe emplear beneficiosament. los grupos de comparacin (al azar o de otro modo) en la generacin de una teora. De la misma manera, los mtodos cualitativos poseen reglas de evidencia y d. comprobacin bien definidas para confirmar teoras (cf. Barton y Lazarsfeld, 1969. Becker, 1958 y McCall, 1969 ).Campbell ( en este volumen) no slo demuestr. cmo el estudio etnogrfico de casos puede verificar proposiciones tericas, sin. que brinda sugerencias para hacer ms eficaz el procedimiento en la tarea. L. interesante es que la lgica de la descripcin y de la inferencia se extiende a trav. de los mtodos (cf. Fienberg,1977). El trabajo de Becker en este libro viene a seal a. lo mismo cuando aplica a un tipo de datos cualitativos-fotografas criterios de va lide. concebidos en un principio para mtodos cuantitativos. . Han de emplearse exclusivamente los procedimientos cualitativos para medir e. proceso y han de emplearse exclusivamente las tcnicas cuantitativas para determin a. el resultado? Como en el caso de la distincin anterior entre verificacin . descubrimiento, no existe tampoco aqu necesidad de que haya una divisin estrict.

LECTURAS COMPLEMENTARIAS del trabajo entre los mtodos cualitativos y cuantitativos. Una vez ms la lgica d. la tarea (descubrimiento del proceso frente a valoracin del resultado) abarca lo. mtodos. As, por un lado, Hollister y otros ( en este volumen) describen un proces. empleando tcnicas cuantitativas y Campbell (1970) llega a sugerir que el dise. experimental resultara til en el estudio del proceso porque podra ayudar a descarta . las hiptesis alternativas. Por otro lado, el procedimiento del estudio de casos h . sido a menudo empleado con xito para valorar el resultado. Por ejemplo, un estudi . de casos es suficiente para determinar mucho de los efectos de una inundacin o d. un huracn y la visita al lugar es generalmente respaldada por la profesin de l. ciencia social como un modo apropiado de evaluar la eficacia de los programas d. adiestramiento. . Son necesariamente los mtodos cualitativos vlidos pero no fiables y so. necesariamente los mtodos cuantitativos fiables pero no vlidos? Como contra . ejemplo consideremos la "observacin participante " de una ilusin ptica. Por l. naturaleza misma de una ilusin, la observacin est llamada a originar conclusione. no vlidas que slo pueden ser corregidas mediante el empleo de procedimiento. ms cuantitativos (vase en este volumen el estudio de Campbell sobre la ilusin d. Muller-Lyer). Ni la fiabilidad ni la validez son atributos inherentes a un instr ument. de medicin (tanto si ste es una regla como s se trata del ojo humano). La precisi. depende ms bien de la finalidad a la que se hace servir el instrumento de medici. y de las circunstancias bajo las que se realiza dicha medicin. A veces los ojos . los odos de una persona constituyen el instrumento ms preciso y significativo (cf. Brickell, 1976; Shapiro, 1973) mientras que en otros casos un instrumento m. cuantitativo resultara ms vlido as como ms fiable. . Se hallan siempre limitados los mtodos cualitativos al caso aislado y son por es. no generalizables? Las afirmaciones en este sentido yerran en dos puntos. En pri me. lugar, los estudios cualitativos no tienen por qu limitarse a casos aislados. Ris . (1979), por ejemplo, da cuenta de un estudio etnogrfico en el que se examina. sesenta lugares distintos para estar en mejores condiciones de generalizar. E. segundo lugar, la posibilidad de generalizar depende, por lo comn, de algo ms qu. del tamao de la muestra. Slo en muy pocos casos, como cuando se recurre a u. sondeo aleatorio, la generalizacin se basa en un razonamiento estadstico, y s. toma de unos datos de muestreo a toda una poblacin. Habitualmente, l.

LECTURAS COMPLEMENTARIAS generalizacin es mucho menos formal y por eso resulta ms inductiva y ms fiabl. en potencia. Esto significa que los investigadores normalmente desean generaliza . a poblaciones que no han sido muestreadas (por ejemplo, a nios de diferente. distritos escolares, a cabezas de familia en paro de otras ciudades y a distinta . pocas y diferentes tipos de tratamientos). Semejantes generalizaciones "nunca s. hallan lgicamente justificadas por completo" tanto si estn basadas en dato. cualitativos como si lo estn en datos cuantitativos (Campbell y Stanley, 1966: 17 1. vase tambin Cronbach, 1978). Aunque en tales generalizaciones informales pued. servir de ayuda una muestra amplia y diversa de casos, tambin puede contribuir e. conocimiento profundo de un solo caso. As, y en general, no hay razn alguna par. que los resultados cuantitativos sean inherentemente ms generalizables que lo. resultados cualitativos. . Son necesariamente holistas los procedimientos cualitativos y son necesariament. particularistas los procedimientos cuantitativos? Es claro que la respuesta tien e qu. ser negativa. Un investigador puede estudiar intensamente tan slo un aspect. circunscrito de la conducta empleando, por ejemplo, el mtodo de la observaci. participante simplemente porque tal conducta se observa con menos precisin . con una facilidad menor de cualquier otro modo. Por ejemplo, una conducta suti. puede ser slo detectable para un observador agudo que posee un amplio conocimient . de la cultura local. En este caso, el investigador puede emplear la visin de u. observador participante como instrumento de medicin sin atender a contexto algun. ms amplio que la propia y especfica conducta. Del mismo modo, los mtodo. cuantitativos tales como sondeos o experiencias aleatorios pueden tomar e. consideracin "toda la imagen" aunque en manera alguna midiendo "todo". . Han de suponer los procedimientos cuantitativos que la realidad es estable y qu. no cambia? Reconociendo que algunos diseos son ms "rigidos" que otros, lo. procedimientos cuantitativos en conjunto no obligan al investigador a concebir u n. realidad inmutable. Desde luego, una de las grandes ventajas de los cuas. experimentos temporalmente seriados es que pueden determinar el cambio tempora. en el efecto de un programa contra un pasado de cambios "naturales". En un cas. extremo, ninguna estrategia de valoracin supone una realidad perfectamente fijad. puesto que el propsito mismo de la investigacin consiste en advertir el cambio. Esto no quiere decir que unos acontecimientos no planeados e incontrolables n.

LECTURAS COMPLEMENTARIAS pueden representar un peligro para una evaluacin, eficaz, sino que slo los cambio. en el entorno de la investigacin pueden perturbar tanto las evaluaciones cualitat iva. como las cuantitativas. Por ejemplo, se seala a menudo que las experiencia. aleatorias quedan invalidadas cuando se altera en el curso de la investigacin e. procedimiento del tratamiento. Al mismo tiempo, otros tipos de cambio imprevisto . como el incremento de las tensiones entre el observador y el personal del progra m. (vase Knapp, en este volumen) pueden poner tambin en peligro una evaluaci. etnogrfica. En ambos casos es considerable lo que se puede realizar para hace. las evaluaciones ms flexibles ante los cambios indeseados. La importancia de la situaci. Partiendo de las observaciones anteriores, llegamos a la conclusin de que los atr ibuto. de un paradigma no se hallan inherentemente ligados ni a los mtodos cualitativos ni . los cuantitativos. Cabe asociar los dos tipos de mtodos tanto con los atributos d e. paradigma cualitativo como los del cuantitativo. Esto significa que, a la hora d e elegir u. mtodo, carezca de importancia la posicin paradigmtica; ni tampoco equivale a nega. que ciertos mtodos se hallan por lo comn unidos a paradigmas especficos. Lo princip a. es que los paradigmas no constituyen el determinante nico de la eleccin de los mtod os. La eleccin del mtodo de investigacin debe depender tambin, al menos en parte, d. las exigencias de la situacin de investigacin de que se trate. Por ejemplo, consid eramo. las evaluaciones del impacto de dos programas educativos. En un caso, el tratami ent. consiste en un proyecto nuevo e intensivo destinado a compensar los efectos de u n. inferioridad econmica. La importancia y la intransigencia relativa del problema j ustifica. una inversin sustancial de tiempo y dinero, sobre todo porque un programa que s. "demuestre" que es eficaz se puede adoptar como poltica nacional. En este caso, u . experimento aleatorio puede constituir el mejor medio de informar a quienes toma n la. decisiones. El otro programa educativo consiste en la concesin de unas becas para graduados q u. se adiestrarn en un departamento universitario. En este caso no se exige una gra. inversin de tiempo y de dinero, tanto porque el programa en s mismo resulta relati vament. pequeo, como porque del resultado de la evaluacin no dependern decisiones de alcanc

. nacional. Entonces el procedimiento habitual es una tcnica de estudio de casos, c om.

LECTURAS COMPLEMENTARIAS la visita al lugar. As defender que los experimentos aleatorios (o las visitas al lugar) ha. de ser siempre empleados en las valoraciones de las que se derivan repercusione. resulta tan estpido como defender que jams deben ser utilizados. En alguna. situaciones, el procedimiento ms eficaz de investigacin ser cuantitativo mientras q u. en otras se atender mejor al mismo fin investigador mediante un mtodo cualitativo.

Conocimiento implcito en el nexo real pero imperfecto entre paradigma y mtod. Por supuesto que el nexo revela algn conocimiento, en la prctica existente, entr. paradigmas y mtodos. Los investigadores que utilizan los mtodos cualitativos s. adhieren ms a menudo al paradigma cualitativo que al cuantitativo. De manera simi lar. existe una correlacin entre el uso de mtodos cuantitativos y la adhesin al paradigm . cuantitativo (aunque estos nexos entre paradigma y mtodo no sean perfectos, com. muchos parecen creer). Semejantes nexos pueden ser muy bien el resultado de un. evaluacin adaptativa que refleja el hecho de que, siendo iguales en todo lo dems, lo. mtodos cualitativos y cuantitativos a menudo resultan los ms indicados para lo. distintos puntos de vista paradigmticos con los que han llegado a ser asociados. Sospechamos que la distincin ms notable y fundamental entre los paradigma. corresponde a la dimensin de verificacin frente a descubrimiento. Parece que lo. mtodos cuantitativos han sido desarrollados ms directamente para la tarea de verif ica. o de confirmar teoras y que, en gran medida, los mtodos cualitativos fuero. deliberadamente desarrollados para la tarea de descubrir o de generar teoras. No e. sorprendente entonces que cada tipo de mtodo haya llegado a ser asociado con esta . distintas posiciones paradigmticas y que los mtodos tengan tambin su mejo. rendimiento cuando son empleados para esos fines especficos. Estos nexos evolutivos podran explicar las tendencias antiguas y recientes en el emple. de los diferentes mtodos en la evaluacin. En una primera poca se supona que cab. designar fcilmente unos programas para producir los resultados deseados y que e. propsito de la evaluacin consiste simplemente en comprobar de modo anticipado esto . efectos. De forma as completamente natural la evaluacin se orientaba haca los mtodo. cuantitativos con su tradicional insistencia en la verificacin. Ms tarde se descub ri. que el mejoramiento no era tan simple y que los programas podan tener una ampli. variedad de efectos marginales insospechados. El nfasis de la evaluacin comenz d.

LECTURAS COMPLEMENTARIAS ese modo a desplazarse desde la verificacin de los presuntos efectos al descubrim ient. de la manera en que cabra concebir un programa para que tuviese el efecto deseado . de los efectos tanto sospechados como insospechados que tales programas pudiera. tener realmente. En consecuencia, algunos campos de la evaluacin (y muy especialm ent. el de la educacin) han revelado un inters creciente por los mtodos cualitativos con s. nfasis en el descubrimiento. Pero aunque el nexo existente entre paradigma y mtodo puede orientar ltimamente l. eleccin de un mtodo de investigacin, ese nexo no debe determinar en exclusiv. semejante eleccin. Hemos sealado que la situacin de la investigacin constituy. tambin un factor importante. Y esto resulta especialmente significativo porque l. investigacin evaluativa se realiza bajo numerosas circunstancias singulares y exi gente. que pueden requerir modificaciones en las prcticas tradicionales. El hecho de qu. paradigma y mtodo hayan estado ligados en el pasado no significa que en el futur. resulte necesario, o conveniente, que as sea. Es preciso escoger entre los paradigmas. Como indicamos antes, el debate actual acerca de los mtodos crea la impresin de qu . el investigador no slo debe escoger un mtodo en razn de su adhesin a un paradigma. sino que tambin debe elegir entre los paradigmas cualitativo y cuantitativo porqu e so. las nicas opciones disponibles. Ya hemos examinado la primera cuestin; ahor. abordaremos la segunda. Los dos paradigmas a los que nos referimos proceden de dos tradiciones singulare s . completamente diferentes. El conglomerado de atributos que integran el paradigm. cuantitativo procede de las ciencias naturales y agronmicas, mientras que el para digm. cualitativo tuvo su origen en los trabajos de antropologa social y de sociologa, s obr. todo de la escuela de Chicago. No resulta claro por qu se juzg que una u otra de e sta. tradiciones tenan que proporcionar un paradigma adecuado a la investigacin evaluat iva. Por fortuna los evaluadores no se han limitado a estas dos nociones. El hecho de que alguien realice una investigacin de un modo holista y naturalista , po.

ejemplo, no significa que tenga que adherirse a los dems atributos del paradigm. cualitativo como el de ser exploratorio y hallarse orientado hacia el proceso. C abr.

LECTURAS COMPLEMENTARIAS combinar ms bien los atributos naturalista y holista del paradigma cualitativo co n otro. atributos como el de ser confirmatorio y el de hallarse orientado hacia el resul tado, propio. del paradigma cuantitativo; o considerar un ejemplo de la prctica general. El pos itivism. lgico ya no es una postura filosfica comnmente aceptada para la investigacin social. La mayora de los investigadores han adoptado una posicin fenomenolgica tanto si l. investigacin se concentra en el proceso o en el resultado, en el naturalismo o en e. control. De hecho, todos los atributos que se asignan a los paradigmas son lgicament. independientes. Del mismo modo que los mtodos no se hallan ligados lgicamente . ninguno de los atributos de los paradigmas, los propios atributos no se encuentr a. lgicamente ligados entre s. Podramos examinar uno por uno los atributos de la lista . como en la seccin anterior, proporcionando ejemplos que demostrarn su independenci . pero semejante tarea resultara tediosa. Baste con decir que no existe nada, excep t. quiz la tradicin, que impida al investigador mezclar y acomodar los atributos de l os do. paradigmas para lograr la combinacin que resulte ms adecuada al problema de l. investigacin y al medio con que se cuenta. Suponiendo que se disponga de considerables recursos de evaluacin y que se dese. una evaluacin global, a menudo se tratar de lograr una muestra de atributos de cad . paradigma en la misma dimensin. Por ejemplo, las evaluaciones globales deben hall ars. orientadas tanto al proceso como al resultado, ser exploratorias tanto como conf irmativas. y vlidas tanto como fiables. No existe razn para que los investigadores se limiten . uno de los paradigmas tradicionales, s bien ampliamente arbitrarios, cuando puede . obtener lo mejor de ambos. Por aadidura, los evaluadores han de sentirse libres de cambiar su postura paradi gmtic. cuando sea preciso. No hay razn para ceirse en todo momento a una mezcla d. atributos. Por el contrario, al pasar de un programa al siguiente o de un estudi o a otr. (suponiendo que para un slo programa se proyecte una serie de evaluaciones en lug a. de un estudio de una sola vez), lo probable es que cambie la posicin paradigmtica qu. resulte ms apropiada en la investigacin. En consecuencia, la perspectiva paradigmti c. del investigador ha de ser flexible y capaz de adaptaciones.

LECTURAS COMPLEMENTARIAS Por qu no emplear tanto los mtodos cualitativos como los cuantitativos. Redefinicin del debat. Ya hemos visto que la eleccin de mtodos no debe hallarse determinada por la adhesi. de un paradigma arbitrario. Y ello es as tanto porque un paradigma no se hall. inherentemente ligado a una serie de mtodos, como porque las caractersticas del en torn. especfico de la investigacin cobran la misma importancia que los atributos de u. paradigma a la hora de escoger un mtodo. Hemos visto tambin que un investigador n. tiene por qu adherirse ciegamente a uno de los paradigmas polarizados que han rec ibid. las denominaciones de "cualitativo" y "cuantitativo", sino que puede elegir libr ement. una mezcla de atributos de ambos paradigmas para atender mejor a las exigencias de. problema de la investigacin con que se enfrenta. Parece, entonces, que no existe tampoc. razn para elegir entre mtodos cualitativos y cuantitativos. Los evaluadores obrar. sabiamente si emplean cualesquiera mtodos que resulten ms adecuados a la. necesidades de su investigacin, sin atender a las afiliaciones tradicionales de l o. mtodos. En el caso de que ello exija una combinacin de mtodos cualitativos . cuantitativos, hgase as pues. Por supuesto que an es posible un debate sincero respecto de cules son los mtodo. mejores, habida cuenta de una perspectiva paradigmtica y de una situacin d. investigacin determinadas. Por ejemplo, cierta parte de los textos sobre formacin d. mano de obra revela una discrepancia acerca de la probabilidad de que cambie la influenci. de participantes en estos programas en ausencia de un efecto del tratamiento. Si no s. produce semejante consecuencia (tanto de incremento como de dficit) no hay necesi da. de un grupo de control para la valoracin del impacto; bastara en tales circunstanc ia. concebir un estudio de casos. Por otra parte, si tiene lugar la consecuencia en ausenci. del tratamiento resultara deseable un grupo de control (quiz, incluso, seleccionad o a. azar). Cabe tambin que tenga lugar un sincero debate sobre la adecuacin de una determinad . posicin paradigmtica a una evaluacin especfica. Como ejemplo al respecto podr. citarse el de un desacuerdo acerca de la importancia relativa de la validez inte rna frent. a la generabilidad. Indudablemente, ambos atributos son importantes pero alguno. evaluadores juzgan que, a largo plazo, el medio mejor de lograr la generabilidad

consist.

LECTURAS COMPLEMENTARIAS en asegurarse de que cada estudio sea internamente vlido (cf. Campbell, 1969) mie ntra. que otros prefieren soluciones a corto plazo en donde el objetivo inmediato de l . generabilidad se antepone a la validez interna (cf. Cronbach, 1978). El problema estriba en que en los textos se confunden ambos legtimos debates. S. formulan crticas contra los mtodos cuando en realidad lo que pretende atacarse es un. concepcin global paradigmtica y viceversa. Como mtodos y paradigmas so. lgicamente separables, sta es una forma equvoca y turbia de debate. El hecho de qu. haya sido deficientemente empleado un mtodo o utilizado con una finalidad inaprop iad. no significa que sea, en s mismo, defectuoso o inadecuado. Los argumentos confuso . sobre paradigmas con argumentos sobre mtodos slo han servido para llegar hasta l. situacin presente en la que los investigadores se alinean tras los tipos de mtodos . S. se redefine este debate bajo la forma de dos discusiones diferentes y legtimas re sult. patente la falacia del proceder actual: en vez de ser rivales incompatibles, los mtodo. pueden emplearse conjuntamente segn lo exija la investigacin. Cierto nmero de investigadores haban definido anteriormente esta posicin segn l. cual cabe emplear conjunta y eficazmente los mtodos cualitativos y cuantitativos tant. en el contexto de la investigacin de evaluacin (cf. Britan, 1978; Campbell, 1974; Coo. y Cook, 1977 y Stake, 1978 ) como en disciplinas de naturaleza ms tradicional (cf . Denzin, 1970; Eisner, 1977; Rist, 1977 y Sieber,1973 ). Tal vez fue Trow (1957:3 38 . quien lo expres mejor en un debate sobre las ventajas relativas de la observaci. participativa en comparacin con la entrevista. Cada zapatero piensa que el cuero es lo nico que importa. La mayora de los cientfic o. sociales, incluyendo quien esto escribe, tienen sus mtodos favoritos de investiga ci. con los que estn familiarizados y en cuya utilizacin poseen una cierta destreza. . sospecho que fundamentalmente decidimos investigar aquellos problemas que parece . vulnerables a travs de tales mtodos. Pero deberamos, por lo menos, tratar de se. menos localistas que los zapateros. Prescindamos ya de las argumentaciones de l. "observacin participante " frente a la entrevista .como ya hemos renunciado en bu en. medida a las discusiones de la sicologa frente a la sociologa. y prosigamos con l. tarea de abordar nuestros problemas con el ms amplio despliegue de instrumento. conceptuales y metodolgicos que poseamos y que tales problemas exigen. Esto n.

LECTURAS COMPLEMENTARIAS excluye la discusin y el debate respecto a la utilidad relativa de los diferentes mtodo. para el estudio de problemas o tipos especficos de problemas. Pero resulta algo m u. distinto de la afirmacin de una superioridad general e inherente de un mtodo sobre otro. basndose en algunas cualidades intrnsecas que supuestamente posee (la cursiva e. del original). Ventajas potenciales del empleo conjunto de los mtodos cualitativo. y cuantitativo. Existen al menos tres razones que respaldan la idea segn la cual, cuando se abord a. los problemas de evaluacin con los instrumentos ms apropiados que resulten accesib les. se emplear una combinacin de los mtodos cualitativos y cuantitativos. En prime. lugar, la investigacin evaluativa tiene por lo comn propsitos mltiples que han de se . atendidos bajo las condiciones ms exigentes. Tal variedad de condiciones a menud. exige una variedad de mtodos. En segundo lugar, empleados en conjunto y con e. mismo propsito, los dos tipos de mtodos pueden vigorizarse mutuamente para brindar no. percepciones que ninguno de los dos podra conseguir por separado. Y en tercer lug ar. como ningn mtodo est libre de prejuicios, slo cabe llegar a la verdad subyacent. mediante el empleo de mltiples tcnicas con las que el investigador efectuar la. correspondientes triangulaciones. Ya que los mtodos cuantitativos y cualitativos tiene. con frecuencia sesgos diferentes, ser posible emplear a cada uno para someter al otr. a comprobacin y aprender de l. Aunque no afirmamos que estos tres puntos se halle. por completo desligados, cada uno ser considerado separadamente a continuacin. 1. Objetivos mltiples. Como ya se ha advertido antes, una evaluacin global ha d. interesarse tanto por el proceso como por el resultado. Mediante el anlisis de. proceso, los investigadores han llegado a distinguir dos objetivos distintos a l os qu. aplicaremos denominaciones diferentes. La finalidad primera del proceso estriba e. comprobar: describir el contexto y la poblacin del estudio, descubrir el grado en e. que se ha llevado a cabo el tratamiento o programa, proporcionar una retroinform aci. de carcter inmediato y de tipo informativo, etc. La segunda finalidad del proces. estriba en la explicacin causal: descubrir o confirmar el proceso mediante el cua l e. tratamiento alcanz el efecto logrado. Naturalmente, la medicin del efecto de. programa es el resultado total o valoracin del impacto.

LECTURAS COMPLEMENTARIAS Para una comprensin completa del programa, una evaluacin tendra que realiza. al menos tres tareas: comprobacin, valoracin del impacto y explicacin causal. Se trata de una gama muy amplia de tareas que, para ser eficazmente atendidas. requerirn quiz el empleo de mtodos tanto cualitativos como cuantitativos. Aunqu. de un modo inevitable, puede suceder a menudo que la comprobacin sea realizad. con mayor eficacia conforme a un modo cualitativo, que la valoracin del impacto s . realice con mayor precisin mediante mtodos cuantitativos y que la explicaci. causal se obtenga de mejor manera a travs del empleo conjunto de mtodo. cualitativos y cuantitativos. Aunque desde luego pretendemos evitar la impresin d . que se requiere una divisin rgida o inherente del trabajo, creemos que un nmer. mayoritario de casos y para conseguir todos los propsitos de una evaluacin har. falta una combinacin flexible y adaptativa de los tipos y mtodos. En el empleo conjunto de los mtodos para atender a las mltiples necesidades d. la investigacin, la evaluacin debe mostrarse receptiva a las formas nuevas . singulares y a la concatenacin de los mtodos. A menudo se dice que las ciencia. sociales cuantitativas han adoptado totalmente sus mtodos de las ciencias natural e. y agronmicas. Resultara lastimoso de ser cierto, puesto que difcilmente cabr. esperar que los instrumentos de una disciplina fuesen los ms indicados para lo. fines y circunstancias de otra. En realidad, el proceso de adopcin de tales mtodo. ha ido acompaado de diversos perfeccionamientos (cf. Boring, 1954, 1969 ) y deber. estimularse la realizacin de nuevas adaptaciones. Algunas adaptaciones tiles pueden suponer un maridaje creativo de los mtodo. cualitativos y de los cuantitativos, como, por ejemplo, el empleo de experimento . aleatorios con observadores participantes como instrumentos de la medicin. Est. podra contribuir a evitar las crticas a menudo suscitadas contra la evaluaci. cuantitativa y segn las cuales las medidas sicomtricas ms corrientement. empleadas carecen de sensibilidad respecto de la dimensin del inters. Tambi. podra acabar con las crticas formuladas contra muchas evaluaciones cualitativa. y segn las cuales carecen de control los peligros que amenazan su validez interna . Examinando otro ejemplo, consideremos ahora el empleo de los etngrafos e. combinacin con el diseo de regresin-discontinuidad. La esencia del diseo d. regresin discontinuidad estriba en que el tratamiento es asignado de un mod. estricto conforme a una dimensin cuantitativa (cf. Cook y Campbell, 1979). st.

LECTURAS COMPLEMENTARIAS podra ser desde una medida de distancia geogrfica a un lmite como el de un. calle o cualquier otra frontera natural que sirva como lnea divisoria entre quien es n. lo reciben. Para medir en semejante caso el efecto del tratamiento, los etngrafo. pueden ir y cruzar libre y repetidamente la frontera con objeto de determinar si exist. una discontinuidad en ese punto en las conductas o actitudes de inters. Tambi. son posibles otras combinaciones infrecuentes de mtodos cualitativos . cuantitativos. 2. Vigorizacin mutua de los tipos de mtodos. En un sentido fundamental, lo. mtodos cualitativos pueden ser definidos como tcnicas de comprensin personal. de sentido comn y de introspeccin mientras que los mtodos cuantitativos podra. ser definidos como tcnicas de contar, de medir, y de razonamiento abstracto. Evidentemente, esto supone un cambio de los significados de los mtodos cualitativ o. y cuantitativos respecto de los empleados en el resto del captulo, aunque se hall . justificado porque algunos autores suscriben estas definiciones. Semejante alter aci. en el significado resulta til porque la nueva perspectiva revela claramente cmo s. complementa con el otro cada uno de los tipos de mtodos. De modo especfico, e. conocimiento cuantitativo debe basarse en el conocimiento cualitativo pero a. proceder as puede superarlo. Lgicamente, los mtodos cuantitativos no pueden sustituir a los cualitativos porqu. la comprensin cuantitativa presupone un conocimiento cualitativo. Por ejemplo. Campbell (en este volumen) demuestra cmo se emplea la medicin cuantitativa d. una ilusin ptica para corregir la observacin cualitativa, pero procede as apoyndos. constantemente en ste y en muchos otros aspectos. La base del argumento e. que toda medicin se halla fundada en innumerables suposiciones cualitativas acerc . de la naturaleza del instrumento de medida y de la realidad evaluada. Por ejempl o, a. registrar el movimiento de los frentes de perturbaciones atmosfricas, se da po. supuesto que la fuerza gravitatoria de la tierra permanece constante dado que un o. cambios en sta determinaran alteraciones artificiales en la presin baromtrica. A. tomar nota del desarrollo de un nio, se supone que quien cambia a lo largo de. tiempo es el nio y no el instrumento que se utiliza para medir su crecimiento. L. eleccin de un modelo estadstico que encaje con los datos, la interpretacin de lo. resultados a que d lugar y la generalizacin de los descubrimientos a otros entorno . se hallan todas basadas en un conocimiento cualitativo. Muy simplemente, lo.

LECTURAS COMPLEMENTARIAS investigadores no pueden beneficiarse del empleo de los nmeros si no conocen, e. trminos de sentido comn, lo que estos significan. Del mismo modo, el conocimiento cualitativo puede beneficiarse del conocimient. cuantitativo. Incluso los investigadores ms introspectivos y de orientacin m. subjetiva no pueden prescindir del hecho de contar elementos o de emplear concep to. cuantitativos como " ms grande que " y " menos que ". La medicin cuantitativa d. las ilusiones pticas puede corregir la observacin cualitativa al tiempo que se bas . en sta. Y un hallazgo cuantitativo puede estimular una ulterior indagacin cualitat iv. (Light, 1979; Sieber,1973 ), como cuando un sorprendente resultado experimenta. impulsa al investigador a interrogar a los sujetos en busca de indicios introspe ctivos. La ciencia habitual emplea conjuntamente el conocimiento cualitativo y el cuanti tativ. para alcanzar una profundidad de percepcin, o visin binocular, que ninguno de lo. dos podra proporcionar por s slo (Eisner, 1977). Lejos de ser antagnicos, los do. tipos de conocimientos resultan complementarios. Eso no significa decir que siem pr. sea fcil combinarlos. Surgirn a menudo problemas de difcil solucin ( cf. Trend. en este volumen ) pero por lo comn siempre habr discrepancias, y de ah la. dificultades cuando se empleen conjuntamente dos mtodos cualesquiera. Resolve. las diferencias entre el conocimiento cualitativo y cuantitativo no debe ser en principi. ms difcil que la resolucin de otros enigmas de la investigacin, aunqu. sospechamos que quiz pueda resultar a menudo ms ilustrativo. 3. Triangulacin a travs de operaciones convergentes. El empleo complementari. de mtodos cualitativos y cuantitativos, o el uso conjunto de cualesquiera mtodos. contribuye a corregir los inevitables sesgos presentes en cualquier mtodo. Co. slo un mtodo es imposible aislar el sesgo del mtodo de la cantidad o de l. cualidad subyacentes que se intenta medir. Pero cabe emplear conjuntamente vario . mtodos para triangular la " verdad " subyacente, separando, por as decirlo, e. grano de la paja (cf. Denzin, 1970; Garner y otros, 1956 y Webb y otros, 1966). Aunque cabe utilizar para este fin dos o ms, los diferentes mtodos que converja. en las mismas operaciones resultan mejores que los semejantes porqu. probablemente compartirn menos sesgos que estos ltimos. Con frecuencia, lo. mtodos cualitativos y cuantitativos operan bien juntos porque son relativament. distintos.

LECTURAS COMPLEMENTARIAS Por aadidura, cada tipo de mtodo puede, en potencia, ensear al otro nuevo. modos de detectar y de disminuir el sesgo. Como estos dos tipos de mtodos ha. existido en tradiciones distintas y en buena medida aisladas, gran parte de su tc nic. propia ha permanecido tambin aislada. Al poner juntos los mtodos puede. fortalecerse estos dos diferentes depsitos de conocimientos y de experiencia. E. posible, incluso, que a travs de su empleo conjunto se descubran nuevas fuente. de sesgos y nuevos medios para disminuirlos, que haban permanecido ignorado. de cada una de las dos tradiciones aisladas. Tradicionalmente, la investigacin evaluativa se ha concentrado en los mtodo. cuantitativos, destacando tanto su empleo como sus sesgos potenciales. Desd. luego, el hecho de que muchos de los sesgos probables en los mtodos cuantitativo. hayan sido tan abiertamente reconocidos ha sido en parte responsable de la creci ent. insatisfaccin respecto de estos mtodos y de la progresiva defensa de los mtodo. cualitativos en algunos sectores. Es indudable que la tradicin cuantitativa e. evaluacin podra aprender mucho de la experiencia acumulada en la eliminacin d. sesgos que se ha desarrollado dentro de la tradicin cualitativa. Por ejemplo, e. inters cualitativo por validez descriptiva y los sesgos de muestreos no aleatorio . (por ejemplo el sesgo elitista; Vidich y Shapiro, 1955) podran ilustrar muy bien lo. procedimientos cuantitativos de muestreo. Del mismo modo, a pesar de la larga tradicin de prevencin de los sesgos en l. literatura sociolgica y antropolgica, empiezan tan slo a aflorar muchas de la. dificultades del empleo de mtodos cualitativos en el contexto de la investigaci. evaluativa (cf. Knapp, en este volumen; Ianni y Orr, en este volumen) y este pro ces. de aprendizaje se podra acelar gracias a los logros de la tradicin cuantitativa. P o. ejemplo, la investigacin cuantitativa sobre los procesos sicolgicos de introspecci. y juicio se podra muy bien emplear para informar al observador etnogrfico. Nisbet. y Wilson (1977) han pasado revista a los datos que sugieren que a veces observad ore. y participantes no pueden describir con precisin su propia conducta a travs de l. introspeccin. La investigacin de Chapman y Chapman (1967) y Chapman (1967. acerca de las correlaciones ilusorias y el trabajo de Tversky y Kahneman (1974. sobre juicios bajo incertidumbre pueden ayudarnos a apreciar sesgos en la forma e. que observadores participantes detectan y registran covariaciones en la conduct. que es objeto de estudio. De modo similar Scheirer (1978) se basa en investigaci one.

LECTURAS COMPLEMENTARIAS sicolgicas de laboratorio para indicar que a menudo tanto participantes com. administradores y observadores se exceden al dar cuenta de los aspectos positivo . de un programa. Adems, muchas de las ideas clsicas de la validez asociada. especialmente a la concepcin cuantitativa pueden servir tambin para el empleo d. mtodos cualitativos. Ejemplo al respecto son tanto Becker (en este volumen) co. su inters por eliminar amenazas a la validez en la interpretacin del mtod. cuantitativo de fotografa, como Campbell (en este volumen) con sus sugerencia. relativas a grupos adicionales de comparacin y observadores mltiples en lo. estudios de casos. Obstculos en el empleo conjunto de mtodos cualitativos y cuantitativo. Aunque lgicamente deseable, es posible que surjan cierto nmero de obstculos prctico. a la hora de combinar en un estudio de evaluacin mtodos cualitativos y cuantitativ os. El siguiente anlisis toma en consideracin cuatro de tales obstculos. En primer lugar, la combinacin de mtodos cualitativos y cuantitativos puede result a. prohibitivamente cara. Consideremos que en comparacin con un estudio de casos, u. experimento aleatorio ofrece el gasto adicional de tener que recoger datos de un grupo d. control que no ha sido objeto de tratamiento, mientras que los costos de recogid a d. datos por cada uno de los que responden es analizado por el agente etnogrfico d. campo son usualmente mucho ms elevados que el del cuestionario tradicional de lo. procedimientos cuantitativos. La combinacin de los mtodos puede significar en defi nitiv. la concatenacin de los elementos relativamente ms costosos con cada uno. En segundo lugar, el segundo conjunto de mtodos cualitativos y cuantitativos pued e. suponer demasiado tiempo. A los partidarios de uno y otro grupo en el debate sob re lo. tipos de mtodos les preocupa que sus sistemas preferidos puedan resultar demasiad . lentos para cumplir los plazos polticamente fijados. Los experimentos aleatorios, po. ejemplo, requieren un tiempo suficiente entre la atribucin de sujetos a las condi ciones . la recogida de datos tras la prueba para que el tratamiento pueda seguir su curs o. D. forma similar, los etngrafos requieren tiempo bastante para desarrollar su comuni cacin. explorar libremente aquellos aspectos del programa que les parezcan relevantes y segui.

LECTURAS COMPLEMENTARIAS las pistas que de all partan; luego necesitarn un tiempo parecido para sintetizar su. anotaciones de campo en un informe final. En cualquier caso, esto puede exigir ao s. . no ser que las actividades, de los dos mtodos, puedan tener lugar simultneamente, e. realidad es posible que no haya tiempo suficiente para ambos. En tercer lugar, cabe que los investigadores carezcan de adiestramiento suficien te e. ambos tipos de mtodos para utilizar los dos. La mayora de los estudios que combina . los dos tipos de mtodos se basan, por lo comn, en equipos interdisciplinares. Cuan d. los miembros del equipo proceden de las tradiciones diferentes de los mtodos cual itativo. y cuantitativos la interaccin entre los dos grupos no es siempre fluida (vase Iann i, Orr. y Trend en este volumen). Finalmente, queda la cuestin de la moda y de la adhesin a la forma dialctica de. debate. La evaluacin, como en general la ciencia, es vctima de modas. Con bue. motivo, los investigadores a menudo se muestran escasamente dispuestos a n. acomodarse a lo que est en boga, sobre todo, cuando los organismos financiadore. participan de la tendencia general. Corrientes de este gnero favorecen con frecue ncia . uno u otro de los tipos de mtodos, pero rara vez valoran a ambos por igual. Ser di fci. convencer a los investigadores para que combinen los tipos de mtodos hasta que s. ponga en claro el carcter ilgico del debate presente con su inclinacin separatista.

Por estas razones no nos sentimos optimistas ni creemos que llegar a difundirs. ampliamente el empleo conjunto de los mtodos cualitativos y cuantitativos. Esto n . significa que los evaluadores hayan de volver a escoger entre uno u otro basados en e. dogma paradigmtico. Los evaluadores han de proseguir acomodando los mtodos a la. exigencias del problema de la investigacin de la mejor manera posible, sin presta r atenci. a las afiliaciones paradigmticas tradicionales. Pero ello no quiere decir que tal e. evaluadores hayan de establecer una prioridad de propsitos y cuestiones ya que, p or l. comn, sern incapaces de atender a todos los objetivos deseados. A menud. sospechamos que la cuestin del impacto tendr la prioridad ms alta y que se le otorg ar. prioridad a los procedimientos cuantitativos. Pero en cualquier caso, el empleo exclusiv. de uno u otro de los tipos de mtodos habitualmente significar aceptar una evaluaci. no global.

LECTURAS COMPLEMENTARIAS Conclusi. El reciente debate sobre el empleo de los mtodos cualitativos y cuantitativos en l. investigacin evaluativa ha aportado grandes beneficios. Muchos evaluadores que s. formaron en la tradicin cuantitativa (incluyendo los presentes autores) se han mo strad. manifiestamente apasionados por el empleo de los mtodos cuantitativos, en buen. parte como el zapatero de Trow que slo tiene en cuenta el cuero o como el nio qu. cuando coge un martillo por primera vez cree que es preciso aporrearlo todo. Com . respuesta, el debate ha evidenciado que los mtodos cuantitativos no son siempre l o. ms indicados para algunos de los objetivos y de los entornos de la investigacin en lo. que se han empleado. El debate ha contribuido adecuadamente a legitimar el incre ment. del empleo de los mtodos cualitativos en la evaluacin. Muchos evaluadores asumieron con excesiva rapidez la serie de atributos que inte gra. el paradigma cuantitativo. Como reaccin, el debate ha centrado su atencin en el pr oceso. el descubrimiento, la conexin con los datos, el holismo, el naturalismo y los dem. atributos del paradigma cualitativo. En el pasado, el pndulo oscil excesivamente h aci. el lado cuantitativo tanto en el paradigma como en el mtodo y el debate permiti qu e lo. evaluadores tomaran conciencia de ese desequilibrio. Pero, aunque el debate haya servido a un propsito muy til, tambin ha sido en part. contraproducente, en buena medida la discusin que se desarrolla en la actualidad sirv. para polarizar las posiciones cualitativa y cuantitativa y para alentar la creen cia de que l. nica opcin posible estriba en elegir entre estos dos extremos. Es como si el pndul. tuviera que oscilar hacia uno u otro lado. El excesivo inters que se percibe ahor a por lo. mtodos cuantitativos slo puede, entonces, ser corregido mediante un inters igual. pero opuesto, por los mtodos cualitativos. Naturalmente, una vez que se pongan . prueba los mtodos cualitativos del modo tan concienzudo a que se someti en el pasa d. a los mtodos cuantitativos, los cualitativos se revelarn simplemente tan falibles . dbiles como los otros (vase Overholt y Stallings, 1979). Si se mantiene la dicotom. entre los mtodos, en una reaccin inevitable, el pndulo volver a desplazarse hacia lo . procedimientos cuantitativos. Indudablemente tambin este paso se revelar. insatisfactorio y el pndulo seguir oscilando. De este modo, el debate actual manti en.

el desplazamiento del pndulo entre extremos de mtodos y extremos de insatisfaccin.

LECTURAS COMPLEMENTARIAS La solucin, desde luego, estriba en comprender que la discusin se halla plantead. inapropiadamente. No hay necesidad de escoger un mtodo de investigacin sobre l. base de una posicin paradigmtica tradicional. Ni tampoco hay razn alguna para elegi . entre dos paradigmas de polo opuesto. En consecuencia, es innecesaria una dicoto m. entre los tipos de mtodos y existen todas las razones (al menos en la lgica) par. emplearlos conjuntamente con objeto de satisfacer las exigencias de la investiga cin d. la evaluacin del modo ms eficaz posible. Cabe desear que la prxima generacin de evaluadores sea adiestrada tanto en la trad ici. cuantitativa como en la cualitativa. Estos investigadores podrn emplear la ms ampl i. gama posible de mtodos y sin cicateras acomodarn las tcnicas a los problemas d. la investigacin. Aprendern nuevos modos de combinar los mtodos y de reconcilia. descubrimientos discrepantes sin rechazar arbitrariamente un grupo en favor de o tro. Tales investigadores se mostrarn adems modestos en sus afirmaciones acerca de lo. mtodos. Comprendern que todos son falibles y que el descubrimiento de un sesgo n. es necesariamente una razn para rechazar un mtodo sino un reto para mejorarlo, de l. misma manera en que pugnamos por mejorar una teora frente a los datos en contra. N. ser fcil tarea la adquisicin de tales destrezas, pero merecer la pena el esfuerzo. Existe, sin duda, una cierta ventaja pedaggica en la forma dialctica de argumenta. que polariza los mtodos cualitativos y cuantitativos. Por ejemplo, a menudo resul t. ms fcil formular un caso estableciendo una dicotoma en el continuo entre los polo. opuestos para que se revele con mayor claridad la dimensin del inters. Pero ya se h. aprendido la leccin de que los mtodos cuantitativos se pueden emplear en exceso . ha llegado el momento de impedir que el pndulo oscile de un extremo al otro. E. tiempo de dejar de alzar muros entre los mtodos y de empezar a tender puentes. Ta . vez estemos todava a tiempo de superar el lenguaje dialctico de los mtodo. cualitativos y cuantitativos. El autntico reto estriba en acomodar sin mezquindad e. los mtodos de la investigacin al problema de evaluacin. Puede muy bien exigir un. combinacin de mtodos cualitativos y cuantitativos. Distinguir entre los dos median t. el empleo de etiquetas diferentes puede servir slo para polarizarlos innecesariam ente. Si prescindimos de las etiquetas no nos quedar ms remedio que superar el debat. entre mtodos cualitativos y cuantitativos.

LECTURAS COMPLEMENTARIAS Perspectiva del volume. Al reunir los trabajos del presente volumen se pretendi deliberadamente obtener u n. diversidad de opiniones sobre el empleo de los mtodos cuantitativos y cualitativo s. E. parte, la diversidad se logr seleccionando a autores de los que se saba que repres entaba. concepciones divergentes. Por ejemplo, Becker ( Becker y Geer, 1957) y Filstead (197. ) son bien conocidos defensores de los mtodos cualitativos mientras que Campbell . Campbell y Stanley, 1966) ha sido desde hace tiempo considerado como defensor de lo. mtodos cuantitativos. A la diversidad se lleg tambin eligiendo autores de una ampli . variedad de disciplinas caracterizadas. Los campos de la antropologa, la economa, l. educacin, la sicologa y la sociologa se hallan, al menos, representados cada uno po . dos autores (o coautores). El resultado es que diferentes captulos revelan fuertes preferencias por distinto s mtodos. La disensin presente resulta, sin embargo, menos extremada de lo que cabra esperar . Incluso en aquellos captulos con las preferencias ms acentuadas por uno u otro de lo. tipos de mtodos, an subsiste la impresin de que para llegar a una evaluacin globa. se requieren tanto los mtodos cualitativos como los cuantitativos. En otras palab ras. existe coincidencia en admitir que ningn tipo de mtodo es por s slo generalment. suficiente para todas las diversas exigencias de la investigacin evaluativa. Es p osibl. que el debate entre los mtodos est empezando a experimentar una redefinicin. Los captulos han sido dispuestos en este volumen conforme a un orden en el que s. parte de los ms tenaces y se concluye con los ms precavidos en su apoyo a lo. mtodos cualitativos. A este respecto, el captulo de Filstead ocupa merecidamente e . primer lugar. Filstead distingue las diferencias tradicionalmente sostenidas ent re lo. paradigmas cualitativo y cuantitativo. Y afirma con vehemencia que el paradigm. cualitativo (con su fe en la realidad social como construida por los participant es . acentuando la comprensin de los acontecimientos desde la perspectiva de los propi o. actores)es el que resulta ms adecuado para la investigacin evaluativa. Filstead pr esent. tambin razones del hecho de que est cambiando la tendencia entre los evaluadore. educativos desde un excesivo nfasis en los mtodos cuantitativos a una apreciaci. de las tcnicas cualitativas. Para acelerar este cambio, Filstead sugiere la forma en qu.

cabe utilizar mejor los mtodos cualitativos para modelar la investigacin evaluativ a.

LECTURAS COMPLEMENTARIAS Tal vez sorprendentemente para algunos evaluadores, pero desde luego no para tod os. la aportacin de Campbell proporciona una explicacin terica en pro del empleo de lo. mtodos cualitativos en el diseo de estudio de casos. Revelando un cambio d. sentimiento (y de supuestos de fondo) en relacin con trabajos anteriores, Campbel . afirma que el estudio de casos puede poseer rigor suficiente (en razn de "grados d. libertad procedente de mltiples implicaciones de cualquier teora") tanto para conf irma. como para invalidar hiptesis causales. Campbell demuestra tambin l. complementariedad inherente de los mtodos cualitativos y cuantitativos al describ i. cmo el conocimiento cuantitativo slo supera al cualitativo cuando se apoya en ste. Sin embargo, Campbell sigue convencido de que el estudio de casos es muy procliv e . los sesgos cuando se emplea para valorar el impacto de un programa. Seala tambi. varias medidas que cabe tomar para reducir, pero no eliminar este equvoco. Del artculo de Trend podra decirse que es un relato policaco. El autor da cuenta de su. experiencias en una evaluacin sobre una gran operacin de subvenciones para la vivi end. en donde se emplearon tanto observadores participantes como cuestionarios. En u. lugar concreto, estas dos fuentes de datos produjeron hallazgos muy discrepantes qu. determinaron una considerable controversia entre los analistas. Trabajando con a mba. fuentes, Trend resuelve el enigma y documenta la forma en que la sntesis resultan t. supera los informes originales, brindando un entendimiento de los datos. Trend a firm. que en un principio deberan estimularse los hallazgos discrepantes para no cerra. prematuramente pistas significativas de la investigacin. La afirmacin ms sobresaliente de Ianni y Orr es aquella segn la cual los evaluadore . pueden emplear con proyecto las tcnicas etnogrficas. Slo si estos mtodos se halla. cuidadosamente adaptados para atender a las demandas especficas de la investigaci. evaluativa, Ianni y Orr advierten la existencia de cierto nmero de presiones que induce. a incrementar el uso de los mtodos cualitativos en la evaluacin educativa pero ind ica. que, por el momento, tales mtodos se emplean a menudo de una manera inapropiada. Afirman que el empleo de estos mtodos debe ser orientado por la teora y que la teo r. de las disciplinas tradicionales de la ciencia social no resulta adecuada para l os fines d. la evaluacin. Brindan sugerencias para el desarrollo de un marco conceptual aprop iad. de la evaluacin.

LECTURAS COMPLEMENTARIAS Es evidente que la inclusin del artculo de Becker puede parecer un tanto anmala. E. este caso, empero, las apariencias son engaosas. Aunque el artculo se refier. ostensiblemente a la fotografa, las ideas de Becker poseen tambin gran relevanci. para el empleo de mtodos etnogrficos en evaluacin. El hecho es que las fotografa. son semejantes a cualquier grupo de datos y que, en especial, tienen mucho en co m. con los datos recogidos por procedimientos cualitativos. De la misma manera en q ue . Becker le interesa la "verdad" de una fotografa, as tambin debera interesar a lo. evaluadores cualitativos la validez de sus datos. Reviste la mayor importancia e l hech. de que Becker emplee la lgica de Campbell y Stanley (1966), originariamente desar rollad. con referencia a los mtodos cuantitativos, para evaluar la validez de inferencias respect. de las fotografas. As, Becker demuestra que la eliminacin de las hiptesis rivale. siguen la misma lgica tanto en el procedimiento cualitativo como en el cuantitati vo. Becker tiene tambin mucho que decir acerca de la posibilidad de generalizar, del sesg. del observador, de la censura y de la edicin. Knapp proporciona un examen bien razonado y penetrante del empleo de la etnografa e. la evaluacin del programa de escuelas experimentales. Al documentar las numerosa. dificultades surgidas, Knapp induce al lector a apreciar las presiones tanto sut iles com. no sutiles que unas evaluaciones en gran escala ejercen sobre el trabajo etnogrfi co d. campo. Quienes piensan en que las evaluaciones en gran escala se aplica fcilmente . con xito la etnografa sufrirn una dura sorpresa y quienes emplean la etnografa har. bien en comprender los dilemas de que da cuenta Knapp. De modo semejante, el lec to. se siente estimulado a considerar las recomendaciones de Knapp respecto de los u so. alternativos de la etnografa en la investigacin evaluativa. Finalmente, Hollister y otros ofrecen algunos nuevos atisbos respecto del uso de lo. mtodos cuantitativos. El pensamiento actual en la investigacin evaluativa indica q u. el anlisis de proceso requiere procedimientos cualitativos, mientras que la valor aci. del resultado exige tcnicas cuantitativas. Hollister y otros derriban este mito d emostrand. no slo que tanto el anlisis de proceso como el de resultados pueden realizarse co. mtodos cuantitativos habituales sino, lo que es ms importante, cmo es posible liga. los dos anlisis. Aunque tales anlisis ligados exigen datos de gran envergadura y c alidad. Hollister y otros revelan los beneficios potenciales que pueden ofrecer estos anl

isis.

LECTURAS COMPLEMENTARIAS Bibliograf. Barzon, A. H. y Lazarfeld, P. F. (1969). "Some functions of qualitative analysis in socia. research" en G. J. McCall y J. L. Simmons (eds.) Issues in Perticipant Observati on: . Text and Reader. Reading. MA: Addison. Westei. Becker, H. S. (1958). " Problems of interence and proof in paticipant observatio n". America. Sociological Review. 169. 652 - 669. B. Geer (1957). "Participant Observation and interviewing: a comparison". Organi zatio. 16: 23-32. Boggan, R. y Taylor, S. (1975). Introduction to Qualitative Research Methods. Ne w York. John Wiley. Boring, E. G. (1969). "Perspective: Artifact and Control". En Rosenthal, R. y Ro fnon, R. L. (eds.) Artifact in Behaxional Research. Nueva York: Academic Press. (1954). " Th. nature and history of experimental control". American Journal of Sychology, 67:5 73-589. Boruch, R. F. (1975). " On common contations about randomized experiments for ev aluatin. social programs." En R. F. Boruch y H. W. Riecken (eds.) Experimental Testing of Publi. Policy. Boulder Westview. Brickell, H. M. (1976). "Neaded: instruments as good as our eyes". Journal of Cu rriculu. Evaluation. 2: 56-66. Britan, G. M. (1978). "Experimental and contextual models of program evaluations ". Evaluation and Program Planning. 1: 229-234. Campbell, D. T. (1974). "Cualitative Hnowing in research ". Kurt Lewin Adward. A ddres. Society for the Sycological Study of Social Issues. Reunion de la American Sycol ogical. Association, Nueva Orleans, Septiembre 1, Journal of Social Issues.

(1970). "Considering the case againts experimental evaluations of social innovat ions ". Administrations Science Quarterly. 15: 110-113.

LECTURAS COMPLEMENTARIAS (1969). "Artifact and control", en R. Rosenthaly R. L. Rosnow (eds.) Artifactin Sehayiora. Research. Nueva York: Academic Press. J. C. Stanley (1966). "Experimental and Quasi-Experimental Dessing for Research. . Chicago. Rand McNally. Charman, L. J. (1967). "Illusory correlation in observational report Journal of Verbal Learnin. and Verbal Schawier., 6: 151-155. J. P. Chapman (1967). "Genesis of popular but erroneous sychodiagnostic observat ions". Journal of Abnormal sychology. 72: 193-204. Cook, T. D. y Campbell, D. T. (1979). Quasi-Experimentation: Desing and Analysis Issue. for Field Settings. Chicago: Read McNally. Cook, T. D. y Cook, F. L. (1977). "Comprehensive evaluation research and its dep endenc. on both humanistic and empiricist perspectives." En R. S. French (eds.) Humanist s an. Policy Studies: relevance Revisited: Curriculum Development in the Humanities. nm . 3. Washington, D.C.:George Washington, D.C.: George Washington University, Divisin o . Experimental Programs. Cronbach, L. J. (1978). "Desingning educational evaluations". Stanford: Stanfor. University. Davis, F. (1961). "Comment on logical Initial interaction of newcomers in Arcoho lic. Adonymous". Social Problems. 8: 354-365. Denzin, N. (1970). The Research Art. Chicago: Aldine. Eisner, F. W. (1977). "Critique". Antropology and Education Quertely. 8: 71-72. Erickson, F. (1977). "Some Approaches to inquiry school-comunity ethnography". Antropology and Education Quartely. 8: 58-69. Fienberg, S. E. (1977). "The collection and analisys of ethnographic data in Edu

cationa. Research.. Antropology and Education Quarterly. 8: 50-57.

LECTURAS COMPLEMENTARIAS Filstead, W. J. (ed.) (1970). Qualitative Methodology. Chicago: markham. Garner, W. R. Hake, H. W. y Ericksen, C. W. (1958). "Operationism and the concep t o. percation". Sychological Review. 63: 140-179. Glaser, B. y Strauss, A. L. (1967). "The Discovery of Grounded theory Chicago: A ldine. (1965). "Discovery of substantive theory: a basic strateny inderying qualitative research". American Bahavioral Scientist. 8: 5-12. Guba, E. G. (1978). Toward a Methodology of Naturalistic inquiry in educational Evaluation. Los Angeles: Universidad de California. Los Angeles, Center for the Study of Eva luation. Kelman, H. C. (1972). "The rigths of the subject in social research,and analysis in term. of relative power and legitimacy". American Sychologist, 27: 969-1016. Kuhn, T. S. (1970). The Structura of Scientific Revolutions. Chicago:University of Chicag. Press. (1962). The Structure of Scientific Revolutions. Chicago: University of Chicago Press. Light, R. (1979). "Integrating multiplie empirical studies". Presentado en el Co ngres. Anual de la American Education Research Association, San Francisco. Lofrand, J. (1961). "Reply to Davis Comment on .initial interaction.". Social Pr oblems, 8. 365-367. Lejeune, R. A. (1960). "Initial interaction of newcomers in Alcoholics Anonymous : a fiel. experiment in class symbols and socialization". Social Problems. 8: 102-11. MaCall, G. J. (1969). .The Problems of Indicators in Participant observation res earch". En G. J. McCall y J. L.. Simmons (eds.) Issues in Participant Observation: A Tex t an. Reader, Reading MA: Addison Wesley. Nisbett, R. E. y Wilson, T. D. (1977). "Tolling more than we can know: verbal re corts o. mental processes". Psychological Review. 84: 231-259.

LECTURAS COMPLEMENTARIAS Overholt, G. E. y Stallings, W. M. (1979). "Ethnography in evaluation: dangers o . methodological transplant". Presentado al congreso anual de la American Educatio na. Reserch Association, San Francisco. Parlett, M. y D. Hamilton (1976). "Evaluation as ilumination: a new approach to the stud. of innovatory programs". En G. V. Glass (ed.) Evaluation Studies: Review, anual, vol. . Beverly Hills: Sage. Patton, M. C. (1978). Utilization-Focuset Evaluation, Beverly Hills. Sage. (1975). Alternative Evaluation Research Paradigm. Grand Forks: University of Nor th Dakot. Press.

LECTURAS COMPLEMENTARIAS Lectura complementaria N 5 Diseos de evaluacin Tomada de: Briones, Guillermo. Evaluacin de programas sociales. Mxico, Editorial Trillas, 1991. Al presentar los modelos de evaluacin sealamos que servan al investigador como guas para realizar su trabajo, en cuanto a indicarles los distintos componentes o asp ectos del programa de los cuales sera apropiado obtener informacin y luego proceder a su anli sis. Si bien en un plano general tales esquemas o sus combinaciones pueden cumplir es a primera funcin, la evaluacin de un programa concreto exige mayores especificacione s y precisiones, pues ahora se trata de cumplir con el requisito bsico de proporcio nar conocimientos que sean directamente pertinentes a la toma de decisiones que pued an mejorar la marcha y los resultados del programa en cuestin. Justamente llamamos diseo de evaluacin al plan elaborado para adecuarse a esas exigencias; es decir, a l plan que define las diversas estrategias y procedimientos para llevar a cabo la evaluacin del programa. Tpicamente, el diseo de evaluacin incluye los siguientes componentes: 1. 2. 3. 4. 5. 6. Antecedentes y descripcin del programa. Objetivos generales y especficos del mismo. Finalidades de la evaluacin. Objetivos de evaluacin. Diseo metodolgico. Informes.

LECTURAS COMPLEMENTARIAS Puesto que los puntos 1 y 2 de este diseo se limitan a reproducir las caracterstic as principales del programa, y el tema de finalidades de la evaluacin fue suficiente mente tratado en el primer captulo, esta exposicin se referir a los otros componentes del diseo. OBJETIVOS DE EVALUACIN De manera general podemos decir que los objetivos de evaluacin son los conocimien tos o informaciones relativas a los objetos, instancias o caractersticas del programa que se requiere recoger y analizar de acuerdo con las finalidades que sirven de justifi cacin al estudio evaluativo. Lo cierto es que no siempre esas necesidades de informacin so n presentadas con claridad por el personal directivo o por el personal que ejecuta el programa en el terreno. Por ejemplo, se puede pedir que la evaluacin determine si el progra ma funciona bien o mal , objetivo de conocimiento que puede tener varios significados , como: si se estn produciendo los resultados buscados; si el personal tcnico cumple adecuadamente sus funciones; si existe desperdicio de recursos; si la poblacin be neficiaria est satisfecha con la atencin o servicios que el programa les presta, etctera. En el problema reseado ms arriba puede suceder lo que Hyman sealaba aos atrs, a propsito de investigaciones encargadas por un cliente o una cierta agencia (sit uacin equivalente, en nuestra exposicin, a una evaluacin realizada por un investigador e xterno). Al referirse al trabajo de otros dos autores, el metodlogo citado afirmaba: Notan, por ejemplo, que el cliente a menudo no formula su problema en trminos que puedan ser introducidos en un diseo de investigacin y, consecuentemente, debe haber una clarificacin de la formulacin inicial. Tambin hacen notar que el cliente puede, con frecuencia, formular su problema de manera que no es ni siquiera apro piada para sus propias necesidades de accin (Survey design and analysis, The Free Press , Glencoe, III., pgs. 44 a 45). Una dificultad adicional en la formulacin de los objetivos de evaluacin que, reite remos, son objetivos de conocimientos y, por tanto, en relacin con los cuales se recoger y analizar la informacin, consiste que tanto estos como los propsitos que estn detrs de ellos varan en uno mismo segn el nivel o las funciones que desempean personas

LECTURAS COMPLEMENTARIAS ubicadas en diferentes niveles de la estructura del programa. As, las necesidades de informacin sern distintas para l o los administradores del programa, encargados de la poltica general que se relaciona con la ampliacin, la reduccin o la modificacin del programa, que para los ejecutores directos de ste, quienes podrn estar interesados en saber qu opinan los beneficiarios de la metodologa empleada, del uso de los recurs os instrumentales, etctera. OBJETIVOS DESCRIPTIVOS Cuando la evaluacin es de tipo descriptivo los objetivos de evaluacin se derivan directamente de los objetivos del programa y de los otros componentes que se han considerado focos u objetos de evaluacin. En este caso, los objetivos suelen reda ctarse de la manera que se detalla a continuacin: Los objetivos de la evaluacin son los siguientes (en este caso se refieren direct amente a los objetivos del programa): 1. Evaluar el efecto sobre los beneficiarios de las inversiones en trminos de aum ento de la productividad, ingreso incremental y distribuciones intraaldeanas del ingreso , organizacin social de las aldeas en materia de actividades productivas y de comercializacin, efectos de empleo y perspectivas de crecimiento autnomo de largo plazo. 2. Analizar la participacin popular y las cuestiones de gestin y ejecucin del PIDER en los planos de la explotacin, el ejido y la microrregin, comparando las previsio nes con las realizaciones (Michael M. Cernea. Lo cuantificacin de los efectos de los proyectos: la vigilancia y la evaluacin en el Proyecto de Desarrollo Rural PIDER. Mxico, Banco Mundial, Documento de Trabajo nm. 332, Washington, 1979; pgs. 64 a 65). En este caso, los objetivos del programa eran, respectivamente: 1. Elevar los ingresos y niveles de vida del sector rural mediante la introduccin de actividades directamente productivas, y

LECTURAS COMPLEMENTARIAS 2. Lograr la participacin de los beneficiarios en el proceso de planificacin de esas actividades. Otro ejemplo es el siguiente: La evaluacin se propone medir lossiguientes componentes y caractersticas del progr ama (se nombran los objetos y variables de evaluacin): Funcionamiento administrativo: cumplimiento de funciones, calificacin del persona l, etctera. Resultados: niveles de logro de los objetivos, calidad, distribucin entre tos usu arios, etctera. El trmino evaluar que se utiliza en la formulacin de estos objetivos de evaluacin d irectos significa: 1. realizar descripciones cualitativas; o 2. mediciones de los logros alcanzados (por el efecto sobre los beneficiarios, del nivel de participacin popular, etc., en e l ejemplo dado) as como, en algunos casos, descripcin de la calidad y distribucin diferencial de esos logros, y 3. comparacin de tales logros cuantitativos y cuali tativos con alguna norma o meta, criterio deseado, con el fin de pronunciarse respecto d el xito o fracaso del programa. En evaluaciones que utilizan diseos experimentales o cuasiexperimentales, los obj etivos de evaluacin se redactan frecuentemente en forma de hiptesis: Los nios sujetos al programa de estimulacin temprana mostrarn ganancias significativas en su desarroll o integral en comparacin con los logros obtenidos por los nios de los grupos de cont rol. Cuando se definen los objetivos de evaluacin en algunas de las formas que hemos p resentado, lo conveniente sera establecer por anticipado las normas de evaluacin o criterios de xito o fracaso del programa. As se hizo, por ejemplo, en la evaluacin del programa de est imulacin con base en la familia. Al referirse a los resultados esperados se dice: Los nios expuestos al programa mostrarn un porcentaje de logro ptimo del 70% en los curriculares en l as tres reas de desarrollo. Respecto del trabajo de los ejecutores directos del programa s e agrega: Las animadoras tendrn un desempeo del 70% de logro en el trabajo metodolgico que realizan con las familias.

LECTURAS COMPLEMENTARIAS En suma, para seguir con el ejemplo, en la misma evaluacin se propuso una escala valorativa porcentual para interpretacin de porcentajes referidos a las caracterst icas del personal ejecutor, manejo de instrumentos, etc., con la estructura que se muestr a en la tabla 5.1. Tabla 5.1. Escala valorativa porcentual para la interpretacin de porcentajes. Valor Intervalo Alto 70 a 100% Mediano 50 a 69% Bajo 30 a 49% Muy bajo 0 a 29% Fuente: Mara Alcntara y Cipriano Olivera. Evaluacin formativa del programa de estimu lacin temprana can base en la familia. Lima: Inide, 1983, pg. 31. OBJETIVOS EXPLICATIVOS La formulacin de objetivos de evaluacin tiende a complicarse cuando la evaluacin no se refiere directamente a los objetivos o a los componentes del programa, sin o a factores que expliquen los niveles o calidades de logro de los resultados finale s o de aspectos instrumentales (funcionamiento, metodologa, etc.). Esto obliga, en prime r lugar, a pensar en la incidencia de diversas otras variables del programa en tal es resultados y, por lo mismo, a formular a continuacin hiptesis que conecten esas caractersticas con la situacin que se desea explicar. As, si el objetivo de evaluac in fuera evaluar la eficiencia interna del programa y establecer los factores que in ciden positiva o negativamente en ella, supuesto el caso que nos hemos puesto de acuerd o con el concepto de eficiencia interna, deberamos luego buscar factores o variable s que podran estar vinculados en la eficiencia, para formular algunas hiptesis pertinentes. De ms est decir que en tal bsqueda se manifiesta la formacin, experiencia e imaginacin del evaluador.

LECTURAS COMPLEMENTARIAS Algunos ejemplos ayudarn a clarificar la situacin que se presenta en la determinac in de evaluacin y la bsqueda de factores explicativos: Cabe preguntarse si un mal desarrollo del programa tiene por causa ciertas defic iencias en la organizacin de los cursos a dificultades originadas en el propio programa.. . ser interesante investigar, por ejemplo, si ciertas decisiones como la eleccin del lu gar y del horario de los cursos, ciertas caractersticas del grupo (sexo, edad, nivel de cal ificacin), ciertos detalles de la organizacin material (ayudas recibidas), ciertas caracterst icas de los instructores (sexo, edad, homogeneidad socioprofesional) y, finalmente, cier tos aspectos de los gastos (material, mantenimiento, costo medio del grupo) tienen e fectos positivos o negativos, estadsticamente comprobados, sobre el desarrollo de los cu rsos (Roger Couvert. La evaluacin de programas de alfabetizacin. Pars: UNESCO, 1979, pg. 118). Con el objeto de orientar adecuadamente la evaluacin de la eficiencia actual de l as Escuelas Radiofnicas, que es el segundo objetivo general, se disearon los siguient es particulares (cada uno implica hiptesis sobre factores que inciden sobre las cara ctersticas por evaluar): a) Fundamentar posibles recomendaciones sobre la seleccin y capacitacin de los maestros auxiliares. b) Fundamentar posibles sugerencias sobre la seleccin y capacitacin del personal empleado en la transmisin. c) Fundamentar posibles sugerencias sobre la supervisin de las Escuelas Radiofnicas. d) Fundamentar posibles sugerencias acerca de los alicientes que deben usarse para lograr una mayor asiduidad escolar. e) Fundamentar posibles sugerencias sobre el contenido de las transmisiones. f ) Fundamentar posibles sugerencias sobre el uso de ayudas didcticas.

LECTURAS COMPLEMENTARIAS g) Fundamentar posibles sugerencias por la accin pedaggica del maestro auxiliar. (Sylvia Schmelkes. Investigaciones sobre las escuelas radiofnicas de la Tarahumara. Revista del Centro de Estudios Educativos. Mxico, vol. 1, nm. 3, pg. 128). Como es fcil observar en los ejemplos anteriores, los objetivos de evaluacin conti enen relaciones de determinacin entre la variable de evaluacin (el desarrollo del currcu lo, en el primer caso y la eficiencia interna del programa, en el segundo) y caractersti cas correspondientes a otros objetos o componentes del programa (poblacin-objeto, ins umos, grupo tcnico, etctera). En algunas evaluaciones explicativas, los objetivos de evaluacin contienen uno o ms modelos que pretenden mostrar las diversas interconexiones causales de los facto res que se relacionan con los resultados que se desea explicar (resultados de funcio namiento, de objetivos, etc.). Tales modelos, tratados mediante la tcnica del anlisis de sen deros (path analysis) permiten establecer las contribuciones diferenciales de las vari ables consideradas en distintas instancias del programa. Un modelo de este tipo se uti liz en la evaluacin de las funciones del Servicio Nacional de Aprendizaje, SENA, en la c ual el salario de una persona que tom cursos en la institucin se consider determinado por tales cursos, su escolaridad, experiencia previa, etc. (Sena, Sistema de planeac in de recursos humanos. Bogot: Sena, 1981, pg. 182) (vase la fig. 5.1). En suma: la formulacin de objetivos en evaluaciones explicativas asume formas com o las que se detallan a continuacin: 1. La evaluacin se propone determinar los factores que facilitan (o dificultan): a) El logro de los objetivos, en cuanto a su nivel y calidad. b) El funcionamiento del programa. c) La aplicacin de su metodologa, etctera.

LECTURAS COMPLEMENTARIAS Figura 5.1 Modelo causal para explicar los ingresos laborales. 2. La evaluacin se propone determinar... (al igual que en la primera forma). Por ell o se considerarn las siguientes variables correspondientes a los insumos, procesos, grupo tcnico y poblacin de usuarios (aqu se incluira una lista de esas variables). 3. La evaluacin se propone someter a contrastacin emprica el siguiente modelo causal (aqu se dara un modelo de relaciones entre variables dependientes e independientes como el que se muestra en la fig. 5.1). Cuando en las formulaciones anteriores se mencionan factores que facilitan o difi cultan tales o cuales resultados o la marcha del programa, debe entenderse que dichos f actores pueden corresponder a indicadores objetivos o subjetivos (por ejemplo, en este lt imo caso, opiniones de los usuarios, actitudes del grupo tcnico, etctera). Un ejemplo de objetivos de evaluacin La transcripcin textual que presentamos a continuacin es un buen ejemplo de objeti vos de evaluacin que cubren focos como los objetivos mismos del programa, funcionamie nto, usuarios, metodologa y recursos instrumentales:

LECTURAS COMPLEMENTARIAS 1. Se analizar de qu manera y hasta qu punto se han logrado cada uno de los objetivos especficos del proyecto tal como ellos han sido planteados en la formulacin original del mismo. Es decir, los siete aspectos all enumerados referentes al objetivo de masificar la creacin de talleres de aprendizaje, as como el objetivo de efectuar un seguimiento analtico del proceso de difusin. 2. Se pondr nfasis en el anlisis de las diferentes modalidades de funcionamiento que han sido desarrolladas frente a diferentes sectores, centrando el anlisis en el tipo de gestin que se lleva a cabo localmente. 3. En el anlisis tambin ser destacado hasta qu punto y de qu forma los pobladores estn asumiendo la responsabilidad por la puesta en marcha y ejecucin de los talleres, y cul es el aporte a este proceso de la capacitacin respectiva ofrecido por el proyecto. 4. Sabiendo que la estrategia establecida en los diferentes talleres est variando de acuerdo con la participacin de diferentes sectores con caractersticas propias, se analizar qu efectos tienen en los nios estas modalidades de atencin. 5. Hasta qu punto estas diferentes modalidades establecidas en la presente etapa del proyecto conducen a ajustes o mejoramientos en el modelo (o producto) desarrollado en la etapa anterior y descrito en el informe de la primera evaluac in? 6. Se analizarn calidad y utilidad de los materiales pedaggicos producidos. 7. Se estudiarn la utilidad y eficiencia de la estructura organizativa, la administr acin y el manejo financiero del proyecto*. DISEO METODOLGICO El diseo metodolgico de la evaluacin es similar al diseo correspondiente de la investigacin social y consiste en la estrategia para reunir, procesar y analizar la informacin * FLACSO. Informe de evaluacin del Proyecto Difusin del Proyecto Difusin y Estrategias de Transferencia de los Talleres de Aprendizaje a Comunidades Populares . ejecutado por PIlE. Autore s: Jan Ooigens y Jorge Chateau, con colaboracin del profesor Jorge Tagle. Trminos de referencia ms especfic os, noviembre de 1984, pgs. 4 a 5.

LECTURAS COMPLEMENTARIAS que se requiere para satisfacer los objetivos de evaluacin. De esta manera, en un nivel general, el diseo consiste en los procedimientos que se utilizarn para resolver la s siguientes tareas: 1. Determinacin de la efectividad del programa. 2. Universo de estudio. 3. Unidades de anlisis. 4. Diseo muestral. 5. Instrumentos para la recoleccin de informaciones. 6. Indicadores y medicin de variables. 7. Trabajo de campo. 8. Tcnicas de anlisis. Tanto en esta seccin como en los captulos finales desarrollaremos los aspectos principales de estas tareas del diseo metodolgico. Determinacin de efectividad As como por definicin el objetivo bsico de todo programa de accin es producir alguna modificacin o cambio en una cierta poblacin, la tarea principal de la investigacin evaluativa consiste, paralelamente, en establecer s en los hechos el programa, me diante la metodologa empleada se alcanzan o no el o los objetivos propuestos. Se trata, como se advierte, de verificar la efectividad del programa. Ahora bien, puede suceder que tal efectividad haya sido comprobada en la validac in del programa. En este caso, la tarea del evaluador consiste en examinar crticamente l a validacin realizada, con especial atencin a la validez ecolgica del programa experi mental. Sin perjuicio de ello, la evaluacin de tipo intermedio o terminal deber encontrar pruebas de la efectividad de las acciones que se realizan en el programa. Si no ha habid o tal

LECTURAS COMPLEMENTARIAS validacin, la tarea se presenta con mayor exigencia. La pregunta es: cmo procede la investigacin evaluativa cuando el programa ya se encuentra funcionando? La respue sta puede encontrarse en alguno de los tipos de diseo de validacin que presentamos ant es (experimentales y cuasiexperimentales) o en otros procedimientos distintos, pero que cumplen con la misma finalidad. Uso del diseo experimental clsico Es posible emplear el diseo experimental clsico cuando existen poblaciones semejan tes a la poblacin en la cual se aplica el programa, de tal modo que, mediante inferen cia, el evaluador pueda pronunciarse acerca de la efectividad de ste. En el ejemplo que u tilizamos, el programa se realiza en un cierto nmero de escuelas, pero como no todas las de una regin o pas participan en el mismo, es posible seleccionar otras que no lo hacen y utilizarlas como grupos experimentales y de control. Un ejemplo de aplicacin El ejemplo est constituido por la evaluacin del programa denominado Crculo Mgico, realizado por Joel M. Moskowitz y otros investigadores entre 1978 y 1979 (Process and outcome evaluation in primary prevention: The Magic Circle Program. Evaluation Re view. vol. 6, nm. 2, dic. de 1982, pgs. 775 a 778). El Crculo Mgico es el nombre popular del Programa de Desarrollo Humano de Californ ia, cuyo objetivo principal es influir en el desarrollo social y emocional de estudi antes del nivel elemental. La estrategia consiste en la constitucin de pequeos grupos de dis cusin en el saln de clases. En una sesin, que dura de 15 a 30 minutos, el profesor gua a un grupo de 5 a 12 estudiantes en la discusin de un tema particular. Y emplea mtodos que estimulan la expresin de ideas y sentimientos por parte de los estudiantes. La pa rticipacin es siempre voluntaria y no se permiten la confrontacin ni el debate. El elemento clave del Crculo es que cada alumno tenga una oportunidad de contribuir, aun cuando l o ella prefiera permanecer en silencio; por otro lado, cada participante es escuchado a tentamente por los otros miembros del Crculo. Para la evaluacin fueron procesadas 13 escuelas elementales pblicas, predominantemente de clase media, del norte de Carolina, sobre la base de las

LECTURAS COMPLEMENTARIAS caractersticas de sus estudiantes, profesores, etc. Una por una, las escuelas fue ron asignadas al azar a la condicin experimental y a la condicin de control. En defini tiva, el grupo experimental estuvo formado por 102 nios y 115 nias y el control, por 131 nio s y 119 nias, todos ellos del tercer grado. A fin de evaluar la puesta en marcha de la estrategia del Crculo Mgico se utilizar on diversos mtodos: 1. informes detallados de la sesiones de entrenamiento de los pr ofesores, preparados por un observador; 2. control de asistencia de los profesores a las s esiones de entrenamiento; 3. encuestas a los profesores despus de las sesiones de entrenamiento para obtener retroinformacin acerca de las sesiones; 4. entrevistas individuales con profesores y directores seleccionados para obtener informacin ms detallada sobre reacciones al entrenamiento; 5. cuestionarios a los profesores d espus del entrenamiento y nuevamente al final del ao escolar, a fin de vigilar la march a de la estrategia y evaluar la adecuacin del entrenamiento; 6. observaciones de clase po r parte de profesor especialmente entrenado, mientras los maestros conducan las discusion es con sus alumnos; 7. informes semanales de los profesores acerca de la frecuencia con la cual realizaban sesiones de Crculo en sus salas de clase; y 8. entrevistas con pr ofesores seleccionados del grupo de control con el fin de identificar cualquier difusin de l entrenamiento en la estrategia del programa. La situacin de los estudiantes en los grupos experimental y de control, en las va riables que haban de evaluarse, fueron medidas antes y despus de iniciarse el programa, me diante escalas de autoobservacin referidas a relaciones con sus compaeros, sus profesores y sus escuelas. En la prueba despus se midieron tambin la creencia en el autocontrol , la responsabilidad en los procesos escolares y la autoestima. El anlisis de los datos revel que el Crculo Mgico constituy una experiencia positiva para los profesores experimentales. Les agrad el entrenamiento y realizar las ses iones de discusin con sus estudiantes. Comparados con los profesores de control, los experimentales mostraron mayor incremento en su satisfaccin personal al impartir la enseanza. En lo que toca a los estudiantes, hubo poca evidencia de los efectos que se supo na deba producir el Crculo Mgico. No se encontraron efectos en las nias y en los nios se constat slo uno de los efectos previstos. Comparados con los de control, los nio s

LECTURAS COMPLEMENTARIAS del grupo experimental tenan mayor autoestima social despus de participar en el Crc ulo Mgico. Este efecto aislado no se mostr relacionado con el nmero de sesiones de discusin en las cuales participaron los nios experimentales. En el hecho, ninguno de los resultados de los nios tuvo relacin con su exposicin al Crculo Mgico. En vista de los resultados obtenidos por su estudio y por otros realizados con a nterioridad, los investigadores sugieren dos posibles conclusiones: o el efecto del Crculo Mgic o en los estudiantes es idiosincrtico o bien es espurio. Problemas para la aplicacin de diseos experimentales Al tratar de la validacin de programas demostrativos pudimos apreciar las bondade s de algunos diseos experimentales y cuasiexperimentales en lo que se refiere al contr ol de diversos factores que pueden reducir o anular su validez interna. Sin embargo, l a posibilidad de su uso queda bastante limitada debido a diversos problemas que se presentan p ara su aplicacin a situaciones concretas. Entre ellos podemos destacar los siguientes: 1. Con mucha frecuencia, la evaluacin de un programa se inicia cuando ste ya se ha comenzado. No hay posibilidad, por lo tanto, de constituir grupos experimenta les y de control por asignacin al azar, como tampoco de hacer mediciones antes. 2. En aquellos casos en que la formacin de tales grupos es posible (recurdese el ejemplo del Crculo Mgico), no siempre resulta fcil controlar la contaminacin entre las personas del grupo experimental y las del grupo de control (comentan l os procedimientos utilizados, los objetivos que perciben del programa, etctera). 3. En el caso de poder aplicar algn diseo experimental tambin es difcil mantener constante el nmero de participantes y la relativa igualdad de los grupos. 4. Existe un problema tico al seleccionar slo algunas personas para formar el grupo experimental, especialmente cuando las actividades del programa significan algn beneficio para la poblacin: por qu proporcionar servicio a esas personas y no a las otras? Por stas y otras razones, la determinacin de la efectividad de un programa en marc ha debe hacerse por diseos que en general reciben el nombre de no-experimentales (si

LECTURAS COMPLEMENTARIAS bien en circunstancias especiales es posible utilizar algunos tipos cuasiexperim entales como los que vimos anteriormente). Diseo con medicin slo despus con grupo de comparacin Este diseo trabaja con dos grupos: uno formado por la poblacin objeto y otro const ituido por un grupo externo de comparacin. Ello con el fin de lograr un cierto nivel de control de la validez interna. Se supone, desde luego, que las personas a las cuales se apl ica el programa mostrarn resultados diferentes en las caractersticas o variables de evalu acin, que los integrantes del otro grupo. La tarea principal en este diseo es lograr un grupo de comparacin lo ms semejante posible a la poblacin del programa. La situacin despus puede ser lograda mediante procedimientos de descripcin (como la observacin, entrevistas, observacin participante, etc.), o bien mediante el uso de algn recurso para la medicin de variables, segn sean las necesidades de informacin o los criterios bsicos del modelo de evaluacin. La utilizacin de un grupo de control permite al investigador controlar, en cierta medida, algunos factores de invalidacin, como la historia y, en menor medida, la maduracin. Sin embargo, como no se puede afirmar que los dos grupos sean equivalentes en cu anto no han sido formados al azar, puede estar presente el factor de seleccin, con lo qu e tampoco se puede tener la certeza de si un grupo era diferente del otro en la va riable dependiente antes de aplicar el programa, debido a lo cual se dificulta establec er el verdadero valor de la medicin despus. Un ejemplo de aplicacin El ejemplo est dado por la evaluacin del Programa de Perfeccionamiento para Profes ores en Servicio -PPS- en la asignatura de ciencias naturales de la enseanza bsica. PPS fue una iniciativa del Centro de Perfeccionamiento, Experimentacin e Investigacio nes Pedaggicas dependiente del Ministerio de Educacin de Chile, con el objetivo como su nombre lo indica de perfeccionar de forma masiva a profesores de ciencias natural es, sin que abandonaran sus lugares de trabajo. En 1971, el PPS contaba con 1.200 pr ofesores que atendan 20.000 alumnos de 5 a 8 grado de la enseanza bsica.

LECTURAS COMPLEMENTARIAS La metodologa del PPS es un tipo especial de enseanza por correspondencia y de enseanza programada. Todos los profesores inscritos en el programa reciban los siguientes materiales, preparados en el Centro por el personal encargado del mis mo: 1. Material de autoinstruccin. Contiene los aspectos tericos de cada uno de los procesos cientficos que han de desarrollarse en el aula, de acuerdo con el progra ma de su curso o nivel (observar, medir, etctera). 2. Comentarios acerca de los niveles del proceso. Desarrollan y discuten los distin tos niveles jerrquicos dentro de cada uno de los procesos, como tambin las sugerencias para evaluar a los alumnos en estos aspectos. 3. Actividades previas al desarrollo del programa. Comprenden una serie de activida des especficas que el profesor debe realizar antes de plantear una situacin nueva de aprendizaje a sus alumnos, con el objeto de conocer y anticipar problemas que puedan plantearse. 4. Guiones metodolgicos. Plantean sugerencias para organizar el trabajo en el aula en situaciones particulares. Se analizan objetivos, materiales necesarios y secuencias en las actividades de los alumnos. 5. Material de evaluacin. Contiene diversos materiales que permiten ponderar aspecto s cuantitativos del trabajo del profesor, en particular con el material de autoins truccin. Tales evaluaciones eran remitidas por cada profesor al equipo PPS de Santiago con el fin de realizar su anlisis. Adems de estos materiales y otros adicionales, los profesores en servicio reciban visitas peridicas del equipo de Santiago con el fin de resolver en el terreno las dificul tades y dudas que pudieran haberse presentado.

LECTURAS COMPLEMENTARIAS La evaluacin tuvo como objetivo central medir los resultados logrados en los proc esos de observar, medir, comunicar y clasificar tanto en el nivel de los profesores c omo de los estudiantes que en 1971 cursaron 5. ao bsico. El estudio se llev a cabo durante el mes de mayo de 1972. Puesto que el programa al comenzar no tom mediciones de entrada y no form un grupo de control al azar, se eligi un diseo no experimental con slo mediciones despus y un grupo de comparacin no equivalente constituido por profesores que se inscribie ron en el PPS, pero que lo abandonaron antes de tener alguna participacin en l. El grupo experimental final qued constituido por 52 profesores, y el grupo de composicin, p or 28. Ambos grupos presentaron caractersticas demogrficas profesionales muy similare s. La evaluacin de los procesos de observar, medir, comunicar y clasificar: como lo que se quera someter a medicin era el efecto del PPS en la conducta de los profesores y no sus conocimientos y actitudes , los ejercicios para ese objetivo consistieron en r ealizarlos efectivamente, para lo cual se proporcion a cada profesor los elementos necesario s (un globo, una balanza, una regla, etc.). El instrumento tena 100 puntos con tems como los siguientes:. mida el ancho de esta pgina y anote e resultado, indicando de alguna forma la incerteza de su medicin (10 puntos). A los alumnos de los profesores de los grupos experimentales y de control se les aplic una prueba semejante con el fin de evaluar la posible transferencia del perfecci onamiento docente. Tambin se aplic un cuestionario a los profesores respecto de su satisfacc in en el trabajo, contenidos de los programas de ciencias naturales, opiniones acerca del PPS, etc. Los alumnos, por su parte, respondieron a un cuestionario sobre las ciencia s naturales. Los principales resultados de la evaluacin fueron los siguientes: 1. El PPS eleva las habilidades cientficas de los profesores en los procedimientos de observar, medir y clasificar, pero no en el de comunicar. 2. Los profesores PPS alcanzan un promedio global superior cuando los resultados obtenidos en la prueba se evalan mediante una norma deseada. 3. La evaluacin del PPS respecto de una norma muestra que los logros totales en los cuatro procesos cientficos quedan bajo esa forma: promedio de 49 puntos

LECTURAS COMPLEMENTARIAS contra un valor esperado de 58 a 60 puntos (la norma fue propuesta por el equipo PPS). 4. Los alumnos con profesores PPS logran, en promedio, mayores puntuaciones en los procesos de comunicar y clasificar, pero no en los de observar y medir. 5. El rendimiento global de los alumnos PPS es ms bien bajo: 37 puntos de promedio en una prueba de 100 puntos. (Guillermo Briones. Metodologa de la investigacin evaluativa. Bogot: Universidad Pedaggica Nacional, 1975, pgs. 53 a 102). Diseo con mediciones antes y despus Este diseo no experimental trabaja con un solo grupo el formado por la poblacin del programa y, por lo tanto, sin grupo de control. La medicin antes puede ser una descripcin (observacin) o una medicin de entrada de las caractersticas del programa que se desean modificar para realizar posteriormente una descripcin o medicin despus, con el fin de comparar ambas situaciones y apreciar el monto de los logros, su calidad y la distribucin en subgrupos de la poblacin objeto. Segn el tipo de caractersticas, la situacin antes puede lograrse con fuentes secundarias (estadsticas, documentos, etc.) o mediante preguntas retrospectivas a los usuarios del programa, del tipo qu haca usted antes que comenzara este programa de salud, cuando sus hijos estaban enfermos?. Como justificacin del uso de este diseo y del siguiente debe tenerse presente que cuando un programa acta en un contexto o poblacin en la cual no se aplican program as similares (presenciales o a distancia), los resultados obtenidos, definidos en l os objetivos, pueden atribuirse, con mayores o menores niveles de confianza, a las acciones de l programa. A este punto se refiere Riecken cuando afirma: Se puede argumentar que all donde el programa es suficientemente extensivo y la d ireccin de su influencia es claramente diferenciada de otras fuerzas concurrentes no se necesita de un grupo de control para demostrar su efectividad (Henry W. Riecken, Memorandu m: Program evaluation, en Carol N. Weiss (ed.). Evaluating action programs: readings In social action and education. Boston: Allyn and Bacon, Inc., 1972, pg. 97).

LECTURAS COMPLEMENTARIAS Si no rene lo anotado antes, el investigador no puede tener la certeza de que el cambio que haya podido mostrar la diferencia entre las mediciones antes y despus haya sido producido efectivamente por el programa, pues el mismo podra deberse a la in fluencia de otras variables extraas. Otras debilidades de este diseo, debidas a la falta de un grupo de control, son la incapacidad de controlar la maduracin, la reactividad a los instrumentos de medicin y la regresin estadstica. De ah que su uso, como en general el uso de diseos no experimentales, deba acompaarse de los mayores cuidados en la recoleccin de la informacin, en su anlisis y en la bsqueda de elementos de validacin distintos de los que proporcionan los diseos experimentales y cuasiexperimentales . Diseo con medicin slo despus Como su nombre lo indica, es un diseo que, igual que el anterior, tambin no experi mental, no utiliza grupo de control, y el grupo experimental est formado por los usuarios del programa; a diferencia de l, sin embargo, nicamente puede disponer de una sola medicin: la medicin despus, realizada en algn momento de la marcha del programa o justamente a su trmino. Debido a estas caractersticas, el diseo est abierto a la mayora o a todos los factores que actan contra la validez interna, en especial a l a intervencin de factores externos al programa que pudieron producir los cambios de tectados por medicin despus, si es que realmente se produjeron, pues no se dispone de informacin respecto de la situacin de entrada de los usuarios; o bien esos cambios se produjeron por la seleccin sesgada de tales usuarios o por la maduracin biopsicolgi ca de los mismos. Por estas razones, la evaluacin de los resultados con este diseo debe apelar a tod os los recursos que sea posible utilizar para probar que fue el programa el que pro dujo los cambios (exclusividad del programa,caractersticas de los usuarios, etc.). El ms usado del diseo de un solo grupo y medicin despus es la encuesta social, ya sea de cobertura total o por muestreo. Los datos recogidos mediante esta tcnic a pueden ser cuantificados y empleados en la bsqueda de conexiones causales entre l os resultados del programa y las caractersticas de sus componentes, por medio del anl isis de senderos (path analysis), por ejemplo. Por otro lado, la informacin que ha de recogerse puede cualificarse y ampliarse mediante entrevistas en profundidad, preguntas ab iertas, etctera.

LECTURAS COMPLEMENTARIAS La ausencia de grupos de control y de mediciones antes imposibilitan la apelacin a las caractersticas de los diseos experimentales para asegurar la validez interna d el programa y de manera particular confiar en la efectividad de las acciones instru mentales para producir cambios en los usuarios, de acuerdo con la intencin contenida en lo s objetivos. Por ello, adems de comprobar que el programa es tpico en la zona de aplicacin; es decir, que no existan otros programas que puedan producir los mismo s resultados del programa en evaluacin, es necesario recurrir a tcnicas de anlisis pa ra poder verificar los efectos de este ltimo. Una manera de proceder es averiguar en la poblacin en referencia qu personas han sido afectadas por otros programas con objetivos similares. Si existen estas per sonas, se les trata separadamente. En los otros, luego de establecer los niveles de res ultados, se buscan relaciones con modalidades de funcionamiento propios del programa (asi stencia a reuniones, exposicin a diversos medios instrumentales, etc.), de la forma que s e muestra en los ejemplos de los cuadros 5.1 y 5.2. Alta Baja Altos Logros: Bajos P1 P2 q1 q2 100% 100% Cuadro 5.1. Asistencia a reuniones del programa.

LECTURAS COMPLEMENTARIAS 3 y + Altos Logros: Bajos 100% 100% Cuadro 5.2. Exposicin a medios instrumentales (folletos, conferencias, audiciones de radio, etctera). Si el programa ha sido efectivo, entonces, en el primer caso, P1 > P2 y, en el s egundo, P'1 > P'2. Sobre estos y otros procedimientos de validacin y de comprobacin de la efectividad de un programa volveremos en los captulos destinados a presentar algu nas tcnicas de anlisis. Ejemplos de aplicacin Ejemplificaremos el uso del anterior diseo con dos investigaciones evaluativas de especial inters. La primera, en cuanto utiliza como unidades de anlisis conglomerados de personas, con fuentes secundarias de informacin; la segunda, porque se refiere a un programa de educacin a distancia de gran magnitud y en la cual es posible aprecia r la utilizacin de un diseo de evaluacin que es, en varios aspectos, similar al que esta mos exponiendo en este captulo. As se justifica, adems, la extensin de dicho ejemplo. Evaluacin de servicios de salud mental El estudio que sirve de ejemplo de alta elaboracin metodolgica explora el uso del anlisis de reas sociales (conglomerados) como un medio para evaluar la repercusin de los Centros de Salud Mental Comunitaria en Nueva York. La ley federal de 1963 , P1 P2 q1 q2 de 3

LECTURAS COMPLEMENTARIAS creadora del programa, contena varios objetivos de la profesin psiquitrica: proporc ionar opciones para atender en hospitales grandes y distantes; brindar atencin en las comunidades de residencia con algunos recursos; dar un amplio conjunto de probab ilidades de hospitalizacin: clnicas, hospitalizacin parcial, rehabilitacin, consultas y servi cios educacionales; proporcionar continuidad en la atencin entre esos componentes, etc . Luego se agreg una funcin de especial importancia: orientar los servicios hacia la s comunidades en lugar de centrarlos en los individuos, con la participacin de los grupos comunitarios en las decisiones. Algunos estudios previos haban explorado extensamente la repercusin de las caractersticas individuales, tanto en el nmero de personas que reciban los servicio s como en los resultados obtenidos. Segn los autores de la evaluacin, era convenient e un enfoque diferente para medir los efectos en la comunidad. Dicho enfoque signi fic, entre otros aspectos, medir las relaciones entre las tasas de utilizacin por cada tipo de servicio y un conjunto de caractersticas de las comunidades, tales como estatus socioeconmico, condiciones de la vivienda, organizacin (desorganizacin de la famili a). En el estudio de esas relaciones se mantuvo constante la accesibilidad geogrfica a los centros de salud. Para efectos de evaluacin, se deriv un conjunto de hiptesis de los objetivos del programa, de tal modo que pudieran contrastarse empricamente. Por ejemplo, cuando las caractersticas sociales del rea se controlan, las tasas totales de utilizacin sern diferentes en reas cubiertas por centros de salud fiscales, centros municipal es y centros voluntarios. El conjunto de hiptesis se combin en un modelo causal (path diagram). De acuerdo con el enfoque distintivo del diseo, la unidad de anlisis estuvo consti tuida por un rea de salud. De las fichas del censo de poblacin de 1970 se tom una muestra de 333 de tales unidades, de cada una de las cuales se extrajo la inform acin requerida para la prueba de las hiptesis (variables colectivas: mediana de los in gresos, presupuesto de todas las clnicas localizadas en una misma rea de influencia, porce ntaje de madres en la fuerza de trabajo, promedio de escolaridad, etc.). La tcnica prin cipal de anlisis fue la de regresin mltiple, pero tambin se introdujeron modificaciones para incorporar relaciones que no reunan los requisitos de ser lineales, aditivas y continuas.

LECTURAS COMPLEMENTARIAS Los principales hallazgos de la evaluacin fueron los siguientes: 1. Las caractersticas sociales del rea parecen constituir el mayor factor causal para las tasas de utilizacin de los servicios de salud. 2. Existe un considerable sobrecubrimiento en los efectos de las caractersticas sociales de las reas y las facilidades de cobertura; parecen reforzarse mutuament e. 3. No se observaron efectos de prevencin en el nivel de anlisis de la comunidad; esto es verdad para los centros de salud mental, clnicas, hospitales o el total d e servicios municipales y voluntarios. 4. Todo el sistema de servicios est estratificado por niveles de ingreso, con difere ntes conjuntos de relaciones para los grupos de ingresos bajos y medios (Richard N. Brandon, Differencial use of mental health services: social pathology or class victimization?, en.M. Guttentag y E. Struening, (eds.). Handboock of Evaluation Hesearch. Beverly Hills: Sage Publication, CA., 1975, pgs. 341 a 429). Evaluacin de un sistema no formal de educacin a distancia El sistema en referencia est constituido por el programa de educacin no formal a distancia, en el nivel nacional, denominado Accin Cultural Popular, ACPO, que tra baja en Colombia desde 1947, y se ha orientado a la poblacin rural del pas. A travs de los aos, el objetivo central de ACPO ha sido fundamentalmente el mismo: proporcionar educacin bsica para el desarrollo social y personal a travs de un sist ema complejo de medios masivos, apoyados por la comunicacin grupal e interpersonal. E se sistema incluye los siguientes componentes: 1. Radio Sutatenza. Es una radio del programa que transmite cursos de educacin diseados para lograr la alfabetizacin bsica de los usuarios. Para los campesinos que no pueden escucharlo con regularidad, el curso completo ha sido reproducido en una serie de discos y est disponible junto con un tocadiscos. Los otros cursos se centran en las siguientes reas: salud y trabajo, nmeros y comunicaciones, y la vida en la comunidad y sus problemas. En 1979, el programa

LECTURAS COMPLEMENTARIAS de radio educativa ofreca seis horas diarias de trasmisin con cuatro cursos que, en conjunto, desarrollan los objetivos de ACPO. 2. La escuela radiofnica no es una escuela en el sentido formal del trmino, sino un ambiente educativo por lo general, la casa de un campesino en donde se renen hasta diez participantes, miembros o no de una misma familia, nios y adultos. En este ambiente se escuchan transmisiones de la radio de tal modo que en el proces o de aprendizaje son ayudados por un auxiliar voluntario. Se utilizan adems las cartillas, los libros de la biblioteca y el peridico. 3. Las cartillas y la Biblioteca del Campesino. Las cartillas tratan los contenidos bsicos del programa ACPO. Esas cartillas son: Cartilla bsica Nuestro bienestar Hablemos bien Cuentas claras Suelo productivo Comunidad cristiana La Biblioteca del Campesino, con ms de 50 ttulos, complementa los programas radial es y las cartillas. Incluye temas como el cultivo de rboles frutales, piscicultura y pesca, cra de cerdos, apicultura, ganadera, primeros auxilios, salud y nutricin, enfermeda des contagiosas, sexo y matrimonio, cuentos para nios, cmo tocar la guitarra, derechos cvicos, etctera. En la prctica es comn que la coleccin de libros de la biblioteca se localice en una o ms casas de la comunidad a fin de propiciar su mejor utilizacin por parte de los campesinos.

LECTURAS COMPLEMENTARIAS 4. El peridico El Campesino. Este medio incluye el contenido normal de un peridico, pero con nfasis en temas que sean importantes para el desarrollo rural y para los intereses del hombre del campo. 5. La correspondencia. Son cartas que los campesinos envan a las oficinas centrales de ACPO y en las cuales expresan sus problemas y necesidades y solicitan ayuda. En 1978 se recibieron y fueron contestadas ms de 28.000 cartas de este tipo. 6. Los cursos de extensin. Son cursos de corta duracin, a veces de un da, desarrollados por un agente interpersonal de ACPO. Tratan problemas y necesidades locales especficos (cooperativas, utilizacin correcta del crdito, etctera). 7. Las campaas. Son estrategias para estimular y ayudar a los campesinos a hacer aplicaciones prcticas de aquello que han aprendido. Estas campaas se anuncian en El Campesino, se promueven en la radio Sutatenza y son manejadas localmente por agentes interpersonales de ACPO. Entre esas campaas se cuentan las de nutricin, vivienda, suelo y recreacin. 8. Los agentes interpersonales. Son las personas que ayudan a guiar el proceso de aprendizaje de los participantes en los ambientes educativos no formales y en otras actividades del programa; desempean un papel fundamental dentro del sistema ACPO. 9. Los profesores como agentes educativos. Los profesores que trabajan en el centro de ACPO son los encargados de planear, desarrollar y producir los programas educativos, con sus respectivas metodologas. Escriben tambin artculos para el peridico El Campesino y preparan instrumentos para evaluar los progresos de los estudiantes de las escuelas radiofnicas. 10. Agentes educativos de campo. Son las personas (ms de 20.000 en 1979) que trabajan de diversas formas en la enseanza, casa por casa, con los campesinos. Estn divididos en a) auxiliares inmediatos o monitores de las escuelas radiofnicas ; b) dirigentes campesinos; c) lderes (campesinos adultos que han terminado dos

LECTURAS COMPLEMENTARIAS ciclos de cursos en uno de los institutos campesinos de ACPO); d) supervisores (personas que tienen responsabilidades de administracin y supervisin en relacin con los dems trabajadores de campo, en el nivel regional). 11. Los educadores. Este grupo est constituido por los profesores de los Institutos Campesinos de ACPO en los cuales se entrena a los dirigentes, a los lderes y a los supervisores. Comprende los siguientes tipos de profesionales: a) trabajadores del servicio de extensin agrcola; b) enfermeras y expertos en salud; c) normalistas, y d) campesinos que han terminado los cursos para lderes y dirigentes y han tenido una buena experiencia de campo. Dentro del objetivo general que enunciamos al comienzo de este resumen, ACPO tie ne los siguientes objetivos ms especficos: 1. El desarrollo de las habilidades bsicas de alfabetizacin: lectura, escritura y nmeros. 2. El mejoramiento de la salud individual y familiar por medio de prcticas higinicas, nutricin adecuada y utilizacin de los servicios mdicos disponibles. 3. El aumento de produccin en la finca por medio de conocimientos y prcticas de tcnicas modernas de agricultura, cuidado de los animales y conservacin del suelo. 4. La adquisicin de conocimientos y habilidades econmicas y su aplicacin a la administracin de empresas familiares, agrcolas y otros. 5. El mejoramiento o construccin de viviendas que satisfagan las normas mnimas de salud, higiene y bienestar, y que contribuyan a una mejor relacin familiar.

LECTURAS COMPLEMENTARIAS 6. La utilizacin del tiempo libre para la participacin en deportes u otras actividade s de recreo. 7. El desarrollo de una capacidad crtica y analtica para confrontar problemas y necesidades personales y sociales, y para tomar decisiones relativas a los mismo s. 8. Vivir de acuerdo con principios ticos y religiosos y servir como modelo para otros. 9. La participacin en actividades destinadas a la continuacin de la educacin y el automejoramiento. 10. El desarrollo de estabilidad, entendimiento y mejoramiento de las relaciones humanas dentro de la familia. 11. El reconocimiento de las responsabilidades de la paternidad y la prctica de la procreacin responsable. 12. La participacin en actividades de la comunidad, asociacin con grupos organizados, y cooperacin para el mejoramiento de la comunidad. 13. La adquisicin de conocimientos acerca de los servicios de otras organizaciones de la comunidad que se interesen en el mejoramiento individual y comunitario, y la utilizacin de los mismos. 14. El desarrollo de una conciencia poltica que se centre en la proteccin de los derechos humanos y en la importancia de que todas las personas asumen sus responsabilidades en la sociedad. Frente a estos objetivos del programa, la evaluacin se dirigi a obtener respuesta a las siguientes preguntas u objetivos de evaluacin: 1. En qu medida han sido efectivos los programas de ACPO en mejorar el nivel de conocimientos en salud, actividades agropecuarias y educacin bsica de las familias campesinas?

LECTURAS COMPLEMENTARIAS 2. En qu medida y hasta qu punto fueron capaces las familias campesinas de llevar a prcticas concretas los conocimientos adquiridos en salud, agropecuarios y educacin bsica? 3. Result el aprendizaje en un cambio de actitudes del campesino hacia la salud, la actividad agropecuaria y la educacin bsica? 4. Tuvieron estos cambios, en conocimientos, prcticas y actitudes, consecuencias positivas o negativas en el nivel de vida del campesino? 5. En qu medida y en qu condiciones han estado las familias campesinas utilizando los medios de ACPO? 6. Qu elemento o combinacin de elementos ha tenido mayor repercusin en los resultados observados? 7. En qu medida podra atribuirse a los programas de ACPO los resultados observados? Cul ha sido la contribucin total y la contribucin relativa de las variables de proceso, en lo que toca a explicar las diferencias en conocimientos , prcticas y actitudes entre las familias campesinas? 8. En qu medida poda atribuirse a las condiciones en que vivan las familias, los resultados observados? Cul ha sido la contribucin total y la contribucin relativa de las variables de contexto en lo que atae a explicar esas diferencias? Con el fin de obtener la informacin para cumplir estos objetivos de evaluacin se t om una muestra aleatoria de 600 familias campesinas de 60 veredas (aldeas) de 30 mu nicipios, de tal modo que la misma fuera representativa tanto de 22 de los 27 departamento s de Colombia como de las actividades de ACPO. En el trabajo de campo se utilizaron d iversos conjuntos de instrumentos para la entrevista de las familias seleccionadas en la muestra. Los objetivos de evaluacin dieron lugar a dos tipos de anlisis: un anlisis descript ivo de los programas de educacin de ACPO, sus objetivos, las metodologas utilizadas y las caractersticas de cada uno de los componentes, con especial nfasis en la descripcin de la actividad radial, el material impreso (cartilla, peridico, libros) y los ag entes interpersonales. Se incluy, adems, una descripcin de las regiones geoculturales en las cuales se realiz el estudio. En segundo trmino se hizo un anlisis de tipo corre lacional,

LECTURAS COMPLEMENTARIAS mediante el uso de tcnicas de correlacin, regresin mltiple, correlacin cannica, anlisis de redundancia y regresin mltiple multivariada. En general. los resultados obtenidos por la investigacin evaluativa fueron consistentemente positivos y apoyan la conclusin de que los programas de ACPO han tenido efectos benficos en la vida de las familias campesinas colombianas. Fu e posible conocer la contribucin de otras fuentes de aprendizaje en el sector rural colombiano y examinar los efectos residuales atribuibles exclusivamente a ACPO (Informe final). En el rea de salud hay una interdependencia entre los procesos de ACPO y otros servicios de salud de la comunidad. Cada uno contribuye en proporciones aproxima damente iguales a explicar la varianza en las prcticas, los conocimientos, las actitudes y los efectos generales en dicha rea. En el rea de agropecuarios se detect una relacin significativa entre la participacin en los programas de ACPO y una positiva conducta agropecuaria. En esta rea de variab les de contexto, otras fuentes de apoyo a la actividad agropecuaria no contribuyeron significativamente en los efectos observados. En educacin bsica, en relacin con los conocimientos y destrezas en lectura, escritura y matemticas, se encontr que las familias que tenan un alto grado de participacin en los programas ACPO tendan a mostrar un desempeo relativamente alto, y que esta relacin persista cuando los efec tos de otras variables educativas del contexto eran controladas. Un resultado paradji co fue la baja relacin entre las actitudes acerca de la educacin y las variables de proce so de ACPO, y las variables de contexto. En el estudio se descubri que aunque buena par te de quienes respondieron la encuesta haban recibido su educacin bsica en la escuela formal, la mayora de los usuarios de ACPO tendan a obtener puntuaciones altas en l a prueba utilizada para medir el desempeo de destrezas. Esto sugiere que aun en los casos en que ACPO no sea la fuente primaria para el aprendizaje de las destrezas en educacin bsica, s desempea un papel fundamental en el mejoramiento y mantenimiento de esas destrezas. Se detect que los cinco componentes de ACPO estaban altamente interrelacionados, de tal forma que fue imposible concluir que los componentes contribuan diferencia lmente en los efectos observados. Un alto uso de los componentes de ACPO en conjunto, c omo

LECTURAS COMPLEMENTARIAS se refleja en el ndice de utilizacin de las familias, fue ms importante para explic ar los resultados que una combinacin particular de componentes. Sin embargo, algunos jui cios emitidos por las familias acerca de la relativa importancia de los componentes s ugieren que los agentes interpersonales son el componente clave. Aunque esta afirmacin no es confirmada por el anlisis estadstico, es consistente con el juicio del equipo del proyecto y los entrevistadores de campo (Robert M. Morgan, Liliana Muhlman y Paul H. Maho ner. Evaluacin de un sistema de educacin no formal a nivel nacional, Accin Cultural Popu lar. Bogot, 1980, pgs. 10 y 11). Diseos de evaluacin II En pginas anteriores nos referimos a los distintos procedimientos que se utilizan en la verificacin de la efectividad de un programa y proporcionamos algunos ejemplos. D esde luego que al preparar el diseo metodolgico slo hacemos una descripcin general del procedimiento elegido, el cual se desarrolla en el transcurso de la investigacin. Algo similar ocurre con los otros componentes del mismo en el sentido de que dur ante la etapa preparatoria basta con referirse a ellos de forma general. As lo haremos ta mbin ahora, con ejemplificaciones para aclarar los aspectos tratados. UNIVERSO DE ESTUDIO Y UNIDADES DE ANLISIS En la investigacin evaluativa, el universo de estudio puede o no coincidir con el universo de usuarios. El ltimo caso ocurre cuando el o los focos de evaluacin caen en solo algunos subgrupos de los usuarios del programa. Desde luego, esta delimitacin que da fijada en general por los objetivos de evaluacin, pero es necesario tener suficie nte claridad en este punto, ya que de l dependen otras operaciones tcnicas posteriores. La bsqueda de la respuesta a la pregunta bsica de la evaluacin: se produjeron o no los cambios, modificaciones o efectos anunciados en los objetivos del programa? lleva, a su vez, a inquirir en qu niveles se tratar de encontrar las confirmaciones del cas o, pues como lo muestran objetivos de diversos o de un mismo programa, la orientacin de l as actividades instrumentales dirige algunas veces a personas consideradas individu almente, y otras veces a grupos naturales (familias, cursos de una escuela, etc.), a cate goras de

LECTURAS COMPLEMENTARIAS personas (jvenes, personas de bajos recursos econmicos, etc.), a regiones geogrfica s o a varios de esos tipos de referentes. La decisin para elegir las unidades de anl isis debe estar de acuerdo con preguntas como stas: a quines o a qu me referir cuando termine la evaluacin?, a quin imputar los resultados: a personas consideradas individuamente o a grupos de sujetos tomados justamente como grupos? Es fcil obse rvar que la informacin que se requiere para uno y otro nivel de anlisis es diferente, c omo tambin lo son las tcnicas de recoleccin y tratamiento de los datos obtenidos en la evaluacin. Un par de ejemplos nos ayudar a comprender mejor la importancia que tiene la adec uada eleccin de la unidad de anlisis o el uso de ms de una de tales unidades. Veamos el primer caso: en la evaluacin del Programa de Desarrollo Rural de Mxico se recomien da que en investigaciones futuras no se tome a la empresa agrcola como la unidad fun damental de la agricultura campesina, sino la unidad familiar: Slo podemos tener la esperanza de decir si el programa de Desarrollo Rural ha ten ido o no efectos de justicia y distribucin de ingreso para el pequeo productor agrcola, s i esta unidad pequea, pero compleja y dotada de un delicado equilibrio socioeconmico, que es la unidad familiar, se constituye en la unidad de inters analtico en la evaluac in de proyectos (Cernea, op. cit. pg. 113). El segundo ejemplo se refiere a los distintos tipos de informacin que pueden prop orcionar dos unidades de anlisis consideradas separadamente; tambin nos hace ver los posibl es errores que podran cometerse al hacer referencias de un nivel a otro (errores que caen en la llamada falacia ecolgica). El ejemplo es ste: si tomamos informacin de los ingre sos individuales de las personas y de la mediana de los ingresos de las familias en una misma comunidad y si hacemos la representacin grfica de tal modo que en el eje vertical coloquemos los porcentajes de casos en cada categora de ingresos (indivi duales y colectivos), podemos obtener una figura como la siguiente (fig. 6.1): Como se advierte, los resultados son muy diferentes, pero, por lo mismo, usados conjuntamente pueden proporcionar informaciones muy tiles en la evaluacin. En suma: la eleccin de las unidades de anlisis y la recoleccin de la informacin pertinente deben permitir formular proposiciones de los siguientes tipos: a) sob re la totalidad

LECTURAS COMPLEMENTARIAS del programa: el ingreso promedio de la poblacin subi en un X por ciento; b) sobre l os ambientes de interaccin de la poblacin: el ambiente social de la escuela X es de ti po democrtico; y c) sobre las personas consideradas individualmente, con el fin de establecer relaciones como: la mayora de las personas de ms edad tuvieron una alta participacin en actividades comunitarias. Figura 6.1. Ingresos individuales y familiares DISEOS MUESTRALES Una vez que se ha tomado una decisin acerca de la o de las unidades de anlisis hac ia las cuales se referir empricamente la evaluacin, deben tomarse otras nuevas si exis ten varias de tales unidades: tomar una, tomarlas todas o seleccionar algunas del to tal. Esta ltima decisin envuelve dos posibilidades principales: a) utilizar un criterio prob abilstico; b) seleccionar las unidades a partir de algunos criterios establecidos por el ev aluador. La opcin a) equivale a decir que se utilizar un diseo muestral probabilstico; la opcin b ), que se utilizar un diseo muestral intencional o por cuotas, no probabilstco. Como sabemos, los diseos probablisticos dan una probabilidad conocida, distinta de cero, a cada una de las personas del universo de estudio, de entrar en la muestr a. En algunos de ellos, la probabilidad es igual para cada unidad. Estos diseos son de uso

LECTURAS COMPLEMENTARIAS obligado en las investigaciones experimentales. Sus principales ventajas son: 1. representatividad de la muestra respecto del universo; 2. posibilidad de calcula r por anticipado la magnitud y la probabilidad de que se d el error de muestreo; 3. pos ibilidad de generalizar el universo los resultados obtenidos en el anlisis de la muestra ( para un tratamiento detallado de los diversos diseos probabilsticos, consltese a G. Briones , op. cit., cap. V.). Las muestras intencionales se seleccionan segn ciertos criterios definidos por el evaluador con la finalidad principal de ubicar los focos de evaluacin en grupos a los cuale s le asigna especial importancia. Como el procedimiento empleado no es probabilstico e n su conformacin, no es posible obtener las propiedades de los diseos probabilsticos que sealamos ms arriba. Sin embargo, en algunas situaciones es posible hacer inferenci as lgicas (pero no inferencias estadisticas, en sentido estricto) hacia poblaciones que tienen caractersticas similares a las de la muestra generadora. Pero su principal caract erstica consiste en posibilitar los estudios en profundidad de componentes o procesos de l programa. A continuacin se presentan los tipos de muestras intencionales de mayor uso en la investigacin evaluativa con diseos bsicos cuasiexperimentales y no experimentales. 1. Seleccin intencional de casos extremos. Quizs sea posible hacer una clasificacin aproximada de las unidades que componen el programa en dos categoras, por ejemplo, escuelas que funcionan bien y escuelas que funcionan mal. Si as fuera, podran tomarse unas pocas escuelas de ambas categoras para estudiar otras caractersticas diversas relacionadas con su nivel de funcionamiento. 2. Seleccin de algunos cosos tpicos. Si existe una mayora considerable que puede ser considerada como tpica o modelo, entonces podra bastar la seleccin de algunos casos para hacer estudios en profundidad de los aspectos que interesan a la evaluacin, pues esos estudios representaran a la mayora de casos similares. 3. Seleccin de casos en diferentes ubicaciones geogrficas o sociales. Este tipo queda representado por la seleccin de casos que cubren las diversas zonas de un espacio geogrfico (escuelas urbanas - escuelas rurales; zonas centro nortesuroriente-occidente) o de espacios sociales pertinentes (hogares populares, de

LECTURAS COMPLEMENTARIAS clase media, de la burguesa). Los diversos subgrupos de la muestra pueden ser proporcionales a sus respectivos tamaos en el universo. 4. Seleccin de casos crticos. La seleccin recae aqu en casos que presenten algunas caractersticas crticas: alta desercin, altos costos, baja eficiencia administrativa, etc. El anlisis de situaciones como stas puede llevar a hacer recomendaciones a todos los grupos con el fin de introducir en ellos modificacio nes que se consideren tiles o necesarias. 5. Diseo mixto. En algunas oportunidades es posible combinar una muestra intencional con una submuestra probabilstca. Por ejemplo, si se toma cierto nmero de escuelas en reas rurales y otro nmero en reas urbanas, entonces, en una segunda etapa es posible tomar una submuestra probabilstica de estudiantes o profesores en cada una de las escuelas seleccionadas intencionalmente. El diseo probabilstico puede ser del tipo aleatorio simple, sistemtico, estratificado, etcte ra. Cualquiera sea el diseo que se elija, en el diseo metodolgico de la evaluacin se har una descripcin general de sus principales caractersticas (tamao, seleccin probablstica, seleccin intencional, etctera). Indicadores Es frecuente que las variables o caractersticas que aparecen en los objetivos de evaluacin no ofrezcan mayores dificultades para su descripcin o su medicin directa (por ejem plo logros en el aprendizaje, elevacin del ingreso familiar, etc.). Tambin es frecuent e, sin embargo, que otras variables requieran definiciones para comprender su significa do; de indicadores que permitan su descripcin y, cuando sea posible o necesario, su medi cin. En este ltimo caso, es indispensable utilizar tcnicas ya preparadas o que el evalu ador debe desarrollar por su cuenta (pruebas, escalas, etctera). En ocasiones una propiedad incluida en los objetivos de evaluacin queda bien repr esentada por uno o dos indicadores (por ejemplo, estatus socioeconmico, por la educacin y l os ingresos); otras veces la solucin es ms difcil tanto por el nmero de indicadores que es necesario utilizar como por la forma en la cual deberan ser combinados para obten er una representacin vlida y confiable. La tarea suele ser aun ms complicada cuando la sit uacin

LECTURAS COMPLEMENTARIAS que ha de evaluarse es de naturaleza estrictamente cualitativa (evaluar el aument o de la capacidad crtica), o bien se trata de evaluar la calidad de algunos de los element os, procesos o resultados del programa. En tales casos se recurre a procedimientos c ualitativos como entrevistas en profundidad, evaluaciones grupales, etc., o se utilizan cara ctersticas, que implican por ejemplo, variedad de recursos instrumentales empleados, conteni dos de aprendizaje, distribucin homognea de los logros obtenidos, etctera. Los indicadores pueden referirse a variables individuales (actitudes, nivel soci oeconmico, etc.) o a variables colectivas, es decir, de los grupos (homogeneidad, igualdad de oportunidades de clases sociales, eficiencia del programa, etc.). Pueden ser, po r otro lado, indicadores objetivos o bien indicadores subjetivos constituidos por juici os, opiniones o estimaciones hechas por los evaluadores o las personas sometidas al proceso de evaluacin. En lo que se refiere a programas sociales (salud, educacin, vivienda, trabajo, de sarrollo de la comunidad, etc.), hay listas de indicadores aceptados internacionalmente, y que son fciles de conseguir. Sin perjuicio de su uso, de acuerdo con los objetivos de una evaluacin determinada, la especificidad de algunos programas o las necesidades mi smas de la evaluacin pueden requerir el uso de indicadores especiales propuestos por l os evaluadores. Un ejemplo que cae en esta solucin lo encontraremos en la evaluacin d el Servicio Nacional de Aprendizaje, SENA, realizada en Colombia en 1982. Al referi rse a la evaluacin del objetivo contribuir al crecimiento dinmico del pas mediante la prepara cin de recursos humanos, se propone hacerlo de la forma siguiente: Al nivel analtico de la sociedad en su conjunto, se tomar como criterio de evaluac in la rentabilidad social de cada programa de adiestramiento, o valor actualizado del aumento en el producto nacional por unidad de costo, o sea el aumento directo o el aumento total. Este indicador, que sintetiza el aporte del curso a la funcin crec imiento, ha sido elegido en atencin a sus consideraciones principales. (Sena. Sistema de Planeacin de Recursos Humanos. Bogot, 1982, pgs 140 a 141). Tambin en esta evaluacin se utilizan diversos indicadores subjetivos para evaluar otras caractersticas del sistema de aprendizaje, como el siguiente que ilustra la clasi ficacin

que acabamos de presentar: Percepcin sobre la utilidad ocupacional del curso para el egresado o desertor (pg. 145).

LECTURAS COMPLEMENTARIAS Otro ejemplo de un indicador complejo para evaluar la equidad social es el utili zado en una investigacin acerca del funcionamiento de la educacin superior en Chile (1981) . En este caso, el indicador o ndice se defini de la siguiente manera: Porcentaje de alumnos matriculados en la educacin superior cuyos padres tienen las Ocupaciones X Porcentaje de personas en la fuerza de trabajo con ocupaciones X La X puede representar obreros y luego profesionales, por ejemplo. La comparacin de los dos ndices permite evaluar la equidad social. (Guillermo Briones. La distr ibucin de la educacin en el modelo de economa neoliberal: 1974-1982. PIlE. Santiago de Chile, 1983.) En la evaluacin de efectos de la educacin funcional de adultos es interesante dest acar algunos indicadores que utilizan diversos criterios o dimensiones, de los cuales proporcionamos otros ejemplos: Efecto de la alfabetizacin: querer informarse y comunicar. Criterio 1: Utilizacin de los medios de comunicacin de masas. 4.1.1. Nmero de peridicos y revistas diarios, semanarios, mensuales comprados o ledos, por unidad estadstica (individuo, familia, comunidad) y por unidad de tiempo. 4.1.2. Nmero de receptores de radio o televisin posedos o escuchados. 4.1.3. Nmero de escuchas, por unidad de tiempo y por tipo de emisin (informaciones, emisiones profesionales, msica, etctera. 4.1.4. Nmero de magnetfonos y nmero de casetes posedos o escuchados por unidad de tiempo de tipo de contenido.

LECTURAS COMPLEMENTARIAS Criterio 2: Utilizacin de otras fuentes informativas y de las fuentes de ayuda ms adecuadas. Por unidad de tiempo y por unidad estadstica. 4.2.1. Nmero de consejos pedidos a las organizaciones profesionales (sindicales, etc.), cvicas, administrativas (ayuntamientos, concejos, etctera). 4.2.2. Nmero de consejos pedidos a organismos de ayuda social (seguridad social, mutualidades, compaas de seguro, etctera). 4.2.6. Nmero de viajes emprendidos por duracin y naturaleza: razones familiares, emigracin estacional, bsqueda de trabajo, razones religiosas, etctera. Criterio 3: Utilizacin social e informativa de la lectura y de la escritura, por unidad estadstica y por unidad de tiempo. 4.3.1. Nmero de cartas recibidas o enviadas, por tipo de correspondencia: familia r, administrativa, informativa, diversa. 4.3.2. Nmero de agendas, carns, almanaques, anuarios, etc., utilizados (Couvert, op. cit., pgs. 16 a 161. En el texto se dan otros indicadores en la lnea de los tomados como ejemplo). Es importante destacar que en algunas evaluaciones es necesario tener indicadore s de conductas reales o prcticas, de conocimientos y de actitudes. As podemos comprobar lo en la evaluacin del programa de Accin Cultural Popular, ACPO, que presentamos pgina s atrs. Debido a que dan una idea de los elementos, presentaremos algunos de los indicadores seleccionados en el rea de salud: 1. Prcticas A. Cuidados personales 1. Nutricin

LECTURAS COMPLEMENTARIAS 1.1. Frecuencia de consumo de vegetales 1.2. Frecuencia de consumo de leche o productos lcteos por los nios 1.3. Frecuencia de consumo de frutas 2. La madre y el nio 2.1. Dieta de la mujer embarazada 2.2. Control mdico de la mujer embarazada 3. Higiene 3.1. Frecuencia con que se baan los nios B. Cuidado del ambiente 1. Huerto casero 1.1. Nmero de vegetales que se cultivan 2. Agua 2.1. Utilizacin del filtro casero II. Conocimientos 1. Ventajas de la huerta casera 1.1. Razones econmicas: como ingreso 1.2. Razones econmicas: como ahorro 1.3. Razones de nutricin

LECTURAS COMPLEMENTARIAS 2. Dieta familiar 2.1. Inclusin de vegetales 2.2. Inclusin de frutas 3. Primeros auxilios 4. Purificacin del agua III. Actitudes 1. Consumo de vegetales 2. Cultivo de la huerta casera 3. Control mdico de la mujer embarazada (Robert M. Morgan et al., op. cit., pgs. 197 a 201). Una vez que se definen o eligen los indicadores, se traducen en preguntas o en i ndicaciones para la observacin o su comprobacin mediante entrevistas o por su uso en otros procedimientos para la recoleccin de informacin. Recoleccin de informacin e instrumentos En el diseo metodolgico de una evaluacin deben indicarse los procedimientos que se utilizarn para la recoleccin de informaciones y el o los instrumentos que se desti nan a tal fin. En lo que toca a procedimientos, podran utilizarse observaciones, entrev istas de todo tipo, discusiones grupales, etc. Los instrumentos, segn el caso, pueden ser protocolos de observacin (estructurados o no), guas de entrevistas, cuestionarios, registros de discusiones, etctera. En algunos casos existen instrumentos construidos y validados por otros investig adores. Un caso as vimos en la evaluacin del programa de estimulacin temprana con base en la familia, en la cual los investigador es utilizaron la prueba de Denver, de ti po cualitativo

LECTURAS COMPLEMENTARIAS con los tems para evaluar el desarrollo psicolgico de los nios de cero meses a seis aos de edad. En otros casos, el investigador debe construir el o los instrumentos adecuados, sea para describir o medir conductas, conocimientos y actitudes, tare a en la cual suele ayudarse con las indicaciones pertinentes que se dan en textos de tcni cas de investigacin social. Trabajo de campo Aqu, por lo general, se indica quines recogern la informacin en el terreno, cmo sern preparadas esas personas, cul ser la distribucin del trabajo, de qu forma se llevar a cabo la supervisin, etctera. Anlisis de los datos En el diseo deben mencionarse los tipos de anlisis a los cuales sern sometidos los datos y los procedimientos que se utilizarn, sean de tipo cualitativo o cuantitat ivo. Por ejemplo, en el primer caso se mencionan tipologas cualitativas, conexiones entre procesos y resultados, etc. En el segundo, el evaluador podr referirse a anlisis relacional y enumerar tcnicas como las de regresin, anlisis de senderos y de redundancia, entre otras. O en diseos experimentales, tcnicas como anlisis de la varianza, covarianza, etctera. El informe de evaluacin El informe de evaluacin describe la investigacin realizada y en l se puntualizan co n mayores detalles los componentes del diseo, como tambin las dificultades que se encontraron en su aplicacin. Pero el ncleo del informe est constituido por los resu ltados obtenidos, sea en la evaluacin del contexto del programa, de su estructura, de su funcionamiento y de sus logros y efectos; con el anlisis de los factores que pudi eron facilitar o dificultar la marcha del programa y la consecucin de sus objetivos. El informe de evaluacin culmina con sugerencias o recomendaciones basadas en los resultados obtenidos.

LECTURAS COMPLEMENTARIAS La aceptacin de las recomendaciones puede verse afectada por diversos factores en tre los cuales se destacan problemas como los citados por dos autores preocupados de esta situacin: Diferencias entre los roles y estilos del personal del programa y los evaluadore s. Estudios que son insuficientemente rigurosos para ser convincentes. Demasiada sofisticacin metodolgica y poca preocupacin con los aspectos concretos del programa. Resultados que no estn disponibles a tiempo para la toma de decisiones. Respuestas a preguntas en las cuales los administradores no tienen inters. Los asuntos de la marcha y financiamiento son a menudo ms importantes que los resultados de la evaluacin. Los resultados de la evaluacin se comunican al personal del programa, de manera que ellos no pueden ser usados (Ray C. Oman y Stephen R. Clitwood. Management evaluation studies: Factors affecting the recomendations. Evoluotion Review. vol. 8, nm 3, junio de 1984, pg. 286). De manera tpica, el informe de evaluacin contiene secciones como las siguientes: 1. Descripcin del programa (estructura, objetivos, ubicacin, etctera) . 2. Contexto socioeconmico 3. La evaluacin: a) origen b) propsitos c) objetivos de evaluacin

LECTURAS COMPLEMENTARIAS d) metodologa e) problemas en la marcha del programa 4. Resultados 5. Recomendaciones EL DISEO EN MODELOS GLOBALES, EVALUACIN PARTICIPATIVA El diseo de evaluacin de programas orientado por algunos de los modelos globales q ue presentamos en el captulo 3 o por otros modelos similares tiene importantes difer encias con el que hemos desarrollado en las pginas anteriores. Para comenzar, debemos de cir que ms que una descripcin especfica de las diversas fases y tareas que deberan desarrollarse en la investigacin evaluativa, el diseo de los modelos globales cons iste en indicaciones generales acerca de cmo conducir el estudio, ya que varias de las acciones particulares se definirn sobre la marcha. Por otro lado, como caractersticas que se dan en muchos de los diseos figuran la participacin de los usuarios del programa en todas o en varias etapas de la evalu acin, y la utilizacin de indicadores subjetivos para la valoracin del desarrollo del pro grama y de los resultados obtenidos (autoevaluacin, evaluacin grupal, etc.), todo ello med iante el uso de tcnicas cualitativas, preferentemente para la recoleccin y el anlisis de la informacin. Algunos de estos modelos ponen en el centro de la evaluacin la descrip cin de los procesos que se desarrollan en el programa, antes que la determinacin de resultados. Sin perjuicio de diseos mixtos que incorporan componentes de los diseos analticos, el global contiene orientaciones en los siguientes aspectos: 1. Consulta a los usuarios del programa para establecer qu les interesa evaluar. 2. Negociacin entre los diferentes puntos de vista aparecidos en la consulta para llegar a un acuerdo. Pueden incluirse aqu los intereses de los administradores de l programa.

LECTURAS COMPLEMENTARIAS 3. Preparacin de un esquema para el trabajo de campo. 4. Trabajo de campo: a) Observacin participante del personal encargado de la evaluacin. b) Reuniones grupales para evaluar el funcionamiento del programa y resultados mediante discusiones y juicios valorativos. c) Entrevistas en profundidad a informantes seleccionados para profundizar temas importantes detectados en a) y b). d) Registro de experiencias personales de algunos usuarios, e historias de vida. 5. Anlisis de la informacin recogida: a) Imgenes verbales sobre el programa y sus componentes: objetivos, necesidades, relaciones interpersonales, etctera. b) Determinacin de la significacin cultural de las expresiones verbales de los usuarios. c) Conexiones entre procesos. d) Tipologa de comportamientos. 6. Determinacin de la efectividad del programa. Esquema de "triangulacin". En el hecho, tal procedimiento consta de las siguientes tres fuentes de validacin : 1. Confrontacin de informacin cualitativa y cuantitativa (triangulacin metodolgica); 2. Comparacin de diversas fuentes de informacin cualitativa (triangulacin de fuentes de informacin); y

LECTURAS COMPLEMENTARIAS 3. Comparacin de las informaciones de diversos observadores (triangulacin de investigadores). Un ejemplo de triangulacin lo proporciona la evaluacin del Programa padres e hijos al cual ya nos referimos en este trabajo y que, de la parte pertinente, transcribimos te xtualmente: Como hemos mencionado en el captulo anterior, la triangulacin se realiz con el fin de comprobar, a travs de procedimientos diferentes y desde distintos ngulos, la coherencia de la idea que tenemos acerca de lo que el programa es. Se investiga si la evidencia con que contamos es consistente con el concepto que tenemos, como evaluadores, de cmo funciona, en este caso, el mecanismo del Programa padres e hijos. Se procedi, entonces, a triangular la imagen verbal (contestaciones de los usuarios). Hubo varias afirmaciones entregadas por los primeros informantes y lu ego corroboradas por los grupos, que se intentaron precisar a travs de este proceso d e triangulacin. Entre stas se destacaron, por ejemplo, el mejor rendimiento de los nios que asistan al PPH en el colegio; el mejoramiento de la nutricin de los nios; la disminucin del alcoholismo entre los participantes... Veamos cmo se hizo la triangulacin de uno de estos aspectos. Tomaremos, a modo de ejemplo, el efecto del programa en los nios en edad preescolar inscritos en el PPH. Se realizaron distintos estudios que apuntaban al problema desde perspectivas distintas. Por una parte, se entrevistaron tres profesores de escuelas bsicas que tenan nios que haban participado en el PPH y nios que no. Se les pidi a los profesores que clasificaron como excelente, bueno, aceptable o deficiente a los nios de primero bsico segn su habilidad para leer. Los profesores no estaban en conocimiento de los nios que haban participado en el programa. El resultado fue el siguiente: Con PPH Sin PPH Total Excelente 5 nios 19% 2 nios 4% Bueno 15 nios 52% 17 nios 35% Aceptable 9 nios 31% 24 nios 49% Deficiente -.0% 6 nios 12% 7 a 9% 32 a 42% 33 a 41% 12 a 6% Total 29 nios 100% 49 nios 100% 78 a 100%

LECTURAS COMPLEMENTARIAS El cuadro muestra que la clasificacin destaca favorablemente la habilidad de lect ura de los nios con PPH. Lo confirma la distribucin porcentual de los nios con y sin PPH e n cada uno de los rubros. Se aplic tambin el test de la figura humana (Goodenough y Harris) a un grupo de 26 nios con PPH y a un grupo de 24 sin PPH. La muestra fue elegida al azar. La evalu acin de los resultados del test fue encomendada a un experto en psicologa del desarrol lo infantil que no tena conocimiento previo acerca del programa. El resultado de la evaluacin de los dibujos aparece en el siguiente cuadro: Clasificacin de dibujos Mejor dibujo: nio del grupo de control Grupo control Grupo PPH Total Superior 3 Bueno 3 25% Promedio 6 Pobre 9 Inferior 3 2 9 42% 10 3 2 5 12 16 12 5 24 nios 26 nios 50 nios Peor dibujo: nio del grupo de control La evidencia que muestra el cuadro complement los resultados de los otros estudio s que se fueron realizando en la triangulacin. Es importante destacar que en la triangulacin se utilizan tcnicas de distinta ndole . Algunas de carcter etnogrfico como las entrevistas y las observaciones; otras de carcter cu antitativo. Todas cumplieron la funcin de investigar si las evidencias con que se contaba era n consistentes con la imagen que se tena de lo que el programa era (Horacio Walker. Una evaluacin para los proyectos de educacin popular. Santiago de Chile: Cide, 1982, pgs. 52 a 57).

LECTURAS COMPLEMENTARIAS De manera caracterstica, el informe de la evaluacin no formal se redacta en trminos sencillos, con amplio uso de opiniones y relatos en las propias palabras de los participantes. El informe puede o no terminar con recomendaciones para contribuir al mejoramien to del programa. Convendra tambin decir que en algunas oportunidades se acompaa de grficos, dibujos de los usuarios, diapositivas y grabaciones (diapofilm) de diversas inst ancias de desarrollo del programa, etctera. (Para algunos otros detalles de la evaluacin de programas globales se puede consultar a Thomas D. Cook and Charles S. Rechardt (eds.). Qualitative and quantitative methods in evaluation research. Beverly Hil ls: Sage Publications, s./f.) No todas las evaluaciones de programas no formales trabajan con el enfoque prese ntado ms arriba, que pretende lograr una alta participacin de los usuarios. Con frecuenc ia se encuentran ejemplos en los cuales esa funcin es realizada principalmente por el p ersonal encargado del programa, en especial por el equipo tcnico de campo. As sucede en proyectos de desarrollo rural, rea en la cual debemos destacar el enfoque de Oakl ey con las caractersticas que este investigador seala. En resumen y de forma muy apega da a su propia descripcin el esquema utilizado comienza por identificar los criterios e indicadores de acuerdo con los cuales se puede apreciar el progreso del programa . Para ello se elabora, conjuntamente con los tcnicos o monitores, una lista de caracters ticas (criterios) que los usuarios posean antes de comenzar las actividades innovadoras . Luego se les pide caracterizar al mismo grupo de usuarios despus de cierto tiempo de la puesta en prctica de tales acciones. Las caractersticas son las siguientes: a) Caractersticas (criterios de los usuarios antes del desarrollo del programa): Individualismo, que se ve reflejado en el predominio de la propiedad privada, en el poco inters en proyectos comunitarios, as como tambin en la escasa participacin en las decisiones. Falta de anlisis crtico de su situacin: incapacidad para identificar las causas de problemas estructurales y buscarles solucin. Dependencia econmica, social y poltica del patrn y explotacin por parte del mismo.

LECTURAS COMPLEMENTARIAS Falta de confianza en su propia capacidad para cambiar la situacin. Ausencia de organizaciones que representen los intereses del grupo. Falta de cooperacin. Ignorancia, sospecha y aislamiento. La gente tiene temor de conversar y discutir y verse involucrada. b) Caractersticas del grupo despus de un perodo de desarrollo del programa: Cohesin interna. Sentido de la solidaridad. Conciencia crtica. Facultad crtica. Participacin activa y crtica. Menor dependencia. Aumento de la autoconfianza. Autogestin, autosuficiencia y autonoma del grupo. Recursos colectivos. Reservas de capital. Capacidad para la administracin del programa. Demostracin del poder. Responsabilidad colectiva. Articulacin con otras instituciones controladas por campesinos. Inters en la creacin de grupos similares. Capacidad para tratar con funcionarios oficiales.

LECTURAS COMPLEMENTARIAS En situaciones concretas, un grupo en evaluacin puede no presentar todas las caractersticas indicadas; ms bien sirven de ejemplos de las que pueden darse en la realidad. El trabajo, en todo caso, contina con la bsqueda de indicadores para tal es caractersticas. As, en relacin con los criterios del ejemplo, se sealan indicadores como los siguientes, que el personal tcnico de programas de desarrollo rural cree pueden utilizarse para pronunciarse acerca de los cambios que se han producido o se estn produciendo en los usuarios: Actividades realizadas por el grupo: obras de construccin, organizaciones, etctera . Acciones especficas del grupo con la ayuda del monitor o sin ella. Por ejemplo: acciones para obtener beneficios de seguridad social o para demandar el cumplimiento de la legislacin existente. Cambios en la conducta del grupo: tipo de reuniones, uso del lenguaje, naturalez a de la participacin, etctera. Naturaleza de la intervencin: cambios en las relaciones del monitor con el grupo como resultado de que este ltimo ha asumido la responsabilidad de su propio desarrollo. Relaciones con otros grupos: naturaleza de las relaciones con otros grupos y acciones conjuntas, empresas y organizaciones comunes, etctera. En trminos operativos se sugiere que el personal del proyecto encargado de la eva luacin o de la recoleccin de informacin para el trabajo que otro grupo ha de realizar reg istre continuamente sus observaciones o rena los datos pertinentes. Para ello pueden emplearse los siguientes mtodos: 1. Encuesta para el perfil del grupo, es decir, para establecer la situacin cuando comienza el programa. 2. Recoleccin de datos cuantificables. Tales datos deben incluir la cantidad de reuniones, de participantes, el nmero involucrado en actividades particulares y las cifras bsicas relativas a cualquier actividad econmica que se lleve a cabo.

LECTURAS COMPLEMENTARIAS 3. Descripciones continuas y observaciones del grupo. stas implican llevar un regist ro peridico basado en las cinco reas de indicadores. Los monitores deben escribir libremente sus apreciaciones subjetivas, sin prestar mayor atencin a la estructur a o forma del informe. El nfasis debe estar en el registro de los cambios que se observan. 4. Minutas de otras formas de registros de las reuniones de los monitores. Una vez recolectada toda la informacin se procede a ordenarla y a interpretarla e n trminos de los cambios que se hayan producido en relacin con las condiciones iniciales, l as cuales, a su vez, ayudaron a definir los objetivos del programa. La ltima tarea c onsiste en transferir los resultados y conocimientos obtenidos a todo el personal tcnico para mejorar la marcha del proyecto (Peter Oakley. Evaluating social development: how much or how good, Ideo RRDC Bulletin, marzo de 1982, 14, pgs. 12 a 17).

Los autores El doctor Jos Santiago Correa Uribe, ha sido profesor de la Universidad de Antioq uia desde el ao 1979 hasta la fecha. Se ha desempeado adems, como profesor de la Universidad Pontificia Bolivariana y Universidad de Medelln y como profesor invit ado de las principales universidades del pas. Ha publicado, entre otras, las siguientes obras: Introduccin a la investigacin (Me delln, Universidad de Antioquia 1981), Currculo y calidad de la educacin superior en Colo mbia (Santaf de Bogot, ICFES-COLCIENCIAS, 1987), Metodologa de la investigacin cientfica (Medelln, Universidad de Medelln, 1988), La innovacin en educacin (Medelln, Universid ad de Antioquia-COLCIENCIAS, 1988), Evaluacin institucional aplicada a la educacin (Medelln, Editorial Sagrada Familia, 1982), Metodologa de la investigacin aplicada a la gestin bancaria (Ibagu, Universidad del Tolima, 1994). Actualmente se desempea como asesor de la Vicerrectora de Docencia de la Universid ad de Antioquia, en procesos de autoevaluacin y acreditacin. El Doctor Antonio Puerta Zapata, hizo sus estudios de Filosofa y Letras, y Licenc iatura en Trabajo Social en la Universidad Pontificia Bolivariana. Curs su Maestra en Soc iologa de la Educacin en la Universidad de Antioquia y Maestra en Trabajo Social (rea de Investigacin) de la Universidad de Minnesota. Se ha desempeado como profesor visitante de varias universidades colombianas y de la Universidad Catlica de Guayaquil y es Miembro del Consejo Directivo de la Federac in Antioquea de Organizaciones no Gubernamentales. Ha sido asesor de: Evaluacin de programas en salud Mental y prevencin de la violen cia para Metrosalud. Medelln Participante del Grupo de Mtricas Sociales de la Federacin

antioquea de ONG y de varias investigaciones en Basf Qumica Colombiana y empresas Varias de Medelln y ha actuado como par Acadmico del Consejo Nacional de Acreditac in. Actualmente es Profesor Titular de tiempo completo de la Universidad de Antioqui a. Jefe del Departamento de Trabajo Social y Asesor de la Vicerrectora de Docencia en los Procesos de Autoevaluacin y Acreditacin de la misma Universidad. Public el Libro sobre Evaluacin y sistematizacin de Proyectos Sociales; ha escrito artculos en Revistas Nacionales de Trabajo Social, y ha publicado escritos sobre Acreditacin. El Doctor Bernardo Restrepo Gmez es profesor emrito de la Universidad de Antioquia , institucin en la ha trabajado durante 36 aos en la docencia y la investigacin de la educacin. Aunque esta universidad ha sido el centro de sus actividades, ha sido p rofesor visitante y conferencista en varias universidades del pas. Ha actuado como consul tor de la UNESCO y del Convenio Andrs Bello y como asesor de la OEA en programas educati vos; fue asesor del Ministro de Educacin, consejero del Programa de Estudios Cientficos de la Educacin de COLCIENCIAS y se desempea actualmente como consejero del CNA, Consejo Nacional de Acreditacin de Colombia. Ha realizado un buen nmero de investigaciones y evaluaciones de programas educativos y escrito libros y artculo s en educacin y pedagoga. Sus publicaciones ms recientes son: ABP, Aprendizaje Basado en Problemas, en la Formacin de Profesionales de la Salud (2000), La Educacin y el Desarrollo Sostenible en la Regin de Planificacin del Occidente Colombiano (2000), L a Investigacin Formativa en la Universidad: concepto, relacin con el pregrado y form as de implementacin (1999), Maestro Investigador, Escuela Investigadora e Investigacin de Aula (1999); Calidad y Eficiencia Interna de la Educacin en el Occidente Colombiano (1998).