PRESUPUESTOS TEORICOS Y METODOLOGICOS PARA LA EVALUACIN DE PROGRAMAS

Eduardo Garca Jimnez

NDICE
Definicin y funciones.
Actos bsicos de la evaluacin. Informacin a recoger

Esquema comparativo.
Tipos de evaluacin de programas. El proceso de evaluacin de programas.

Validez.
Fases de una evaluacin.

1.

DEFINICIN y FUNCIONES Definicin

Determinar el valor de algo de acuerdo con

un criterio previo. Adoptar un conjunto de estndares, definirlos, especificar la clase de comparacin, y deducir el grado con que el objetivo satisface los estndares llegando a un juicio acerca del mrito del objeto evaluado.

1.

DEFINICIN Y FUNCIONES Funciones

Sealar el valor de un programa

Iluminar la comprensin del programa y las

perspectivas de valor existentes Mejorar el programa Facilitar la tomar decisiones

2. ACTOS BSICOS DE LA EVALUACIN

Descripcin: Definicin de un programa enumerando sus componentes, cualidades y circunstancias. Juicio: Acto mental por el que pensamos acerca de la verdad o falsedad de un enunciado relacionado con un programa. El programa consigue .. Evidencias: Intenciones: el programa que se planifica Observaciones: el programa que se implanta. Estndares: de calidad de los programas. Juicios: de valor sobre un programa.

3. INFORMACIN A RECOGER
Antecedentes: Cualquier condicin con una

existencia previa al programa.

Fundamentos en los que se apoya el programa.

Procesos: Interacciones o transacciones que

aaden valor a la situacin anterior de los sujetos o entidades a quienes va dirigido el programa. Resultados: Consecuencias en los sujetos o entidades atribuibles al programa.

4. EL ESQUEMA COMPARATIVO
Comparacin basada en descripciones.
Comparacin basada en juicios.

MATRIZ DE DESCRIPCIONES ANTECEDENTES ESPERADOS CONGRUENCIA ANTECEDENTES OBSERVADOS

CONTINGENCIA LGICA

CONTINGENCIA EMPRICA

TRANSACIONES ESPERADAS

CONGRUENCIA

TRANSACIONES OBSERVADAS

CONTINGENCIA LGICA

CONTINGENCIA EMPRICA

RESULTADOS ESPERADOS

CONGRUENCIA

RESULTADOS OBSERVADOS

Propuestas observadas
Antecedentes Transacciones Resultados

COMPARACIN ABSOLUTA Normas de calidad

Datos descriptivos del programa

COMPARACIN RELATIVA

Datos descriptivos Datos descriptivos Datos descriptivos de otros programas de otros programas de otros programas

JUICIOS

5. TIPOS DE EVALUACIN
Segn quin evala:

Interna. Externa. Segn su funcin: Sumativa y formativa. Retroactiva y proactiva. Psicolgica o sociopoltica. Ejercicio de la autoridad.

5. TIPOS DE EVALUACIN Segn los elementos que se estn evaluando

EL FLUJO DE LA EVALUACIN

Contexto A
Finalidades Marco NECESIDADES Situacin actual
EVALUACIN DE NECESIDADES

Contexto N
MONITORIZACIN

DISEO DEL PROGRAMA

APLICACIN DEL PROGRAMA

FINAL DEL PROGRAMA

...

TRANSFEREN CIA DEL PROGRAMA

EVALUACIN COBERTURA EVALUACIN DISEO EVALUACIN IMPLEMENTACIN

EVALUACIN RESULTADOS EVALUACIN IMPACTO

EVALUACIN DE NECESIDADES
Volumen y caractersticas esenciales del problema

que la intervencin quiere solucionar Niveles de necesidad (Witkin y Altschuld, 1995):

Nivel 1(Primarias): de los receptores del programa
(estudiantes, clientes, usuarios de la informacin, potenciales usuarios,...).

Nivel 2 (Secundarias): de los responsables de la planificacin, gestin y/o ejecucin del programa (profesores, diseadores, funcionarios de la Administracin,
profesionales, equipos directivos, inspectores...).

Nivel 3 (Terciarias): relativas a los recursos o soluciones (equipamientos educativos,condiciones laborales, programas, ratios,
tecnologa, ayudas, salarios y beneficios...).

EVALUACIN DE LA EVALUABILIDAD
Estudiar la posibilidad de evaluacin de un

programa. Metodologas:
Anlisis documental y entrevistas personales con los diseadores del programa (en papel). Anlisis de la realidad emprica (el programa en la realidad)

EVALUACIN DEL DISEO/ CONCEPTUALIZACIN DEL PROGRAMA

Comprobar si el programa se basa en un mode-

lo de intervencin suficientemente contrastado. Metodologa:

Anlisis lgico del programa en relacin a:
Poblacin objeto y los posibles problemas de cobertura. Conjunto de actividades que constituyen el programa incluidos los recursos asignados al mismo.

EVALUACIN DE LA IMPLEMENTACIN
Contrastar si hay discrepancias entre el

diseo y la realidad Metodologa:

Describir cules son los elementos esenciales del programa segn los textos que los especifican. Recoger informacin emprica sobre cmo se aplican, cmo funcionan, etc. esos elementos. Deducir si la implementacin es adecuada comparando los dos puntos anteriores.

EVALUACIN DE LA COBERTURA
Analizar hasta qu punto el programa llega a

la poblacin a la que est destinado (tasa de cobertura, sesgo, barreras y accesibilidad). Anlisis de la accesibilidad:
Conocimiento del programa por parte de la poblacin objeto del mismo. Accesibilidad (fsica, temporal y meditica). Aceptacin del programa (accesibilidad psquica o motivacional).

MONITORIZACIN Y SEGUIMIENTO DEL PROGRAMA

Gestionar y dirigir adecuadamente el programa.
Metodologa: Establecer el tipo de informacin a recoger Determinar la periodicidad de dicha recogida Realizar un anlisis peridico de la informacin:
Cobertura Esfuerzo (recursos humanos, medios materiales y financieros) Proceso (actividades, distribucin del tiempo) e implementacin Productividad (del personal del programa) Calidad (de la atencin e intervencin) Econmica (de los costes de la intervencin y su eficacia)

EVALUACIN DE LOS RESULTADOS

Analizar todas las consecuencias o efectos

previstos que tenga el programa sobre la poblacin objeto del mismo (usuarios, beneficiarios). Metodologa:
Identificar los posibles efectos/consecuencias del programa. Establecer diseos:
Diseos experimentales Modelos causales Diseos cualitativos

EVALUACIN DEL IMPACTO

Analizar los efectos del programa sobre una

poblacin que va ms all de los beneficiarios/usuarios inicialmente previstos. Metodologa:

Identificar los posibles efectos/consecuencias no previstos en el programa. Establecer diseos:
Diseos experimentales Modelos causales Diseos cualitativos

EVALUACIN ECONMICA
Analizar el coste del programa en relacin

a los resultados que ste consigue. Posibilidades: coste/beneficio, coste/efectividad o coste/utilidad. Jerarqua evaluativa:
Evaluacin de necesidades

Evaluabilidad Implementacin PROGRAMA Resultados Econmica

5. TIPOS DE EVALUACIN Segn la perspectiva temporal

Evaluacin ex-ante: El programa es pertinente? Tendr xito?
Evaluacin intermedia: Se est desarrollando segn lo previsto? Se estn logrando los objetivos? Evaluacin ex-post: Cules son los logros atribuibles al programa?

6. EL PROCESO DE EVALUACIN
Marco regulador de la evaluacin.

Objeto y tipo de evaluacin. Finalidad y funcin de la evaluacin. Objetivos. Identificacin de las audiencias. Trminos de comparacin. Criterios de evaluacin. Diseo de evaluacin: tipo, participantes, recogida y anlisis de datos. Resolucin del diseo de evaluacin. Calendario de trabajo previsto. Equipo de evaluacin.

6. EL PROCESO DE EVALUACIN Objeto y tipo de evaluacin

Qu programa? Qu evaluar? Oficial Necesidades Programa en desarrollo Evaluabilidad Puesto en prctica Diseo/Conceptualizacin Segn el cliente Implementacin Segn los diseadores Cobertura Segn los participantes Seguimiento Segn las audiencias Resultados Impacto Economa

6. EL PROCESO DE EVALUACIN Finalidad y funcin. Objetivos

Finalidad: Informar, ayudar a tomar

decisiones, mejorar el programa, rendir cuentas Funciones:

Formativa Sumativa Proactiva

Objetivos.

EL PROCESO DE EVALUACIN Identificacin de las audiencias

Una evaluacin puede tener ms de un

cliente o audiencia. Diferentes audiencias pueden tener diferentes necesidades de evaluacin. Es necesario identificar las audiencias concretas y sus necesidades relacionadas con el proceso de evaluacin.

6. EL PROCESO DE EVALUACIN Trminos de comparacin

PROGRAMA -APROGRAMA -APROGRAMA -APROGRAMA -APROGRAMA -APROGRAMA -BPROGRAMA -a, b, c, ...z!!PROGRAMA!!

6. EL PROCESO DE EVALUACIN Criterios

Ajuste entre los trminos de comparacin.
Nivel de mejora respecto a una situacin

anterior. Satisfaccin de ciertos indicadores o estndares. Efectos sobre:

personas objetivo, organizaciones, sistemas y comunidad.

Impacto.

EVALUACIN DE NECESIDADES
Ad hoc

EVALUACIN DEL DISEO

Sistemas de

EVALUACIN DE LA GESTIN y SEGUIMIENTO

Correlacionales Causales

EVALUACIN DE LOS RESULTADOS

Cuanlitativos

EVALUACIN DEL IMPACTO

Cuantitativos Participativos Cualitativos

Observacionales Cuantitativos

basados en modelos.
Tipo survey Observacin Indicadores

jueces

Escalas de

Indicadores. Informaciones

Tipo survey Medidas de

Tipo survey Grupo nominal Delphi Forum

sociales Delphi, DAFO ...

Tcnicas

valoracin Paneles de expertos

peridicas. Observacin Tipo survey

Tcnicas

rendimiento Observacin Portafolios

Tcnicas

comunitario
Tcnicas

Anlisis de

estadsticas Anlisis de decisiones Anlisis cualitativos

decisiones

estadsticas Anlisis cualitativos

estadsticas Anlisis de decisiones Anlisis cualitativos

estadsticas Anlisis cualitativos Anlisis costebeneficio Anlisis de impactos micro y

6. EL PROCESO DE EVALUACIN
Resolucin del diseo
Evaluador, nico juez.
Equipos de evaluadores. Evaluador/es y audiencias.

Evaluacin y toma de decisiones: un solo

agente o dos agentes distintos? Validez.

6. EL PROCESO DE EVALUACIN
Calendario previsto
Detallar actividades, procedimientos,

responsables y tiempo asociados. Contar con los RR.HH y RR.MM al planificar el calendario. Construir un diagrama de Gantt.

6. EL PROCESO DE EVALUACIN
Equipo de evaluacin
Establecer un propietario del proceso.
Diferenciar funciones y responsabilidades. Carrera del evaluador, a partir de la

formacin y la experiencia acumuladas:

Novel. Junior. Senior.

7. VALIDEZ DE LA EVALUACIN
til: En la medida en que da respuesta a

las necesidades, problemas o motivaciones. Procedimiento: Dinmico, sigue la lgica de ajuste al modelo. Valor: No es universalmente defendible, depende de las audiencias afectadas. Valor: Depende de que los destinatarios la consideren bien fundamentada o aplicable. Valor: Garantizada por el evaluador y certificada por las audiencias.

8. FASES DE UNA EVALUACIN

Tyler (1950): Establecer las metas de la evaluacin (conduc.) Desarrollar instrumentos de evaluacin Recoger datos Interpretar los hallazgos Hacer recomendaciones Stake (1973): Describir el objeto Informar a las audiencias relevantes Obtener y analizar sus juicios Informar a las audiencias de la sobre el anlisis realizado aplicando sus perspectivas de valor

FASES DE UNA EVALUACIN (Esquema tradicional)

1. Familiarizacin con el programa. 2. Decisin sobre la viabilidad de la evaluacin. 3. Determinacin del tipo de evaluacin:
a) b) c) d) Funcionamiento del programa (implem./monitor.) Efecto sobre la sociedad/comunidad (impacto). Resultados/efectos del programa (resultados). Consideracin de beneficios y costes (coste/beneficio/utilidad).

4. Diseo/proyecto de la evaluacin. 5. Recogida de la informacin. 6. Anlisis de datos/informe.

Identificacin de partes interesadas Organizar con ellas un grupo de trabajo

Delimitacin de preguntas y temas de evaluacin S Puede identificarse cmo se utilizarn las respuestas a esta pregunta S NO Dada la utilizacin prevista, vale la pena hacer la evaluacin

NO

Buscar nuevas preguntas y temas

Toma de decisiones sobre diseo, mtodos y medicin

1.

Los mtodos son adecuados para las preguntas de la evaluacin. 2. Los resultados que se obtengan tendrn credibilidad. 3. Los mtodos a utilizar estn dentro del presupuesto. 4. Los resultados obtenidos se utilizarn.

Recogida de informacin/datos Anlisis de datos Grupo de trabajo se implica en el anlisis

Decisin sobre cmo utilizar y aplicar los hallazgos

Decisin sobre difusin de los hallazgos