EVALUACIN DE SOFTWARE EDUCATIVO

QU SE EVALA
EL PROGRAMA COMO OBJETO MATERIAL
Se examinan dos aspectos: el equipo requerido o ficha tcnica, y la usabilidad del programa.

A. Equipo requerido. Descripcin de los requerimientos de equipo mnimos que exige el programa para
funcionar; esta informacin suele aparecer en los folletos que acompaan al CD, medio de
almacenamiento ya usual. En la gua de uso se completan los aspectos que hacen referencia a las
condiciones de instalacin de las instituciones participantes en el proyecto.

B. Usabilidad. Medida en que el sistema es fcil de aprender y fcil de utilizar. Se examinan los
siguientes aspectos de usabilidad:

1. Facilidad de aprendizaje. Medida en que el usuario novel comprende cmo utilizar

inicialmente el sistema y cmo a partir de esta utilizacin llegar a un mximo nivel de
conocimiento y uso del sistema.

Indicadores

Predictivo: los conocimientos adquiridos por el usuario son suficientes para poder determinar los
resultados de sus futuras interacciones.

Sintetizable: habilidad del usuario para evaluar los efectos de las operaciones anteriores al estado
actual (capacidad de captar los cambios de estado que produce cada operacin).

Familiar: correlacin entre el conocimiento que tiene el usuario y el conocimiento que necesita para
una interaccin efectiva.

Consistente: medida en que todos los mecanismos son usados siempre de la misma manera.

2. Flexibilidad. Multiplicidad de formas en las que el usuario y el sistema intercambian

informacin.

Indicadores

Iniciativa de dilogo: quien tiene la iniciativa en la conduccin del dilogo; hay o no libertad para iniciar
cualquier accin en el sistema.

Dilogo multihilo: un hilo de un dilogo es un subconjunto coherente del mismo. Si el sistema soporta
dilogos multihilo al mismo tiempo.

Migracin de tareas: Transferencia del control, del sistema al usuario y viceversa, para la ejecucin de
tareas: medida en que se puede pasar de una tarea a otra, pasar una a segundo plano o repartirse entre
ambas.

Adaptabilidad: Si el sistema puede adaptarse a distintos usuarios

3. Solidez. Caractersticas de la interaccin que permiten lograr los objetivos, y su

asesoramiento.

Indicadores

Recuperabilidad: Posibilidad del usuario para corregir una accin una vez ha reconocido un error.

Tiempos de respuesta: tiempo que necesita el sistema para expresar los cambios al usuario.
Adecuacin a las tareas: en qu grado los servicios del sistema soportan todas las tareas que el usuario
quiere hacer y la manera en que el usuario las comprende.

4. Mecanismos de soporte. Recursos de ayuda y forma en que el usuario puede utilizarlos.

Indicadores

Disponibilidad: posibilidad de consultar la ayuda en cualquier momento, sin tener que salir de la
aplicacin

Precisin y detalle: medida en que la ayuda cubre todo el sistema, con concisin.

Consistencia: en trminos de contenidos, terminologa y estilo

Robustez: que soporte ms que el sistema, en trminos de funcionamiento

Flexibilidad: en qu medida permite interactuar de manera adecuada a las necesidades del usuario.

No obstructiva: que no impida el uso normal de la aplicacin

Organizacin del texto de ayuda: lenguaje, longitud de frase y prrafo; cantidad de texto; espacios en
blanco; grficos e iconos.

EL PROGRAMA COMO OBJETO PEDAGGICO

A. Contenido

1. Contenido Cientfico: Se trata de evaluar la calidad y cantidad de la informacin ofrecida:

Indicadores

Exactitud, actualidad: Fechas de edicin; referencias o fuentes citadas; trminos tcnicos; datos
estadsticos. Visin de Ciencia; visin de tecnologa.

Adecuacin: valor absoluto: significatividad de los contenidos en s mismos; valor relativo: adecuacin
en nivel de tratamiento a la situacin pedaggica dada.

2. Contenido sociocultural e ideolgico: qu representacin de la sociedad encierra el

programa; cmo representa otras sociedades.

Indicadores

Visin sociocultural: a qu grupos sociales (o culturales) se refieren los ejemplos, los personajes, los
problemas planteados. Qu muestran las ilustraciones: representacin racial, gnero, referencias
geogrficas, etc.

Personajes: reales, imaginarios; sexo; edad; raza; nacionalidad; condicin o estado, patronos, obreros,
campesinos, militares...

Marcos espaciotemporales: contexto geogrfico (urbano, rural, mar, montaa); medio de referencia
(flora, fauna, estaciones); pocas de referencia; medio tecnolgico y objetos de la vida cotidiana

Contexto social: representacin del trabajo; categoras socio profesionales representadas; familia
(composicin); habitacin (casa, cabaa, finca, conjunto urbano...)

Situaciones y temas: vida cotidiana (en la casa en la escuela, en el trabajo); situaciones excepcionales
(crisis; hroes)

Ideologa implcita: justicia y autenticidad (presentacin de los hechos sin distorsin y en perspectiva).
Valores: contribucin a la paz, a la tolerancia, a la formacin de actitudes culturales y ecolgicas

3. Contenido pedaggico: Se trata de determinar la adecuacin pedaggica de los objetivos y

contenidos, frente a los usuarios, su nivel y el programa que estn desarrollando.

Indicadores

Intenciones formativas: lo que pretende el programa, los objetivos de aprendizaje que persigue,
explcita o implcitamente

Conocimientos previos: si los usuarios dominan los conocimientos previos, en caso que el programa los
requiera

Niveles de aprendizaje: qu niveles de aprendizaje (hechos, conceptos, principios, habilidades valores)

pretende desarrollar el programa

Organizacin: la progresin del aprendizaje responde a qu tipo de secuencia pedaggica: rgida,

espiral o controla por el usuario. En este caso, son necesarias instrucciones o de progreso o es
preferible que el usuario encuentre sus propias secuencias?

Adecuacin curricular: los objetivos y contenidos del programa se pueden integrar con facilidad al
currculo vigente

Organizadores y autoevaluacin: contiene sntesis (resmenes), ejercicios (con o sin respuesta),

complementos informativos. Contiene evaluaciones, autoevaluaciones, respuestas razonadas, refuerzo,
sistema de seguimiento de logros, evaluacin sumativa.

B. Comunicacin. Se trata de evaluar la forma del mensaje (significante), es decir el conjunto de

recursos que permiten transmitir un mensaje de un emisor a un receptor.

1. Sentido de la comunicacin: direccin y control de la interaccin programausuario

Unidireccional, bidireccional, control del usuario sobre la secuencia, multitareas, multivas...

2. Formas del mensaje.: los aspectos formales de los cdigos elegidos (texto, audio, fotos,
animacin, grficos, colores) se justifican en s y frente a la funcin que se espera de ellos.

Indicadores

Esttica: las formas elegidas son visualmente agradables, manteniendo su sentido comunicativo (no
estn ah slo llenando bellamente espacio)

Integracin: estn integrados entre s los lenguajes verbales y figurativos

Innovacin: en qu medida son innovadoras las formas de presentacin

Adecuacin: los cdigos verbales y figurativos son descifrables por los usuarios, facilitan la
comprensin.

Densidad: la densidad de la informacin ofrecida (en cada pantalla) es excesiva, adecuada, escasa

C. Mtodo. Qu metodologa, implcita o explcita, contiene el software para la exposicin de las ideas, la
organizacin del trabajo, las formas de uso que determina.

1. Organizacin: estructura del manual, forma de exposicin y organizacin de las secuencias.

Indicadores

Secuencias: se componen de una serie de partes que estn presentes regularmente

Estructura: el programa es un elemento de enseanza, de aprendizaje o de enseanzaaprendizaje.

Guas o manuales: el programa viene acompaado de un manual para el maestro, el alumno, el usuario
en general.

Elementos de organizacin interna: el programa incluye instrucciones de empleo, ndices, objetivos,

lxico, preguntas/ejercicios/, respuestas razonadas, recapitulaciones, evaluaciones

Facilitadores: modo de empleo, ndice de materias, lista de objetivos, lxico, referencias, fuentes, plan
de captulos, resmenes, preguntas, ejercicios, tareas, correcciones control de logro, llamadas.

Papel del maestro: se limita a dar instrucciones de uso; es necesario para complementar, aclarar o
integrar la informacin; es hacer un seguimiento del uso y de los logros del estudiante

Exigencias de aprendizaje: el programa exige principalmente (con mayor frecuencia, como acciones
centrales) al estudiante acciones y habilidades para: memorizar informacin, construir conceptos,
seguir instrucciones, construir secuencias aprendizaje propias, hacer preguntas, construir respuestas
originales, relacionar lo aprendido con otros conocimientos, colaborar con compaeros.

Distribucin de tiempos: un estudiante tpico, en una sesin de trabajo normal con el programa,
distribuye su tiempo en (% aprox.): aprender a navegar y buscar informacin desplazndose por el
programa, leer texto, escuchar narracin; plantear preguntas al programa; responder preguntas,
realizar tareas o ejercicios.

2. Adaptabilidad: en qu medida el Software impone obligaciones para su uso: materiales;

metodolgicas (maestro); pedaggicas (alumno); o es metodolgicamente abierto.

Indicadores

Materiales: medida en que el software exige el uso de materiales y equipos determinados;

implicaciones para la organizacin del ambiente de aprendizaje

Limitaciones metodolgicas: el programa impone un mtodo al docente, o ste tiene opcin de escoger
objetivos, ritmos de trabajo, secuencias.

Limitaciones para el alumno: El programa ofrece diferentes maneras de entrada; ofrece ejercicios
diferentes y graduados segn el nivel de los alumnos; posibilidades diferentes de utilizacin, de
acuerdo con las necesidades e intenciones del usuario.

EL PROGRAMA EN SU USO CONCRETO

Ms que un seguimiento o evaluacin formal del uso que las instituciones hacen del software, se
recogen narraciones, de estudiantes y de profesores, que dan cuenta del proceso completo en el que fue
incorporado el software y se transforman en casos, aadindose a la Gua de uso un conjunto de
ejemplos que permitan destacar las fortalezas del software y tambin indiquen alternativas creativas,
que otros profesores puedan aprovechar.

CMO SE EVALA

Como ya se indic, los instrumentos son ms invitacin a la reflexin sobre el uso que los docentes
pueden hacer del software, enmarcado en los ambientes de aprendizaje que el proyecto CONEXIONES
promueve en instituciones concretas. La estructura de los instrumentos no difiere mayormente de los
comnmente utilizados para evaluar software. No contienen cuantificaciones, escalas o parmetros tipo
"ms menos". El formato est orientado a describir lo que hay, para imaginar lo que con ello se puede
hacer en uso pedaggico eficiente. Los supuestos de uso estn dados por el enfoque pedaggico del
proyecto; esto quiere decir que las variables "comunicacin, metodologa y contenidos" son vistas bajo
la ptica del modelo educativo adoptado por el proyecto.

Se utilizan tres tipos de instrumentos:

El primero sigue el estilo de los "inventarios": un listado de enunciados, ordenados por

aspectos relevantes, que permiten al evaluador registrar la presencia de los indicadores.

El evaluador, adems, puede hacer ordenadamente anotaciones que permitan traducir los resultados
del cuestionario en la Gua de uso.

El segundo es un instructivo para elaborar las guas. Tal vez sea esta la novedad del proceso de
evaluacin de software: se ofrece al evaluador una direccin del proceso, de manera que conociendo en
detalle lo que se espera como producto final de la evaluacin, centre sus anlisis en lo que conviene.

El tercer instrumento consiste en un conjunto de breves directrices que ayudan a los usuarios,
profesores y alumnos, a describir cualitativamente el proceso pedaggico en que fue utilizado el
software y el uso que en ese contexto le dieron. Como complemento, los evaluadores cuentan con un
resumen de indicaciones para realizar un anlisis de protocolos verbales.

Metodologa
La presente propuesta sobre criterios y mtodos de evaluacin de software educativo se compone de
tres partes fundamentales:

1. Definicin de criterios para seleccin de Software educativo y presentacin de categorizacin

Esta fase comprende una revisin documental sobre publicaciones realizadas en torno a esta temtica.
Dicha revisin incluye la consulta de textos impresos, material en lnea, y comunicacin a expertos
sobre informtica educativa.

De la totalidad de material revisado se presenta la lista de control propuesta por Medel J.L. et al 1997
de la Universidad de Mlaga Espaa (8) y adaptada por el suscrito. La claridad en sus tems y la
facilidad en la interpretacin de los resultados luego de aplicarla, fueron las principales razones de su
eleccin. La misma puede verse en la tabla 1.

Tabla 1: Escala de evaluacin de software educativo propuesta por Medel J.L et al 1997, y adaptada por
Byron Gonzlez 2002.

A. Datos de Identificacin del Programa

Informacin Comercial
Nombre del Programa:
Autor:
Distribuidor:
Sitio Web:
Versin y ao:
Idioma:
Temtica:
Precio:
Informacin Tcnica
Sistema Operativo (Win9x, XP, etc.):
Procesador (Pentium, AMD):
Espacio Necesario HD:
Memoria RAM:
Necesita soporte fsico adicional (Memoria de vdeo, DVD):
 Usuarios Potenciales
rea educativa recomendada:
rea de conocimiento, disciplina implicada:
Tipologa (ejercitacin, tutorial, base de datos, libro, simulador, etc.)
Usos posibles (procesar datos, evaluar, informar, experimentar, otro)
Enfoque pedaggico (conductista, constructivista)
B. Datos de Valoracin
Instalacin
Facilidad de instrucciones 1 2 3 4 5
Tiempo medio de instalacin 1 2 3 4 5
Gua Rpida 1 2 3 4 5
Manual de Uso
Nmero de pginas 1 2 3 4 5
Calidad del lenguaje 1 2 3 4 5
Precisin en la instrucciones 1 2 3 4 5
Autosuficiencia del texto 1 2 3 4 5
Apoyo grafico 1 2 3 4 5
Accesibilidad de los datos (facilidad bsqueda de 1 2 3 4 5
informacin)
Ejemplificaciones 1 2 3 4 5
Tutorial
Secuenciacin de contenidos 1 2 3 4 5
Extensin (slo contiene informacin til) 1 2 3 4 5
Calidad del lenguaje 1 2 3 4 5
Accesibilidad de los datos (facilidad bsqueda de 1 2 3 4 5
informacin)
Precisin y claridad en las instrucciones 1 2 3 4 5
Autosuficiencia del tutorial (no se precisa del manual) 1 2 3 4 5
Apoyo grfico 1 2 3 4 5
Ejemplificaciones
Interactividad y control del Programa
Iconos inteligibles (imagen-funcin) 1 2 3 4 5
Iconos formalizados (comunes a otros programas) 1 2 3 4 5
Posibilidad de personalizacin 1 2 3 4 5
Intuitivo 1 2 3 4 5
Atractivo 1 2 3 4 5
Sencillo 1 2 3 4 5
Facilidad de salida y reinicio 1 2 3 4 5
Diseo educativo del entorno grfico
Permite la experimentacin (su propio uso genera 1 2 3 4 5
aprendizaje)
Da orientaciones ante errores 1 2 3 4 5
Gua el aprendizaje 1 2 3 4 5
Manejo fcil 1 2 3 4 5
Motiva/estimula 1 2 3 4 5
Concentra la atencin sobre la tarea 1 2 3 4 5
Facilita el aprendizaje 1 2 3 4 5
Posibilidad de conexin a redes y bases de datos 1 2 3 4 5
Informacin complementaria
Precio 1 2 3 4 5
Idioma 1 2 3 4 5
Adecuacin al currculum 1 2 3 4 5
Interactividad 1 2 3 4 5
 Aprendizaje de uso 1 2 3 4 5
Navegacin 1 2 3 4 5

1 = Muy bueno; 2= Bueno; 3=Normal; 4= Malo; 5= Muy malo

Conclusiones
La evaluacin de software es mucho ms complejos de lo que se pueda llegar a creer, ya que el software
educativo no solo debe ser evaluado en s mismo, si no tambin debe evaluarse su impacto a nivel
acadmico o pedaggico y su impacto a nivel econmico o material.

La evolucin de software educativo como objeto material trata de evaluar la facilidad de uso del
software tanto de forma fsica (tipo de ordenador necesario), como de forma funcional (facilidad de
uso).

La evaluacin de software educativo tiene como principal campo de evaluacin el campo pedaggico,
dentro de este campo, se evala los alcances del programa tanto en contenidos (campo cientfico),
como en facilidad de comprensin de los contenidos (campo pedaggico).

En este campo tambin se evala la capacidad de comunicacin del programa, la estructuracin de

mensajes y su interaccin en general con el usuario.

El ultimo campo, el campo de uso en concreto muestra un conjunto y resumen de los campos anteriores
donde se contrastan y comparan entre ellos, dando como resultados un anlisis funcional del uso del
programa.