INFORME

EVALUACIN DE UN SISTEMA
DE GESTIN DEL APRENDIZAJE (LMS)

FABIOLA PULGARIN CRUZ

UNIVERSIDAD DE SANTANDER UDES

FACULTAD DE EDUCACIN
MAESTRA EN GESTIN DE LA TECNOLOGA EDUCATIVA
SANTIAGO DE CALI VALLE
2015

INFORME
EVALUACIN DE UN SISTEMA
DE GESTIN DEL APRENDIZAJE (LMS)

FABIOLA PULGARIN CRUZ

Trabajo presentado a
Mg. Ricardo Andrs Prieto Bolaos

UNIVERSIDAD DE SANTANDER UDES

FACULTAD DE EDUCACIN
MAESTRIA EN GESTIN DE LA TECNOLOGA EDUCATIVA
SANTIAGO DE CALI - VALLE
2015

INTRODUCCIN

Hoy da el avance vertiginoso de las Tics, se convierte en un reto a nivel mundial en

el Sistema Educativo, y en Organizaciones que sirven de soporte a los procesos de
negocios productivos y administrativos en todos los campos a nivel comercial e
industrial, generando expectativas con la inclusin de nuevas herramientas
tecnolgicas.

Estas nuevas herramientas como son el Inter espacio, el cmo, el qu se puede

ensear, en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la
gestin de la comunicacin, evaluacin, diagnstico y del seguimiento oportuno y
constante de su proceso de aprender, permiten establecer unos criterios claros, para
controlar los diferentes elementos, que intervienen en el desarrollo de las necesidades
propias de cada persona.

En este informe se hace un anlisis detallado sobre la evaluacin de un Sistema de

Gestin del Aprendizaje LMS (Learning Management System), el cual es un sistema
de gestin de aprendizaje online, que permite administrar, distribuir, monitorear, evaluar
y apoyar las diversas actividades previamente diseadas y programadas dentro de un
proceso de formacin completamente virtual (eLearning) o de formacin semi
presencial (Blended Learning). (Caellas (2010). Los Sistemas LMS tienen amplios
propsitos, tanto para empresarios, docentes y educandos, ya que el elegir una
plataforma, se vuelve complejo en el mercado actual, hay diferentes opciones
comerciales y de libre distribucin, aparecen nuevos sistemas de gestin del
aprendizaje y las actualizaciones permanentes de las versiones, tiene mejoras
importantes, generando problemas para la toma de decisiones en cuanto a la
evaluacin de la calidad se refiere como tal, llevando a que se establezcan las
caractersticas de calidad que deben ser tenidos en cuenta en el modelo de calidad al
adelantar la evaluacin de un sistema LMS.

INFORME
EVALUACIN DE UN SISTEMA
DE GESTIN DEL APRENDIZAJE (LMS)

Haciendo referencia a lo ledo en el en el libro multimedial Captulo 4: Evaluacin

de la Calidad de la Tecnologa Educativa, se da un informe detallado con respecto a los
diferentes elementos y caractersticas de calidad que deben tenerse en cuenta, para la
evaluacin de un Sistema de Gestin del Aprendizaje (LMS), para ello se har uso de
las siguientes tablas, con lo cual ser ms entendible y comprensible la informacin.

A continuacin se describen diferentes propuestas y modelos relacionadas con la

Evaluacin de LMS.

PROPUESTAS Y MODELOS CON LA EVALUACIN LMS

Segn (Menndez& Castellanos 2011), Kapp

plantea que la calidad de una plataforma e
Learninng est dada por cinco caractersticas:
Mantenimiento, Compatibilidad, Usabilidad,
Modularidad y Accesibilidad, las cuales al ser
CARACTERIZACIN DE LA CALIDAD

evaluadas de forma individual, aseguran el

entendimiento de las diferentes necesidades
tecnolgicas. Cada una de estas caractersticas es
vital para el xito. Kapp no establece criterios de
medicin, dejando por lo tanto a los usuarios su
definicin.

(Lanzilotti, Ardito, Costabile, & De Ange, 2006),

proponen un nuevo marco llamado TICS (Tecnology,
Interaction, Content, Services), orientados en los
MARCOS TICS Y MEDOLOGA ELSE

aspectos ms interesantes, que deben ser

considerados cuando se disea o evala un Sistema
de Gestin del Aprendizaje. Por consiguiente, la
propuesta enfatiza la interaccin usuario- plataforma,

definida por: Tecnologa, Interaccin, Contenidos y

Servicios, de los cuales se obtiene una gua y una
metodologa de evaluacin llamada elSE, la cual
combina tcnicas de inspeccin, realizada por
expertos, que permite identificar, luego se hace un
anlisis con respecto a las TICS y despus se aplica
una tcnica llamada Tareas abstractas ( TA), que
describe las actividades las cuales deben ser
realizadas y por ende se puedan ver como patrones de
evaluacin y formuladas segn una plantilla, que
posteriormente se clasifican en dos categoras:
Aprendizaje del Contenido y Calidad de Uso.

Georgiakakis constituye la utilidad y calidad de uso de

un LMS a travs de un proceso el cual se da en dos
pasos: Explorar y determinar su naturaleza con base a
sus caractersticas, examinar la usabilidad y la utilidad.
No obstante el modelo propone una serie de criterios
MARCO PARA EL ANALISIS
DE LA POTENCIALIDAD Y VALIDEZ

pedaggicos- tcnicos, dividindolo a su vez en

prctico y educativo. Emplea listas de cotejo y una
matriz de decisin para identificar las caractersticas y
luego clasificarlos. Despus de definidas se procede
entonces a establecer una serie de criterios como: Fcil
de aprender y comprender, Eficiente en la ejecucin de
tareas, eficiente en la navegacin, Retorno a lugares
seguros y muy agradables. Finalmente, los valores con
los que se evala son del 1 al 5.

Segn Beshears, la evaluacin se puede hacer con los

siguientes criterios: Requerimientos conocidos,,
Requerimientos futuros desconocidos,,
MARCOS PARA LA EVALUACIN

implementacin, Soporte y Costo entre otros. Se

distribuyen 100 puntos entre ellos, tambin se puede
realizar una lista de caractersticas para cada uno de
ellos del 0 al 5. Si bien es cierto, la suma de estos
valores determina la calidad de la herramienta.

Est basada en la presencia o ausencia de

herramientas, los cuales estn clasificados en ocho
CALIDAD BASADA EN LAS HERRAMIENTAS

categoras y en un conjunto de herramientas, que la

encontramos en un sitio web llamado Edu Tools, en

donde a travs de un formulario, el desarrollador indica

las herramientas que suministra el sistema, donde ser
evaluado por un grupo de verdaderos expertos. Dentro
de las categoras y herramientas se pueden destacar
las siguientes: Herramientas de Comunicacin ( Chat,
Foro),Herramientas de Productividad ( marcadores,
bsqueda interna) ,Herramientas para el desarrollo del
estudiante ( Autoevaluaciones, Portafolio),
Herramientas Administrativas ( Autenticacin,
Registro), Herramientas de Publicacin de Curso
(Herramientas de Control de Calificaciones, Monitoreo
de Estudiantes), Diseo Curricular (Plantillas de
Cursos, Administracin del Currculo), Hardware /
Software (Requiere un navegador Web,
Requerimientos BD), Precio / Licenciamiento (Costo,
Cdigo abierto).

Estos Sistemas definen trece criterios generales entre

los que tenemos: Costo de Uso, Mantenibilidad,
Usabilidad y Soporte, Perfil del Vendedor y de la
Herramienta, Modularidad, acorde a Estndares,
Capacidad de Integracin, Integracin de Objetos de
Aprendizaje, Efectividad y Eficacia, Escalabilidad,
SISTEMAS DE GESTIN DE CONTENIDOS DE

Seguridad, Consideraciones de Hardware / Software y

CDIGO ABIERTO

Soporte Multilenguaje.
Adems se tiene una lista de caractersticas y
herramientas: Administracin, Seguridad, Acceso,
Integracin con otros Sistemas, Diseo de Cursos,
Desarrollo e Integracin, Monitoreo de Cursos, Diseo
de Actividades, Colaboracin en Lnea y
Comunicaciones y las Herramientas de Productividad.
Es por ello, que cada caracterstica emplea, una escala
de 0 a 5, donde 0 es no existe pobre, 3 es promedio
bsico estndar y 5 excede las expectativas del
estndar.

Tabla 1. Desarrollo propio. Fuente, Propuestas y modelos relacionadas con la Evaluacin de LMS.

Es de vital importancia contemplar dentro de estos aspectos, a los estndares de

educacin a distancia los cuales estn enmarcados en diferentes organizaciones que

crean normas y especificaciones, para la interoperabilidad y calidad del servicio entre

LMS:
ESTANDARES DE EDUCACIN A DISTANCIA
NORMAS Y ESPECIFICACIONES

Es una iniciativa del Departamento de Defensa

(DoD) de los Estados Unidos, para implementar y
desarrollar herramientas y tecnologas de
aprendizaje. Fue creada en el auspicio de la Oficina
del Subcretario de Defensa para el Personal Y
Preparacin (Office of the Under Secretary of
Defence for Personnel and Readiness. OUSD P & R)
para potenciar el uso de las tecnologas de la
ADL ( Advanced Distributed Learning Iniciative)

informacin para modernizar el aprendizaje

estructurado. (Wikipedia, 2014). La ADL, fue la
impulsadora del estndar de e- learning
internacional SCORM y en la actualidad
promociona el desarrollo de Tin Cap API, y amplia
principios y guas de trabajo necesarias para el
incremento y la implementacin eficiente, efectiva y
en gran escala de formacin educativa sobre
nuevas tecnologas web.

Fue creado en el ao 1988, es un grupo internacional

de profesionales del entrenamiento y capacitacin
basada en tecnologa. (Gobierno Venezolano). Es una
organizacin sin fines de lucro, rene a los formadores
de la aviacin, los desarrolladores de cursos, los
AICC ( Aviation Industry CBT Committee

proveedores de software, diseadores y fabricantes,

para posteriormente desarrollar normas,
recomendaciones de tecnologa y anlisis de las
mejores prcticas, compartiendo los estndares y
realizando un proceso de certificacin, as mismo los
miembros contribuyen a desplegar las normas de las
tecnologas de la informacin de vanguardia. Entre sus

objetivos se tiene, conseguir una formacin ms

rentable, eficiente y sostenible:

1.

Asistir en la elaboracin de guas de

referencia aeronutica, que promuevan las
ventajas econmicas y la eficacia de los
medios de entrenamiento computarizado.

2.

Permitir la interoperabilidad entre los diversos

productos y plataformas de uso de la tcc.

3.

Proporcionar un foro abierto para la discusin

del entrenamiento de tcc (terapia- cognitivoconductual) y los sistemas de tecnologa de la
formacin en general.

Se puede afirmar, que fue el primer organismo creado

entre diferentes sistemas, para instaurar un conjunto de
normas que permitiese el intercambio de cursos CBT
(Computer Based- Training).
Las especificaciones AICC cubre nuevas reas, que
van desde los objetos de aprendizaje (LO) hasta los
LMS. Las compaas deben cumplir con al menos con
unas de estas directivas y recomendaciones ( AGRs):
AGR 01:

Publications

AGR 02:

Courseware Delivery
Stations

AGR 03:

Digital Audio

AGR 04:

Operating/ Windowing
System

AGR 05:

CBT Peripheral Devices

AGR 06:

Computer- Managed
Instruction

AGR 07:

Courseware Interchange

AGR 08:

Digital Video

AGR 09:

Icon Standards: User

Interface

AGR 10:

Web- Based ComputerManaged Instruction

AICC, se basa en la comunicacin mediante mensajes

HTTP, para conseguir que se produzca la correcta
interpretacin de los cursos por parte del LMS,

llamndose a este protocolo mediante las siglas HACP,

que significan HTTP AICC CMI Protocol.

Es un grupo independiente sin nimo de lucro, que

inici su labor en 1997, impulsado por el NLII ( National
Learning Infrasctuture Initiative), que es una
organizacin apoyada por Educase. IMS trabaja en Pos
al avance de la tecnologa, que pueda aplicarse en
gran escala y mejorar de forma asequible la
participacin y los logros educativos. Por tanto, los
miembros son proveedores lderes, instituciones y
organizaciones gubernamentales que hacen posible el
futuro de la educacin, colaborando con iniciativas de
interoperabilidad y adopcin. Es as, como IMS
patrocina Learning Impact, el cual es un programa de
premios y conferencia globales, para reconocer el
impacto de la tecnologa innovadora en el acceso a la
IMS ( Global Learning Consorcio)

asequibilidad y calidad de la educacin. (PRNewswireHISPANIC PR WIRE, 2014).

La misin de IMS, es desarrollar y promover
especificaciones abiertas, para facilitar las actividades
del aprendizaje en lnea.
Actualmente IMS tiene 16 especificaciones, ya que
cada una de ellas est enfocada en una necesidad
distinta del proceso de enseanza. Hay
especificaciones que se refieren a metadatos de los
objetos educativos, al formato de empaquetamiento y
distribucin de los cursos, a la informacin del usuario,
a la secuenciacin de contenidos educativos o incluso
al diseo de la actividad educativa en su conjunto.

Este comit perteneciente al Institute of Electricial and

IEEE LTSC ( Learning Technology Standards
Committee)

Electronic Engineers (IEEE), cubre prcticamente todos

los aspectos de aprendizaje basados en ordenador. Su
misin principal es desarrollar estndares tcnicos,

prcticas recomendadas y guas para componentes de

software, herramientas, tecnologas y mtodos de
diseo, que posibiliten el desarrollo, implantacin,
mantenimiento e interoperabilidad de implementacin
de sistemas educativos. El LTSC, est organizado en
subcomits que se encargan de reas de trabajo
determinadas como la definicin de la arquitectura de
sistemas de e- learning o la definicin de metadatos,
para objetos educativos. Se puede decir, que en estos
momentos el rea de mayor impacto, es la relacionada
con los metadatos de los recursos educativos, ya que
el Standard Learning Object Metadata (Stndard IEEE
1484. 12.1- 2002), es el estndar oficial que ms se
est utilizando actualmente en e- learning. El LTSC, se
encarga de preparar normas tcnicas, prcticas y guas
recomendadas, para el uso informtico de
componentes y sistemas de educacin como de su
interoperacin. El estndar IEEE 1484.11.1- 4 evala
los LMS.

Cubre lo esencial de Learninig Management System

ISO/IEC ISO/ IEC TR 29163- 4: 2009

(LMS) agrupa los diferentes estndares como IMS,

AICC Y ADL.

Por sus siglas en ingls ( Open Knowledge Iniciative,

Iniciativa de Conocimiento Abierto), busca encontrar las
ventajas y beneficios que ofrece, para el desarrollo de
LMS.
OKI, de MIT es un proyecto de colaboracin con la
Universidad de Harvard, la Universidad Estatal de
Carolina del Norte, la Universidad de Michigan, la
Universidad de Pennsylvania, y la Universidad de
PROJECT OKI

Wisconsin.
El OKI se describe as mismo en su sitio de internet
como una arquitectura que desarrolla y promueve las
especificaciones que describen como los componentes
de un entorno de software, los cuales se comunican
entre s y con otros sistemas empresariales, no es ms
que una arquitectura abierta y extensible para
tecnologa utilizada en el aprendizaje especialmente,
para la educacin superior.

Las especificaciones de OKI, permiten la

interoperabilidad sostenible y la integracin mediante
la definicin de normas, para la arquitectura orientada a
servicios (SOA) y la llamada definicin de interfaces de
servicio abierto (OSIDs).
A travs de este trabajo OKI, buscar abrir nuevas
oportunidades de mercado con una amplia gama de
dominio de aplicacin de software.

Crea especificaciones y normas que describe el tipo de

informacin, que puede ser almacenada en el portafolio
y como debe llevarse a cabo el registro a nivel de
datos. El portafolio del estudiante es un medio de
PORTAFOLIO

tareas, dinmicas y progresivas sobre las principales

fortalezas y logros del aprendizaje, Por otro lado,
describe los documentos y materiales, los cuales
colectivamente sugieren el alcance y la calidad de las
actividades del estudiante.

El Consorcio World Wide Web ( W3C), es una

comunidad internacional, donde las organizaciones que
W3C

tiene personal con tiempo completo y el pblico en

general, trabajan conjuntamente, para desarrollar
estndares Web y accesibilidad en la Web y que
abarcan el los LMS, el cual es liderado por el inventor
de la Web ( Tim Berners - Lee).

Tabla 2. Desarrollo propio. Fuente, estndares de Educacin a distancia, Normas y Especificaciones

Vale resaltar en los LMS normas y estndares. Los Sistemas de Gestin de

Aprendizaje, que emplea las TIC, para su funcionamiento, deben entenderse como un
software, que media los procesos inmersos en estos sistemas.

Los Sistemas de Gestin de Aprendizaje, deben

revisarse desde el punto de vista evaluativo,
obedeciendo a los aspectos tcnicos segn la
norma ISO/ IEC 9126 sin ser tan riguroso. Esta
norma busca poder medir la calidad de un
programa informtico.
Entendiendo por calidad la propiedad o conjunto
LMS NORMAS Y ESTNDARES

de propiedad, es inherente al software, que permite

determinar su valor. Para ello, propone la
descomposicin del atributo de calidad en otros
ms sencillos y fciles de medir. De esta forma se
establecen los requisitos de la calidad de un
programa y se consigne un mayor conocimiento
del programa estudiado.

Es la integracin de las normas ISO/ IEC 9126 e ISO

14598, que pretende el desarrollo de productos de
software conforme a su especificacin y evaluacin de
calidad. Este define tres vistas, para evaluar dicha
calidad.
La vista interna est relacionada con las propiedades
del software asociadas a las primeras fases del
MODELO DE CALIDAD ISO/ IEC 2500

desarrollo (tamao, complejidad, etc.).

La vista externa se enfoca a la validacin del producto
en trminos de efectividad y rapidez, uso de memoria,
etc.
La vista de uso, se refiere a la percepcin del usuario
con respecto a la efectividad del producto para la
ejecucin de las tareas. Por consiguiente, cada vista
define una serie de mtricas. Esto permite detectar
fortalezas y debilidades de un sistema y se enfoca en
la toma de decisiones para la compra y la comparacin.

Este es el primer estndar de calidad, para el

ESTNDAR ISO/ IEC 19796-1

aprendizaje, la educacin y la capacitacin. Entonces,

en el Marco de Referencia, se basa en la descripcin
de calidad ( RFDQ) y consta de dos partes:

Un modelo de procesos como clasificacin de

referencia y un esquema de descripcin, para el control
de la calidad.
El modelo de procesos, considera todo el ciclo de vida
del e- Learning y tiene las siguientes caractersticas:
Integracin, completitud, apertura, adaptabilidad y
unicidad. Vale mencionar que tambin se divide en
siete categoras (anlisis de necesidades, anlisis de
marco de trabajo, concepcin/ diseo, desarrollo/
produccin, implementacin, proceso de aprendizaje y
evaluacin/ optimizacin) y treinta y ocho subprocesos,
donde se debe especificar los mtodos y mtricas a
tener en cuenta.

Tabla 3. Desarrollo propio. Fuente, LMS normas y estndares

Ahora bien, es de vital importancia conocer los Pro y Contra de diferentes

propuestas y modelos de procesos, con el fin de diferenciar las fortalezas/ debilidades
que consigo traen:

PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS

La propuesta presentada por Kapp, tiene como

KAPP

inconveniente su generalidad al no constituir de

forma clara, una metodologa, ni un rango de
valores, para la evaluacin.

Su propuesta est enfocada, al proceso de

BESHEARS

implementacin, lo que quiere decir, que se vuelve

complejo, para aquellos que no tienen conocimiento al
respecto.

Plantea un aspecto importante que es la usabilidad,

GEORGIAKAKIS

traza un esquema de clasificacin y unos niveles que lo

hacen sencillo de utilizar, solo que su evaluacin la

hacen verdaderos expertos y en ambientes

controlados.

En cuanto a este marco, se puede ver su enfoque a la

parte tecnolgica, donde cobra la importancia a la
EN EL MARCO DE LAS TIC

interaccin usuario- sistema. Su principal ventaja son

las inspecciones basadas en patrones, hacindola
objetiva, solo el nmero de AT S, si son generados,
puede no cubrir todas las caractersticas.

Ofrece un marco genrico y un listado de

funcionalidades deseables para las herramientas,
haciendo de esta forma, que su medicin sea sencilla,
EDU TOOLS

mediante una lista de cotejo. Sin embargo, su

desventaja, radica en la presencia o ausencia de
elementos, que hacen que se realicen una larga
revisin de la calidad del sistema.

La herramienta de cdigo abierto, establece una

CDIGO ABIERTO

metodologa cuantitativa, para aplicar a la evaluacin

de calidad de un sistema LMS, solo que esta medicin
es subjetiva y su valor por lo tanto, est dado en la
percepcin global.

Es as, como esto lo hace limitado aunque su ventaja

es que se puede definir, una coleccin de
caractersticas y la forma en que sern medidas,
NORMAS ISO 9126 e ISO 14598

estableciendo unos criterios y objetivos que evitarn las

valoraciones subjetivas.

Se enfoca mucho en el proceso de implementacin de

ISO/ IEC 19796-1

un esquema de aprendizaje, haciendo que el LMS, no

sea parte del estndar sino de un subproceso. Su
ventaja radica en que proporciona un documento
enfocado a la generacin de mtricas y mediciones de
calidad.

Tabla 4. Desarrollo propio. Fuente, Pro y Contra de diferentes propuestas y modelos

CONCLUSIONES

El avance vertiginoso de las Tics, se convierte en un reto a nivel mundial en todo el

Sistema Educativo, y en Organizaciones en todos los campos a nivel comercial,
industrial y educativo, posibilitando a los empresarios (calidad en los procesos de
negocios productivos y administrativos), a los docentes fortalecer sus prcticas
pedaggicas.

Las nuevas herramientas como el Inter espacio, el cmo, el qu se puede ensear,

en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la gestin de la
comunicacin, evaluacin, diagnstico y del seguimiento oportuno y constante de su
proceso de aprender, posibilitan a los usuarios, docentes y educandos establecer unos
criterios claros, para controlar los elementos, que intervienen en el desarrollo de los
procesos.

El Sistema de Gestin del Aprendizaje LMS (Learning Management System),es un

sistema de gestin de aprendizaje online, que permite administrar, distribuir,
monitorear, evaluar y apoyar las diversas actividades previamente diseadas y
programadas dentro de un proceso de formacin completamente virtual (eLearning) o
de formacin semi presencial (Blended Learning).

Los Sistemas LMS tienen amplios propsitos, tanto para empresarios, docentes y
educandos, hay diferentes opciones comerciales y de libre distribucin, con nuevos
sistemas de gestin del aprendizaje y actualizaciones permanentes de las versiones,
para lograr mejoras en el mbito educativo y empresarial.

Los estndares de educacin a distancia estn enmarcados en diferentes

organizaciones que crean normas y especificaciones, para la interoperabilidad y calidad
del servicio entre LMS:

WEBGRAFA

Libro electrnico multimedial: Evaluacin de la Calidad de la Tecnologa Educativa.

Cap. 4 Evaluacin de la Calidad del Software Educativo. Recuperado de
http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008.MG/cap4.html

Cova, A., Arrieta, X., & Duran, J (2007). Revisin de Modelos para Evaluacin de
Software Educativo. http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L
.000.008. MG/Documentos/ Anexos/cap4/2.pdf

Dominique, S.- L., & witold, S. (2000). Enhancing ISO/IEC 25021 Quality Measure.
Elementos for wider application within ISO 25000 series. Recuperado de
http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008. MG/Documentos
/Anexos/cap4/1.pdf

Menndez, V., Domnguez, C. M. (2011). La Calidad en los Sistemas de Gestin del

Aprendizaje. Recuperado dehttp://aulavirtual.eaie.cvudes.edu.co/publico/lems/
L.000.008.MG/Documentos/Anexos/cap4/3.pdf