Proyecto Fin de Carrera

SISTEMAS DE ACCESIBILIDAD
AL CINE Y A LA EDUCACIN
PARA PERSONAS CON DISCAPACIDAD AUDITIVA
Autor: Javier Jimnez Dorado
Tutor: Jos M. Snchez Pena

jjdorado@cesya.es
Ingeniera de Telecomunicacin
Escuela Politcnica Superior
Departamento Tecnologa
Electrnica
Universidad Carlos III de Madrid

Indice
Introduccin
Estado del Arte
Objetivos
Descripcin de los Trabajos Realizados

Cine
Educacin
Pruebas y Resultados
Conclusiones
Trabajos Futuros
Unidades Promotoras de la Investigacin
2

20/07/09

Introduccin El Proyecto
Continuacin trabajos de otros miembros del

equipo de investigacin:
GDAF
CESyA

Dos ayudas tcnicas para Discapacidad Auditiva:

Sistema Subtitulado Cerrado para la Accesibilidad

en el Cine.
Sistema Subtitulado en Directo para la Accesibilidad
en la Educacin.

20/07/09

Introduccin La Sordera
Grupo heterogneo
Datos:
Espaa: 1 milln personas (1,7%)
Europa: 42.7 millones
Mundo: 700 millones (ao 2015)

Cambios Intergeneracionales
90% Lengua Oral vs 7% Lengua Signos
Implantes cocleares (40% poblacin

infantil con sordera profunda es

candidata)

20/07/09

Introduccin La Accesibilidad
Accesibilidad = Presupuesto de vida normalizada
Ley 51/2003 de Igualdad de Oportunidades, No Discriminacin y

Accesibilidad Universal de las Personas con Discapacidad.

Accesibilidad Universal:

Los bienes, servicios, productos, procesos,

entornos, objetos, instrumentos, herramientas

y dispositivos han de ser comprensibles,
utilizados y practicables por todas las personas
de forma segura, cmoda y autnoma.

Diseo para Todos:

Para cualquier actividad que el ser humano

conciba, debe proyectarse desde su origen

cualquier servicio, entorno, proceso,
herramienta, bien, producto, instrumento,
dispositivo, herramienta u objeto para que
pueda ser utilizado por todas las personas.

20/07/09

Estado del Arte - Cine

Subtitulado Cerrado:
Slo aquellas personas que necesitan los subttulos lo

visualizan. El resto de personas no se ven afectadas por ellos.

Rear Window (Ventana Trasera)

Centro Nacional para el Acceso a los Medios de EEUU

(NCAM)
Una pantalla LEDs y reflectores transparentes
Ventaja:
Sistema barato
Desventaja:
No es estrictamente cerrado
Dependiente del lugar de la sala

20/07/09

Estado del Arte - Educacin

Ayudas Tcnicas: (Informe CNICE)

Individuales
Audfonos e implantes cocleares
Sistemas de FM e induccin magntica
Sistemas Vibrotctiles

Colectivas
Equipos de reeducacin auditiva (logopedia)
Material informtico y nuevas tecnologas
Material audiovisual (recursos educativos

accesibles)
Sistemas de reconocimiento de voz
7

20/07/09

Estado del Arte - Educacin

ViaScribe

Motor de reconocimiento IBM

Proyecto desde 1999: Liberated Learning
Transcripcin en forma continua (no subttulos)
Almacenamiento de audio, transcripcin y vdeo

con trasparencias.
Ventaja:
Rapidez

Edicin a posteriori y en tiempo real

Dispositivos individuales
Sistema multilocutor
Muchos idiomas (Chino Mandarn, Japons, )

Desventaja:
WER (Word Error Rates) alta.
8

20/07/09

Objetivos - Cine
Sistema de Accesibilidad en el Cine

Soporte para varios idiomas

Modificaciones software mdulo-receptor
Modificaciones software de control
Nueva interfaz de usuario con

reproductor vdeo
Soporte para distintos formatos subtitulado
Sincronizacin entre subtitulado y pelcula
Modificaciones software de control

Diseo e implementacin de un nuevo

circuito para el mdulo-receptor

9

20/07/09

Objetivos - Educacin
Sistema de Accesibilidad en la Educacin

Soporte para nuevos mdulos-receptores

Modificaciones software de control
Diseo e implementacin de software para PC
Diseo e implementacin de software para PDA
Modificaciones del software del circuito del anterior
mdulo receptor
Nueva interfaz de usuario para software de

control

Almacenamiento de texto y audio

Sintetizador de voz integrado
Opcin de visualizar subttulos en abierto compatible

con trasparencias PowerPoint

Diseo e implementacin de un nuevo circuito

para el mdulo-receptor

10

20/07/09

Descripcin - Cine

11

20/07/09

Descripcin Cine Servidor

Estacin Base:

LabVIEW 8.5
Carga de fichero de pelcula

(opcional)
Carga y procesado de ficheros
de subtitulado
Sincronizacin subttulos con
tiempo pelcula
Protocolo de comunicacin
Preparacin subttulo
Envo subttulos
Monitorizacin subttulo
12

20/07/09

Descripcin Cine Cliente

Radiomodem

Modelo EasyRadio

ER400TRS

Microcontrolador

Modelo C8051-F330

Daughter Card ToolStick

Tarjeta de vdeo

Modelo BOB-4 Decadenet

versin Hookup

13

20/07/09

Descripcin Cine Cliente

Visor
Requisitos
Visin Individualizada
Tecnologa See-through
Flexible
Compatibilidad con problemas de visin
Distancia focal ajustable
Formato de letra variable
Porttil y alta autonoma
Interfaz compatible con vdeo compuesto
Econmico

ltimo modelo adquirido

AmberCrystal de MyVu
Calidad VGA resolucin 640x480
Color 24 bits
Batera hasta 4 horas

14

20/07/09

Descripcin Educacin

15

20/07/09

Descripcin Educacin Servidor

(i)
Servidor

16

20/07/09

Descripcin Educacin Servidor

(ii)
Reconocimiento de voz

Dragon Naturally Speaking 9.0

Programa creado con el kit de desarrollo

(Visual C++)
Conexin TCP con programa central
Entrenamiento necesario:

Lectura de textos predeterminados

Edicin del vocabulario especfico de la materia o

temtica
Prueba y correccin manual de errores

Procedimiento
Ejecutar manualmente
Abrir usuario/a
Encender micrfono
17

20/07/09

Descripcin Educacin Servidor

(iii)
Sintetizador de voz

Speech API 5.0 de Microsoft

Aplicacin creadas con libreras de

LabVIEW
Comunicacin ActiveX con programa
central

18

20/07/09

Descripcin Educacin Servidor

(iv)

Programa Central

Realizado con LabVIEW 8.5 para Windows (XP y vista)

Recursos educativos:
Fichero de audio (WAV)
Fichero de texto (XML)

Transformable a cualquier fichero (ej. HTML)

Comunicacin Radio

Bluetooth:
PDA
Cualquier dispositivo compatible con drivers de Microsoft (plug and play)

Radio 433MHz:
Ordenador porttil
Circuito microcontrolado
EasyRadio

19

20/07/09

Descripcin Educacin Servidor

(v)

20

20/07/09

Descripcin Educacin Clientes

(i)
Clientes

21

20/07/09

Descripcin Educacin Clientes

(ii)
Ordenador Porttil

Windows XP y Vista
Solicita informacin de la clase
Almacenamiento de fichero de texto (XML)
Comunicacin Radiomodem
Personalizacin de subttulos:
Control de color (profesor/a y estudiantes)
Control de transparencia y posicin de ventana

Botn aviso a profesor/a (campanilla)

Botn envo de preguntas

22

20/07/09

Descripcin Educacin Clientes

(iii)
PDA
Windows Mobile 6, Pocket PC y Palm OS
Identificacin de estudiante
Solicita informacin de la clase
Interfaz amigable para conexin Bluetooth
Compatibilidad con teclado externo bluetooth

23

20/07/09

Descripcin Educacin Clientes

(iv)
Circuito Microcontrolado y Gafas
Microcontrolador

AT89S52 de ATMEL
Unidad Central
Editor de textos
Controlador de teclado

Protocolo PS/2
Interrupcin externa (reloj del teclado)

Multiplexor
Puerto serie salida entre Tarjeta de vdeo y

Radiomodem

Tarjeta de vdeo
Radiomodem
Teclado
Protocolo PS/2

Comparador
Nivel de batera

24

20/07/09

Pruebas y resultados Cine

Resultados
Sincronismo
Enlace Radio
Robustez:

> 50 metros

Caracteres no ASCII
Tiempo entre subttulos
Duracin subttulo
Longitud lneas

Idiomas
Formato subttulos

25

20/07/09

Pruebas y resultados Educacin

Pruebas
Laboratorio

Funcionamiento completo
Partes crticas:
Longitud de subttulos
o Envo/recepcin
o Normativa
Reconocimiento de voz
o Retardo
o Tasa de acierto
Enlace Bluetooth
o Distancia mxima
o Gestin de conexiones
o Situaciones de carrera entre clientes

26

20/07/09

Pruebas y resultados Educacin

Pruebas
Colegio Tres Olivos (nivel de integracin/adaptacin)
Nia de 10 aos con muy poca audicin (bajo)
Nio de 13 aos con poca tradicin inclusiva (bajo)
Dos nias y un nio de 12 aos con buena audicin y tradicin inclusiva (alto)
Nia de 14 aos con buena audicin y tradicin inclusiva (alto)

Resultados
Colegio Tres Olivos

Estudiantes sordos:

Los alumnos y alumnas con habilidades orales valoraban el sistema aunque no lo

necesitaban

La alumna con sordera profunda se mostr encantada con la sntesis de voz

El resto de estudiantes:

Aceptan el uso pero algunos lo ven como inconveniente para la integracin

No hay uniformidad de opinin acerca del uso de la voz sinttica frente a la

comunicacin oral

Es necesario hacer ms pruebas y entrenar mejor el reconocedor de

voz

27

20/07/09

Conclusiones (i)
Se ha conseguido implementar unos prototipos con

amplias funcionalidades
Se han realizado las primeras pruebas con usuarios/as

finales (sistemas de educacin)

Los productos estn muy cerca de terminarse o, al

menos, se encuentran en una etapa muy avanzada de

su desarrollo
Todava quedan varios aspectos que mejorar y/o

probar
Los sistemas son de gran inters pblico y social

28

20/07/09

Conclusiones (ii)
Ambos sistemas han sido presentados en ferias y

congresos, nacionales e internacionales.

Congresos
ICCHP 08
AMADIS 08
XIV World Federation of the Deaf

Ferias
AVANTE 08
Saln Investigacin e Innovacin Paris 2007
Feria Realidad Virtual, Ocio Electrnico y Discapacidad 2007
Madrid es Ciencia 07
Premios
3 Invento del ao 2007 en entretenimiento segn la revista

Time
Finalista en los premios Access It Awards 2008

29

20/07/09

Trabajos Futuros
Visor (Gafas)
Enfoque ajustable
See-Through

Cine

Ampliar ms caracteres no ASCII (memorias externas)

Enlace radio (limitacin 128 bytes). Otro tipo de enlaces.
Interferencias entre salas de cine adyacentes
Sincronismo automtico con reproductores de cine comerciales
Ampliar el conjunto de formatos de subtitulado soportados
Incorporar colores de personajes, subttulos de informacin contextual.
Utilizar subttulos enriquecidos.
Realizar pruebas con usuarios finales

Educacin
Probar con otros reconocedores como ViaVoice.
Trabajar con el fichero XML y WAV para hacer recursos educativos

accesibles
Adaptar el sistema con bucles de induccin y sistemas FM
Crear un reconocedor de voz gratuito con signos de puntuacin.
Realizar mas pruebas con usuarios finales

30

20/07/09

Proyecto APEINTA (i)

APEINTA: Apuesta Por la Enseanza Inclusiva. Uso de Nuevas Tecnologas
dentro y fuera del Aula
Objetivo: Apostar por una

enseanza inclusiva de
integracin e igualdad en la
universidad, dentro y fuera del
aula:

AccessibleDigital Resourcesin an
AccessibleWeb Platform

Dentro del aula:

Sistema de accesibilidad a la
educacin para personas con discapacidad
auditiva, intelectual y con distinta lengua
materna. Basados en ASR y TTS.

Fuera del aula:

Aplicacin web accesible facilitando el
acceso a los materiales de estudio y contenidos
curriculares a todos los estudiantes, con
independencia de sus caractersticas de acceso
y habilidades.
Contenidos en diversos formatos para
proporcionar acceso de acuerdo a las
preferencias de los estudiantes de manera
inclusiva.

31

captions
Classroom sound

On-line
Captioning

Hearing
Impaired
captions Student

questions/comments
in digital format

Synthetic sound

Synthetic
Speaking

IN THE CLASSROOM

Studentsof all
abilities
Student with
speaking
problems

OUT OF THE
CLASSROOM

20/07/09

Proyecto APEINTA (ii)

Dentro del aula:
Mejora de la Interfaz
Distintos modos de visualizacin

de la transcripcin:
Subtitulado
Texto plano

Compatibilidad con distintos ASR:

ViaVoice y Dragon NaturallySpeaking.

32

20/07/09

Proyecto APEINTA (iii)

Fuera del aula:
Aplicacin web accesible
Distintos formatos

33

20/07/09

Proyecto APEINTA (iv)

34

20/07/09

Unidades Promotoras
Universidad Carlos III de Madrid
Grupo de Displays y Aplicaciones Fotnicas (GDAF)
Centro Espaol de Subtitulado y Audiodescripcin

(CESyA)

35

20/07/09

Contacto
Javier Jimnez Dorado

jjdorado@cesya.es
Universidad Carlos III de Madrid
Centro Espaol de Subtitulado y Audiodescripcin

(CESyA)

Parque Cientfico Legans Tecnolgico

Universidad Carlos III de Madrid
Avda. Gregorio Peces Barbas 1
28918 Legans, Madrid
Tel. 91 624 40 29
info@cesya.es
www.cesya.es
36

20/07/09