1

Sistema Mecatrnico para la Interpretacin de la

Lengua de Seas Colombiana

Semillero de Investigacin en Robotica Movil
Estudiantes autores: J. S. Benjumea, L. M. Rivera, S. Gil
y L. F. Rivera.
Universidad de San Buenaventura
Grupo de Investigacin en Modelamiento y Simulacin
Computarizada
Medelln, Colombia
sirmo.usbmed@gmail.com
Andrs Mauricio Crdenas Torres
Director del Semillero de Investigacin en Robtica
Mvil
Universidad de San Buenaventura
Grupo de Investigacin en Modelamiento y Simulacin
Computarizada
Medelln, Colombia
Andresm.cardenas@usbmed.edu.co



AbstractThis paper describes the design and the current state
of the implementation of a mechanical and electronic device for
signs language recognition. The communication barrier between
deaf people and the rest of the society has excluded the first
group from education, that is why the technology has tried to
help them in several ways, but the efforts has not been enough,
every single country must help its own deaf citizens, because the
difference among the sign languages of every region makes this
problem bigger. In Colombia, the government and the different
institutions have made several political plans to help that small
group of the society that every day is increasing, the issue of the
Basic Dictionary of Colombian Signs Language (DBLSC), is a
proof of that, but the technology has not arrived yet, that is why,
in this project, is developed the design of an electronic device,
that nowadays is in current implementation. The idea with this
new gadget is to give voice to deaf people with a system
composed by a glove with sensors in it, a data acquisition card
and a software able to recognize and differentiate the output
signals from the card. The recognition system is built around
the Arduino Mega 2560 using signals processing, A/D conversion
and a method for signal profiles recognition that has not been
selected yet. Otherwise, three words of the Basic Dictionary of
Colombian Signs Language were selected to be analyzed by the
system, which will be able to know when the signs are been
described by the right hand of the user and, with the three words,
it will make a sentence, the sentence will be transformed by the
computer and it will pronounce the sentence as human voice.
Keywords-Mechanical and electronic device;deaf citizens;
DBLSC;gadget;data adquisition;signs language recognition;signal
processing.
I. INTRODUCCIN

En la actualidad hay ms de 70 millones de personas
sordas en todo el mundo segn datos publicados por la
Federacin Mundial de Sordos, lo que ha llevado a la
adaptacin del lenguaje segn las diferentes culturas y
costumbres. No existe una lengua de seas universal, incluso,
existen diferencias entre lenguas de seas usadas en un mismo
pas, esto se debe a como se adaptan los cdigos en cada una
de las comunidades a travs del tiempo.

La comunidad sordomuda de Colombia dispone de la
lengua de seas colombiana (LSC), creada para incluirlos en el
mbito educativo, y poder ofrecer carreras universitarias a
personas con discapacidad auditiva, pero hasta el momento no
se logran los objetivos, segn un artculo publicado el 17 de
octubre de 2010 en el peridico el Colombiano, el redactor
Alejandro Gmez Valencia dice en el titulo de su nota, Estn
aislados en un mundo sordo [1], en l, cuenta la dificultad
que tiene el sistema educativo para la inclusin; comenta que
la Universidad de Antioquia llevo a cabo un examen de
admisin para personas sordomudas, pero fue un intento
fallido, se encontraron en un contexto sin estndares, los
sordomudos provenientes de todas partes del pas no se
comunicaban bajo el mismo cdigo. Es as como los esfuerzos
del Instituto Nacional para Sordos (INSOR) estn enfocados
en la difusin del LSC a travs de capacitaciones para
interpretes, realizadas en las ciudades mas importantes de
Colombia, para as tener un patrn y permitir el desarrollo de
procesos de inclusin de la poblacin sorda en los diferentes
mbitos sociales.

La ciencia y la tecnologa estn tomando parte en la difcil
tarea de ayudar a la comunidad en situacin de discapacidad,
entre los esfuerzos que se han hecho a nivel mundial para
eliminar dichas barreras comunicativas, sobresalen los
sintetizadores de voz, que se encargan de convertir en sonido
las palabras que el usuario escribe a travs del teclado y que se
visualizan en una pequea pantalla. Pero en la tecnologa,
nada est lo suficientemente bien hecho como para no tratar de
mejorarlo, es as como se busca la evolucin de los
sintetizadores de voz, pero ya no controlados con los dedos
sino con el cerebro directamente. En [2], se describen los
trabajos en investigacin adelantados por la Universidad de
Boston, en los cuales, se ha logrado hasta el momento
implantar un electrodo en el cerebro de un paciente incapaz de
2

moverse y comunicarse, con el fin de interpretar las seales
provenientes del cerebro cuando intenta hablar, a la fecha, se
han logrado reconocer tres vocales con gran precisin a la
velocidad de una conversacin normal, asegura Frank
Guenther, investigador principal en el proyecto. El objetivo
con esta investigacin, es lograr en cinco aos que el paciente
sea capaz de hacer uso de la interfaz cerebro-ordenador para
producir cualquier palabra, tambin pretenden, que gracias a
los avances de la ciencia y la medicina, sea posible implantar
mas electrodos en el cerebro del paciente para obtener as una
seal ms detallada.

Igualmente se han desarrollado investigaciones que buscan
adaptar a las personas que no tienen ningn tipo de
discapacidad comunicativa, a los sordomudos, en la
Universidad Politcnica de Madrid se concibi la idea y se
desarroll un mtodo estadstico capaz de reconocer las
palabras introducidas al ordenador por medio de un
micrfono, al analizar la seal de entrada determina, mediante
reconocimiento de voz, que fue lo que se dijo, y as, con la
ayuda de una animacin computarizada, se representa en
pantalla mediante la lengua de seas espaola. La traduccin
de lenguaje oral a lengua de seas se hace mediante
transductores de estados finitos, en la actualidad, dicho
software se encuentra en funcionamiento y reconoce las voces
configuradas en l, se define en dicho proyecto como trabajo
futuro el ensayo del prototipo para la comunicacin entre
sordomudos y la polica [3].

Otro proyecto interesante es el caso del traductor de seas
norteamericano, como se describe en [7], en el 2006 se
desarroll un dispositivo electrnico que permita a los
sordomudos comunicarse con las personas oyentes, esto lo
lograron incorporando un casco que deba usar la persona
sordomuda, en este, se implement una cmara y un sistema
de reconocimiento de imgenes que, solo en un ambiente
controlado, se reconocan con una certeza del 97.8% cuarenta
diferentes vocablos, entre verbos, sustantivos, adjetivos y
pronombres. Con el inconveniente de no poder realizar
pruebas en ambientes por fuera del laboratorio, se tom la
decisin de incluir un nuevo sistema sensor, compuesto por un
guante con seis acelermetros, los cuales enviaban los datos
necesarios para el reconocimiento de la lengua de seas
americana, lo que sirvi como complemento al sistema de
reconocimiento de imgenes anteriormente implementado.

Con base en lo expuesto, el presente proyecto busca
facilitar la comunicacin, a travs de la tecnologa, de las
personas que sufren de hipoacusia en Colombia, se pretende
implementar un dispositivo mecatrnico que permita capturar
los movimientos, aceleraciones y ngulos realizados por la
mano derecha, para ser comparados con una base de datos, que
en un principio constar de tres palabras. Como resultado, se
podrn reconocer perfiles de seales elctricas a travs del
tiempo y as codificar el lenguaje de seas, para ser
transmitido por medio de un dispositivo basado en el
protocolo Bluetooth, encargado de transmitir estas seales
hacia un ordenador, para que este pueda emitir sonidos a
manera de voz.
Para el desarrollo del sistema mecatrnico, se distinguen
tres componentes fundamentales de hardware, el primero de
ellos es el guante, construido en tela con cinco sensores de
deflexin; sensores usados para registrar la flexin y deflexin
de cada uno de los cinco dedos de la mano. En el guante
tambin se utiliza un IMU, sensor electrnico compuesto por
un girscopo que determina los ngulos en los que se mueve la
mano en cada uno de los ejes, y tres acelermetros que,
mediante sensores capacitivos detecta la aceleracin de
objetos en movimiento. El segundo componente es la tarjeta
de adquisicin de datos, implementada con el Arduino Mega
2560, el cual se encargar de convertir las seales anlogas en
digitales, con el fin de poder procesarlas mediante algoritmos
genticos. El tercer y ltimo componente es el algoritmo
implementado para el reconocimiento de seales, el mtodo a
usar se encuentra actualmente en discusin y se est a la
espera de los resultados arrojados por el prototipo mecatrnico
implementado, el objetivo es encontrar el mtodo que
proporcione el menor error al distinguir entre una palabra y
otra. Para la comunicacin de los datos entre la tarjeta de
adquisicin de datos y el computador se dispone del protocolo
Bluetooth, lo que proporcionar al proyecto mejor desempeo
y una manipulacin ms fcil del hardware construido por
parte del usuario final.

La primera fase del proyecto tiene una duracin de un ao,
en este intervalo de tiempo se pretende desarrollar los tres
componentes de hardware mencionados. Al finalizar esta
etapa, se debe estar en la capacidad de traducir una frase
completa formada por tres palabras, la cual ser procesada y
entregada como una seal audible para el ser humano.

II. COMUNICACIN NO VERBAL
De acuerdo con Huseman, Lahiff y Hatfield, citados por
Snchez Gutirrez, la comunicacin es una interaccin de
naturaleza conversacional que implica el intercambio de
informacin verbal y no verbal entre dos o ms participantes en
un contexto cara a cara [10]. Esta definicin conlleva a pensar
que la comunicacin se soporta bajo diferentes condiciones que
no slo se reducen a los factores lingsticos; como enunciados
orales o escritos, sino a los dems elementos extralingsticos
que rodean el acto comunicativo. En [11], tales elementos
extralingsticos son la distancia entre los interlocutores, los
comportamientos, la comunicacin no verbal, y los contextos
en donde suceden los actos conversacionales.
Ahora bien, el inters por el estudio de dichos factores
extralingsticos, surge en el momento en que, como expone
Reynoso en [Ibid, p.24], la comunicacin fue un lugar comn
de los estudios socioculturales, superponindose a otras ideas
como sistema, cdigo, interaccin. En ese sentido, por una
parte, aparece la kinsica cuyo principal exponente es
RayBirdwhistell quien pretenda estudiar la variabilidad
intercultural de la gesticulacin humana o relacin entre
3

patrones de gesticulacin y contexto. Y por otra parte, aparece
la proxmica, cuyoprincipal exponente es Edward Hall, quien
estudi el manejo cultural de la territorialidad personal y el
espacio prximo [Ibid, p.27]. Aqu lo relevante es notar cmo
desde los silencios, la gestualidad, los comportamientos y la
distancia, siempre estn comunicando y expresando la forma
en que los hombres conciben la realidad, pero adems lo hacen
teniendo como base primordial los contextos situacionales en
los que se desarrolle todo acto comunicativo.

La kinsica se enfoca en los gestos y seas que adopta el
cuerpo humano para comunicar, es as como los hipoacsicos o
sordos, hacen uso de este tipo de comunicacin no verbal para
exteriorizar sus ideas y necesidades, de los patrones adoptados
ampliamente por ellos, se logr establecer el lenguaje de seas
propio de cada pas.
III. LENGUA DE SEAS
De manera natural, cada individuo hace uso de la
comunicacin mediante seas y gestos para expresarse y como
complemento a las ideas que pueda expresar oralmente, sin
embargo hay quienes hacen uso del lenguaje no verbal en todo
momento para comunicarse. Para las personas con
discapacidad auditiva y de habla, el lenguaje de seas se
convierte en un cdigo lo suficientemente completo como para
transmitir y recibir mensajes extensos con total comprensin.
Personalidades como William Stokoe, norteamericano que
dedic su vida profesional a la academia y a la investigacin,
plantearon estudios sobre las diferentes lenguas de seas, fue
as como se convirti en el fundador de los estudios lingsticos
delas lenguas de seas. En su monografa ms sobresaliente,
titulada Language Structure en [12], propuso el anlisis de
las seas desde tres perspectivas: la forma de la mano, la
actividad de la mano y el lugar ocupado por la mano; dichos
anlisis le permitieron catalogar al lenguaje de seas como
lengua natural, es decir, un lenguaje humano con fines
comunicativos [13].
Se suele pensar en la lengua de seas como un cdigo
lingstico universal, pero no es as, existen diferencias entre
regiones y entre pases para el uso de las seas, en [14], se
argumentan diferencias idiolectales, diafsicas, diastrticas y
diatpicas entre diferentes comunidades de hipoacsicos,
adems se seala, que la lengua de seas no depende de otros
sistemas de comunicacin. En consideracin con lo anterior,
fue necesario definir la lengua de seas a trabajar en el
proyecto, por razones de nacionalidad, se seleccion la lengua
de seas colombiana.
A. Lengua de seas colombiana (LSC)
La lengua de seas colombiana es, segn Nancy Rozo
Melo; investigadora titular del instituto Caro y Cuervo, la
lengua utilizada por la comunidad sordo-muda de Colombia, la
cual fue reconocida oficialmente en 1996 mediante la ley 324.
Esta se caracteriza por ser visual y corporal, adems, por tener
diferentes dialectos a lo largo del pas, caracterstica reconocida
tras la elaboracin del Diccionario Bsico de la Lengua de
Seas Colombiana por esfuerzos conjuntos entre el INSOR
(Instituto Nacional para Sordos), Fenascol y el instituto Caro y
Cuervo [15].
El Diccionario Bsico de la Lengua de Seas Colombiana
(DBLSC), se compone de mil doscientas seas del LSC, cada
una ilustrada con una foto en donde se aprecia la posicin del
cuerpo para representar la palabra, adems de su definicin y
diferentes clasificaciones gramaticales. Colombia al ser un
Estado social de derecho, establece como uno de sus pilares el
derecho a la igualdad, es por esto que distribuy gratuitamente
ejemplares de la primera edicin; publicada en 2006, a distintas
instituciones educativas de Colombia con el fin de promover la
enseanza de este cdigo.
B. Reconocimiento de seas
Para este trabajo se hace el reconocimiento de tres palabras
contenidas en el DBLSC, se quiere expresar la frase: Hola, yo
soy ingeniero, vale resaltar la estructura gramatical de la
lengua de seas, en esta no se expresan las ideas de la misma
manera como se hace en la expresin oral, por tal motivo,
aunque la frase est compuesta por cuatro vocablos, solo es
necesario representar tres de ellos, que son: Hola, yo e
ingeniero, el vocablo sobrante, soy, debe ser entendido por el
receptor de acuerdo al contexto de la frase.
A continuacin se presentan las palabras a utilizar en el
proyecto.

Figura 1. Representacin del artculo lexicogrfico Hola [14] p.489

Figura 2. Representacin del artculo lexicogrfico Yo. Ibid, p.15

Figura 3. Representacin del artculo lexicogrfico Ingeniero. Ibid, p.229
4

Al representar las tres seas anteriores en ese mismo orden,
el sistema debe ser capaz de reconocer dichos actos y ajustar
gramaticalmente lo que se quiere decir, obteniendo como
resultado de forma audible la frase: Hola, yo soy ingeniero.

IV. IMPLEMENTACIN DEL SISTEMA
MECATRNICO
Es necesario reconocer diferentes magnitudes fsicas que se
presentan en el movimiento de la mano durante la
representacin de la lengua de seas colombiana, tales como
aceleracin, ngulos y flexin de cada uno de los dedos, esto
con el fin de obtener informacin que sirva como punto de
diferenciacin entre cada una de las palabras representadas con
la mano derecha. En busca de tal objetivo, se hace uso de
diferentes tipos de sensores, circuitos de adquisicin de datos y
de un guante portador de los dispositivos implementados en
este proyecto.


Figura 4. Esquema de funcionamiento del sistema

A. Sensor de Deflexin
Se dispone de cinco sensores de deflexin, uno para cada
dedo de la mano derecha, con estos se pretende determinar el
ngulo en que se flexiona cada dedo. Cada sensor se fija en la
parte posterior de un guante hecho en tela, con el fin de obtener
una variacin de impedancia para cada dedo, la cual es
convertida en variaciones de voltaje mediante un circuito
electrnico de acoplamiento.
B. Unidad de Medida Inercial
El dispositivo electrnico conocido como IMU (Unidad de
Medida Inercial), proporciona informacin tal como la
aceleracin y la posicin de un objeto en el espacio [16]. En
este caso, se usa un IMU de seis ejes, tres de ellos generan el
dato de aceleracin en cada uno de los ejes x, y y z, los tres
restantes entregan la posicin de la mano en el espacio, esto lo
hace al medir cada uno de los ngulos descritos por la mano
con respecto a cada uno de los tres ejes mencionados
anteriormente.
Las ecuaciones (1) y (2) son incluidas en el algoritmo usado
para convertir las entradas anlogas en un dato reconocible, en
(1), el resultado es una aceleracin medida en gravedades en
cada uno de los ejes, (2) entrega tasas angulares, no hay
necesidad de convertir esas tasas en ngulos porque con esto es
suficiente para el trabajo de reconocimiento. En ambas
ecuaciones aparece el termino Z y su valor igual a 1.5, este es
un dato de referencia obtenido de la hoja de datos del IMU
[17].
Acc
Xz
(i) =
|(S.SI
dc
)Acc
AC
(i) -Z
ARLP
]
S
Acc

(1)
0yro
u[y
(i) =
|(S.SI
dc
)0yro
AC
(i) - Z
uRLP
]
S
uo
(2)

El dispositivo adquirido para esta aplicacin posee seis
salidas anlogas, por lo que es necesario realizar el proceso de
conversin anlogo/digital, el cual se realiza mediante la tarjeta
de adquisicin de datos.
C. Tarjeta de Adquisicion de Datos
La adquisicin de datos se realiza mediante una tarjeta
desarrollada especialmente para este propsito, ella cuenta con
un Arduino Mega 2560 programado en un entorno de
desarrollo de tecnologa open source, con este dispositivo,
gracias a sus 16 puertos anlogos, es posible realizar la
conversin A/D de cada una de las once seales
proporcionadas por el guante, y a su vez, incorporar el modulo
bluetooth para la comunicacin inalmbrica.
La conversin es hecha con una resolucin de 10 bits, el
dato entrante en forma anloga es convertido a digital en un
rango de 1024 posibles cdigos (2
10
), cuando el dato anlogo
incrementa 0.0048 voltios, el valor digital incrementa una
unidad, esta caracterstica le da al sistema una mayor precisin.
D. Comunicacin inalmbrica
Para obtener como resultado un prototipo mas sencillo de
usar y menos aparatoso, se hace uso de un sistema universal de
comunicacin inalmbrica de alta frecuencia y corto alcance,
conocido como Bluetooth,este se basa en la comunicacin por
radio frecuencia, haciendo uso de la banda ISM (Industrial
Scientific Medical Band), porcin del espectro que va desde
los 2400 Ghz hasta los 2500 Ghz, reservada especialmente
para la industria, la ciencia y la medicina, adems se realizan
transmisiones a muy baja potencia, entre uno y cien milivatios,
dependiendo de la distancia a la que se realice la conexin
transmisor receptor, sin olvidar nunca que esta tecnologa es
de corto alcance, es decir, hasta diez metros entre los
dispositivos sin obstculos a la vista, incluso es posible
alcanzar los cien metros en aplicaciones mas especializadas.
[18]

Para el sistema mecatrnico, la distancia entre el usuario
del guante y el PC de procesamiento nunca va a ser superior a
diez metros, por lo que es suficiente con un modulo bluetooth
sencillo, dicho modulo recibe la seal proveniente del guante y
la enva a travs de comunicacin serial en paquetes de doce
bits, once bits para datos y el restante es un bit de inicio, toda
la informacin es comunicada via bluetooth, este protocolo le
da al proyecto la estabilidad y el desempeo deseados,
adems, con el uso de este tipo de tecnologa es posible que el
usuario mueva sus manos sin obstruir el movimiento de la
mano.
E. Prototipo de guante

Figura 5. Guante implementado.

El prototipo actual (Fig. 5) ha sido construido para realizar
pruebas, pero en el desarrollo del trabajo se fabricar un guante
diseado especialmente para personas sordas, en tal diseo es
necesario tener en cuenta la medida promedio de la
una persona con dicho tipo de discapacidad, es
debe definir una poblacin objetivo, en la que se determine el
gnero y la edad del individuo. Para el desarrollo del trabajo
estadstico mencionado se requiere la intervencin del comit
de biotica de la Universidad de San Buenaventura, con el fin
de determinar la mejor manera de abordar una comunidad en
situacin de discapacidad sin herir su susceptibilidad.

V. PROCESAMIENTO DE LA INFORMACI
Una vez se tiene la informacin de los sens
computador, es decir, en el ltimo bloque da la figura 4,
procede a identificar los diferentes perfiles de seal
entrada es comparada con la informacin almacenada en una
base de datos, para este proyecto, esa base de datos esta
compuesta por tres diferentes perfiles de seal, una para cada
sea a interpretar. Los perfiles de cada una de las seas se
obtiene llevando a cabo varias repeticiones de una misma sea,
grabar cada una de las entradas y hallar una seal promedio
mientras mas iteraciones sean incluidas en el experimento se
tendr como resultado un perfil mas preciso y la probabilidad
de error en el reconocimiento disminuir. La seal promedio se
considerar la seal objetivo cuando el dispositivo este en
prueba.
Para lograr lo mencionado, se busca entre diferentes
mtodos, las opciones que estn siendo estudiadas son las redes
neuronales, la lgica difusa, redes adaptativas, tambin se
busca el reconocimiento mediante anlisis estadstico o anlisis
del error, de los anteriores, el que resulte seleccionado
capaz de comparar las diferentes seales de entrada, y
dependiendo de los posibles resultados previamente cargados,
debe definir si la entrada corresponde a una o a ninguna de las
tres seas que se esperan como resultado.
5

usuario mueva sus manos sin obstruir el movimiento de la

implementado.
El prototipo actual (Fig. 5) ha sido construido para realizar
pruebas, pero en el desarrollo del trabajo se fabricar un guante
diseado especialmente para personas sordas, en tal diseo es
necesario tener en cuenta la medida promedio de la mano de
una persona con dicho tipo de discapacidad, es as como se
debe definir una poblacin objetivo, en la que se determine el
gnero y la edad del individuo. Para el desarrollo del trabajo
estadstico mencionado se requiere la intervencin del comit
de biotica de la Universidad de San Buenaventura, con el fin
de determinar la mejor manera de abordar una comunidad en
situacin de discapacidad sin herir su susceptibilidad.
NFORMACIN
de los sensores en el
bloque da la figura 4, se
diferentes perfiles de seal, la seal de
entrada es comparada con la informacin almacenada en una
base de datos, para este proyecto, esa base de datos esta
compuesta por tres diferentes perfiles de seal, una para cada
sea a interpretar. Los perfiles de cada una de las seas se
obtiene llevando a cabo varias repeticiones de una misma sea,
grabar cada una de las entradas y hallar una seal promedio,
mas iteraciones sean incluidas en el experimento se
tendr como resultado un perfil mas preciso y la probabilidad
de error en el reconocimiento disminuir. La seal promedio se
considerar la seal objetivo cuando el dispositivo este en
busca entre diferentes
las opciones que estn siendo estudiadas son las redes
neuronales, la lgica difusa, redes adaptativas, tambin se
busca el reconocimiento mediante anlisis estadstico o anlisis
el que resulte seleccionado debe ser
capaz de comparar las diferentes seales de entrada, y
dependiendo de los posibles resultados previamente cargados,
debe definir si la entrada corresponde a una o a ninguna de las
VI. RESULTADOS
El nmero de sensores usados, y por lo tanto el numero de
seales a identificar y procesar, son once,
dise desde el acercamiento a la posible solucin del
problema de comunicacin de la comunidad sorda en
Colombia, pero una vez obtenidos los primeros resultados de
la experimentacin, con el primer prototipo finalizado, se
determin que con menor cantidad de sensores es posible
reconocer las tres seales objetivo de este proyecto. Si solo se
usa la informacin obtenida de los cinco dedos, es posible
conseguir una codificacin de cinco bits, un bit para cada
dedo, de esta manera, el resultado es un sistema de 32 posibles
combinaciones (2
5
), cada dedo se toma como un dato binario,
1 cuando el dedo este flexiona
En la tabla 1 se muestran las diferentes combinaciones de unos
y ceros para la frase objetivo.

Expresin Pulgar Indice
Hola 1 0
Yo 1 0
Ingeniero 0 1
Tabla1. Codificacin binaria
La figura 6 muestra el resultado de la experimentacin
hecha con la codificacin binaria, en la grafica se observan
cinco seales, una para cada dedo de la mano derecha, los
valores por debajo de 720 se consideran como ceros, valores
por encima de 720 son considerados como unos, de esta
forma, los cinco sensores de
codificacin binaria necesaria para el reconocimiento de la
frase Hola yo ingeniero.
restantes no sern removidos del guante, ya que sern utiles
para trabajo futuro.

Figura 6. Seales obtenidas de los sensores de deflexin durante el
experimento Hola yo ingeniero.

Las seales obtenidas del prototip
Matlab, un enlace entre dicho software y tres grabaciones
permiten al sistema reproducir los archivos en el orden
correcto en tiempo real. Con este resultado, comienza la
segunda fase del proyecto, en esta, el concebir al sistema con
la seal proveniente de los once sensores, para asi poder
adicionar mayor cantidad de seas contenidas en el DBLSC.

ESULTADOS PARCIALES
El nmero de sensores usados, y por lo tanto el numero de
ificar y procesar, son once, de esa manera se
dise desde el acercamiento a la posible solucin del
problema de comunicacin de la comunidad sorda en
Colombia, pero una vez obtenidos los primeros resultados de
la experimentacin, con el primer prototipo finalizado, se
determin que con menor cantidad de sensores es posible
reconocer las tres seales objetivo de este proyecto. Si solo se
n obtenida de los cinco dedos, es posible
conseguir una codificacin de cinco bits, un bit para cada
dedo, de esta manera, el resultado es un sistema de 32 posibles
), cada dedo se toma como un dato binario,
1 cuando el dedo este flexionado y 0 cuando este extendido.
En la tabla 1 se muestran las diferentes combinaciones de unos
y ceros para la frase objetivo.
ice Medio Anular Meique
0 0 0
1 1 1
1 1 0
Tabla1. Codificacin binaria

La figura 6 muestra el resultado de la experimentacin
hecha con la codificacin binaria, en la grafica se observan
cinco seales, una para cada dedo de la mano derecha, los
valores por debajo de 720 se consideran como ceros, valores
considerados como unos, de esta
forma, los cinco sensores de deflexin proporcionan la
codificacin binaria necesaria para el reconocimiento de la
Sin embargo, los seis sensores
restantes no sern removidos del guante, ya que sern utiles

Figura 6. Seales obtenidas de los sensores de deflexin durante el
Las seales obtenidas del prototipo son analizadas en
Matlab, un enlace entre dicho software y tres grabaciones
permiten al sistema reproducir los archivos en el orden
correcto en tiempo real. Con este resultado, comienza la
segunda fase del proyecto, en esta, el concebir al sistema con
seal proveniente de los once sensores, para asi poder
adicionar mayor cantidad de seas contenidas en el DBLSC.
6

VII. TRABAJO FUTURO
Se quiere adicionar mayor cantidad de palabras al
proyecto, pero estas no pueden ser escogidas aleatoriamente,
es necesario definir unos parmetros a seguir, como por
ejemplo cuantas sern agregadas y cual combinacin entre
pronombres, verbos, adjetivos, profesiones, saludos, lugares y
objetos.

Como fue dicho, el guante ser diseado especialmente
para personas sordomudas, por lo tanto, disear un nuevo
prototipo se convierte en un objetivo especifico de la segunda
fase. Para el diseo se determinar el tiempo requerido por el
sistema para el reconocimiento de cada sea

Con el fin de poder adicionar las 1200 palabras contenidas
en el DBLSC al proyecto, se debe elaborar un guante para la
mano izquierda.
VIII. CONCLUSIONES

Es ms eficiente el uso de la codificacin binaria de cada
uno de los dedos que el anlisis de los diferentes ngulos de
flexin de cada uno de estos, esto debido a la reduccin del
margen de error que se aade al experimento cuando el guante
es usado por una persona u otra. Las diferencias entre las
dimensiones de la mano derecha entre los usuarios hacen que
sea necesario disear un guante para cada persona si lo que se
pretende saber es el ngulo que se forma entre las tres falanges
de cada uno de los dedos.

Si se dispone de sensores de deflexin tanto en la mano
derecha como en la izquierda, se tendra un total de 1024
posibles combinaciones (2
10
), esto es casi la totalidad de las
palabras contenidas en el DBLSC, sin embargo, la
codificacin binaria no representa la solucin para el
reconocimiento debido a la similitud entre seas que se
diferencian entre ellas por la posicin de la mano en el espacio
y el movimiento de esta.

No es necesario determinar la localizacin de la mano
derecha en el espacio sabiendo exactamente los ngulos en los
que se encuentra con respecto a cada uno de los ejes, por lo
tanto no es necesaria la realizacin de un sistema inercial que
permita conocer dichos ngulos. El reconocimiento de estas
seales puede ser medido de la direccin del vector fuerza que
se lee directamente del IMU.

REFERENCIAS

[1] A. Gomez, Estan aislados en un mundo sordo, El Colombiano, 2010.
[2] K. Smith, Brain implant allows mute man to speak, Naturenews, 2008.
[3] B. Gallo, R. San Segundo, J.M.Lucas, R.Barra, L.F.DHaro,
F.Fernandez, Speech into sign languagestatistical translationsystem for
deaf people, UPM.
[4] H. Kamphuis, H. Frowein, E.Rikken, and J. Spoor, Mobile
videotelephony for deaf people: the effect of video quality on the use of
text telephony, Institute for the deaf, 1999.
[5] M. Su, C. Chen, S. Su, C. Chou, H. Hsiu, Y. Wang, Portable
communication aid for deaf blind people, Computing and control
engineering journal, 2001.
[6] S. Ohtsuka, S. Hasegawa, N. Sasaki, T. Harakawa, Communication
system between deaf blind people and non disabled people using
body braille and infrared communication
[7] R.Martin, J.Hernandez, T.Starner, V.Henderson, H.Brashear, D.Ross,
Towards a one-way american sign language translator, 2006.
[8] R. Kota, K. Abdelhamied, E.Goshorn, Isolated word recognition of
deaf speech using artificial neural networks.
[9] C. Jeyalakshmi, V. Krishnanurthi, A. Revathi, Speech recognition of
deaf and hard of hearing people using hybrid neural network, ICMEE
2010.
[10] Snchez, S. (2008). La comunicacin interpersonal en las
organizaciones. Universidad Catlica del Norte. Programa de
Comunicacin Social, asignatura de Comunicacin Organizacional. C.
Reynoso, Elementos de linguistica y semitica,, 2007.
[11] W. Stokoe, Sign Language structure: An outline of the visual
communications systems of the American deaf, Silver Spring. 1960.
[12] A. Oviedo, Acerca de William C. Stokoe 2008.
[13] Instituto Nacional para Sordos, Ministerio de Educacion Nacional,
Instituto Caro y Cuervo, Diccionario bsico de la lengua de seas
colombiana, Imprenta Nacional, p.XIII, 2006.
[14] http://www.insor.gov.co/phum/docs_insor/PDF_INSOR/Diccionario_de
_Senas/Diccionariodelenguasenascolombianas.pdf
[15] Starlino, A guide to using IMU (Accelerometer and Gyroscope
Devices) in embedded applications, 2009.
[16] Analog Devices, Small, low power, 3 axis +/- 3g accelerometer, 2010
[17] F. Gonzalez, La tecnologia Bluetooth, Electrnica y computadores,
p.66, 2000

Semillero de Investigacin en Robtica Mvil SIRMO-: El semillero de
investigacin cuenta con 36 estudiantes de diferentes programas de ingeniera:
Ingeniera Electrnica, Ingeniera de Sonido e Ingeniera Industrial. El
semillero se ha distinguido por su produccin cientfica, debido a esto ha
recibido siete galardones otorgados por la Red Colombiana de Semilleros de
Investigacin. Tambin ha participado en eventos locales, nacionales e
internacionales. SIRMO es soportado por los directores de investigacin de la
Universidad de San Buenaventura y fue creado en el 2005 por el ingeniero
Gustavo Adolfo Acosta. Desde el 2009, es dirigido por el ingeniero Andrs
Mauricio Crdenas Torres. El semillero de investigacin esta cubierto por la
Lnea de Investigacin en Robtica, Sistemas de Control y Potencia.
En el desarrollo de este proyecto estn trabajando tres estudiantes de
Ingeniera Electrnica y una estudiante de Ingeniera Industrial. Juan
Sebastin Benjumea Herrera, Len Mauricio Rivera Muoz, Sebastin Gil
Arboleda y Luisa Fernanda Rivera Chica, respectivamente son autores del
proyecto y pueden ser contactados en los siguientes correos electronicos:
benjumea123@hotmail.com,mauro_8707@hotmail.com,luisita226@hotmail.c
omand segga_89@hotmail.com


Andrs M. Crdenas (STM06M09): Ingeniero elctrico de la Universidad
de Manizales y candidato a mster en ingeniera electrnica de la Pontificia
Universidad Javeriana. Trabaja en la Universidad de San Buenaventura desde
marzo del 2009 en el Departamento de Investigacin e Ingeniera. Es parte de
la Lnea de Investigacin en Robtica, Sistemas de Control y Potencia,
director del Semillero de Investigacin en Robtica Mvil y consejero de la
Rama Estudiantil IEEE de la Universidad de San Buenaventura. Sus intereses
incluyen el control automtico, optimizacin de procesos, robtica, sistemas
embebidos y procesamiento digital de seales.