Traduccion automatica del lenguaje dactilologico
jeyxb2 de Diciembre de 2014
6.776 Palabras (28 Páginas)593 Visitas
Revista Ingeniería Biomédica
ISSN 1909-9762 / Volumen 7 / Número 13 / Enero-Junio de 2013 / pp.18-30
Escuela de Ingeniería de Antioquia-Universidad CES / Envigado, Colombia
Traducción automática del lenguaje dactilológico
de sordos y sordomudos mediante sistemas
Daniel Betancur Betancur
1
adaptativos
1
, Mateo Vélez Gómez
1
, Alejandro Peña Palacio
Escuela de Ingeniería de Antioquia (EIA). Envigado, Colombia
Recibido 15 de noviembre de 2012. Aprobado 21 de marzo de 2013. En discusión hasta el 1 de junio de 2013
AutomAtic trAnslAtion of the dActilologic lAnguAge
of heAring impAired by AdAptive systems
Resumen ─ Una de las principales limitaciones que presentan las personas con discapacidad auditiva está directamente
relacionada con su dificultad para interactuar con otras personas, ya sea de forma verbal o a través de sistemas auxiliares basados en
la voz y el audio. En este artículo se presenta el desarrollo de un sistema integrado de hardware y software, para el reconocimiento
automático del lenguaje dactilológico de señas utilizado por personas con este tipo de discapacidad. El hardware está compuesto
por un sistema inalámbrico adherido a un guante, el cual posee un conjunto de sensores que capturan una serie de señales generadas
por los movimientos gestuales de la mano, y un modelo por adaptación basado en los principios de la computación neuronal, el cual
permite su reconocimiento en términos de un lenguaje dactilológico en particular. Los resultados arrojados por el sistema integrado
mostraron gran efectividad en el reconocimiento de las vocales que conforman el lenguaje dactilológico en español, esto gracias a la
capacidad que posee el modelo de asociar un conjunto de señales de entrada, con un movimiento dactilológico en particular.
Palabras clave ─ Computación neuronal híbrida, lenguaje dactilológico, Protocolo ZigBee, discapacidad auditiva, sistemas de
reconocimiento.
Abstract ─ One of the main limitations of the people with hearing impairment is directly related to their difficulty interacting
with others, either verbally or through auxiliary systems based on voice and audio. This paper presents the development of an
integrated system of hardware and software for automatic fingerspelling sign language used by people with this type of disability. The
hardware system comprises a glove which has a set of wireless sensors that capture a series of signals generated by the hand gestures,
and a adaptive model based on the principles of neural computation, that allows recognition of a particular dactilologic language.
Results from the integrated system showed great effectiveness in recognizing vowels from the dactilologic Spanish language. This
recognition was influenced by the dimensionality reduction made by the neural model of the input signals representing movements,
and the sensitivity factor that sets the limit between recognition and learning.
ψ
Keywords ─ Dactilologic language, Hearing impairment, Hybrid neural computing, Zigbee protocol.
L
i. introducción
a comunicación es el medio por el cual los seres
humanos comparten sus ideas, pensamientos,
sentimientos u opiniones, constituyéndose en un elemento
primordial para el desarrollo de una persona dentro de una
Dirección para correspondencia: pfjapena@gmail.com
1,ψ
sociedad. Como seres humanos, los individuos utilizan
diferentes formas de comunicación, siendo el habla la más
común, seguida de la escritura y finalmente de cualquier
otro tipo de lenguaje de señas creado para tal fin [1,2].
Como individuos, las personas sordas y sordomudas
poseen una capacidad auditiva nula que no les permite
Betancur D. et al. Sistema de traducción del lenguaje dactilológico
aprender a hablar, por lo que se ven obligadas a emitir o a
captar mensajes por medios diferentes al sonido, como son
la escritura o el lenguaje dactilológico, para lo cual sólo
requieren del sentido de la vista [3].
El lenguaje dactilológico es un lenguaje de señas
generado por los movimientos gestuales de la mano,
en donde se busca interpretar cada letra del alfabeto a
través de diferentes figuras o formas. Este lenguaje varía
de comunidad en comunidad, donde cada una maneja un
gentilicio para su idioma gestual, por ejemplo las personas
con discapacidad auditiva en comunidades de habla
francesa utilizan el langue des signes française conocido
como LSF [4], en los Estados Unidos de América (USA)
este lenguaje se conoce como american sign language
(ASL) [5], y en el idioma español en donde se enmarca
el lenguaje de signos colombiano (Fig. 1), este se conoce
como lengua de signos española (LSE) [6,7].
Fig.1. Movimientos gestuales que definen el lenguaje dactilológico en
español utilizado en Colombia.
A pesar de la gran variedad de lenguajes dactilológicos
existentes, y a pesar de la gran cantidad de signos que
estos poseen, la comunicación verbal sigue siendo una
limitación importante en la formación de personas con
discapacidad auditiva, hecho que se evidencia aún más
en su formación a través de ambientes virtuales en donde
predomina la comunicación verbal, lo que supone un
impacto directo en su inserción en la sociedad y de manera
general en el mundo laboral [8].
La comunicación no verbal en personas con
discapacidad auditiva involucra una serie de aspectos
relacionados con los movimientos gestuales de la mano
como son las posturas, en donde se encuentran la forma
y la orientación de la mano, o los gestos temporales, los
cuales se relacionan con su movimiento y posición [9,10],
y de manera general con los estados de transición y las
posturas del cuerpo humano [11]. Para el reconocimiento
de un movimiento gestual desde las posturas y los gestos
temporales, se han desarrollado una serie de trabajos
basados en el procesamiento digital de imágenes sobre
video, los cuales reconocen un movimiento gestual
en tiempo real, mediante la utilización de técnicas
como la transformada wavelet, o las redes neuronales
por aprendizaje no supervisado [11]. Para el caso del
reconocimiento de movimientos gestuales a partir
de imágenes que describen trayectorias sobre puntos
específicos ubicados en la mano, se han utilizado sistemas
como el Kinect Motion de Microsoft (www.xbox.com/esES/kinect),
o modelos que utilizan regresiones no lineales
múltiples para la descripción de dichas trayectorias en
el espacio [12]. De manera general, estos sistemas de
reconocimiento dependen en gran medida de la postura
y la geometría de la mano, lo que genera un problema en
el reconocimiento de dichos movimientos desde el punto
de vista de gestos temporales, ya que estos requieren de
la utilización de herramientas sofisticadas propias del
procesamiento digital de imágenes, las cuales aumentan
en complejidad cuando el número de símbolos o palabras
aumenta de forma considerable [13].
Para la solución del problema del reconocimiento
de gestos temporales muchas empresas e investigadores
han desarrollado una serie de dispositivos o guantes, los
cuales en una etapa muy temprana tuvieron una fuerte
tendencia hacia los videojuegos, como lo demuestra el
guante Syreglove desarrollado en el año de 1977 por la
empresa Electronic Visualization Laboratory, con el fin
de controlar las acciones de un personaje dentro de un
juego [14]. Posteriormente, en el año de 1989, se crearon
otros guantes como el powerglove, desarrollado por la
empresa Nintendo Entertainment System con ayuda de
la empresa Mattel [15], y el cyberglove, desarrollado
en el año de 1990 por la empresa CyberGlove Systems
[16]. A pesar de los avances tecnológicos logrados
durante la época, estos guantes fueron utilizados
para fines recreativos y de diversión, no obstante en
el año 2000 surgieron dos dispositivos capaces de
asociar las letras del abecedario con los movimientos
de las manos, el American Sign Language Translator
creado por Rían Patterson en al año 2006 [17], y el
AcceleGlove, creado en el año 2007 por los estudiantes
José Hernández Rebollar y Nicholas Kyriakopoulus
en George Washington University en Estados Unidos
[18]. Actualmente, en el ámbito investigativo se han
venido desarrollado otro tipo de guantes traductores del
lenguaje de señas, los cuales centran su funcionamiento
en una serie de dispositivos que permiten capturar los
movimientos temporales de la mano, en términos de
una serie de señales espacio temporales, eliminando de
plano los sistemas que utilizan el procesamiento digital
19
20
REVISTA INGENIERíA BIOMéDICA
de imágenes sobre video, tal y como ocurre en los
sistemas de reconocimiento centrado en las posturas y la
geometría de la mano de
...