Ciencia y tecnología
Por:Lina María Leal Villamizar
Foto:Óscar Perdomo. DOI https://doi.org/10.12804/dvcn_10336.37600_num6
Un grupo interdisciplinario de Ingeniería y Ciencias de la Salud de la Universidad del Rosario creó el primer dispositivo interactivo para apoyar a los menores de edad en situación de discapacidad auditiva durante el proceso de aprendizaje de lectoescritura, a través de la lúdica. Está casi listo y se espera que sea de fácil acceso para la población objetivo.
Según el Instituto Nacional para Sordos (Insor), durante el año 2020 se registraron 554.119 personas en situación de discapacidad auditiva en Colombia, de las cuales el 42,6 por ciento en edad escolar (entre los 5 y los 16 años) estaban matriculadas en el sistema educativo. Es decir, la mayoría de los niños y adolescentes sordos del país no se están educando en ninguna institución.
A Robins lo recubrieron con felpa porque los niños usualmente se sienten más atraídos hacia texturas suaves que puedan tocar y resulten similares a sus juguetes predilectos.
¿Por qué sucede esto? La fonoaudióloga Rocío Stella Molina Bejar, profesora de la Escuela de Medicina y Ciencias de la Salud de la Universidad del Rosario y magíster en Discapacidad e Inclusión Social, sostiene que el nivel de aprendizaje de la lectoescritura para la población sorda es un proceso difícil que depende mucho de si el descubrimiento de la pérdida auditiva se ha dado en etapas tempranas. Aun así, en la mayoría de los casos los niños terminan comunicándose solamente a través del idioma de señas, ya sea el propio de Colombia o el lenguaje de este tipo que hayan creado al interior de su núcleo familiar o social, sin que logren aprender a leer y a escribir la lengua castellana a cabalidad.
Molina Bejar explica que la lengua de señas o de signos no es universal, sino que es diferente en cada cultura, ya que cada una de ellas puede tener expresiones particulares para la construcción de ideas, tal como ocurre con cualquier idioma hablado. Igualmente, muchas familias con padres oyentes y niños con hipoacusia construyen sistemas propios para la comunicación adecuada entre ellos.
Cuando los niños asisten a una institución educativa y se enfrentan al aprendizaje de la lectoescritura encuentran, por ejemplo, que la lengua de señas no cuenta con pronombres o plurales, mientras que la comunicación escrita (y oral) sí los tiene. Por eso –en palabras de Molina, quien lleva más de 20 años trabajando con esta población– la alfabetización genera “un conflicto en ellos”.
La profesora Karen Aguía Rojas, del programa de Terapia Ocupacional, advierte que el problema es bidireccional: “Las personas sin discapacidad auditiva tampoco tienen los elementos para poder conversar y comunicarse con esa otra parte de la población. Les estamos pidiendo que aprendan español, pero nosotros no aprendemos lengua de señas. ¿Qué estamos haciendo, entonces, para podernos comunicar con ellos?”.
Un grupo de investigadores –entre quienes se encuentran las docentes Molina y Aguía– le puso la lupa a esta situación. El pionero fue el profesor Óscar Julián Perdomo Charry, del programa de Ingeniería Biomédica de la Universidad del Rosario, quien consideró la posibilidad de construir un dispositivo con inteligencia artificial para la educación de población vulnerable.
“Vimos que en el mercado existen diferentes asistentes virtuales, pero todos son activados con voz, como es el caso de Siri o Alexa, entre otros. Nos pusimos en los zapatos de alguien que no pudiera hablar y nos dimos cuenta de que estos asistentes no son funcionales para ellos”, explica Perdomo, quien junto con Hernán Bernal y Álvaro David Orjuela, integrantes del grupo EduBraille, decidieron en 2021 conformar un equipo para estudiar una posible solución tecnológica para la población con discapacidad auditiva.
Al llamado de Ingeniería –que en sus laboratorios experimentaba con dispositivos basados en cámaras y tarjetas electrónicas– fueron acudiendo investigadores de Ciencias de la Salud, como también de Terapia Ocupacional (Karen Aguía Rojas), Psicología (Sara Cadavid Espinha; Oliver Müller) y Fonoaudiología (Rocío Molina Bejar). Si bien parecían ser áreas muy distintas, sí que tenían puntos en común: “La tecnología hace la vida de las personas diferente. Eso fue lo que nos unió a todos, el poder ver que las innovaciones que llegarán para las personas con discapacidad son maravillosas”, manifiesta la fonoaudióloga Molina.
De este modo, cada quien puso lo suyo. La ingeniería –a la cabeza del profesor Perdomo y del auxiliar de laboratorio de Ingeniería Biomédica Hernán Bernal– continuó desentrañando la informática y la mecánica para lograr un prototipo cada vez mejor articulado. Mientras tanto, el equipo de Ciencias de la Salud estudiaba los requerimientos que debía suplir ese dispositivo y se preguntaba: ¿cuál puede ser la mejor estrategia educativa por desafiar?, ¿qué requiere y puede hacer el niño?, ¿cuáles son los elementos ambientales que necesita para mejorar o mantener su motivación y cuáles son los elementos propios del niño?, ¿cuáles son los instrumentos para evaluar el proceso de aprendizaje o motivación?
A partir de todo ello, durante 2021 y lo que va corrido de 2022 adelantaron un estudio riguroso con el objetivo de indagar sobre lo que se ha hecho en el mundo al respecto, y encontraron que, si bien existen dispositivos para el apoyo de la comunidad sorda, estos tienen costos muy elevados para su adquisición e importación. En Colombia es escasa la innovación social que viene desde la ingeniería y las ciencias de la salud en el desarrollo de tecnología propia para asistir a personas sordas.
Por otro lado, el equipo colaboró con dos instituciones colombianas que atienden a niños con hipoacusia, la Fundación para el niño sordo (Ical) y el Colegio Filadelfia para Sordos. Esto les ayudó a comprender mejor sus necesidades de aprendizaje y los retos que enfrentan los docentes de lengua castellana, así como a conocer las estrategias pedagógicas existentes para el trabajo con esta población.
Robins fue el único finalista colombiano, en la modalidad Equipo universitario, en la competencia OpenCV AI Competition 2021, patrocinada por Microsoft Azure, Intel y OpenCV. Se trata de la contienda de inteligencia artificial más grande del mundo, en donde los investigadores lograron posicionar las capacidades de Colombia y del Rosario en esta área del conocimiento.
El profesor Óscar Julián Perdomo Charry, del programa de Ingeniería Biomédica de la Universidad del Rosario, consideró la posibilidad de construir un dispositivo con inteligencia artificial para la educación de población vulnerable: Robins.
En conjunto crearon un asistente funcional al que nombraron como Robins (robot interactivo para niños sordos), una tecnología capaz de apoyar el proceso de aprendizaje de la lectura con una estrategia apropiada para los niños con discapacidad auditiva. Al dispositivo se le programaron expresiones faciales automáticas y reconocimiento del lenguaje de señas para garantizar las interacciones adecuadas.
De acuerdo con lo que expone el ingeniero Perdomo, la estructura de Robins es cien por ciento impresa en 3D, en la Universidad del Rosario, lo que implica que sea de bajo costo, portable y configurable a las necesidades particulares. “El hardware consta de piezas impresas que pueden ser ajustables dependiendo de las necesidades del usuario”, explican los investigadores.
El prototipo inicial tiene la forma de un animal vertebrado que protege y sostiene una cámara de profundidad, una pantalla táctil y una tarjeta electrónica que reconoce automáticamente las expresiones faciales y la lengua de señas en niños sordos; todo ello basado en algoritmos de inteligencia artificial.
En la parte superior (cabeza) hay una estructura que permite la fijación de tres motores para cejas, pómulos y boca. Además, los ojos del robot cuentan con dos pantallas led a color y una adicional para personalizar el tipo y los movimientos de los ojos. Aguía comenta que “la incorporación de ojos y cejas al robot es algo muy importante porque son los principales componentes de transmisión de emociones”.
Adicionalmente, lo recubrieron con felpa porque –conforme con el argumento de los investigadores de Terapia Ocupacional y Psicología– los niños usualmente se sienten más atraídos hacia texturas suaves que puedan tocar y resulten similares a sus juguetes predilectos. El equipo continúa reflexionando sobre la posibilidad de darle forma de perro, oso, gato o koala.
En su abdomen Robins tiene una cámara que detecta lo que hace el niño y también una pantalla que proyecta imágenes. La idea es que el robot interaccione frente a lo que captura. “Hemos grabado videos de personas haciendo las señas del abecedario para que el ‘perro’ aprenda que cuando se hace una determinada seña se está generando una determinada letra del abecedario en alfabeto dactilológico (sistema alfabético que utilizan las personas sordociegas)”, comenta la neuropsicóloga Cadavid Espinha, quien agrega que el robot podría desarrollar diversas fases de dificultad incremental (de varias sesiones cada una) en el proceso de enseñanza de la lectoescritura.
Inicialmente, el robot muestra una imagen que se corresponde perfectamente con el texto que la acompaña, y el niño debe señar una de las letras de la palabra. Por ejemplo, en el caso de abeja, aparecería la imagen del animal en la pantalla con la palabra castellana escrita por debajo y la marca de la primera letra en rojo. El estudiante tiene la tarea de producir la seña dactilológica de la letra A. Posteriormente, tendría que identificar otras letras distintas a la inicial.
En una siguiente fase, el robot expone señas grabadas por una persona sorda, lo que permite trabajar con palabras que no son visualmente concretas como ‘libertad’, ‘justicia’, etc. De nuevo, la palabra castellana está escrita por debajo y el niño debe realizar la seña dactilológica de la letra en rojo.
A futuro, los investigadores esperan que la tecnología consolidada en Robins pueda desarrollar otras labores, como ayudar a que los niños se ejerciten e incluso interactúen en grupos, siempre de la mano de la educación, su función más innovadora.
Finalmente, aumenta el nivel de dificultad con el incremento de imágenes, señas e identificación de más de una letra en una palabra.“El reto es que el niño o la niña poco a poco vaya haciendo la identificación de esa correspondencia entre cómo se ve (en las imágenes) y cómo se seña cada una de estas letras o palabras”, afirma Cadavid.
El niño realizará la seña después de cada ejercicio y, acto seguido, el robot dará una retroalimentación con gestos o imágenes: “¡Bien!” o “¿Estás seguro?”, o una “carita feliz” en caso de una respuesta correcta, o una “cara sorprendida” cuando no lo sea. Igualmente se proyectan animaciones divertidas y un sistema de obtención de puntos, a manera de premios, que acumulados pueden intercambiarse por otras actividades como jugar con su juguete favorito.
No obstante, y considerando que esto lo podría hacer un humano, ¿qué ventaja ofrece el robot? Cadavid responde que “la tecnología constituye ese punto extra o de valor agregado para la motivación de los niños, pues el proceso de aprendizaje normalmente genera cierta resistencia y con esta tecnología puede resultar más estimulante”.
El profesor Oliver Müller, del programa de Psicología y quien ha trabajado en proyectos de lectura con niños y niñas sordos, también forma parte del equipo y señala que el papel del robot es promover la motivación hacia el aprendizaje de una manera más lúdica: “No como el típico profesor o profesora frente al estudiante, sino como otro elemento, uno que provee la retroalimentación con movimiento facial y juegos”.
Los investigadores proyectan medir la motivación de los niños con Robins mediante el uso de instrumentos para la recopilación de datos que aplicarán antes y después del uso de la tecnología. “Nuestro propósito con el robot es que sea un mediador para favorecer la motivación del niño hacia el aprendizaje”, sostiene la profesora Aguía.
Inicialmente, el robot muestra una imagen que se corresponde perfectamente con el texto que la acompaña, y el niño debe señar una de las letras de la palabra.
Por ejemplo, una de las herramientas mide 14 posibles comportamientos, dentro de los cuales se encuentran la imaginación del niño sobre cosas nuevas, su propuesta de estrategias o su nivel de curiosidad, entre otras posibilidades. “Adicionalmente, estamos trabajando en cómo graduamos las actividades en términos de dificultad, porque si alguna es muy sencilla no va a generar motivación en el niño, y si es muy difícil va a producir frustración”, advierte Aguía. “Se trata de un ajuste entre las capacidades del niño y las características de la tecnología de asistencia”.
Los investigadores reconocen que aunque el robot está casi listo para las pruebas piloto en el contexto real, aún no se ha experimentado con niños; estos ensayos comenzarán a hacerse en el primer semestre académico de 2023. Así podrán realizar un primer análisis estadístico con datos. Müller destaca que los instrumentos permitirán medir si se cumple ese papel motivador que esperan del robot. “En caso contrario se tendría que aumentar la atractividad (capacidad de generar atracción) de Robins”, concluye.
Si bien esto podría ocurrir, la fonoaudióloga Molina confía en que habrá un cambio, pues, teniendo en cuenta el potencial del robot como tecnología innovadora y de fácil acceso, con su uso cotidiano seguramente se conseguirá mejorar la calidad de vida de las personas sordas. De hecho, el proyecto obtuvo un reconocimiento en una fase inicial al ser el único finalista colombiano en la modalidad Equipo universitario del OpenCV AI Competition 2021, un concurso mundial patrocinado por Microsoft Azure, Intel y OpenCV (biblioteca de software de aprendizaje automático y visión artificial de código abierto). Se trata de la contienda de inteligencia artificial más grande del mundo, en donde los investigadores lograron posicionar las capacidades de Colombia y del R osario en esta área del conocimiento.
La idea es que los planos de construcción sean de libre acceso; que cualquier persona pueda imprimir el dispositivo en 3D y armarlo, ya que, en opinión de Müller y Perdomo, hay robots sociales muy buenos en el mercado mundial, pero al mismo tiempo muy costosos porque son productos netamente comerciales. Y concluyen: “Este proyecto nos ha enseñado a ser más empáticos”.
A futuro, esperan que la tecnología consolidada en Robins pueda desarrollar otras labores, como ayudar a que los niños se ejerciten e incluso interactúen en grupos, siempre de la mano de la educación, su función más innovadora. Y es que Cadavid hace énfasis en que, “si bien existen robots sociales por montones, pocos están orientados a contribuir al desarrollo de las habilidades de lectura en niños sordos; en este sentido podríamos decir que Robins es bastante especial, quizás ‘único en el mundo’, al motivar a las personas con esta discapacidad a que se acerquen de una manera más lúdica al universo de las letras”.
