Videojuego Audio/Háptico para Desarrollar Habilidades de
Transcripción
Videojuego Audio/Háptico para Desarrollar Habilidades de
Jaime Sanchez (DCC, Universidad de Chile), Marcia De Borba Campos (Pontificia Universidad Católica de Rio Grande do Sul, Brasil, Facultad de Informática, FACIN), Matias Espinoza (DCC, Universidad de Chile) Videojuego Audio/Háptico para Desarrollar Habilidades de Navegación en Aprendices que son Ciegos 1. INTRODUCCIÓN Es importante explorar el uso de tecnologías digitales interactivas en el desarrollo de habilidades navegación, en especial de orientación y movilidad (O&M), particularmente en Chile, donde casi no existen aplicaciones que apoyen la enseñanza de técnicas con ejecución de rutas. Tales sistemas pueden favorecer el desarrollo de los sentidos, complementando el uso de maquetas, u otras actividades propias de entrenamiento de O&M para estudiantes con discapacidad visual. El adecuado dominio de estas destrezas es clave en las personas sin visión, ya que de lo contrario alteran su comunicación, interacción, desplazamiento y por sobre todo, su autonomía e independencia, procesos claves para una adecuada integración escolar e inclusión social. El propósito de esta investigación consistió en evaluar e investigar el impacto del uso de un videojuego basado en tecnologías de audio y háptica, para el desarrollo y uso de habilidades de O&M en situaciones de espacios abiertos. Para ello, consideramos un espacio ficticio que contiene lugares que el aprendiz ciego navega y recorre habitualmente en etapa escolar, así como también algunos que le están vedados por no disponer de la correspondiente asistencia. Para cumplir con este objetivo previamente se diseñó, desarrolló y evaluó la usabilidad de un videojuego basado en háptica y audio que llamamos Audiopolis [8]. En el presente trabajo nos enfocamos principalmente en presentar los resultados de la evaluación de impacto cognitivo en el desarrollo de habilidades de O&M a través del uso del videojuego Audiopolis por parte de aprendices ciegos. 2. TRABAJO RELACIONADO Cuando los usuarios legalmente ciegos pero con restos visuales interactúan con videojuegos con pistas visuales aprovechan su resto de visión en beneficio de lograr mejores resultados en la interacción. En el caso de los usuarios totalmente ciegos no tienen esta posibilidad y es necesario proveerles toda la información del entorno por medio de otros canales sensoriales como el tacto y el audio [5]. En un entorno espacial familiar, ya sea cerrado o abierto, un usuario ciego puede realizar una navegación convencional, ya que conoce el entorno que le rodea y su contexto. En un ambiente no familiar, la experiencia puede ser compleja y completamente dinámica [2] porque durante el proceso de orientación, un niño que es ciego puede tener dificultades espaciales considerando su posición en relación a puntos fijos y puntos en movimiento. Lahav y Mioduser [3][4] estudiaron la relación que existe entre las representaciones mentales del espacio que generan los usuarios ciegos utilizando ambientes virtuales con interfaces de audio y háptica, y su transferencia al mundo real. Para ello, utilizan un entorno virtual similar a uno real en que el usuario ciego recorre y entrena con la finalidad de mejorar su navegación real. AudioLink [6], AudioChile y AudioVida [9] son videojuegos basados en audio que fueron diseñados y desarrollados para investigar en el uso de videojuegos para el desarrollo de habilidades de resolución de problemas y desarrollo de habilidades de O&M. Terraformers [11] es un videojuego para jugadores con baja visión realizado con gráfica 3D y sonido espacial. Este juego fue desarrollado para determinar la viabilidad del uso de este tipo de herramientas y para repetir la experiencia en otros ámbitos tales como experiencias de realidad virtual, comercio electrónico y aprendizaje a distancia. Las interfaces hápticas pueden ser un aporte para el desarrollo cognitivo de los aprendices ciegos. Con dispositivos como el Phantom Omni y el Novint Falcon, que entregan un gran feedback al usuario en su interacción con objetos virtuales, se pueden representar superficies, objetos y gráficos, los que son reconocidos por los usuarios ciegos gracias a la información transmitida por ellos [7][8][12]. Otro uso de estos dispositivos es la representación de espacios virtuales como entrenamiento de usuarios ciegos para que realicen una navegación cada vez más autónoma en el ambiente real [7][8]. A través del Phantom Omni y el Novint Falcon el usuario recibe feedback háptico del entorno virtual, con lo que puede reconocer objetos, paredes y pasillos, logrando generar un mapa mental del espacio recorrido [3][4][7]. Simonnet y su equipo [10] desarrollaron un estudio sobre el uso de un software que implementa un sistema de navegación basado en audio y háptica utilizando el Phantom Omni, el cual resultó efectivo para entrenar a personas ciegas en la generación de itinerarios de ruta de buques, a través del uso de estrategias hápticas con el fin de construir representaciones de espacios utilizando mapas. Georgios y su equipo [1] desarrollaron una herramienta interactiva de realidad virtual integrando Phantom Omni y CyberGrasp (guante virtual) que permite a usuarios ciegos estudiar e interactuar con diversos objetos virtuales especialmente diseñados para ese objetivo. Finalmente, AbES es un simulador de ambientes donde el usuario ciego maneja un personaje y, de esta forma, ejercita las habilidades de navegación en un ambiente cerrado. La navegación en mAbES es una versión móvil de AbES y La interacción ocurre en primera persona, simulando un museo de ciencias y tecnología de la Pontifícia Universidade Católica do Rio Grande do Sul, Brasil. En estas aplicaciones el usuario posee desafíos de manera que pueda percibir y analizar las informaciones Del espacio, seleccionar caminos y objetos, planificar y ejecutar acciones de movilidad. 3. AUDIOPOLIS Audiopolis es un videojuego basado en audio y háptica cuyo propósito es mejorar las habilidades de O&M en usuarios ciegos. Audiopolis representa virtualmente un ambiente ficticio abierto de navegación en la ciudad para un aprendiz ciego. En este ambiente existen diferentes elementos que componen la ciudad, tales como calles y edificios, dentro de los cuales se puede encontrar un banco, museo, joyería, hospital, restaurante, parque, plaza, colegio, supermercado, entre otros. El videojuego se desarrolla en primera persona, donde el usuario puede moverse de forma libre por el espacio, pudiendo avanzar, retroceder y girar, reconociendo ya sea de forma auditiva y/o háptica, las distintas superficies por las que se desplaza y los diferentes obstáculos con los que se encuentra. Audiopolis fue pensado para que el usuario pueda desplazarse en forma independiente y logre conocer todo el mapa según rutas establecidas. El juego se estructura en 12 etapas. En cada etapa un ladrón roba 1 objeto específico, y el objetivo es justamente encontrar al ladrón. Para ello, el jugador comienza en el lugar del robo, luego ĚĞďĞĚĞƐƉůĂnjĂƌƐĞĂϯůƵŐĂƌĞƐĚĞŶƚƌŽĚĞůĂĐŝƵĚĂĚ͞ƉĞƌƐŝŐƵŝĞŶĚŽ͟ĂůůĂĚƌſŶLJ resolver las preguntas que se le harán para poder recibir las siguientes pistas y así poder avanzar dentro de la ciudad. Una vez encontrado el objeto, el jugador avanza a la siguiente etapa. El videojuego posee 3 interfaces de interacción con el aprendiz ciego (háptica, audio, y háptica + audio). La interfaz de audio posee dos componentes principales, una ambiental y otra instructiva. La componente ambiental consiste en un conjunto de sonidos que simulan tanto el ambiente interior como exterior del lugar en donde se encuentra el jugador, además sirve para entregar información que permite a los aprendices reconocer la forma de distintos objetos geométricos. La componente instructiva consta de las preguntas para entregar las pistas y de las instrucciones de menú, tales como: salir, guardar juego, etc. Como interfaz háptica se utilizó el dispositivo Novint Falcon. El jugador se moviliza en la ciudad presionando las flechas de dirección del dispositivo, y al arrastrar el puntero 3D por el suelo, puede encontrarse en el camino con desniveles, cambios de superficies, obstáculos, etc. Por otra parte, el jugador también puede reconocer objetos que encuentra en el videojuego explorándolos con el dispositivo. En este caso se modela un objeto en 3D y con el control háptico se busca simular una mano. La interfaz de háptica + audio combina las dos interfaces anteriormente nombradas con el fin de proveer al usuario mayor información del lugar donde se encuentra y apoyar de forma más amplia la tarea de O&M. Finalmente, la interfaz gráfica representa de forma visual el entorno virtual por el cual el usuario se desplaza, siendo un apoyo para que los facilitadores con visión puedan observar dónde y en qué situación del juego se encuentra el usuario ciego y así poder ayudarlo en caso de ser necesario. 4. METODOLOGIA DE EVALUACIÓN DE IMPACTO COGNITIVO 4.1 Muestra La muestra estuvo compuesta por 12 aprendices (8 mujeres, 4 hombres) de edades entre 10 y 15 años, con necesidades educativas especiales derivadas de su discapacidad visual (11 ciegos y 1 baja visión) de primer y segundo ciclo de Educación General Básica, provenientes de los establecimientos escolares Colegio Hellen Keller y Centro Educacional Santa Lucía en Santiago de Chile. Cabe señalar que en estudios de este tipo de personas con el uso de tecnología generalmente la muestra tiende a ser reducida ya sea por la disponibilidad de estos usuarios para realizar el estudio como por la intensidad de trabajo con cada usuario ciego. 4.2 Tareas Se elaboraron 3 tareas de apresto y 12 tareas cognitivas. Las tareas de apresto fueron diseñadas para introducir a los sujetos participantes de la muestra en los conceptos y componentes en los que se basa el videojuego. Las tareas de apresto corresponden a: (1) técnica de reloj, cuyo objetivo es la adopción de esta técnica de orientación para relacionarlo con la interacción en el videojuego, (2) figuras geométricas, cuyo objetivo es desarrollar la interpretación de las figuras en relación a la modalidades de interacción en el videojuego, y (3) elementos del videojuego, cuyo objetivo es introducir el uso integrado de todos los elementos del videojuego. En tanto, las 12 tareas cognitivas estuvieron enfocadas a desarrollar incrementalmente habilidades de O&M específicas según interfaz del software. Aquí encontramos tareas cognitivas relacionadas con la percepción del espacio a través de sonido, háptica o ambas y también con la comprensión de la dinámica del videojuego, es decir lo que se logra al avanzar e interactuar con los elementos del videojuego (4 niveles). También hay 4 niveles de tareas cognitivas relacionadas con movimiento, direccionalidad y distribución, para trabajar el movimiento y las direcciones con la ejecución de giros ligados al sistema reloj, percibiendo lugares y su organización. Finalmente, hay 4 niveles de tareas cognitivas sobre establecimiento de distancia, cuyo propósito fue estudiar la estructuración de Audiopolis y la relación entre pasos y distancia, esto es, a mayor cantidad de pasos, mayor distancia de un lugar a otro. 4.3 Instrumentos Los instrumentos de evaluación utilizados para esta investigación fueron creados por un grupo de educadoras diferenciales en problemas de visión que forma parte del equipo de trabajo, a partir de los instrumentos que se utilizan cotidianamente en los centros especializados de personas con discapacidad visual. Estos instrumentos corresponden a Listas de Cotejo sobre habilidades de O&M y un Test de O&M. Las listas de cotejo fueron diseñadas según el desarrollo de habilidades relacionadas con la ejecución de las tareas de apresto y de las tareas cognitivas, debido a que ambas contienen aspectos y dimensiones a evaluar con indicadores de nivel de logro. Los criterios de evaluación para cada indicador de estas listas de cotejo fueron: logrado (L), en proceso (EP), no logrado (NL) con puntajes equivalentes a 2, 1 y 0, respectivamente. El diseño del Test de O&M se elaboró con el objetivo de estimar el nivel de conocimientos relacionado con esta área de aprendizaje específica en aprendices con Discapacidad Visual. Las dimensiones incluidas en el test son: (1) Desarrollo sensorial (percepción auditiva y percepción táctil kinestésica), (2) desarrollo tempo-espacial, y (3) técnicas de O&M, agrupando en total 13 ítems y 71 indicadores, cuyos criterios de evaluación para cada indicador fueron logrado (L), en proceso (EP), no logrado (NL) con puntajes equivalentes a 2, 1 y 0, respectivamente. 4.4 Procedimiento En la fase previa al uso del software se aplicó el test de O&M a los usuarios de la muestra, a modo de pre-test, con el fin de conocer las habilidades iniciales de los sujetos. Luego los usuarios realizaron las 3 tareas de apresto relacionadas con las habilidades que los sujetos debían conocer antes de utilizar el videojuego, donde se registró el logro de las tareas con las listas de cotejo diseñadas para cada actividad. Durante el proceso de intervención con el videojuego, los usuarios realizaron las 12 tareas cognitivas, dedicando una sesión por tarea, las cuales comprendieron la ejecución de una serie de actividades según dimensiones descritas anteriormente y de acuerdo a los 3 niveles de complejidad del videojuego. Se registró el logro de los ítems de las tareas de acuerdo a las listas de cotejo diseñadas para cada actividad. Finalmente, en la etapa de término se aplicó a los usuarios el test de O&M a modo de pos-test con el objetivo de determinar si hubo un efecto en las habilidades evaluadas previamente, ya sea desarrolladas o aprendidas. 5. RESULTADOS La muestra obtuvo un desempeño satisfactorio en las tareas de apresto, logrando una media por sobre el 90%. En general, el buen desarrollo de actividades propuestas preparó a los aprendices para la aplicación de las tareas cognitivas. Luego, a lo largo del desarrollo de las Tareas Cognitivas el porcentaje de logro se mantuvo alto y homogéneo (entre 78% y 85%), lo cual es importante si consideramos que la complejidad de las tareas fue incremental. Para el test de O&M se analizó al conjunto completo de participantes y de acuerdo al grupo de interfaz de videojuego (interfaces de interacción háptica, audio, y háptica + audio). Fueron evaluadas la dimensión Desarrollo sensorial (DS), desglosando además sus sub-dimensiones Desarrollo sensorial auditivo (DSA) y Desarrollo sensorial háptico (DSH), la dimensión Desarrollo tempo-espacial (DTE) y la dimensión Técnicas de O&M (TOyM). Al tomar los resultados obtenidos por los 12 usuarios de la muestra, se realizó una prueba T para comparar las medias de los indicadores obtenidos en el pre-test y post-test. Todas las dimensiones presentaron incrementos en sus medias de post-test con respecto a las medias obtenidas en el pre-test. Sin embargo, estas diferencias en las medias resultaron estadísticamente significativas en las dimensiones DSA (t=-4,005; p<0,05), DSH (t=-3,079; p<0,05), DS (t=-5,326; p<0,05), TOyM (t=--2,907; p<0,05) y Global Indicator (t=4,366; p<0,05). Complementariamente, se realizó un test de MANOVA sobre los datos de post-test, considerando como factores los 3 grupos de interfaz usuaria (audio, háptica, y audio + háptica). De acuerdo al análisis de la MANOVA, las medias de los vectores para los diferentes grupos de interfaces no presentaron diferencias estadísticamente significativas entre ellos. Esto quiere decir que los resultados para las diferentes dimensiones no difieren en función de la interfaz que define los grupos. No existen diferencias de desempeño al usar las tres interfaces (háptica, audio, y háptica + audio. Es posible que el tamaño de nuestra muestra de estudio no fuese suficiente para detectar tales diferencias. En base a estos resultados, se puede señalar que, en general, el uso del videojuego permite mejorar las habilidades cognitivas asociadas a las dimensiones DSA, DSH, SD, O&MT y el indicador global. Esto sucede en todas las interfaces estudiadas. 5. CONCLUSIONES El uso de Audiopolis, un videojuego basado en audio y háptica, impactó positivamente en el desarrollo y uso de habilidades de O&M en aprendices ciegos en edad escolar. A partir de esto se puede inferir que las interfaces de audio y háptica del videojuego pueden ayudar y favorecer el desarrollo de habilidades de O&M de aprendices ciegos. El entorno virtual, como simulación de un espacio con características urbanas, permitió a los aprendices trabajar ĞŶ ƵŶ ͞ĂŵďŝĞŶƚĞ ƐĞŐƵƌŽ͘͟ ů ŵŽŵĞŶƚŽ ĚĞ ƌĞĂůŝnjĂƌ ůĂƐ ƚĂƌĞĂƐ ĚĞ búsqueda solicitadas, los aprendices pusieron a prueba sus conocimientos previos y reforzando conceptos. En este sentido, la predisposición al aprendizaje se vio favorecida con el uso del videojuego, observándose una alta motivación de los aprendices en la ejecución de las actividades. Los aprendices fueron capaces de crear estrategias nuevas para resolver problemas de desplazamiento a nivel virtual con Audiopolis. Por ejemplo, retroceder para reorientarse en una ruta, rodear obstáculos, guiarse por el sonido o el tacto para conocer el límite de un espacio. En general, el grupo de aprendices mostró un aumento en las habilidades de navegación con el videojuego que se aprecia en la rapidez con que sobrepasan las etapas del videojuego, realizando desplazamientos cada vez más eficientes. El uso de diferentes interfaces por parte de los usuarios no generó diferencias en sus logros, sin embargo este resultado no es absoluto. Como trabajo futuro queda propuesto trabajar con un mayor número de usuarios, que permita asegurar si existen o no diferencias en el uso de las diferentes interfaces. La utilización de diferentes interfaces en el videojuego logró generar un efecto positivo en el aprendizaje de habilidades de O&M, lo cual fue observado en los resultados estadísticos para las dimensiones desarrollo sensorial (y también para las sub-dimensiones Desarrollo sensorial auditivo y desarrollo sensorial háptico), Técnicas de O&M y en el indicador global de O&M. Como trabajo futuro está propuesto ampliar la muestra para obtener resultados que permitan mostrar resultados por grupo de interfaz usuaria. 6. AGRADECIMIENTOS Este reporte fue financiado por el Fondo Nacional de Ciencia y Tecnología, Fondecyt #1120330 and por el Proyecto CIE-05 Programa de Centros de Educación PBCT-Conicyt. 7. REFERENCIAS [1] Georgios, N., Tzovaras, D., Moustakidis, S. & Strintzis, M. 2004. Cybergrasp and PHANTOM integration: enhanced haptic access for visually impaired users. In SPECOM-2004, pp.507-513 [2] Kulyukin, V., Gharpure, C., Nicholson, J. & Pavithran, S. 2004. RFID in robot-assisted indoor navigation for the visually impaired, IEEE/RSJ Intelligent Robots and Systems (IROS 2004) Conference, September - October 2004, Sendai Kyodo Printing: Sendai, Japan, pp. 1979- 1984 [3] Lahav, O. & Mioduser, D. 2008. Haptic-feedback support for cognitive mapping of unknown spaces by people who are blind. International Journal Human-Computer Studies 66(1), pp. 23-35. [4] Lahav, O. & Mioduser, D. 2008. Construction of cognitive maps of unknown spaces using a multi-sensory virtual environment for people who are blind. Computers in Human Behavior 24(3), pp. 1139-1155. [5] Sánchez, J. 2007. User-Centered Technologies for Blind Children. Human Technology Journal, 45(2), November 2008, pp. 96-122. [6] Sánchez, J. & Elías, M. 2007. Guidelines for Designing Mobility and Orientation Software for Blind Children. In C. Baranauskas et al. (Ed.): INTERACT 2007, Lecture Notes of Computer Science, LNCS 4662, Part I, pp. 375-388, 2007. © IFIP International Federation for Information Processing. [7] Sánchez, J. & Espinoza, M. 2011. Audio haptic videogaming for navigation skills in learners who are blind. In The proceedings of the 13th international ACM SIGACCESS conference on Computers and accessibility (ASSETS '11). ACM, New York, NY, USA, 227-228. [8] Sánchez, J. & Mascaró, J. 2011. Audiopolis, navigation through a virtual city using audio and haptic interfaces for people who are blind. In Proceedings of the 6th international conference on Universal access in human-computer interaction: users diversity - Volume Part II (UAHCI'11), Constantine Stephanidis (Ed.), Vol. Part II. Springer-Verlag, Berlin, Heidelberg, 362-371. [9] Sánchez, J. & Sáenz, M. 2006. 3D sound interactive environments for blind children problem solving skills. Behaviour & Information Technology, 25(4), pp. 367 ʹ 378. [10] Simonnet, M., Guinard, J-Y. & Tisseau, J. 2006. Preliminary work for vocal and haptic navigation software for blind sailors. Proceedings 6th International Conference on Disability, Virtual Reality and Associated Technologies, ICDVRAT 2006, Esbjerg, Denmark, pp. 255-262. [11] Westin, T. 2004. Game accessibility case study: Terraformers ʹ a real-time 3D graphic game. In Proceedings of the 5th ICDVRAT 2004, Oxford, UK, pp. 95-100. [12] Yu, W., & Brewster 2002. S.A. Comparing Two Haptic Interfaces for Multimodal Graph Rendering. Proceedings of the 10th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (Haptics 2002), Florida, USA, IEEE, pp. 3-9.