Videojuego Audio/Háptico para Desarrollar Habilidades de

Videojuego Audio/Háptico para Desarrollar Habilidades de

Jaime Sanchez (DCC, Universidad de Chile), Marcia De Borba Campos (Pontificia Universidad
Católica de Rio Grande do Sul, Brasil, Facultad de Informática, FACIN), Matias Espinoza (DCC,
Universidad de Chile)
Videojuego Audio/Háptico para Desarrollar Habilidades de
Navegación en Aprendices que son Ciegos
1.
INTRODUCCIÓN
Es importante explorar el uso de tecnologías digitales interactivas en el desarrollo de
habilidades navegación, en especial de orientación y movilidad (O&M), particularmente
en Chile, donde casi no existen aplicaciones que apoyen la enseñanza de técnicas con
ejecución de rutas. Tales sistemas pueden favorecer el desarrollo de los sentidos,
complementando el uso de maquetas, u otras actividades propias de entrenamiento de
O&M para estudiantes con discapacidad visual. El adecuado dominio de estas destrezas es
clave en las personas sin visión, ya que de lo contrario alteran su comunicación,
interacción, desplazamiento y por sobre todo, su autonomía e independencia, procesos
claves para una adecuada integración escolar e inclusión social.
El propósito de esta investigación consistió en evaluar e investigar el impacto del uso de
un videojuego basado en tecnologías de audio y háptica, para el desarrollo y uso de
habilidades de O&M en situaciones de espacios abiertos. Para ello, consideramos un
espacio ficticio que contiene lugares que el aprendiz ciego navega y recorre habitualmente
en etapa escolar, así como también algunos que le están vedados por no disponer de la
correspondiente asistencia.
Para cumplir con este objetivo previamente se diseñó, desarrolló y evaluó la usabilidad de
un videojuego basado en háptica y audio que llamamos Audiopolis [8]. En el presente
trabajo nos enfocamos principalmente en presentar los resultados de la evaluación de
impacto cognitivo en el desarrollo de habilidades de O&M a través del uso del videojuego
Audiopolis por parte de aprendices ciegos.
2.
TRABAJO RELACIONADO
Cuando los usuarios legalmente ciegos pero con restos visuales interactúan con
videojuegos con pistas visuales aprovechan su resto de visión en beneficio de lograr
mejores resultados en la interacción. En el caso de los usuarios totalmente ciegos no
tienen esta posibilidad y es necesario proveerles toda la información del entorno por
medio de otros canales sensoriales como el tacto y el audio [5].
En un entorno espacial familiar, ya sea cerrado o abierto, un usuario ciego puede realizar
una navegación convencional, ya que conoce el entorno que le rodea y su contexto. En un
ambiente no familiar, la experiencia puede ser compleja y completamente dinámica [2]
porque durante el proceso de orientación, un niño que es ciego puede tener dificultades
espaciales considerando su posición en relación a puntos fijos y puntos en movimiento.
Lahav y Mioduser [3][4] estudiaron la relación que existe entre las representaciones
mentales del espacio que generan los usuarios ciegos utilizando ambientes virtuales con
interfaces de audio y háptica, y su transferencia al mundo real. Para ello, utilizan un
entorno virtual similar a uno real en que el usuario ciego recorre y entrena con la finalidad
de mejorar su navegación real.
AudioLink [6], AudioChile y AudioVida [9] son videojuegos basados en audio que fueron
diseñados y desarrollados para investigar en el uso de videojuegos para el desarrollo de
habilidades de resolución de problemas y desarrollo de habilidades de O&M.
Terraformers [11] es un videojuego para jugadores con baja visión realizado con gráfica 3D
y sonido espacial. Este juego fue desarrollado para determinar la viabilidad del uso de este
tipo de herramientas y para repetir la experiencia en otros ámbitos tales como
experiencias de realidad virtual, comercio electrónico y aprendizaje a distancia.
Las interfaces hápticas pueden ser un aporte para el desarrollo cognitivo de los aprendices
ciegos. Con dispositivos como el Phantom Omni y el Novint Falcon, que entregan un gran
feedback al usuario en su interacción con objetos virtuales, se pueden representar
superficies, objetos y gráficos, los que son reconocidos por los usuarios ciegos gracias a la
información transmitida por ellos [7][8][12]. Otro uso de estos dispositivos es la
representación de espacios virtuales como entrenamiento de usuarios ciegos para que
realicen una navegación cada vez más autónoma en el ambiente real [7][8]. A través del
Phantom Omni y el Novint Falcon el usuario recibe feedback háptico del entorno virtual,
con lo que puede reconocer objetos, paredes y pasillos, logrando generar un mapa mental
del espacio recorrido [3][4][7]. Simonnet y su equipo [10] desarrollaron un estudio sobre
el uso de un software que implementa un sistema de navegación basado en audio y
háptica utilizando el Phantom Omni, el cual resultó efectivo para entrenar a personas
ciegas en la generación de itinerarios de ruta de buques, a través del uso de estrategias
hápticas con el fin de construir representaciones de espacios utilizando mapas. Georgios y
su equipo [1] desarrollaron una herramienta interactiva de realidad virtual integrando
Phantom Omni y CyberGrasp (guante virtual) que permite a usuarios ciegos estudiar e
interactuar con diversos objetos virtuales especialmente diseñados para ese objetivo.
Finalmente, AbES es un simulador de ambientes donde el usuario ciego maneja un
personaje y, de esta forma, ejercita las habilidades de navegación en un ambiente
cerrado. La navegación en mAbES es una versión móvil de AbES y La interacción ocurre en
primera persona, simulando un museo de ciencias y tecnología de la Pontifícia
Universidade Católica do Rio Grande do Sul, Brasil. En estas aplicaciones el usuario posee
desafíos de manera que pueda percibir y analizar las informaciones Del espacio,
seleccionar caminos y objetos, planificar y ejecutar acciones de movilidad.
3.
AUDIOPOLIS
Audiopolis es un videojuego basado en audio y háptica cuyo propósito es mejorar las
habilidades de O&M en usuarios ciegos. Audiopolis representa virtualmente un ambiente
ficticio abierto de navegación en la ciudad para un aprendiz ciego. En este ambiente
existen diferentes elementos que componen la ciudad, tales como calles y edificios,
dentro de los cuales se puede encontrar un banco, museo, joyería, hospital, restaurante,
parque, plaza, colegio, supermercado, entre otros. El videojuego se desarrolla en primera
persona, donde el usuario puede moverse de forma libre por el espacio, pudiendo
avanzar, retroceder y girar, reconociendo ya sea de forma auditiva y/o háptica, las
distintas superficies por las que se desplaza y los diferentes obstáculos con los que se
encuentra. Audiopolis fue pensado para que el usuario pueda desplazarse en forma
independiente y logre conocer todo el mapa según rutas establecidas.
El juego se estructura en 12 etapas. En cada etapa un ladrón roba 1 objeto específico, y el
objetivo es justamente encontrar al ladrón. Para ello, el jugador comienza en el lugar del
robo, luego ĚĞďĞĚĞƐƉůĂnjĂƌƐĞĂϯůƵŐĂƌĞƐĚĞŶƚƌŽĚĞůĂĐŝƵĚĂĚ͞ƉĞƌƐŝŐƵŝĞŶĚŽ͟ĂůůĂĚƌſŶLJ
resolver las preguntas que se le harán para poder recibir las siguientes pistas y así poder
avanzar dentro de la ciudad. Una vez encontrado el objeto, el jugador avanza a la
siguiente etapa.
El videojuego posee 3 interfaces de interacción con el aprendiz ciego (háptica, audio, y
háptica + audio). La interfaz de audio posee dos componentes principales, una ambiental y
otra instructiva. La componente ambiental consiste en un conjunto de sonidos que
simulan tanto el ambiente interior como exterior del lugar en donde se encuentra el
jugador, además sirve para entregar información que permite a los aprendices reconocer
la forma de distintos objetos geométricos. La componente instructiva consta de las
preguntas para entregar las pistas y de las instrucciones de menú, tales como: salir,
guardar juego, etc.
Como interfaz háptica se utilizó el dispositivo Novint Falcon. El jugador se moviliza en la
ciudad presionando las flechas de dirección del dispositivo, y al arrastrar el puntero 3D por
el suelo, puede encontrarse en el camino con desniveles, cambios de superficies,
obstáculos, etc. Por otra parte, el jugador también puede reconocer objetos que
encuentra en el videojuego explorándolos con el dispositivo. En este caso se modela un
objeto en 3D y con el control háptico se busca simular una mano.
La interfaz de háptica + audio combina las dos interfaces anteriormente nombradas con el
fin de proveer al usuario mayor información del lugar donde se encuentra y apoyar de
forma más amplia la tarea de O&M.
Finalmente, la interfaz gráfica representa de forma visual el entorno virtual por el cual el
usuario se desplaza, siendo un apoyo para que los facilitadores con visión puedan
observar dónde y en qué situación del juego se encuentra el usuario ciego y así poder
ayudarlo en caso de ser necesario.
4.
METODOLOGIA DE EVALUACIÓN DE IMPACTO COGNITIVO
4.1
Muestra
La muestra estuvo compuesta por 12 aprendices (8 mujeres, 4 hombres) de edades entre
10 y 15 años, con necesidades educativas especiales derivadas de su discapacidad visual
(11 ciegos y 1 baja visión) de primer y segundo ciclo de Educación General Básica,
provenientes de los establecimientos escolares Colegio Hellen Keller y Centro Educacional
Santa Lucía en Santiago de Chile. Cabe señalar que en estudios de este tipo de personas
con el uso de tecnología generalmente la muestra tiende a ser reducida ya sea por la
disponibilidad de estos usuarios para realizar el estudio como por la intensidad de trabajo
con cada usuario ciego.
4.2
Tareas
Se elaboraron 3 tareas de apresto y 12 tareas cognitivas. Las tareas de apresto fueron
diseñadas para introducir a los sujetos participantes de la muestra en los conceptos y
componentes en los que se basa el videojuego. Las tareas de apresto corresponden a: (1)
técnica de reloj, cuyo objetivo es la adopción de esta técnica de orientación para
relacionarlo con la interacción en el videojuego, (2) figuras geométricas, cuyo objetivo es
desarrollar la interpretación de las figuras en relación a la modalidades de interacción en
el videojuego, y (3) elementos del videojuego, cuyo objetivo es introducir el uso integrado
de todos los elementos del videojuego. En tanto, las 12 tareas cognitivas estuvieron
enfocadas a desarrollar incrementalmente habilidades de O&M específicas según interfaz
del software. Aquí encontramos tareas cognitivas relacionadas con la percepción del
espacio a través de sonido, háptica o ambas y también con la comprensión de la dinámica
del videojuego, es decir lo que se logra al avanzar e interactuar con los elementos del
videojuego (4 niveles). También hay 4 niveles de tareas cognitivas relacionadas con
movimiento, direccionalidad y distribución, para trabajar el movimiento y las direcciones
con la ejecución de giros ligados al sistema reloj, percibiendo lugares y su organización.
Finalmente, hay 4 niveles de tareas cognitivas sobre establecimiento de distancia, cuyo
propósito fue estudiar la estructuración de Audiopolis y la relación entre pasos y distancia,
esto es, a mayor cantidad de pasos, mayor distancia de un lugar a otro.
4.3
Instrumentos
Los instrumentos de evaluación utilizados para esta investigación fueron creados por un
grupo de educadoras diferenciales en problemas de visión que forma parte del equipo de
trabajo, a partir de los instrumentos que se utilizan cotidianamente en los centros
especializados de personas con discapacidad visual. Estos instrumentos corresponden a
Listas de Cotejo sobre habilidades de O&M y un Test de O&M.
Las listas de cotejo fueron diseñadas según el desarrollo de habilidades relacionadas con
la ejecución de las tareas de apresto y de las tareas cognitivas, debido a que ambas
contienen aspectos y dimensiones a evaluar con indicadores de nivel de logro. Los
criterios de evaluación para cada indicador de estas listas de cotejo fueron: logrado (L), en
proceso (EP), no logrado (NL) con puntajes equivalentes a 2, 1 y 0, respectivamente.
El diseño del Test de O&M se elaboró con el objetivo de estimar el nivel de conocimientos
relacionado con esta área de aprendizaje específica en aprendices con Discapacidad
Visual. Las dimensiones incluidas en el test son: (1) Desarrollo sensorial (percepción
auditiva y percepción táctil kinestésica), (2) desarrollo tempo-espacial, y (3) técnicas de
O&M, agrupando en total 13 ítems y 71 indicadores, cuyos criterios de evaluación para
cada indicador fueron logrado (L), en proceso (EP), no logrado (NL) con puntajes
equivalentes a 2, 1 y 0, respectivamente.
4.4
Procedimiento
En la fase previa al uso del software se aplicó el test de O&M a los usuarios de la muestra,
a modo de pre-test, con el fin de conocer las habilidades iniciales de los sujetos. Luego los
usuarios realizaron las 3 tareas de apresto relacionadas con las habilidades que los sujetos
debían conocer antes de utilizar el videojuego, donde se registró el logro de las tareas con
las listas de cotejo diseñadas para cada actividad. Durante el proceso de intervención con
el videojuego, los usuarios realizaron las 12 tareas cognitivas, dedicando una sesión por
tarea, las cuales comprendieron la ejecución de una serie de actividades según
dimensiones descritas anteriormente y de acuerdo a los 3 niveles de complejidad del
videojuego. Se registró el logro de los ítems de las tareas de acuerdo a las listas de cotejo
diseñadas para cada actividad. Finalmente, en la etapa de término se aplicó a los usuarios
el test de O&M a modo de pos-test con el objetivo de determinar si hubo un efecto en las
habilidades evaluadas previamente, ya sea desarrolladas o aprendidas.
5.
RESULTADOS
La muestra obtuvo un desempeño satisfactorio en las tareas de apresto, logrando una
media por sobre el 90%. En general, el buen desarrollo de actividades propuestas preparó
a los aprendices para la aplicación de las tareas cognitivas. Luego, a lo largo del desarrollo
de las Tareas Cognitivas el porcentaje de logro se mantuvo alto y homogéneo (entre 78% y
85%), lo cual es importante si consideramos que la complejidad de las tareas fue
incremental.
Para el test de O&M se analizó al conjunto completo de participantes y de acuerdo al
grupo de interfaz de videojuego (interfaces de interacción háptica, audio, y háptica +
audio). Fueron evaluadas la dimensión Desarrollo sensorial (DS), desglosando además sus
sub-dimensiones Desarrollo sensorial auditivo (DSA) y Desarrollo sensorial háptico (DSH),
la dimensión Desarrollo tempo-espacial (DTE) y la dimensión Técnicas de O&M (TOyM). Al
tomar los resultados obtenidos por los 12 usuarios de la muestra, se realizó una prueba T
para comparar las medias de los indicadores obtenidos en el pre-test y post-test.
Todas las dimensiones presentaron incrementos en sus medias de post-test con respecto
a las medias obtenidas en el pre-test. Sin embargo, estas diferencias en las medias
resultaron estadísticamente significativas en las dimensiones DSA (t=-4,005; p<0,05), DSH
(t=-3,079; p<0,05), DS (t=-5,326; p<0,05), TOyM (t=--2,907; p<0,05) y Global Indicator (t=4,366; p<0,05).
Complementariamente, se realizó un test de MANOVA sobre los datos de post-test,
considerando como factores los 3 grupos de interfaz usuaria (audio, háptica, y audio +
háptica). De acuerdo al análisis de la MANOVA, las medias de los vectores para los
diferentes grupos de interfaces no presentaron diferencias estadísticamente significativas
entre ellos. Esto quiere decir que los resultados para las diferentes dimensiones no
difieren en función de la interfaz que define los grupos. No existen diferencias de
desempeño al usar las tres interfaces (háptica, audio, y háptica + audio. Es posible que el
tamaño de nuestra muestra de estudio no fuese suficiente para detectar tales diferencias.
En base a estos resultados, se puede señalar que, en general, el uso del videojuego
permite mejorar las habilidades cognitivas asociadas a las dimensiones DSA, DSH, SD,
O&MT y el indicador global. Esto sucede en todas las interfaces estudiadas.
5.
CONCLUSIONES
El uso de Audiopolis, un videojuego basado en audio y háptica, impactó positivamente en
el desarrollo y uso de habilidades de O&M en aprendices ciegos en edad escolar. A partir
de esto se puede inferir que las interfaces de audio y háptica del videojuego pueden
ayudar y favorecer el desarrollo de habilidades de O&M de aprendices ciegos.
El entorno virtual, como simulación de un espacio con características urbanas, permitió a
los aprendices trabajar ĞŶ ƵŶ ͞ĂŵďŝĞŶƚĞ ƐĞŐƵƌŽ͘͟ ů ŵŽŵĞŶƚŽ ĚĞ ƌĞĂůŝnjĂƌ ůĂƐ ƚĂƌĞĂƐ ĚĞ
búsqueda solicitadas, los aprendices pusieron a prueba sus conocimientos previos y
reforzando conceptos. En este sentido, la predisposición al aprendizaje se vio favorecida
con el uso del videojuego, observándose una alta motivación de los aprendices en la
ejecución de las actividades.
Los aprendices fueron capaces de crear estrategias nuevas para resolver problemas de
desplazamiento a nivel virtual con Audiopolis. Por ejemplo, retroceder para reorientarse
en una ruta, rodear obstáculos, guiarse por el sonido o el tacto para conocer el límite de
un espacio. En general, el grupo de aprendices mostró un aumento en las habilidades de
navegación con el videojuego que se aprecia en la rapidez con que sobrepasan las etapas
del videojuego, realizando desplazamientos cada vez más eficientes.
El uso de diferentes interfaces por parte de los usuarios no generó diferencias en sus
logros, sin embargo este resultado no es absoluto. Como trabajo futuro queda propuesto
trabajar con un mayor número de usuarios, que permita asegurar si existen o no
diferencias en el uso de las diferentes interfaces.
La utilización de diferentes interfaces en el videojuego logró generar un efecto positivo en
el aprendizaje de habilidades de O&M, lo cual fue observado en los resultados estadísticos
para las dimensiones desarrollo sensorial (y también para las sub-dimensiones Desarrollo
sensorial auditivo y desarrollo sensorial háptico), Técnicas de O&M y en el indicador global
de O&M. Como trabajo futuro está propuesto ampliar la muestra para obtener resultados
que permitan mostrar resultados por grupo de interfaz usuaria.
6.
AGRADECIMIENTOS
Este reporte fue financiado por el Fondo Nacional de Ciencia y Tecnología, Fondecyt
#1120330 and por el Proyecto CIE-05 Programa de Centros de Educación PBCT-Conicyt.
7.
REFERENCIAS
[1] Georgios, N., Tzovaras, D., Moustakidis, S. & Strintzis, M. 2004. Cybergrasp and
PHANTOM integration: enhanced haptic access for visually impaired users.
In
SPECOM-2004, pp.507-513
[2] Kulyukin, V., Gharpure, C., Nicholson, J. & Pavithran, S. 2004. RFID in robot-assisted
indoor navigation for the visually impaired, IEEE/RSJ Intelligent Robots and Systems
(IROS 2004) Conference, September - October 2004, Sendai Kyodo Printing: Sendai,
Japan, pp. 1979- 1984
[3] Lahav, O. & Mioduser, D. 2008. Haptic-feedback support for cognitive mapping of
unknown spaces by people who are blind. International Journal Human-Computer
Studies 66(1), pp. 23-35.
[4] Lahav, O. & Mioduser, D. 2008. Construction of cognitive maps of unknown spaces
using a multi-sensory virtual environment for people who are blind. Computers in
Human Behavior 24(3), pp. 1139-1155.
[5] Sánchez, J. 2007. User-Centered Technologies for Blind Children. Human Technology
Journal, 45(2), November 2008, pp. 96-122.
[6] Sánchez, J. & Elías, M. 2007. Guidelines for Designing Mobility and Orientation
Software for Blind Children. In C. Baranauskas et al. (Ed.): INTERACT 2007, Lecture
Notes of Computer Science, LNCS 4662, Part I, pp. 375-388, 2007. © IFIP International
Federation for Information Processing.
[7] Sánchez, J. & Espinoza, M. 2011. Audio haptic videogaming for navigation skills in
learners who are blind. In The proceedings of the 13th international ACM SIGACCESS
conference on Computers and accessibility (ASSETS '11). ACM, New York, NY, USA,
227-228.
[8] Sánchez, J. & Mascaró, J. 2011. Audiopolis, navigation through a virtual city using
audio and haptic interfaces for people who are blind. In Proceedings of the 6th
international conference on Universal access in human-computer interaction: users
diversity - Volume Part II (UAHCI'11), Constantine Stephanidis (Ed.), Vol. Part II.
Springer-Verlag, Berlin, Heidelberg, 362-371.
[9] Sánchez, J. & Sáenz, M. 2006. 3D sound interactive environments for blind children
problem solving skills. Behaviour & Information Technology, 25(4), pp. 367 ʹ 378.
[10]
Simonnet, M., Guinard, J-Y. & Tisseau, J. 2006. Preliminary work for vocal and
haptic navigation software for blind sailors. Proceedings 6th International Conference
on Disability, Virtual Reality and Associated Technologies, ICDVRAT 2006, Esbjerg,
Denmark, pp. 255-262.
[11]
Westin, T. 2004. Game accessibility case study: Terraformers ʹ a real-time 3D
graphic game. In Proceedings of the 5th ICDVRAT 2004, Oxford, UK, pp. 95-100.
[12]
Yu, W., & Brewster 2002. S.A. Comparing Two Haptic Interfaces for Multimodal
Graph Rendering. Proceedings of the 10th Symposium on Haptic Interfaces for Virtual
Environment and Teleoperator Systems (Haptics 2002), Florida, USA, IEEE, pp. 3-9.