Estudio de caso: Una Evaluación de la Accesibilidad Web

Estudio de caso: Una Evaluación de la Accesibilidad Web

Estudio de caso: Una Evaluación de la Accesibilidad Web
Mediante WCAG y Observación de Usuarios Ciegos y
con Restos de Visión1
Mercè Porras Serrano, Mireia Ribera Turró
Universidad de Barcelona. Departamento Biblioteconomía y Documentación
Abstract. Se presentan los principales resultados de un estudio exploratorio de
evaluación de la accesibilidad de un sitio web de la administración pública
catalana mediante la realización de un test de usabilidad con participantes con
discapacidad visual, como método complementario a la revisión del
cumplimiento de las WCAG 1.0. Entre los errores más graves y frecuentes
localizados están diversos problemas de estructura, problemas de identificación
incorrecta de elementos, problemas de tipografía y contrastes, problemas con el
buscador y problemas de lenguaje.
Keywords: blind, vision impaired, accessibility evaluation, WCAG, Zoomtext,
Jaws.
1 Introducción
(OHVWXGLRVHUHDOL]yVREUHHOVLWLRZHE³%LEOLRWHTues públiques de Catalunya2´TXHVH
encontraba en fase de prelanzamiento. Este sitio web dependiente de la Administración
pública deberá cumplir por ley al menos el nivel AA de las directrices WCAG 1.0 a
partir del 31 de diciembre de 2008 [10].
Con el estudio se perseguía la accesibilidad oficial pero también la funcional, por
ello se usaron dos métodos complementarios: la revisión de directrices (Pautas de
Accesibilidad al Contenido en la Web -WCAG 1.0- [24]) y la observación de usuarios.
2 Revisión de la Literatura
Diversos autores, como Brajnik [1], han sistematizado y estudiado la evaluación de la
accesibilidad o la usabilidad con herramientas y han establecido los métodos y
variables para el estudio con usuarios [5, 16].
(ODUWtFXORGHVFULEHODPHWRGRORJtD\UHVXOWDGRVGHOSUR\HFWRILQDOGHO³0iVWHUHQ*HVWLyQGH
&RQWHQLGRV 'LJLWDOHV´ GH 0HUFq 3RUUDV GLULJLGR SRU 0LUHLD 5LEHUD [17]. La bibliografía se ha
completado y actualizado respecto al proyecto original.
2 Dependiente del Departament de Cultura, Servei de Cooperació Bibliotecària de la Generalitat
de Catalunya. URL: http://biblioteques.gencat.cat
1
IX Congreso Internacional Interacción, Albacete 9-11 de Junio de 2008
Grupo LoUISE-Universidad de Castilla-La Mancha
120 M. Porras, M. Ribera
En cuanto a metodología recientemente han aparecido diversos estudios que
combinan medidas objetivas y subjetivas [7] y comentan la dificultad de aplicar las
WCAG y la necesidad de observar usuarios reales [8],[12],[13]. En concreto el informe
de evaluación de la Comisión de los Derechos de las Personas con Discapacidad sobre
varios webs en Reino Unido [4] presenta grandes diferencias entre los resultados
obtenidos según las WCAG y según los usuarios.
Aunque son escasos los estudios con usuarios reales, diversos autores [9] apuntan
hacia una reevaluación de los criterios más comúnmente aceptados para validar páginas
web. Theofanos y Redish, por ejemplo, han estudiado a fondo los patrones de
navegación de usuarios ciegos que utilizan lectores de pantalla [22] y de usuarios con
restos de visión que usan magnificadores de pantalla, como Zoomtext [23]. También se
consideraron investigaciones como el de Bruggeman, y Legge [2] sobre los patrones de
lectura de usuarios con restos de visión.
3 Metodología
La metodología, se diseñó siguiendo las orientaciones de autores como Nielsen y
Pernice Coyne [16] Dumas y Redish [5],[18], o Rubin [20], y a partir de los trabajos de
Brajnik [1], Mankoff [12] y Kelly [8]. La metodología se enriqueció con el estudio
diversos casos (p. ej. [11]) documentados de realización de tests de usabilidad, a
destacar el estudio dirigido por Térmens [22] (véase también [19]) en el que se hace
una descripción detallada de todos los instrumentos usados en el test de usabilidad.
Se definieron categorías de páginas atendiendo a criterios de diseño y de carácter
técnico (p.ej. inclusión de formularios, listas, enlaces, etc.) y tipología de contenidos
(p.ej. noticias, selecciones de enlaces, etc.) En total se analizaron 7 páginas.
En cada una de ellas se analizó hasta el cumpOLPLHQWRGHOQLYHOGHSULRULGDG³$$´
de las Directrices WCAG 1.0 de forma semiautomática, utilizando herramientas de
verificación automáticas (W3C Markup Validator, TAW, Cynthia y Bobby) y
completando el análisis de forma manual.
Se realizó un test de usabilidad con 3 participantes ciegos y 3 participantes con
restos de visión con las siguientes características sociodemográficas:
Tabla 1. Características sociodemográficas de los participantes 3
Ciegos
Con restos de visión
Sexo
2 Muj., 1 Var.
2 Muj., 1 Var.
Edad
Entre 36 y 45 años
Entre 21 y 34 años
Nivel de formación
Prim., Secun. y Univ.
Prim., Secun. y Univ.
Experiencia uso ordenador Entre 6 y 14 años
Entre 3 y 8 años
Experiencia uso Internet
Entre 3 y 12 años
Entre 3 y 7 años
A cada usuario se le plantearon 3 tareas en orden alternado consistentes en localizar
una información solicitada: horarios en dos casos y centros concretos en el restante. Las
pruebas se realizaron en un ordenador portátil con Windows XP, teclado normativo,
3
Lectura; Muj.: mujer; Var.: varón; Prim.: estudios de primaria; Secun.: estudios de secundaria;
univ.: estudios universitarios
Estudio de caso: Una Evaluación de la Accesibilidad Web Mediante WCAG
121
JAWS 6.20 y Zoomtext 9.0. Los tests se grabaron con Morae 1.3 y con cámara de
vídeo (expresiones faciales y actividad en pantalla) para su posterior revisión.
El principal indicador de eficacia fue que el usuario finalizara la tarea correctamente
en el tiempo máximo fijado. Este indicador se valoró como: Respuesta correcta (RC),
Respuesta parcialmente correcta (PC) i No Respuesta (NR) 4. Como indicadores de
eficiencia se utilizaron el tiempo de resolución de cada tarea, el tiempo utilizado en
localizar la información solicitada una vez que el usuario está en la página target, el
número de veces que un usuario ha visitado la misma página., el tiempo invertido en
navegar por los menús, el tiempo invertido en el buscador general del sitio web y en
otras ayudas a la navegación, el número de páginas visitadas (ruta de navegación) y el
número de errores detectados. Como Indicador de satisfacción se utilizó el resultado de
un test adhoc en el que se le pedía al usuario que valorará su realización, también se
usaron observaciones de frustración, confusión, o expresiones de satisfacción
encontradas en los vídeos. En el caso de los errores estos se clasificaron por grado de
severidad en Problema crítico, Problema grave, Problema menor o Descubrimiento
positivo; por alcance en General o Específico y por categorías en Navegación,
Identificación, Color y Contraste, Funcional y Lenguaje.
4 Resultados
4.1 Resultados de la Evaluación a Partir de WCAG 1.0 5
La evaluación del sitio web siguiendo las WCAG 1.0 demostró que no se superaba el
nivel A de accesibilidad, debido por ejemplo a no marcar bien los cambios de lenguaje,
las cabeceras de tablas o no proveer alternativas a scripts. Errores de nivel AA fueron
documentos no válidos, uso incorrecto de encabezados o marcas de listas. Se detectaron
11 errores de nivel A y 43 de nivel AA. Se dedujo que, con mínimos cambios, llegaría
a superar este nivel fácilmente y que, con mayores cambios se podría superar el nivel
AA. Algunos de los errores tenían su origen en fallos del propio CMS que se utilizaba.
4.2 Resultados del Test de Usabilidad
Los indicadores usados se valoraron cualitativamente, pues la muestra con la se
trabajaba (tanto en número de usuarios como en número de tareas) era, para algunas de
las métricas, sólo simbólica. La valoración final del test, mediante la fórmula
aglutinadora de resultados de todas las métricas dio como resultado que el sitio web era
4
5
Siguiendo recomendaciones de Nielsen [24], el cálculo utilizado para medir el éxito de
compleción del test es: Nº total de RC + (Nº total de PC) / TotDOWDUHDVGRQGH³7RWDOWDUHDV´HV
la multiplicación del número de tareas por el número de usuarios del test
Aunque el seguimiento de las WCAG 2.0 [25] permitirá desarrollar interfaces mejor
adaptadas para personas con discapacidad visual, entre otras discapacidades, y que cumplan
con diversos principios de usabilidad, el proyecto se centró en la revisión de las WCAG 1.0
[24] por ser el documento en vigor en el momento de su realización y el estándar que está
contemplado por la legislación española [10].
122 M. Porras, M. Ribera
Excelente para los usuarios ciegos y Aceptable pero al límite de No aceptable para los
usuarios con restos de visión. Esta disparidad de resultados entre los dos grupos de
usuarios fue uno de los principales hallazgos en el análisis del test de usabilidad que,
además, contrastan significativamente -en el caso del grupo de participantes ciegoscon los resultados de la evaluación del sitio web a partir de las WCAG 1.0, según los
cuales éste no era accesible.
Respecto al criterio de eficacia, sólo uno de los tres participantes con restos de
visión llegó a superar correctamente dos de las tareas, mientras que los otros dos
participantes sólo superaron correctamente una de las tareas. Todos los participantes
ciegos consiguieron finalizar todas las tareas. Estos resultados son representativos de
las diferencias entre ambos grupos de usuarios: En cuanto a la eficiencia, los
participantes ciegos consiguieron finalizar la mayoría de tareas dentro del tiempo
previsto, a diferencia de los participantes con restos de visión, que sólo finalizaron tres
tareas en el tiempo previsto; se puede observar pues que en este caso la diferencia entre
ambos grupos de usuarios es aún mayor. El análisis de las grabaciones de los tests
permitió observar cómo los usuarios con restos de visión hacían un mayor uso de las
ayudas a la navegación proporcionadas por el sitio web (como Buscador o Mapa del
sitio), dedicaban mayor tiempo de navegación en los menús de navegación y centraban
el foco de atención en el margen superior izquierda; estos aspectos ralentizaron la
realización de algunas de las tareas
Destacó el alto nivel de satisfacción expresado por los usuarios ciegos. Este
resultado se ajusta a lo que ya han apuntado otros autores como Lazar [9] o Theofanos
y Redish [22] respecto a que el umbral de frustración de estos usuarios es mucho más
alto que cualquier otro usuario sin discapacidad visual. Los usuarios con restos de
visión, en cambio, tienen un nivel de frustración similar al de los usuarios sin
discapacidades visuales, hecho que hace que sus valoraciones sean más objetivas a ojos
del facilitador. Otro posible factor detectado que podría influenciar en los resultados es
el bajo -o nulo- uso que los participantes con restos de visión hicieron de algunas
funcionalidades de Zoomtext (p. ej. el lector de pantalla) que, en ocasiones les hubiesen
facilitado la lectura de las páginas y la posterior compleción de las tareas.
4.3 Errores Detectados
El número de errores y observaciones totales únicos 6 detectados fue de 49. De éstos,
41 se detectaron sólo con uno de los dos métodos, concretamente un 6 (un 15%) se
detectaron con la revisión a partir de las WCAG 1.0 y 35 (un 85%) con el test de
usabilidad.
Entre los errores más graves y más frecuentes detectados destacan:
Etiquetas de cabecera mal utilizadas, como por ejemplo, <h1>, <h2>. Provocó
problemas a los usuarios para comprender la estructura de contenidos de la página,
hasta el punto incluso de impedir finalizar la tarea. Se detectó en 7 ocasiones con
la revisión de las WCAG 1.0 y en 3 ocasiones en el test de usabilidad con
participantes ciegos. Este problema también ha sido citado por Murphy [14].
6
Errores contados una única vez, sin contar repeticiones del mismo error u observación
detectados en los diferentes tests de usabilidad realizados o dentro de un mismo test, o en
diferentes páginas con la evaluación a partir de las WCAG 1.0
Estudio de caso: Una Evaluación de la Accesibilidad Web Mediante WCAG
123
Inexistencia de subsecciones: provocó graves problemas de comprensión de la
estructura de una página que contenía un volumen considerable de información y
retardó la identificación de la respuesta correcta a una de las tareas planteadas.
Listas mal utilizadas: principalmente en los menús de navegación local. Se detectó
en las 7 páginas analizadas con las WCAG 1.0, y durante la realización del test de
usabilidad con dos de los participantes ciegos se pudo observar que hubieran
podido hacer una navegación más directa, sin pasar por algunas páginas
intermedias.
Fig. 1. Ejemplo de listas mal utilizadas en navegación local
Enlaces mal identificados: HVWHHUURULQFOXtDWDQWRHQODFHVVLQHODWULEXWR³WLWOH´R
con este atributo con información poco identificativa, como enlaces demasiado
extensos. Se detectó en 9 ocasiones con las WCAG 1.0 y en 5 ocasiones con el test
de usabilidad, afectando tanto a usuarios ciegos como a usuarios con restos de
visión. Este problema está repetidamente documentado en la literatura analizada
(p. ej.[6],[7],[14]).
Tablas mal identificadas: Este error hizo que algunos participantes ciegos dudaran
y volvieran a leer la página que contenía la tabla desde su inicio e, incluso, uno de
los participantes volvió momentáneamente a la página anterior para cerciorarse
que había hecho la selección correcta. Este error se había identificado previamente
con las WCAG 1.0 en 3 tablas.
Tablas demasiado largas: provocaron serias dificultades a todos los participantes
con restos de visión. Con el uso de Zoomtext, con hasta 5 aumentos, una tabla
llegaba a ocupar 3 pantallas (tal y como muestra la siguiente imagen).
Fig. 2. Visualización de las 3 columnas de una tabla con Zoomtext (x5)
Identificación semántica de las páginas: Carencia de metadatos y, en algún caso,
con títulos (tag <title>) incorrectos. Este último error se pudo observar con un
124 M. Porras, M. Ribera
usuario ciego que inició la lectura de una página en 3 ocasiones para cerciorarse de
que se encontraba en la página correcta.
Medidas absolutas: Ello provocó problemas graves a los participantes con restos
de visión, ya que dificultaba la diferenciación de algunos elementos (por ejemplo,
los títulos de secciones de los párrafos de texto). Este error se detectó en las 7
páginas analizadas con las WCAG 1.0.
Funcionamiento deficiente del buscador general del sitio, en relación tanto a la
pertinencia como la presentación final de resultados. Se observó que los
participantes, en especial los tres participantes con restos de visión, lo utilizaron de
forma sistemática para localizar la información solicitada, pero en ningún caso
obtuvieron resultados pertinentes. Se detectó, además, que el diseño de la
presentación de resultados tampoco ayudaba a identificar los resultados o a
optimizar la búsqueda. El informe de la DRC en el Reino Unido recomienda
mejorar el diseño de los buscadores [4].
Altura excesiva de la cabecera del sitio web: en todas las tareas realizadas por los
participantes con restos de visión se pudo observar que tanto la imagen de fondo
como la medida de tipografía utilizada en la cabecera del sitio web dificultaba
gravemente la utilización de las distintas páginas para los usuarios de Zoomtext, ya
que con sólo 3 aumentos ocupaba una pantalla de alto y varias de anchura (ver
imagen a continuación). Se pudo observar que estos usuarios centran gran parte de
su navegación en el ángulo superior izquierda de las páginas, hecho que permite
discernir la importancia de los contenidos de esa parte o sección.
Definición de colores y contraste: los tres usuarios con restos de visión tuvieron
SUREOHPDV DO LQWHQWDU XWLOL]DU OD RSFLyQ ³$OWR FRQWUDVWH´ GH :LQGRZV R GH
Zoomtext, ya que, o bien no funcionó en algunas páginas o el contraste resultante
con el fondo en negro era muy pobre. Además, uno de los participantes destacó
dos problemas de contraste en algunos elementos que no se habían detectado con
la revisión del sitio a partir de las directrices WCAG 1.0. La importancia de los
contrastes de colores coincide con los resultados de Evett y DRC [4, 6].
Fig. 3. Vistal parcial de la cabecera del sitio web analizado con Zoomtext (x5)
Lenguaje demasiado especializado: usuarios de ambos grupos tuvieron
dificultades para comprender algunas palabras pertenecientes a jerga del ámbito
del sitio (bibliotecas). El lenguaje claro es uno de los problemas más difíciles de
detectar de forma automática pero que se identifica como grave con usuarios
[7],[8].
Uso de Javascript: la evaluación con las WCAG 1.0 permitió detectar 4 errores
con el uso de Javascript que no disponía de alternativas; el más grave se detectó en
un formulario de búsqueda principal que es la única vía de acceso a la información
Estudio de caso: Una Evaluación de la Accesibilidad Web Mediante WCAG
125
detallada de cada biblioteca. No se observó ninguna disfunción con este formulario
en la realización del test de usabilidad.
Menús repetitivos y demasiado detallados: el test de usabilidad permitió observar
en 5 ocasiones la problemática de los menús con demasiadas opciones. Se dio el
caso que en una de las páginas analizadas que servía como hub (o página de
navegación intermedia), y cuyo menú de navegación local contenía más de 17
opciones, en su sección principal se repetía exactamente el contenido del
mencionado menú. Ambos grupos de usuarios tuvieron problemas: los usuarios
ciegos porqué leían los mismos enlaces por duplicado y los usuarios con restos de
visión porqué el zoom que utilizaban no permitía diferenciar el menú lateral del
contenido principal y también leían las opciones repetidas.
A diferencia de otros estudios [7, 8, 14] los problemas generales de navegación
afectaron principalmente al grupo de usuarios con restos de visión. Otros estudios citan
la dificultad de formularios y la necesidad de formación como cuestiones esenciales
[14].
4 Discusión
Los resultados obtenidos en el proyecto presentan nuevos datos y confirman algunos ya
documentados respecto a las barreras de accesibilidad con que se encuentran las
personas ciegas o con restos de visión. Además refrendan la combinación de métodos y
la inclusión de usuarios reales en la evaluación de la accesibilidad, en la línea de otros
autores [12, 13], para su aplicación en aquellos proyectos en los que se necesite evaluar
la accesibilidad web lo más exhaustivamente posible pero que no cuentan con grandes
medios para hacer un estudio cuantitativo.
Algunas implicaciones para el diseño de sitios web son mejorar la estructuración de
estas, hacer diseños aún más líquidos (véanse por ejemplo las recomendaciones de
Clark [3]), mejorar el diseño de los buscadores y los textos de los enlaces.
Una línea futura de investigación identificada en este artículo es la necesidad de
estudiar a fondo los patrones de navegación web de estos usuarios, así como de los
elementos de diseño que ralentizan el ritmo de lectura. Otras líneas futuras de
investigación serían, un análisis de la revisión de directrices más comprehensivo
LQFOX\HQGR GLUHFWULFHV JHQHUDOHV GH XVDELOLGDG GLUHFWULFHV SDUD SHUVRQDV PD\RUHV«
como las citadas en [15, 6].
Referencias
1. Brajnik, G.: Web Accessibility Testing: When the Method is the Culprit. In: ICCHP 2006, 10th
International Conference on Computers Helping People with Special Needs, Springer Verlag.
(2006)
2. Bruggeman, H., Legge, G.E.:. Psychophysics of reading. XIX. Hypertext search and retrieval
with low vision. Proceedings of the IEEE 90, 94-103 (2002)
3. Clark,
J.:
Big,
Stark
&
Chunky.
A
List
Apart
(2005),
http://www.alistapart.com/articles/lowvision/ [Consulta: Abril 2008]
126 M. Porras, M. Ribera
4. Disability Rights Comission: The Web . Access and Inclusion for Disabled People. A formal
investigation. London: The Stationery Office (2004)
5. Dumas J.S., Redish J. : A Practical guide to usability testing. Intellect, Exeter [etc.] (1999)
6. Evett, L., Brown, D.: Text formats and web design for visually impaired and dyslexic readers:
Clear text for all Interacting with computers 17(4), 453-472 (2005)
7. Federici, S., [et al.]: Checking an integrated model of web accessibility and usability
evaluation for disabled people Disabiliy and Rehabilitation 27 (13), 781-790 (2005)
8. Kelly, B. [et al.]: Forcing standardization or accommodating diversity? A framework for
applying the WCAG in the Real World. International Cross-Disciplinary Workshop on Web
Accessibility (W4A), ACM International Conference Proceeding Series, Vol. 88, pp. 46-54.
ACM Press, New York (2005)
9. Lazar, J. [et al.]: What frustrates screen reader users on the web: a study of 100 blind users.
International Journal of Human-Computer Interaction 22(3), 247-269 (2006)
10.LEY 56/2007, de 28 de diciembre, de Medidas de Impulso de la Sociedad de la Información.
BOE n. 312 de 29/12/2007
11. Lindgaard, G., Chattratichart, J.: Usability testing: what have we overlooked?. In: Proceedings
of the SIGCHI conference on Human factors in computing systems, pp. 1415 ± 1424. ACM
Press, New York (2007)
12.Mankoff, J., Fait, H., Tran, T.: Is your web page accessible?:A comparative study of methods
for assessing web page accessibility for the blind. Proceedings of the SIGCHI conference on
Human factors in computing systems, pp. 41-50. ACM Press, New York (2005)
13.Milne, S., [et al.]: Are guidelines enough? An Introduction to designing web sites accessible
to older people. IBM systems journal 44(3), 557-571 (2005)
14.Murphy, E. [et al.]: An empirical investigation into the difficulties experienced by visually
impaired Internet users. Universal Access in the Information Society (2007)
15.Nicolle, C., Abascal, J. (Eds.): Inclusive Design Guidelines for HCI. Taylor and Francis,
London (2001)
16.Pernice Coyne, K., Nielsen, J.: How to conduct usability evaluations for accessibility:
methodology guidelines for testing websites and intranets with users who use assistive
technology. Nielsen Norman Group, Fremont, CA (2001)
17.Porras, M., Ribera, M. ; Pérez-Montoro, M. Estudi sobre el nivell d'accessibilitat del lloc web
"Biblioteques Públiques de Catalunya" (2007). http://www.recercat.cat/handle/2072/4629
18.Redish, J. C., Wixon, D.: Task analysis. In: Jacko, J., Sears, A. (Eds.), The Human-Computer
Interaction Handbook. Mahwah. Lawrence Erlbaum Associates, NJ, pp. 922-940 (2003)
19.Ribera, M., Térmens Graells, M., García, M.: Cómo realizar tests de usabilidad con personas
ciegas. El profesional de la información 17(1), 99-105 (2008)
20.Rubin, J. : Handbook of usability testing : how to plan, design, and conduct effective tests .
John Wiley & Sons, New York [etc.]. (1994)
21.Térmens Graells, M.; [et al.]: Estudio de la accesibilidad de la documentación científica en
soporte digital. Barcelona. Ref: EA2006-0049.
http://www.centrorecursos.com/mec/ayudas/repositorio/20061215001338EA20060049.%20Informe%20final.pdf [Consulta: Junio 2007] (2006)
22.Theofanos, M. F., Redish, J. C.: Guidelines for accessible and usable web sites: Observing
users who work with screen readers. Interactions, 10(6), 38-51 (2003)
23.Theofanos, M. F. ; Redish, J. C.: Helping Low-vision and Other Users with Web Sites That
Meet Their Needs: Is One Site for All Feasible?. Technical Communication, 52(1), 9-20.
(2005)
24.W3C: Web Content Accessibility Guidelines Version 1, http://www.w3.org/TR/WCAG10/
[Consulta: Junio 2007]
25. W3C: Web Content Accessibility Guidelines Version 2, W3C Working Draft. 11 December
2007, http://www.w3.org/TR/2007/WD-WCAG20-20071211/ [Consulta: Febrero 2008]