Evaluación de la Usabilidad de los Sistemas de Verificación

Evaluación de la Usabilidad de los Sistemas de Verificación

Evaluación de la Usabilidad de los Sistemas de Verificación
Biométrica
Álvaro Hernández, Rubén Fernández, Luis A. Hernández
Doroteo T. Toledano
Dpto de Señales, Sistemas y Radiocomunicaciones
ETSI Telecomunicación
Univ. Politécnica de Madrid
28040 Madrid
[email protected] [email protected] [email protected]
Escuela Politécnica Superior
Univ. Autónoma de Madrid
Ciudad Universitaria Cantoblanco
28049 Madrid
[email protected]
Como resultado de los avances conseguidos en el
campo de la biometría, han ido apareciendo en los
últimos tiempos un amplio conjunto de técnicas
que son capaces de verificar la identidad del
usuario. Aunque relativamente nuevas, estas
tecnologías han alcanzado ya un grado de
desarrollo que ha permitido su comercialización.
Sin embargo, no ha sido mucho el esfuerzo
dirigido a la evaluación de estas tecnologías desde
el punto de vista del usuario (user-centered),
siendo este punto crítico donde se sitúa el
principal atractivo de nuestro trabajo. Para
conseguir este fin hemos desarrollado una
plataforma para llevar a cabo evaluaciones
empíricas de la usabilidad de sistemas biométricos
comerciales, incluyendo verificación por medio de
la huella dactilar, de la firma manuscrita y de la
voz. En este artículo presentamos un estudio
inicial en el cual evaluamos y comparamos los
factores clave que influyen en la usabilidad de
estos sistemas, centrándonos en mayor medida en
las tecnologías biométricas en sí más que en el
interfaz de prueba propiamente dicho.
A día de hoy, estas tecnologías han alcanzado
cierta madurez, pero todavía existen importantes
matices a estudiar que explican el aún escaso
desarrollo de su mercado, muy por debajo de las
expectativas creadas en un principio. Estas
carencias ya han sido identificadas por las
principales agendas de investigación en el campo
de la biometría (Biovision [2], Biosec [3]), y se
corresponden con la necesidad de desarrollar unos
criterios básicos relacionados con el análisis de la
usabilidad y accesibilidad de las tecnologías
biométricas en la implementación de los futuros
sistemas de autenticación. Es en este punto de
vista de evaluación centrado en el usuario, donde
reside la principal motivación de este trabajo.
El resto del artículo está organizado de la
siguiente manera: en la sección 2 analizaremos los
trabajos previos referidos al análisis de usabilidad
de sistemas de seguridad. En el apartado 3
veremos los criterios básicos de diseño de la
plataforma utilizada para las pruebas. En el punto
4 describiremos las pruebas en sí. Los resultados
obtenidos serán explicados en la sección 5 y
terminaremos presentando las conclusiones
obtenidas y las líneas futuras de investigación.
1. Introducción
2.
La biometría, en el campo de la tecnología de la
información, comprende una amplia gama de
tecnologías que identifican al usuario a través de
sus características fisiológicas (huella dactilar,
voz, cara, etc.) o conductuales (firma manuscrita,
dinámica del teclado, etc.) [1]. Estas técnicas de
verificación, comparadas con los tradicionales
sistemas de seguridad basados en contraseñas o
passwords, ofrecen una forma de identificación
mucho más robusta y segura, convirtiéndose de
esta forma en la piedra angular de las futuras
aplicaciones de seguridad.
El trabajo de Angela Sasse “Usability and trust in
information systems” [4] es una excelente
referencia en el estudio del estado del arte en
cuanto a los exámenes de usabilidad de sistemas
de seguridad se refiere. En él, se pone de
manifiesto el compromiso que aparece entre
usabilidad y seguridad, dos factores que pueden
llegar a ser considerados características ideales del
sistema, pero que se enfrentan uno con otro y
originan distintos criterios en el proceso del
diseño de sistema. Para tratar esta dicotomía, es
Resumen
Análisis de usabilidad en sistemas de
seguridad.
necesario poner al usuario en el centro del diseño
del sistema (user-centered), frente a los
tradicionales
estudios
iniciales
centrados
únicamente en los problemas inherentes al diseño
del interfaz en sí.
En el campo de la biometría existe, de la
misma manera, un creciente, pero más lento,
interés por la usabilidad. Un ejemplo claro es el
esfuerzo realizado y tiempo dedicado por las
principales agendas y proyectos biométricos
(Biovision, Biosec) en el estudio de los aspectos
relacionados con la usabilidad y amigabilidad para
el desarrollo de aplicaciones.
Desde este punto de vista centrado en el
usuario, y siendo conscientes de las discrepancias
que surgen en este campo a la hora de definir el
término “usabilidad”, decidimos seguir la
definición general que aporta la ISO (ISO 924111) y que es interpretada como la conjunción de
tres factores: Efectividad, que es la precisión y
grado de éxito con las cuales los usuarios realizan
ciertas tareas (mediremos el comportamiento de
los sistemas biométricos mediante las tasas de
FMR y FNMR -False Matched and False non
Matched Rates-); Eficiencia, es decir la relación
entre el grado de éxito con la que los usuarios
consiguen ciertos fines y los recursos gastados en
conseguirlos (tiempos de captura, errores en la
captura, etc.); y Satisfacción, que queda reflejada
en una actitud positiva del usuario hacia el uso del
sistema (evaluada mediante cuestionarios pasados
a los usuarios). Así pues, el principal objetivo de
nuestro sistema será la medición, a partir de datos
objetivos y subjetivos recopilados por la
plataforma, de estas tres dimensiones de la
usabilidad y analizar las relaciones entre ellas.
3. Arquitectura distribuida para la
evaluación de la usabilidad de las
tecnologías biométricas
Se implementó una plataforma de evaluación
cuyos criterios de especificación fueron
establecidos para satisfacer dos objetivos
principales:
a) proporcionar un escenario realista para los tests
de usabilidad en aplicaciones Web donde un
usuario, desde el terminal cliente, necesita
autenticarse para tener acceso a una página Web
segura o a información confidencial.
b) mantener la flexibilidad que implica la
posibilidad de distribuir la carga computacional
entre cliente y servidor. Concentrar las tareas de
procesado y reconocimiento de los patrones
biométricos en el servidor es un modelo de diseño
recomendado en la especificación de interfaces de
aplicación (recomendaciones del API Model del
HRS/CDSA). A las ventajas ya comentadas
anteriormente, se añade el hecho de que como
nuestro último fin es el de disponer de una
plataforma de experimentación sobre la usabilidad
de las técnicas biométricas, el hecho de que la
arquitectura sea distribuida, permite un despliegue
a través de Internet, facilitando el acceso a los
usuarios que participen en las pruebas.
El interfaz de usuario (Figura 1) en el lado
cliente consiste en una página Web en la cual el
usuario tiene la libertad para elegir entre los tres
modos biométricos (voz, firma y huella). Hemos
integrado en la plataforma productos comerciales:
reconocimiento
de
locutor
de
Nuance
Communications [5], reconocimiento de huella de
Precise Biometrics [6] y de firma manuscrita de
CIC ISign [7].
Con el fin de poder hacer más fácil la
interacción con el escenario de evaluación, se
incluyó en el interfaz un carácter animado
utilizando la tecnología de Haptek [8]. Este nuevo
tipo de interfaces amigables esta alcanzando altos
niveles de popularidad, y en nuestro caso es usado
para mostrar al usuario, mediante gestos y
mensajes hablados, qué hacer en cada momento.
A pesar de que todavía es escaso el número de
estudios en el campo de la biometría referidos a la
inclusión de los agentes conversacionales (ECAs),
se ha podido llegar a la conclusión de que éstos
tienen un impacto positivo en los usuarios con una
mejora importante en el desarrollo de la sesión.
Como línea futura de investigación se proyecta
realizar pruebas especialmente dirigidas a llegar a
entender cómo y en qué medida influyen los
agentes conversacionales en los usuarios y si
realmente aportan algo en el proceso de
aprendizaje de un sistema. Es importante recalcar
aquí, que en el estudio que se presenta en este
artículo no se pretende realizar un análisis
detallado del interfaz en sí, ya que nuestro
objetivo principal es el de diseñar un entorno que
nos permita poder evaluar la usabilidad de las
tecnologías biométricas propiamente dichas y el
impacto qué éstas tienen en los usuarios.
4.2. Sesión 2: Segunda parte del entrenamiento
y pruebas de verificación (20 m)
Figura 1. Interfaz Web de evaluación.
4. Descripción de los experimentos
Utilizando la plataforma descrita en la sección
anterior, se llevaron a cabo experimentos con una
población de 43 usuarios. Siguiendo las directrices
del International Biometric Group (IBG [9]), cada
usuario participaba en dos sesiones:
4.1. Sesión 1 Pruebas de impostor y primera
parte del Entrenamiento (45 m)
Dividida en las siguientes tareas:
1. Breve Explicación de la sesión
2. Pruebas de impostor: que consisten en que el
usuario elige una identidad entre cuatro posibles
y trata de imitarla para engañar al sistema. Son
4 pruebas con tres intentos cada una.
3. Formulario sobre seguridad: a los usuarios se
les presenta un cuestionario (con escalas 7-level
Likert) en el que se intenta recoger la opinión
subjetiva de los usuarios sobre la Confianza e
Impacto de Privacidad de cada uno de los
modos biométricos. La medida de confianza
refleja cómo de seguro o fiable le parece cada
modo al usuario, mientras que con el impacto
de privacidad nos queremos referir a la facilidad
con que una persona puede conseguir los rasgos
biométricos de otro usuario y la sencillez con la
que puede aplicarlos en la plataforma.
4. Primera Parte del Entrenamiento: para permitir
a los usuarios participar en las pruebas de modo
propio, verificándose contra su propio modelo.
En esta primera parte se llevan a cabo los
entrenamientos en huella, firma y la primera
parte de la voz
Llevada a cabo 1 semana después de la primera
sesión y dividida en las siguientes tareas:
1. Breve explicación
2. Fin del proceso de entrenamiento: los usuarios
completan el entrenamiento en voz
3. Pruebas de verificación: se llevan a cabo 5
pruebas (con 3 intentos de verificación cada
una) en las que los rasgos biométricos del
usuario se comparan contra su propio modelo.
4. Formulario sobre Facilidad de Uso: En este
segundo cuestionario se obtiene la opinión
subjetiva del usuario sobre la Facilidad de Uso
y la Preferencia Personal de cada modo.
5. Análisis estadístico de usabilidad
Durante los experimentos se capturaron tanto
datos subjetivos a través de los formularios, como
medidas objetivas relacionadas con la eficiencia y
efectividad en la interacción del usuario con los
sensores biométricos. Con estos datos se llevaron
a cabo varios estudios estadísticos, entre los que
se obtuvieron conclusiones significativas en dos:
• Comparación de los diferentes modos a través
de los tres factores de usabilidad
• Análisis de la relación entre las medidas
objetivas de eficiencia y efectividad y los
datos subjetivos de la satisfacción del usuario
para todos los modos.
5.1. Comparación de modos biométricos.
Para comprobar que las diferentes figuras de
merito
calculadas
eran
estadísticamente
significativas entre los distintos modos se llevaron
a cabo tests exactos de Fisher que nos permitieron
sacar las siguientes conclusiones:
• Efectividad: las principales conclusiones que
obtuvimos en nuestro experimento es que la
huella tiene una FMR significativamente más
baja que las otras modalidades y que la firma
tiene una FNMR más alta que las otras
modalidades
• Eficiencia: en este caso, se encontraron
diferencias significativas que nos permitieron
llegar a la conclusión de que la firma es la
•
modalidad más rápida, mientras que la huella
es la que produce menos errores de captura
Satisfacción: relacionado con los parámetros
subjetivos de confianza (Conf), impacto en la
privacidad (Priv), facilidad de uso (Ease) y
preferencia personal (Pref). La única
conclusión significativa es que los usuarios
ven a la huella como el modo más seguro.
5.2. Relación entre efectividad, eficiencia y
satisfacción.
La Figura 2 muestra las relaciones obtenidas entre
los tres factores de usabilidad a partir del estudio
con regresiones lineales múltiples. Con el fin de
no incluir en el análisis elementos no
estadísticamente significativos se calcularon
previamente coeficientes de correlación de
Pearson entre ellos.
Usabilidad
Seguridad
FMR
FNMR
-0.06
Priv
Satisfacción 0.23
-0.02
Conf
-0.02
0.40
0.14
0.21
Pref
0.30
En este trabajo se ha presentado una plataforma
para evaluar la usabilidad de los sistemas
biométricos. A través de un experimento con 43
usuarios se recopilaron datos objetivos (eficiencia
y efectividad) y subjetivos (satisfacción) con el fin
de realizar un análisis estadístico detallado de
ellos. Quizá el resultado más relevante obtenido
en nuestro análisis ha sido comprobar el
tradicional compromiso entre seguridad y
usabilidad de los sistemas biométricos a través de
las medidas de los 3 elementos que definen la
usabilidad y que han sido computadas a partir de
los datos objetivos y subjetivos recogidos.
Como líneas futuras de investigación se
encuentran: extender la población de las pruebas,
incorporar otras modalidades biométricas como el
iris, realizar un análisis de usabilidad desde una
perspectiva multimodal y realizar algún tipo de
estudio sobre el impacto que tiene en los usuarios
la presencia del agente conversacional.
Referencias
Efectividad
-0.03
6. Conclusiones y Líneas Futuras
Ease
0.39
Medidas Objetivas
Eficiencia
Figura 2. Mapa final de relaciones encontradas
En la figura anterior se puede ver claramente las
dos dimensiones que siempre aparecen en
cualquier sistema biométrico de autenticación:
seguridad y usabilidad [10]. Las medidas
subjetivas de confianza e impacto de privacidad
están relacionadas con la seguridad, mientras que
la facilidad de uso y la preferencia personal están
relacionadas con la usabilidad. En cuanto a las
medidas objetivas de efectividad, el FMR está
relacionado con la seguridad y el FNMR con la
facilidad de uso. Finalmente las medidas de
eficiencia están fuertemente relacionadas con la
usabilidad y no muestran relación con la
dimensión de seguridad.
[1] Jain, A.K., Bolle, R., & Pankanti, S.:
Biometrics
Personal
Identification
in
Networked Society. Kluwer (1999)
[2] BioVision. Roadmap for Biometric in Europe
to 2010
http://www.eubiometricsforum.com/dmdocum
ents/BIOVISION_Roadmap.pdf (2003)
[3] BioSec:
Biometric
and
Security.
http://www.biosec.org/ (2003)
[4] Sasse, M.A. (2004). Usability and trust in
information systems. Cyber Trust & Crime
Prevention Project. University College
London.
[5] Nuance http://www.nuance.com
[6] Precise http://www.precisebiometrics.com/
[7] http://www.cic.com/support/faq/iSign/Java/iSi
gnjava.html
[8] Haptek, http://www.haptek.com
[9] International Biometric Group. Comparative
Biometric
Testing
Available
at:
http://www.ibgweb.com/reports/public/compa
rative_biometric_testing.html (2004)
[10] Matyas, V., & Riha, Z.: Biometric
Authentication – Security and Usability.
(2002)