Dialog - Verbio

Dialog@
Generación de diálogos para
facilitar una navegación más natural
en los sistemas interactivos de
respuesta por voz (IVRs)
Verbio Technologies
Los mejores Servicios
y Tecnologías
siempre al Habla
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
Dialog@: Estrategia de generación de diálogos para
facilitar una navegación más natural en los sistemas
interactivos de respuesta por voz (IVRs)
Por muy buena tecnología que disponga un IVR, pierde su potencialidad si la
estrategia de diálogo aburre, ralentiza o no genera confianza en el cliente.
La mejoría en las tecnologías del habla, tanto en síntesis como en reconocimiento, no
se ha traducido últimamente y en general en una percepción generalizada de los
usuarios de mejoría sustancial de las aplicaciones de interacción entre usuarios y
sistemas de respuesta vocal o IVR.
El avance tecnológico de los últimos años, tanto en síntesi como en reconocimiento de
voz, no ha venido acompañado por una mejoría sustancial de los sistemas de
interacción entre usuarios y computadoras, comunmente conocidos como IVRs
(Interactive Voice Response).
Más concretamente, estos sistemas han sido, y en la mayoría de casos aún son,
sistemas con diálogos de iniciativa unilateral por parte de la computadora, quien suele
dirigir en todo momento el cauce de la conversación.
Con el ánimo de obtener el máximo provecho del avance cualitativo en las tecnologías
del habla y gracias a la experiencia de años de investigación y proyectos, la empresa
VERBIO ha hecho un esfuerzo para desarrollar estrategias y herramientas internas
(Dialog@) para que los desarrolladores de aplicaciones de voz en estos entornos
interactivos puedan disponer, a modo de servicio, de la correcta elaboración de
diálogos “naturales” y aumentar la percepción de calidad en los usuarios finales.
Dialog@ trata de alcanzar diálogos de iniciativa mixta de forma que el usuario, con
independencia de la aplicación, pueda elegir el camino de navegación que más le
convenga en cada momento y reaccionar similarmente a como lo haría en una
conversación telefónica. Para ello, hay que analizar para cada aplicación, los
contenidos, el vocabulario, el perfil del usuario y la “usabilidad voz” de la aplicación.
El uso de avanzadas técnicas de navegación por voz en menús (como la denominada
List Selection) de algoritmos de confirmación para verificar el buen funcionamiento de
la transacción o de adaptación del flujo del diálogo al grado de familiarización del
cliente con la aplicación, son algunos mecanismos que incorpora esta nueva estrategia
Dialog@ para el desarrollo de diálogos.
Las pruebas realizadas confirman que los usuarios encuentran las aplicaciones
implementadas con esta estrategia más intuitivas, naturales y navegables, generando
en ellos mayores grados de satisfacción y confianza y disminuyendo la duración de la
interacción.
Dialog@ sitúa el flujo de la comunicación a la altura de la tecnología actual en el
procesado de voz .
9ª NIT DE LES TELECOMUNICACIONS
3
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
Los principales bloques que componen una buena estrategia de diálogo, serían la
determinación de los ítems objetivo o finales y los atributos, navegación por los
atributos (List Selecttion), confirmación implícita de la información definiendo
dependencias y prioridades, generación dinámica de textos y espontaneidad del
agente automático, control de iniciativa y flujo del diálogo y adaptación al grado de
familiarización del usuario.
Dado que la implementación de esta estrategia depende de cada transacción particular
(los atributos, frases, vocabularios, etc., varían de una transacción a otra), se
recomienda parametrizar la implementación, de modo que cada diálogo debe
adaptarse a las necesidades particulares.
Una buena estrategia de diálogo debe asegurar que los clientes novicios se conviertan
en expertos con las sucesivas interacciones con el sistema.
Pet ición de
atribut o
Obt ención de la
respuesta
Selección incom plet a
noinput ||
score < t h1
Análisis del
resultado
score > th1
Bloque de
decisión
Respuest a no válida ||
t h1 < score < t h2
Respuest a válida
Selección correct a
Selección correct a y
ya conf irm ada
Selección
conf irm ada
At ribut o reconocido y validado con éxito
,
9ª NIT DE LES TELECOMUNICACIONS
4
point and speak
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
agrupación de los
at ribut os en bloques
de conf irm ación
bloques conf irm ados = 0
bloques de conf irm ación >
bloques conf irm ados ?
No
Conf irm ación
f inal de la
transacción
Si
conf irm ar bloque
bloques conf irm ados ++
9ª NIT DE LES TELECOMUNICACIONS
5
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
9ª NIT DE LES TELECOMUNICACIONS
6
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
1. Resultados
Para verificar el buen funcionamiento de esta nueva estrategia de diálogo, se ha
utilizado una aplicación IVR orientada a transacción ya existente y se ha implementado
con la nueva estrategia de diálogo. Los dos sistemas han sido probados por varios
usuarios y se han contrastado los resultados y sensaciones obtenidas por estos en
ambos casos.
Los usuarios han sido clasificados según su nivel de familiarización con los sistemas
automáticos en: novicios, intermedios y expertos. Han sido considerados como
usuarios novicios, aquellos que nunca antes habían interactuado con un sistema IVR.
Los usuarios intermedios, ya conocían este tipo de sistemas porque habían
interactuado alguna vez con ellos o sabían de su existencia. Los usuarios expertos ya
utilizaban con frecuencia este tipo de sistemas y conocían sus posibilidades y
limitaciones.
A los usuarios se les han asignado situaciones diversas que debían resolver. En primer
lugar se ha evaluado el éxito de la transacción. Si el usuario debía realizar más de dos
correcciones durante el desarrollo del diálogo, el sistema finalizaba la transacción
dándola por errónea. Éstos han sido los resultados obtenidos sobre una base de 15
usuarios expertos, 20 intermedios y 15 novicios:
éxito de la transacción (%)
usuarios novicios
usuarios intermedios
usuarios expertos
0
10
20
30
40
50
60
70
80
90
usuarios expertos
usuarios intermedios
usuarios novicios
estrategia clasica
93
90
93
estrategia VERBIO
93
95
93
100
Cómo se observa, el éxito de la transacción es prácticamente el mismo en ambos
sistemas.
También se ha valorado el tiempo que los usuarios han empleado en completar las
transacciones. Aquí es donde han aparecido las mayores diferencias entre el sistema
clásico y el que utiliza la estrategia desarrollada por VERBIO:
duración de la transacción (segundos)
usuarios novicios
usuarios intermedios
usuarios expertos
0
10
20
30
40
50
60
70
80
90
100
usuarios expertos
usuarios intermedios
estrategia clásica
108
110
118
estrategia VERBIO
60
75
110
9ª NIT DE LES TELECOMUNICACIONS
110
120
usuarios novicios
7
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
Mientras que los usuarios novicios no conocen las funcionalidades de esta nueva
estrategia y completan las transacciones a un ritmo aún lento (parecido al del sistema
IVR clásico), a medida que los usuarios van conociendo mejor el sistema (usuarios
intermedios y expertos), la velocidad de la transacción aumenta considerablemente.
Los algoritmos de confirmación, el flujo de la conversación y la estrategia general del
diálogo son mucho más rápidos y prueba de ello son los tiempos que se muestran en
este gráfico.
Una vez finalizadas las transacciones, los clientes han valorado las siguientes
afirmaciones puntuándolas con valores entre 0 y 10.
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
Ha sido fácil completar la transacción [dificultad] .
El sistema me ha entendido en todo momento [comprensión] .
Sabía en cada momento que podía hacer y como debía hacerlo [desarrollo] .
La navegación por la aplicación es natural e intuïtiva [funcionamiento] .
Este sistema automático es rápido y útil [utilidad] .
Confiaría en este sistema para resolver este tipo de transacciones [confianza] .
Estos son los resultados obtenidos:
usuarios novicios
confianza
utilidad
funcionamiento
desarrollo
comprensión
dificultad
0
1
dificultad
2
3
comprensión
4
5
6
7
8
desarrollo
funcionamiento
utilidad
9
10
confianza
estrategia clásica
7,5
8
9
7
6,5
7
estrategia VERBIO
7,2
7,5
8,7
8
7
8,1
usuarios intermedios
confianza
utilidad
funcionamiento
desarrollo
comprensión
dificultad
0
1
2
3
4
5
6
7
8
9
10
dificultad
comprensión
desarrollo
funcionamiento
utilidad
confianza
estrategia clásica
7,6
7,7
9
6,5
6
8
estrategia VERBIO
7,5
7,5
9
8,2
8
8,5
9ª NIT DE LES TELECOMUNICACIONS
8
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
usuarios expertos
confianza
utilidad
funcionamiento
desarrollo
comprensión
dificultad
0
estrategia clásica
estrategia VERBIO
1
2
3
4
5
6
7
8
9
10
dificultad
comprensión
desarrollo
funcionamiento
utilidad
confianza
8,2
8
9
6,8
6
8
8
7,2
9
8,5
9
8,8
Estos resultados son aún muy preliminares dado que el número de clientes con el que
se ha experimentado es todavía reducido para obtener mayores conclusiones. Aún y
así, se observa una evolución en cuanto a tiempo, navegabilidad y confianza de los
clientes a la hora de realizar la transacción.
Es importante destacar que las mejoras se han producido en la confianza, utilidad y
funcionamiento del sistema porque se partió de la premisa que podían hacerse unos
sistemas de uso más rápido y natural gracias a Dialog@ sin que por ello se dificultara
[dificultad] su uso, ni empeoraran las tasas de reconocimiento [comprensión ] o la
comprensión del diálogo por parte del usuario [desarrollo].
El sistema sobre el que se ha implementado la nueva estrategia de diálogo requiere
aún de una fase que podríamos denominar de “ajuste”, donde se recojan las
interacciones de un abanico mayor de usuarios y en base a ellas se amplíen
vocabularios, expresiones, etc. Con esto, se mejorarían las puntuaciones anteriores, y
podría abordarse la mejora en lo referente a dificultad, comprensión, y desarrollo.
9ª NIT DE LES TELECOMUNICACIONS
9
Dialog@ Generación de diálogos para facilitar una navegación más natural en IVRs
Conclusiones
La calidad de un sistema IVR, debe ser medida teniendo en cuenta el sistema de TTS
y de ASR que utiliza, así como las estrategias de diálogo que tiene implementadas.
El estado actual de la tecnología permite desarrollar sistemas de TTS y de ASR, que
acercan mucho una computadora a un interlocutor humano, en calidad de voz y
fiabilidad de reconocimiento. Sin embargo las estrategias actuales para el desarrollo
de diálogos en sistemas IVR, están muy alejadas de las utilizadas por los humanos en
la comunicación, mucho más rápidas y fluidas.
Un sistema IVR con un TTS y un ASR muy buenos, pierde toda su potencialidad si la
estrategia de diálogo aburre, ralentiza o no genera confianza en el cliente.
Este documento propone una innovadora estrategia de diálogo para los sistemas IVR
orientados a transacción, que sitúa el flujo de la comunicación a la altura de la
tecnología actual en el procesado de voz. El uso de técnicas de navegación por menús
(como la denominada List Selection), de algoritmos de confirmación para verificar el
buen funcionamiento de la transacción o de adaptación del flujo del diálogo al grado de
familiarización del cliente con la aplicación, son algunos mecanismos que incorpora
esta nueva estrategia para el desarrollo de diálogos.
Los tests y pruebas realizados, confirman que los usuarios encuentran las aplicaciones
implementadas con esta estrategia, más intuitivas, naturales y navegables, generando
en ellos mayores grados de satisfacción y confianza y disminuyendo la duración de la
transacción.
9ª NIT DE LES TELECOMUNICACIONS
10