presentació

Affective Computing
Ramón García
Moisés Artacho
Albert Aubanell
¿Qué es Affective Computing?
· Sistema capaz de reconocer estados afectivos
· Respuesta en función del estado el usuario
= Hacer una máquina más humana
¿Porqué Affective Computing?
· Cada vez hay más mecanismos HCI.
Expectativas mayores.
· Interacción natural = Interacción humana
· Aumenta posibilidades de la interacción
· Interacción colaborativa
¿Para qué Affective Computing?
· Reducir estrés de controladores aéreos
· Aumentar / mantener nivel de estrés de pilotos
· Tratamiento de fobias
· Asesoramiento neuro-psicológico
· Robots o dispositivos capaces de interactuar con
niños autistas (MEDIATE Dr. Narcis Parès)
¿Cómo hacer Affective Computing?
· Análisis de factores:
· Medidas fisiológicas:
-Ritmo cardíaco…
· Contexto de trabajo:
-tipo, complejidad, duración, hora del día…
· Personalidad:
-agresividad, obsesión…
¿Qué tecnología existe?
· Seguimiento de la vista
· Reconocimiento de expresión facial
· Wearable computers:
-Pendientes que recogen medidas fisiológicas
-Ropa inteligente
· Expression glasses:
-Gafas que detectan interés o confusión…
¡ PROBLEMAS !
· Procesado en tiempo real del flujo de datos !
¿Sentir o no sentir?
Simular un estado afectivo
Induce al comportamiento afectivo del usuario
humano
¿Cómo reacionar?
· Para decidir cómo actuar según el estado:
Se requiere un
Modelo de Estados Afectivos
Estudios realizados
…conclusiones…
· Muchas aplicaciones de interés
· Nuevas líneas de investigación,
muchas cosas por descubrir
· Métodos invasivos
· Errores
· Factores éticos
SenToy
- Interfaz afectiva -
Proyecto Safira
• Desarrollo de una interfaz capaz de reaccionar
afectivamente.
• Implementación de 6 estados de ánimo:
– Anger (Enfado)
– Fear (Miedo)
– Disgust (Repugnancia)
– Happiness (Felicidad)
– Sadness (Tristeza)
– Surprise (Sorpresa)
Escoger un modelo
-Osito de peluche
-Muñeca de trapo
-Ken
Reacciones SenToy
• Anger : Pelear con los brazos
• Fear : Manos frente a los ojos
• Disgust : Brazo frente a la cara
• Happiness : Bailando, en movimiento
• Sadness : Encorbado
• Surprise : Manos al aire
Implementación
• 3 sensores
– Aceleración a la que es sometida el
modelo.
– Posición de las extremidades.
– Sensor digital para saber si los brazos
están frente a los ojos o no.
Prueba piloto
Tele-Home
- Cuidados Médicos a Distancia -
Posibilidades
• Comunicación médico-paciente a distancia.
• Conseguir datos vitales de forma remota:
– Tensión
– Pulsaciones
• Reconocimiento psicológico a través de chat.
Requisitos
• Construir un modelo digital a partir del paciente.
• Este modelo debe reaccionar a las muestras
afectivas del paciente, adaptando su estado de
ánimo.
• Reconocimiento facial.
MOUE (Model Of User's
Emotions)
• Sistema que construye un modelo virtual a partir
del paciente.
• Utiliza varios dispositivos multi-sensoriales:
– Teclado y ratón
– Cámara
– Micrófono
– Ordenador añadido al brazo
Ordenador añadido al brazo
Panel de Control MOUE
Características
• Base de datos de todas las posibles emociones
del paciente.
• Categorizar emociones para producir estadísticas
de estados de ánimo.
• Según la experiencia con el tiempo, predecir los
estados de ánimo del paciente.
• Proveer al paciente de un informe sobre su
estado.
Interfaz
Respostes fisiològiques
a diferents dissenys de WEB
INTRODUCCIÓ
S’ha demostrat que el cos humà modifica determinats factors fisiològics
com a resposta a diferents estímuls. Les persones no notem molts d’aquests
canvis però sí que es poden detectar amb aparells:
• El cor batega més ràpid si mirem un vídeo filmat a baixa freqüència (25fps)
que si el mirem amb una freqüència més alta (50fps). (Wilson & Sasse 2000)
• Els videojocs produeixen canvis ràpids en l’activitat muscular sobretot quan el
joc no respon al control del jugador. (Picard 1996)
• El volum de sang per pulsació (BVP) varia al produir-se errors inesperats en
diferents softwares. (Scheirer i altres 2002)
OBJECTIUS
Establir una relació entre diferents estímuls HCI en un entorn WEB i les
conseqüents variacions dels factors fisiològics:
• HR (Hearth Rate)
• SC (Skin Conductance) = activitat de les glàndules de suor
• FBV (Finger Blood Volumne)
PROCEDIMENT
Sobre una base de dades dels residents d’un poble, es van dissenyar dos entorns
Web per accedir-hi (un ben dissenyat i un de mal dissenyat).
Per la prova es van escollir 20 participants 18-48 anys. A la meitat se li assigna
el disseny bo i a l’altre meitat el dolent.
Durant 10’ els usuaris dels dos grups havien de respondre un seguit de
preguntes.
En tot el procés es van mesurant i computant simultàniament les variables HR,
SC i FBV de cada un dels participants.
Disseny bo
Disseny dolent
RESULTATS
Nº de respostes durant els 10 minuts:
Ø Disseny bo: 21
Ø Disseny dolent: 12
Quasi bé el doble de diferència!
CONCLUSIONS
PROS
La mesura dels factors fisiològics HR, SC i FBV ens permeten detectar si l’
l’usuari
està
està estressat,
estressat, relaxat, nervió
nerviós, atent,..
Les variacions d’
d’aquestes dades en un instant de temps determinat solen
coincidir al produirproduir-se un estí
estímul d’
d’interacció
interacció HCI (ex. quan apareix un poppop-up > HR augmenta). Això pot ajudar a detectar i resoldre problemes d’interacció
interacció
amb el software, fins hi tot quan l’
s conscient.
l’usuari no n’é
n’és
Al disseny de interfí
interfícies cal tenir en compte aquests factors i fins hi tot podem
modificar l’
nim de l’
l’estat d’à
d’ànim
l’usuari si és necessari.
CONTRES
El fet de mesurar aquests factors no és un indicador de què
què un programa està
està
ben dissenyat o no, ja que la fisiologia humana és molt complexa i els resultats
poden variar segons la persona, la humitat, temperatura, el soroll
soroll de l’
l’entorn i
altres factors externs.
Es necessita gran capacitat de procé
procés per computar en temps real les dades.
Els aparells de mesura influeixen en el resultat.
Variacions de la Pupil·la: un
indicador d’afectivitat
INTRODUCCIÓ
Diversos estudis han demostrat una relació entre el tamany de la pupil·la i diferents
estímuls emocionals:
•
Els homes prefereixen dones amb la pupil·la més gran. El tamany de la pupil·la és un
indicador de l’excitació. (Hess & Petrovich 1987).
•
En general la pupil·la es dilata en estímuls positius o negatius i es manté petita en
situacions normals. (Janisse 1974).
OBJECTIU
Veure quina relació hi ha entre diferents estímuls sonors i el tamany de la pupil·la. Doncs
es podria aplicar això a estímuls de tipus HCI (Interacció Home - Ordinador).
PROCEDIMENT
30 voluntaris de 18-48 anys, 15 homes i 15 dones.
30 estímuls sonors de la col·lecció IADS (International Affective Digitalized Sounds):
- 10 positius (ex. un nen rient)
- 10 negatius (ex. una lluita entre dos persones)
- 10 neutrals (ex. soroll de fons d’una oficina)
Cada participant disposa d’uns auriculars i d’un aparell de detecció de la pupil·la. Els sons
de 6” de duració són aleatoris. Després de cada so l’usuari puntua l’estímul de 1-9
(negatiu - neutral - positiu) i si el so provoca relax o stress.
El fet d’utilitzar estímuls sonors és perquè així s’eviten els problemes de lluminositat i
reflexió de la llum que s’han detectat en altres estudis.
RESULTATS
General
Dones
Homes
CONCLUSIONS
PROS
Estímuls positius i negatius produeixen una dilatació de la pupil·la mentre que en
situacions normals la pupil·la es manté més petita. La dilatació té una relació linear
amb el grau de l’estímul.
No és necessari instal·lar cap aparell a l’usuari, el sistema de detecció és
independent i la tecnologia utilitzada és relativament simple.
La dilatació de la pupil·la és un acte involuntari del sistema nerviós i per tant no hi
ha errors forçats per l’usuari.
Es pot combinar amb altres sistemes de detecció emocional (detecció facial).
CONTRES
Pràcticament no es pot detectar si l’estímul és positiu o negatiu.
És difícil aplicar-ho a estímuls HCI perquè s’ha de controlar la lluminositat que
incideix a la pupil·la i moltes interfícies actuals són visuals.
Generació de veu expressiva
INTRODUCCIÓ i OBJECTIUS
En els darrers anys s’ha evolucionat molt en el desenvolupament de robots que
expressen i detecten emocions. (AIBO i SDR3-X de Sony).
L’objectiu és trobar un sistema de síntesi de veu que permeti expressar emocions
com felicitat, enfadat, trist, normalitat,..
El sistema es podria implementar als robots i permetre
una comunicació natural entre persones i robots.
PROCEDIMENT
S’utilitza el sintetitzador MBROLA (software lliure) per concatenar i reproduir
les paraules. També s’implementa un algoritme propi que modifica la
freqüència, l’amplitud i la duració de cada fonema segons l’afecte que es vol
produir. S’afegeix també un soroll aleatori al senyal per tal que sigui més real.
1a. prova
Per comprovar l’efectivitat del sistema es reprodueixen 30 seqüències cada una amb
emotivitat aleatòria. Els participants trien entre “Calma”, “Enfadat”, “Tristesa”,
“Confortable” o “Feliç”.
2a. prova
Es reprodueixen unes quantes seqüències aleatòries i els participants les ordenen de
més “jove” a més “vell”. Per aconseguir l’efecte d’edat es varia només la freqüència de
mostreig (a la prova1 era constant a 3Khz).
Exemples de la 1a. prova:
Neutral
Enfadat
Trist
Content
????
????
RESULTATS
•
La mitjana d’encerts és del 57%.
•
En la comunicació entre persones és del 60%.
•
Hi ha una confusió entre Calm i Comfort. Si s’agrupa en un sol grup “Neutral”,
llavors la mitjana d’encerts és del 75%.
•
La 2a. prova reflecteix un encert de mitjana 92%.
CONCLUSIONS
La sintetització per concatenació ha donat bons resultats fins hi tot amb
persones de cultures i llengües diferents.
L’algoritme utilitzat és molt simple comparat amb altres estudis.
No es requereixen gaires recursos ? és viable la implamentació en robots.
Actualment només es produeixen 4 emocions diferents però en posteriors
estudis se’n poden aconseguir d’altres o establir nivells en una mateixa
emoció (ex: content, molt content).